Локальная нейросеть на Linux-сервере: Ollama, llama.cpp и vLLM на практике
Память и выбор модели, установка и настройка Ollama через systemd, безопасный доступ, OpenAI-совместимый API, Modelfile и сравнение с llama.cpp и vLLM.

Коротко: чтобы запустить локальную нейросеть на Linux-сервере, проще всего поставить Ollama одной командой, скачать квантованную модель на 7–14 млрд параметров и обращаться к ней по HTTP API на порту 11434. Главное ограничение — память: модель должна целиком помещаться в VRAM видеокарты, иначе скорость падает в разы. Порт 11434 наружу не открывают: у Ollama нет авторизации. Для одного пользователя хватает Ollama, для десятков параллельных запросов берут vLLM.
Своя модель на своём железе нужна в трёх случаях: данные нельзя отправлять во внешние API (договоры, переписка с клиентами, исходники), запросов много и платить за токены дорого, или нужен предсказуемый сервис без лимитов и внезапных изменений у провайдера. Ещё два года назад это требовало Python-окружения, ручной сборки CUDA и танцев с форматами весов. Сейчас базовый сценарий укладывается в десять минут.
Поднять модель и закрыть её от интернета — работа администратора, и ниже она разобрана целиком. Отдельная история — когда модель должна не только отвечать в чате, а сама ходить в CRM, базу заказов или тикет-систему и выполнять действия. Это уже разработка с интеграциями и проверкой каждого шага, и её обычно отдают на создание ИИ-агента под задачи компании. Начнём с сервера.
Сколько памяти нужно для локальной LLM
Объём памяти определяет, какую модель вы вообще сможете запустить. Процессор и диск вторичны. Ollama по умолчанию скачивает модели в 4-битной квантизации (формат GGUF, вариант Q4_K_M): веса сжаты примерно вчетверо по сравнению с исходными, качество при этом падает незначительно.
Грубое правило: на каждый миллиард параметров в Q4 нужно около 0,6 ГБ памяти под веса, плюс 1–4 ГБ под контекст (историю диалога и входной документ). Чем длиннее контекст, тем больше уходит памяти сверх весов.
| Размер модели | Веса в Q4 | Где запускать | Для чего хватает |
|---|---|---|---|
| 1–4 млрд | 1–3 ГБ | VPS без GPU, 8 ГБ RAM | Классификация, извлечение полей, короткие ответы |
| 7–8 млрд | около 5 ГБ | GPU 8 ГБ или 16 ГБ RAM | Резюме, черновики писем, простой код |
| 12–14 млрд | 8–9 ГБ | GPU 12–16 ГБ | Ответы по документам, уверенный русский язык |
| 27–32 млрд | 17–20 ГБ | GPU 24 ГБ | Сложные рассуждения, длинные тексты, код |
| 70 млрд | около 43 ГБ | Две карты по 24 ГБ или одна на 48 ГБ | Качество, близкое к облачным моделям среднего класса |
Можно ли запустить нейросеть без видеокарты
Да, но медленно. На обычном VPS без GPU модель на 3–4 млрд параметров выдаёт порядка 5–10 токенов в секунду, модель на 8 млрд — ещё в несколько раз меньше. Для фоновой обработки (разметить за ночь тысячу обращений) этого достаточно. Для чата, где человек ждёт ответа, нет. Скорость на CPU упирается в пропускную способность памяти, поэтому больше ядер помогает слабо.
Что будет, если модель не влезла в видеопамять
Ollama не упадёт: она разложит часть слоёв в VRAM, часть в обычную RAM. Работать будет, но скорость окажется ближе к CPU-варианту, чем к GPU. Проверить раскладку можно командой ollama ps, это разобрано ниже. Если видите там что-то кроме «100% GPU», берите модель поменьше или квантизацию сильнее.
Подготовка сервера: драйвер, диск и защита
Подойдёт любой актуальный дистрибутив с systemd: Ubuntu 24.04, Debian 13, AlmaLinux 9. До установки Ollama сделайте три вещи.
- Драйвер видеокарты. Для NVIDIA поставьте проприетарный драйвер из репозитория дистрибутива (на Ubuntu —
sudo ubuntu-drivers install) и перезагрузитесь. Командаnvidia-smiдолжна показать карту и объём памяти. CUDA Toolkit отдельно ставить не нужно, нужные библиотеки Ollama привозит с собой. Для AMD нужен ROCm-совместимый драйвер. - Место на диске. Модель на 14 млрд весит около 9 ГБ, и обычно хочется держать две-три модели. Заложите 50–100 ГБ на быстром SSD. Если корень маленький, модели можно положить на отдельный раздел (переменная
OLLAMA_MODELS, ниже). - Базовая защита. SSH по ключам, файрвол с политикой «запрещено всё входящее, кроме нужного». Порядок описан в гайде Защита Linux-сервера: база и в статье SSH-ключи вместо пароля.
На VPS без GPU с 4–8 ГБ памяти добавьте swap на 4 ГБ: если модель с контекстом чуть не помещается, OOM-killer убьёт процесс без предупреждения.
sudo fallocate -l 4G /swapfile
sudo chmod 600 /swapfile
sudo mkswap /swapfile && sudo swapon /swapfile
echo '/swapfile none swap sw 0 0' | sudo tee -a /etc/fstab
Как установить Ollama на Linux
Официальный способ — скрипт установки. Он кладёт бинарник в /usr/local/bin, создаёт системного пользователя ollama и юнит ollama.service, определяет видеокарту и докачивает нужные библиотеки.
curl -fsSL https://ollama.com/install.sh | sh
# проверка
ollama -v
systemctl status ollama
curl http://127.0.0.1:11434/ # ответ: Ollama is running
Если не хотите запускать скрипт из интернета под root, сначала скачайте его и прочитайте: curl -fsSL https://ollama.com/install.sh -o install.sh. Есть и вариант в Docker (образ ollama/ollama), он удобен, если на сервере уже всё живёт в контейнерах; для GPU понадобится NVIDIA Container Toolkit. Основы работы с контейнерами — в статье Docker: контейнеры простыми словами.
Обновление делается тем же скриптом: повторный запуск ставит свежую версию поверх старой, модели и настройки сохраняются.
Первая модель: скачать, запустить, проверить скорость
Модели берутся из библиотеки на сайте Ollama по имени и тегу. Для русского языка на старте хорошо подходят семейства Qwen и Gemma, для рассуждений — DeepSeek-R1 в дистиллированных вариантах.
ollama pull qwen3:8b # скачать
ollama run qwen3:8b # интерактивный чат в терминале, выход — /bye
ollama list # что скачано
ollama ps # что сейчас в памяти и где (CPU/GPU)
ollama show qwen3:8b # параметры и длина контекста
ollama stop qwen3:8b # выгрузить из памяти
ollama rm qwen3:8b # удалить с диска
Как измерить скорость генерации
Запустите модель с флагом --verbose: после каждого ответа Ollama напечатает статистику. Смотрите на строку eval rate, это скорость генерации в токенах в секунду. Комфортно читать от 15–20 токенов в секунду, ниже 5 — уже ожидание.
ollama run qwen3:8b --verbose
# ...
# prompt eval rate: 410.25 tokens/s (чтение запроса)
# eval rate: 48.10 tokens/s (генерация ответа)
Сразу после этого выполните ollama ps в соседнем терминале. В колонке PROCESSOR должно стоять 100% GPU. Запись вида 35%/65% CPU/GPU означает, что модель не влезла в видеопамять и часть слоёв считается процессором.
Настройка Ollama через systemd
Все параметры сервера задаются переменными окружения юнита. Правьте не сам ollama.service (его перезапишет следующее обновление), а override-файл:
sudo systemctl edit ollama
[Service]
Environment="OLLAMA_HOST=127.0.0.1:11434"
Environment="OLLAMA_KEEP_ALIVE=30m"
Environment="OLLAMA_MAX_LOADED_MODELS=1"
Environment="OLLAMA_NUM_PARALLEL=2"
Environment="OLLAMA_MODELS=/srv/ollama/models"
sudo mkdir -p /srv/ollama/models && sudo chown -R ollama:ollama /srv/ollama
sudo systemctl daemon-reload
sudo systemctl restart ollama
Что делает каждая переменная:
OLLAMA_HOST: адрес и порт API. По умолчанию127.0.0.1:11434, то есть доступ только с самого сервера. Менять на0.0.0.0стоит, только если перед этим закрыт файрвол (см. следующий раздел).OLLAMA_KEEP_ALIVE: сколько модель держится в памяти после последнего запроса. По умолчанию 5 минут, после чего первый запрос снова ждёт загрузки весов. Для рабочего сервиса ставят 30 минут или-1(не выгружать никогда).OLLAMA_MAX_LOADED_MODELS: сколько моделей одновременно в памяти. На машине с одной картой ставьте 1, иначе вторая модель вытеснит часть первой в RAM.OLLAMA_NUM_PARALLEL: сколько запросов к одной модели обрабатывается одновременно. Каждый параллельный слот резервирует память под свой контекст, поэтому значение больше 2–4 на одной карте обычно не окупается.OLLAMA_MODELS: каталог моделей. При установке скриптом по умолчанию это/usr/share/ollama/.ollama/models.
Логи службы смотрите через journald: journalctl -u ollama -f. Там видно, нашла ли Ollama видеокарту при старте, сколько слоёв ушло в GPU и почему упал запрос. Подробнее про работу с юнитами и override-файлами — в статье systemd без боли, про логи — в разборе journalctl и ELK.
Как безопасно открыть доступ к Ollama
У Ollama нет встроенной авторизации. Кто достучался до порта 11434, тот может генерировать текст на вашем железе, скачивать новые модели на ваш диск и удалять существующие. Сканеры вроде Shodan регулярно находят такие открытые серверы в интернете. Поэтому правило простое: API слушает только localhost или приватную сеть, а внешний доступ идёт через один из трёх путей.
- SSH-туннель: для одного-двух разработчиков. Порт пробрасывается на ноутбук, наружу ничего не открывается:
ssh -N -L 11434:127.0.0.1:11434 user@server. После этого локальные инструменты работают сhttp://127.0.0.1:11434, как будто модель запущена у вас. - Приватная сеть: если приложение живёт на соседней машине в той же VPC или в WireGuard-сети. Ollama слушает внутренний адрес, файрвол пускает к 11434 только адрес сервера приложения.
- Reverse proxy с авторизацией и TLS: если к модели ходят извне. Nginx или Caddy принимает HTTPS, проверяет пароль или токен и только тогда передаёт запрос на
127.0.0.1:11434.
Настройка Nginx как прокси для Ollama
Минимальный вариант для Nginx с паролем (файл паролей создаётся командой htpasswd -c /etc/nginx/.llm_users api из пакета apache2-utils или httpd-tools):
server {
listen 443 ssl;
server_name llm.example.ru;
# ssl_certificate ... (например, от certbot)
location / {
auth_basic "LLM";
auth_basic_user_file /etc/nginx/.llm_users;
proxy_pass http://127.0.0.1:11434;
proxy_set_header Host localhost:11434;
proxy_buffering off; # иначе потоковый ответ придёт одним куском
proxy_read_timeout 600s; # длинные ответы генерируются минутами
}
}
Две настройки здесь важны именно для LLM. proxy_buffering off нужен для стриминга: без него Nginx копит ответ и отдаёт его целиком в конце. proxy_read_timeout по умолчанию 60 секунд, а ответ большой модели на длинный документ может генерироваться дольше. Чтобы один клиент не занял видеокарту целиком, добавьте ограничение частоты запросов, как в статье rate limiting в Nginx. Сравнение Nginx, Traefik и HAProxy в роли прокси — в отдельном разборе reverse proxy.
Доступ к Ollama из Docker-контейнеров
Если Open WebUI или другое приложение запущено в Docker на том же сервере, контейнеру нужен доступ к Ollama на хосте. Не открывайте ради этого порт всему интернету: разрешите в файрволе только подсеть Docker, например sudo ufw allow from 172.17.0.0/16 to any port 11434 proto tcp.
Как подключить приложение к Ollama через API
У Ollama два API. Родной (/api/generate для одиночных запросов, /api/chat для диалога с историей, /api/tags для списка моделей) и OpenAI-совместимый по адресу /v1. Второй удобнее: любая библиотека или сервис, умеющий работать с OpenAI, подключится к локальной модели сменой одного адреса.
curl http://127.0.0.1:11434/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
"model": "qwen3:8b",
"messages": [
{"role": "system", "content": "Отвечай кратко, по-русски."},
{"role": "user", "content": "Чем отличается systemctl restart от reload?"}
]
}'
То же из Python через официальный клиент OpenAI. Ключ API Ollama не проверяет, но клиент требует непустую строку:
from openai import OpenAI
client = OpenAI(base_url="http://127.0.0.1:11434/v1", api_key="ollama")
resp = client.chat.completions.create(
model="qwen3:8b",
messages=[{"role": "user", "content": "Составь регулярку для IPv4"}],
)
print(resp.choices[0].message.content)
Для чата в браузере ставят Open WebUI: это веб-интерфейс в стиле ChatGPT с историей, пользователями и загрузкой документов. Он запускается одним контейнером и подключается к Ollama через переменную OLLAMA_BASE_URL. Привяжите его порт к 127.0.0.1 и выпускайте наружу через тот же Nginx с TLS.
Modelfile: своя модель с системным промптом
Чтобы каждый клиент не передавал одинаковые инструкции и параметры, их можно зашить в производную модель. Это не дообучение: веса остаются прежними, меняются только настройки по умолчанию.
# файл Modelfile
FROM qwen3:8b
PARAMETER num_ctx 8192
PARAMETER temperature 0.3
SYSTEM """Ты помощник службы поддержки хостинга. Отвечай по-русски,
коротко, с командами для Debian и Ubuntu. Если не уверен, так и скажи."""
ollama create support-ru -f Modelfile
ollama run support-ru
Параметр num_ctx задаёт длину контекста в токенах. Его стоит выставлять явно: если вы передаёте модели длинный документ, а контекст по умолчанию короче, начало документа молча обрежется и ответ будет основан на хвосте. Помните, что больший контекст расходует больше видеопамяти. После изменения проверьте ollama ps.
Ollama, llama.cpp или vLLM: что выбрать
Практический путь для большинства команд: начать с Ollama, замерить реальную нагрузку и переходить на vLLM, только если очередь запросов действительно упирается в пропускную способность. Ollama — не единственный способ запустить модель, и не всегда лучший. Под капотом у неё движок llama.cpp, а для многопользовательской нагрузки есть vLLM. Все три умеют отдавать OpenAI-совместимый API, так что приложение можно переключить между ними без переписывания кода.
| Критерий | Ollama | llama.cpp (llama-server) | vLLM |
|---|---|---|---|
| Установка | Одна команда, юнит systemd готов | Сборка из исходников или готовые бинарники | Python-пакет, нужна совместимая версия CUDA |
| Формат моделей | Своя библиотека, GGUF | GGUF | Веса с Hugging Face (safetensors) |
| Без GPU | Работает | Работает, больше ручных настроек | Рассчитан на GPU |
| Много одновременных запросов | Несколько параллельных слотов | Параллельные слоты, тонкая настройка | Сильная сторона: continuous batching, PagedAttention |
| Кому подходит | Старт, внутренние инструменты, один-два сервиса | Нужен полный контроль над параметрами запуска | Продакшен с десятками пользователей одновременно |
llama.cpp напрямую берут, когда нужна конкретная GGUF-сборка с Hugging Face или тонкие параметры, которые Ollama не пробрасывает. Сервер запускается так:
git clone https://github.com/ggml-org/llama.cpp && cd llama.cpp
cmake -B build -DGGML_CUDA=ON # без флага — сборка под CPU
cmake --build build --config Release -j
./build/bin/llama-server -m /srv/models/model-Q4_K_M.gguf \
--host 127.0.0.1 --port 8080 -c 8192
vLLM нужен, когда к модели одновременно обращаются десятки пользователей или сервисов. Он объединяет запросы в пакеты на лету и экономно распределяет память под контекст, поэтому суммарная пропускная способность на той же карте получается в разы выше. Цена — требовательность: нужен GPU, модели занимают больше памяти, чем 4-битные GGUF, а запуск чувствителен к версиям драйвера и CUDA.
python3 -m venv /opt/vllm && /opt/vllm/bin/pip install vllm
/opt/vllm/bin/vllm serve Qwen/Qwen3-8B --host 127.0.0.1 --port 8000
Документация по параметрам — у Ollama и vLLM.
Когда локальной модели недостаточно
Модель на сервере отвечает на вопросы и обрабатывает текст, который ей передали. Она ничего не знает о ваших документах, если их не положить в запрос, и ничего не делает в ваших системах. Как только задача звучит как «пусть сама найдёт заказ клиента и оформит возврат», к модели добавляются ещё три слоя:
- Поиск по своим данным (RAG). Документы режутся на фрагменты, индексируются, и в каждый запрос подставляются только подходящие куски. От качества нарезки и поиска зависит больше, чем от размера модели.
- Вызов инструментов. Ollama поддерживает tool calling в
/api/chat: модель отвечает не текстом, а структурированным вызовом функции. Сами функции (запрос в CRM, создание тикета) пишет и защищает разработчик. - Контроль действий. Права на запись, подтверждение опасных операций человеком, журнал всех вызовов, проверка ответов на тестовом наборе. Без этого агент рано или поздно сделает что-то не то от вашего имени.
Администратор отвечает за то, чтобы модель была доступна, быстра и закрыта от посторонних. Логика агента — отдельный проект со своими тестами. Для наблюдения за самим сервером подключите метрики GPU и памяти к мониторингу, как в статье Мониторинг: Prometheus и Grafana: падение скорости генерации часто первым показывает, что модель вылезла из видеопамяти.
Частые проблемы с Ollama и их решение
- Модель работает на CPU, хотя GPU есть. Посмотрите
journalctl -u ollamaсразу после старта: если карта не найдена, проверьтеnvidia-smiи переустановите Ollama после установки драйвера, чтобы скрипт докачал GPU-библиотеки. - Первый запрос отвечает 20–60 секунд. Это загрузка весов в память. Увеличьте
OLLAMA_KEEP_ALIVEили прогревайте модель пустым запросом после рестарта. - Процесс убит без ошибок. Скорее всего, OOM-killer: проверьте
journalctl -k | grep -i oom. Возьмите модель меньше, сократитеnum_ctxилиOLLAMA_NUM_PARALLEL. - Ответ обрывается или игнорирует начало документа. Документ не влез в контекст. Увеличьте
num_ctxчерез Modelfile или параметр запроса. - Через прокси ответ приходит целиком в конце или обрывается по таймауту. Включите
proxy_buffering offи увеличьтеproxy_read_timeout.
Частые вопросы о локальной LLM на Linux-сервере
Какую модель выбрать для русского языка?
Начните с Qwen3 на 8 или 14 млрд параметров: она уверенно пишет по-русски и помещается в карту на 8–16 ГБ. Gemma 3 на 12 млрд — хорошая альтернатива. Проверяйте на своих задачах: возьмите 20–30 реальных запросов и сравните ответы двух-трёх моделей, прежде чем выбирать.
Сколько стоит держать свою модель по сравнению с облачным API?
Зависит от объёма. При редких запросах облачный API дешевле: сервер с GPU оплачивается круглосуточно, даже когда простаивает. Свой сервер окупается при постоянной нагрузке или когда данные нельзя передавать наружу. Посчитайте, сколько токенов в месяц вы реально тратите, и сравните с арендой GPU-сервера.
Можно ли дообучить модель в Ollama?
Нет. Modelfile меняет только системный промпт и параметры. Дообучение (например, LoRA) делается отдельными инструментами на Python, после чего результат конвертируют в GGUF и подключают к Ollama через FROM и ADAPTER. Для большинства задач с документами вместо дообучения достаточно RAG.
Безопасно ли открыть порт 11434 в интернет?
Нет. У Ollama нет авторизации: любой, кто найдёт порт, получит доступ к генерации и управлению моделями. Оставьте API на 127.0.0.1 и выпускайте наружу только через SSH-туннель, приватную сеть или reverse proxy с паролем и TLS.
Чем Ollama отличается от llama.cpp?
Ollama построена поверх llama.cpp и добавляет к нему каталог моделей, автоматический выбор настроек под железо, службу systemd и удобный API. llama.cpp напрямую даёт больше контроля над параметрами запуска, но всё это приходится настраивать вручную.
Нужен ли Docker для Ollama?
Нет. Установка скриптом даёт обычную службу systemd, и для одного сервера это самый простой вариант. Docker удобен, если весь стек уже в контейнерах или нужно быстро переносить окружение между машинами.