Архив рассылок сообщества снова открыт. Читать письма 2003-2009
Главная/Блог/Инфраструктура
Инфраструктура17 мин чтенияНиколай Ковалёв

Локальная нейросеть на Linux-сервере: Ollama, llama.cpp и vLLM на практике

Память и выбор модели, установка и настройка Ollama через systemd, безопасный доступ, OpenAI-совместимый API, Modelfile и сравнение с llama.cpp и vLLM.

Серверная стойка с видеокартой и подсвеченным вентилятором в полутёмной серверной

Коротко: чтобы запустить локальную нейросеть на Linux-сервере, проще всего поставить Ollama одной командой, скачать квантованную модель на 7–14 млрд параметров и обращаться к ней по HTTP API на порту 11434. Главное ограничение — память: модель должна целиком помещаться в VRAM видеокарты, иначе скорость падает в разы. Порт 11434 наружу не открывают: у Ollama нет авторизации. Для одного пользователя хватает Ollama, для десятков параллельных запросов берут vLLM.

Своя модель на своём железе нужна в трёх случаях: данные нельзя отправлять во внешние API (договоры, переписка с клиентами, исходники), запросов много и платить за токены дорого, или нужен предсказуемый сервис без лимитов и внезапных изменений у провайдера. Ещё два года назад это требовало Python-окружения, ручной сборки CUDA и танцев с форматами весов. Сейчас базовый сценарий укладывается в десять минут.

Поднять модель и закрыть её от интернета — работа администратора, и ниже она разобрана целиком. Отдельная история — когда модель должна не только отвечать в чате, а сама ходить в CRM, базу заказов или тикет-систему и выполнять действия. Это уже разработка с интеграциями и проверкой каждого шага, и её обычно отдают на создание ИИ-агента под задачи компании. Начнём с сервера.

Сколько памяти нужно для локальной LLM

Объём памяти определяет, какую модель вы вообще сможете запустить. Процессор и диск вторичны. Ollama по умолчанию скачивает модели в 4-битной квантизации (формат GGUF, вариант Q4_K_M): веса сжаты примерно вчетверо по сравнению с исходными, качество при этом падает незначительно.

Грубое правило: на каждый миллиард параметров в Q4 нужно около 0,6 ГБ памяти под веса, плюс 1–4 ГБ под контекст (историю диалога и входной документ). Чем длиннее контекст, тем больше уходит памяти сверх весов.

Размер моделиВеса в Q4Где запускатьДля чего хватает
1–4 млрд1–3 ГБVPS без GPU, 8 ГБ RAMКлассификация, извлечение полей, короткие ответы
7–8 млрдоколо 5 ГБGPU 8 ГБ или 16 ГБ RAMРезюме, черновики писем, простой код
12–14 млрд8–9 ГБGPU 12–16 ГБОтветы по документам, уверенный русский язык
27–32 млрд17–20 ГБGPU 24 ГБСложные рассуждения, длинные тексты, код
70 млрдоколо 43 ГБДве карты по 24 ГБ или одна на 48 ГБКачество, близкое к облачным моделям среднего класса

Можно ли запустить нейросеть без видеокарты

Да, но медленно. На обычном VPS без GPU модель на 3–4 млрд параметров выдаёт порядка 5–10 токенов в секунду, модель на 8 млрд — ещё в несколько раз меньше. Для фоновой обработки (разметить за ночь тысячу обращений) этого достаточно. Для чата, где человек ждёт ответа, нет. Скорость на CPU упирается в пропускную способность памяти, поэтому больше ядер помогает слабо.

Что будет, если модель не влезла в видеопамять

Ollama не упадёт: она разложит часть слоёв в VRAM, часть в обычную RAM. Работать будет, но скорость окажется ближе к CPU-варианту, чем к GPU. Проверить раскладку можно командой ollama ps, это разобрано ниже. Если видите там что-то кроме «100% GPU», берите модель поменьше или квантизацию сильнее.

Подготовка сервера: драйвер, диск и защита

Подойдёт любой актуальный дистрибутив с systemd: Ubuntu 24.04, Debian 13, AlmaLinux 9. До установки Ollama сделайте три вещи.

  1. Драйвер видеокарты. Для NVIDIA поставьте проприетарный драйвер из репозитория дистрибутива (на Ubuntu — sudo ubuntu-drivers install) и перезагрузитесь. Команда nvidia-smi должна показать карту и объём памяти. CUDA Toolkit отдельно ставить не нужно, нужные библиотеки Ollama привозит с собой. Для AMD нужен ROCm-совместимый драйвер.
  2. Место на диске. Модель на 14 млрд весит около 9 ГБ, и обычно хочется держать две-три модели. Заложите 50–100 ГБ на быстром SSD. Если корень маленький, модели можно положить на отдельный раздел (переменная OLLAMA_MODELS, ниже).
  3. Базовая защита. SSH по ключам, файрвол с политикой «запрещено всё входящее, кроме нужного». Порядок описан в гайде Защита Linux-сервера: база и в статье SSH-ключи вместо пароля.

На VPS без GPU с 4–8 ГБ памяти добавьте swap на 4 ГБ: если модель с контекстом чуть не помещается, OOM-killer убьёт процесс без предупреждения.

sudo fallocate -l 4G /swapfile
sudo chmod 600 /swapfile
sudo mkswap /swapfile && sudo swapon /swapfile
echo '/swapfile none swap sw 0 0' | sudo tee -a /etc/fstab

Как установить Ollama на Linux

Официальный способ — скрипт установки. Он кладёт бинарник в /usr/local/bin, создаёт системного пользователя ollama и юнит ollama.service, определяет видеокарту и докачивает нужные библиотеки.

curl -fsSL https://ollama.com/install.sh | sh
# проверка
ollama -v
systemctl status ollama
curl http://127.0.0.1:11434/   # ответ: Ollama is running

Если не хотите запускать скрипт из интернета под root, сначала скачайте его и прочитайте: curl -fsSL https://ollama.com/install.sh -o install.sh. Есть и вариант в Docker (образ ollama/ollama), он удобен, если на сервере уже всё живёт в контейнерах; для GPU понадобится NVIDIA Container Toolkit. Основы работы с контейнерами — в статье Docker: контейнеры простыми словами.

Обновление делается тем же скриптом: повторный запуск ставит свежую версию поверх старой, модели и настройки сохраняются.

Первая модель: скачать, запустить, проверить скорость

Модели берутся из библиотеки на сайте Ollama по имени и тегу. Для русского языка на старте хорошо подходят семейства Qwen и Gemma, для рассуждений — DeepSeek-R1 в дистиллированных вариантах.

ollama pull qwen3:8b          # скачать
ollama run qwen3:8b           # интерактивный чат в терминале, выход — /bye
ollama list                   # что скачано
ollama ps                     # что сейчас в памяти и где (CPU/GPU)
ollama show qwen3:8b          # параметры и длина контекста
ollama stop qwen3:8b          # выгрузить из памяти
ollama rm qwen3:8b            # удалить с диска

Как измерить скорость генерации

Запустите модель с флагом --verbose: после каждого ответа Ollama напечатает статистику. Смотрите на строку eval rate, это скорость генерации в токенах в секунду. Комфортно читать от 15–20 токенов в секунду, ниже 5 — уже ожидание.

ollama run qwen3:8b --verbose
# ...
# prompt eval rate:  410.25 tokens/s   (чтение запроса)
# eval rate:          48.10 tokens/s   (генерация ответа)

Сразу после этого выполните ollama ps в соседнем терминале. В колонке PROCESSOR должно стоять 100% GPU. Запись вида 35%/65% CPU/GPU означает, что модель не влезла в видеопамять и часть слоёв считается процессором.

Настройка Ollama через systemd

Все параметры сервера задаются переменными окружения юнита. Правьте не сам ollama.service (его перезапишет следующее обновление), а override-файл:

sudo systemctl edit ollama
[Service]
Environment="OLLAMA_HOST=127.0.0.1:11434"
Environment="OLLAMA_KEEP_ALIVE=30m"
Environment="OLLAMA_MAX_LOADED_MODELS=1"
Environment="OLLAMA_NUM_PARALLEL=2"
Environment="OLLAMA_MODELS=/srv/ollama/models"
sudo mkdir -p /srv/ollama/models && sudo chown -R ollama:ollama /srv/ollama
sudo systemctl daemon-reload
sudo systemctl restart ollama

Что делает каждая переменная:

  • OLLAMA_HOST: адрес и порт API. По умолчанию 127.0.0.1:11434, то есть доступ только с самого сервера. Менять на 0.0.0.0 стоит, только если перед этим закрыт файрвол (см. следующий раздел).
  • OLLAMA_KEEP_ALIVE: сколько модель держится в памяти после последнего запроса. По умолчанию 5 минут, после чего первый запрос снова ждёт загрузки весов. Для рабочего сервиса ставят 30 минут или -1 (не выгружать никогда).
  • OLLAMA_MAX_LOADED_MODELS: сколько моделей одновременно в памяти. На машине с одной картой ставьте 1, иначе вторая модель вытеснит часть первой в RAM.
  • OLLAMA_NUM_PARALLEL: сколько запросов к одной модели обрабатывается одновременно. Каждый параллельный слот резервирует память под свой контекст, поэтому значение больше 2–4 на одной карте обычно не окупается.
  • OLLAMA_MODELS: каталог моделей. При установке скриптом по умолчанию это /usr/share/ollama/.ollama/models.

Логи службы смотрите через journald: journalctl -u ollama -f. Там видно, нашла ли Ollama видеокарту при старте, сколько слоёв ушло в GPU и почему упал запрос. Подробнее про работу с юнитами и override-файлами — в статье systemd без боли, про логи — в разборе journalctl и ELK.

Как безопасно открыть доступ к Ollama

У Ollama нет встроенной авторизации. Кто достучался до порта 11434, тот может генерировать текст на вашем железе, скачивать новые модели на ваш диск и удалять существующие. Сканеры вроде Shodan регулярно находят такие открытые серверы в интернете. Поэтому правило простое: API слушает только localhost или приватную сеть, а внешний доступ идёт через один из трёх путей.

  1. SSH-туннель: для одного-двух разработчиков. Порт пробрасывается на ноутбук, наружу ничего не открывается: ssh -N -L 11434:127.0.0.1:11434 user@server. После этого локальные инструменты работают с http://127.0.0.1:11434, как будто модель запущена у вас.
  2. Приватная сеть: если приложение живёт на соседней машине в той же VPC или в WireGuard-сети. Ollama слушает внутренний адрес, файрвол пускает к 11434 только адрес сервера приложения.
  3. Reverse proxy с авторизацией и TLS: если к модели ходят извне. Nginx или Caddy принимает HTTPS, проверяет пароль или токен и только тогда передаёт запрос на 127.0.0.1:11434.

Настройка Nginx как прокси для Ollama

Минимальный вариант для Nginx с паролем (файл паролей создаётся командой htpasswd -c /etc/nginx/.llm_users api из пакета apache2-utils или httpd-tools):

server {
    listen 443 ssl;
    server_name llm.example.ru;
    # ssl_certificate ... (например, от certbot)

    location / {
        auth_basic "LLM";
        auth_basic_user_file /etc/nginx/.llm_users;
        proxy_pass http://127.0.0.1:11434;
        proxy_set_header Host localhost:11434;
        proxy_buffering off;          # иначе потоковый ответ придёт одним куском
        proxy_read_timeout 600s;      # длинные ответы генерируются минутами
    }
}

Две настройки здесь важны именно для LLM. proxy_buffering off нужен для стриминга: без него Nginx копит ответ и отдаёт его целиком в конце. proxy_read_timeout по умолчанию 60 секунд, а ответ большой модели на длинный документ может генерироваться дольше. Чтобы один клиент не занял видеокарту целиком, добавьте ограничение частоты запросов, как в статье rate limiting в Nginx. Сравнение Nginx, Traefik и HAProxy в роли прокси — в отдельном разборе reverse proxy.

Доступ к Ollama из Docker-контейнеров

Если Open WebUI или другое приложение запущено в Docker на том же сервере, контейнеру нужен доступ к Ollama на хосте. Не открывайте ради этого порт всему интернету: разрешите в файрволе только подсеть Docker, например sudo ufw allow from 172.17.0.0/16 to any port 11434 proto tcp.

Как подключить приложение к Ollama через API

У Ollama два API. Родной (/api/generate для одиночных запросов, /api/chat для диалога с историей, /api/tags для списка моделей) и OpenAI-совместимый по адресу /v1. Второй удобнее: любая библиотека или сервис, умеющий работать с OpenAI, подключится к локальной модели сменой одного адреса.

curl http://127.0.0.1:11434/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "qwen3:8b",
    "messages": [
      {"role": "system", "content": "Отвечай кратко, по-русски."},
      {"role": "user", "content": "Чем отличается systemctl restart от reload?"}
    ]
  }'

То же из Python через официальный клиент OpenAI. Ключ API Ollama не проверяет, но клиент требует непустую строку:

from openai import OpenAI

client = OpenAI(base_url="http://127.0.0.1:11434/v1", api_key="ollama")
resp = client.chat.completions.create(
    model="qwen3:8b",
    messages=[{"role": "user", "content": "Составь регулярку для IPv4"}],
)
print(resp.choices[0].message.content)

Для чата в браузере ставят Open WebUI: это веб-интерфейс в стиле ChatGPT с историей, пользователями и загрузкой документов. Он запускается одним контейнером и подключается к Ollama через переменную OLLAMA_BASE_URL. Привяжите его порт к 127.0.0.1 и выпускайте наружу через тот же Nginx с TLS.

Modelfile: своя модель с системным промптом

Чтобы каждый клиент не передавал одинаковые инструкции и параметры, их можно зашить в производную модель. Это не дообучение: веса остаются прежними, меняются только настройки по умолчанию.

# файл Modelfile
FROM qwen3:8b
PARAMETER num_ctx 8192
PARAMETER temperature 0.3
SYSTEM """Ты помощник службы поддержки хостинга. Отвечай по-русски,
коротко, с командами для Debian и Ubuntu. Если не уверен, так и скажи."""
ollama create support-ru -f Modelfile
ollama run support-ru

Параметр num_ctx задаёт длину контекста в токенах. Его стоит выставлять явно: если вы передаёте модели длинный документ, а контекст по умолчанию короче, начало документа молча обрежется и ответ будет основан на хвосте. Помните, что больший контекст расходует больше видеопамяти. После изменения проверьте ollama ps.

Ollama, llama.cpp или vLLM: что выбрать

Практический путь для большинства команд: начать с Ollama, замерить реальную нагрузку и переходить на vLLM, только если очередь запросов действительно упирается в пропускную способность. Ollama — не единственный способ запустить модель, и не всегда лучший. Под капотом у неё движок llama.cpp, а для многопользовательской нагрузки есть vLLM. Все три умеют отдавать OpenAI-совместимый API, так что приложение можно переключить между ними без переписывания кода.

КритерийOllamallama.cpp (llama-server)vLLM
УстановкаОдна команда, юнит systemd готовСборка из исходников или готовые бинарникиPython-пакет, нужна совместимая версия CUDA
Формат моделейСвоя библиотека, GGUFGGUFВеса с Hugging Face (safetensors)
Без GPUРаботаетРаботает, больше ручных настроекРассчитан на GPU
Много одновременных запросовНесколько параллельных слотовПараллельные слоты, тонкая настройкаСильная сторона: continuous batching, PagedAttention
Кому подходитСтарт, внутренние инструменты, один-два сервисаНужен полный контроль над параметрами запускаПродакшен с десятками пользователей одновременно

llama.cpp напрямую берут, когда нужна конкретная GGUF-сборка с Hugging Face или тонкие параметры, которые Ollama не пробрасывает. Сервер запускается так:

git clone https://github.com/ggml-org/llama.cpp && cd llama.cpp
cmake -B build -DGGML_CUDA=ON          # без флага — сборка под CPU
cmake --build build --config Release -j
./build/bin/llama-server -m /srv/models/model-Q4_K_M.gguf \
  --host 127.0.0.1 --port 8080 -c 8192

vLLM нужен, когда к модели одновременно обращаются десятки пользователей или сервисов. Он объединяет запросы в пакеты на лету и экономно распределяет память под контекст, поэтому суммарная пропускная способность на той же карте получается в разы выше. Цена — требовательность: нужен GPU, модели занимают больше памяти, чем 4-битные GGUF, а запуск чувствителен к версиям драйвера и CUDA.

python3 -m venv /opt/vllm && /opt/vllm/bin/pip install vllm
/opt/vllm/bin/vllm serve Qwen/Qwen3-8B --host 127.0.0.1 --port 8000

Документация по параметрам — у Ollama и vLLM.

Когда локальной модели недостаточно

Модель на сервере отвечает на вопросы и обрабатывает текст, который ей передали. Она ничего не знает о ваших документах, если их не положить в запрос, и ничего не делает в ваших системах. Как только задача звучит как «пусть сама найдёт заказ клиента и оформит возврат», к модели добавляются ещё три слоя:

  • Поиск по своим данным (RAG). Документы режутся на фрагменты, индексируются, и в каждый запрос подставляются только подходящие куски. От качества нарезки и поиска зависит больше, чем от размера модели.
  • Вызов инструментов. Ollama поддерживает tool calling в /api/chat: модель отвечает не текстом, а структурированным вызовом функции. Сами функции (запрос в CRM, создание тикета) пишет и защищает разработчик.
  • Контроль действий. Права на запись, подтверждение опасных операций человеком, журнал всех вызовов, проверка ответов на тестовом наборе. Без этого агент рано или поздно сделает что-то не то от вашего имени.

Администратор отвечает за то, чтобы модель была доступна, быстра и закрыта от посторонних. Логика агента — отдельный проект со своими тестами. Для наблюдения за самим сервером подключите метрики GPU и памяти к мониторингу, как в статье Мониторинг: Prometheus и Grafana: падение скорости генерации часто первым показывает, что модель вылезла из видеопамяти.

Частые проблемы с Ollama и их решение

  • Модель работает на CPU, хотя GPU есть. Посмотрите journalctl -u ollama сразу после старта: если карта не найдена, проверьте nvidia-smi и переустановите Ollama после установки драйвера, чтобы скрипт докачал GPU-библиотеки.
  • Первый запрос отвечает 20–60 секунд. Это загрузка весов в память. Увеличьте OLLAMA_KEEP_ALIVE или прогревайте модель пустым запросом после рестарта.
  • Процесс убит без ошибок. Скорее всего, OOM-killer: проверьте journalctl -k | grep -i oom. Возьмите модель меньше, сократите num_ctx или OLLAMA_NUM_PARALLEL.
  • Ответ обрывается или игнорирует начало документа. Документ не влез в контекст. Увеличьте num_ctx через Modelfile или параметр запроса.
  • Через прокси ответ приходит целиком в конце или обрывается по таймауту. Включите proxy_buffering off и увеличьте proxy_read_timeout.

Частые вопросы о локальной LLM на Linux-сервере

Какую модель выбрать для русского языка?

Начните с Qwen3 на 8 или 14 млрд параметров: она уверенно пишет по-русски и помещается в карту на 8–16 ГБ. Gemma 3 на 12 млрд — хорошая альтернатива. Проверяйте на своих задачах: возьмите 20–30 реальных запросов и сравните ответы двух-трёх моделей, прежде чем выбирать.

Сколько стоит держать свою модель по сравнению с облачным API?

Зависит от объёма. При редких запросах облачный API дешевле: сервер с GPU оплачивается круглосуточно, даже когда простаивает. Свой сервер окупается при постоянной нагрузке или когда данные нельзя передавать наружу. Посчитайте, сколько токенов в месяц вы реально тратите, и сравните с арендой GPU-сервера.

Можно ли дообучить модель в Ollama?

Нет. Modelfile меняет только системный промпт и параметры. Дообучение (например, LoRA) делается отдельными инструментами на Python, после чего результат конвертируют в GGUF и подключают к Ollama через FROM и ADAPTER. Для большинства задач с документами вместо дообучения достаточно RAG.

Безопасно ли открыть порт 11434 в интернет?

Нет. У Ollama нет авторизации: любой, кто найдёт порт, получит доступ к генерации и управлению моделями. Оставьте API на 127.0.0.1 и выпускайте наружу только через SSH-туннель, приватную сеть или reverse proxy с паролем и TLS.

Чем Ollama отличается от llama.cpp?

Ollama построена поверх llama.cpp и добавляет к нему каталог моделей, автоматический выбор настроек под железо, службу systemd и удобный API. llama.cpp напрямую даёт больше контроля над параметрами запуска, но всё это приходится настраивать вручную.

Нужен ли Docker для Ollama?

Нет. Установка скриптом даёт обычную службу systemd, и для одного сервера это самый простой вариант. Docker удобен, если весь стек уже в контейнерах или нужно быстро переносить окружение между машинами.