Архив рассылок сообщества снова открыт. Читать письма 2003-2009
Главная/Блог/Эксплуатация
Эксплуатация15 мин чтенияНиколай Ковалёв

Нагрузочное тестирование сервера на Linux: ab, wrk и k6 на практике

Подготовка стенда, быстрые проверки через ab, поиск предела с wrk и wrk2, сценарии и пороги в k6, метрики сервера во время теста и типичные ошибки.

Серверная стойка с индикаторами и потоками сетевого трафика в тёмной серверной

Коротко: чтобы проверить, сколько выдержит Linux-сервер, запускайте нагрузку с отдельной машины, а не с самого сервера. Начните с ab для одной страницы, предел ищите через wrk, а сценарии со ступенями и критериями успеха пишите в k6. Смотрите не на среднее время ответа, а на перцентили p95 и p99 и долю ошибок. Параллельно следите за CPU, памятью, диском и сетью самого сервера: так видно, во что упирается система.

Сервер, который спокойно отвечает за 80 мс в будни, может лечь в первый же час распродажи или после поста у крупного блогера. Узнать это заранее помогает нагрузочный тест: вы сами создаёте поток запросов, плавно его увеличиваете и смотрите, где растёт задержка, где появляются ошибки и какой ресурс кончается первым. Все нужные утилиты бесплатны и ставятся одной командой.

Ниже разобрано то, что администратор может сделать сам за вечер: проверить сервер, nginx или отдельный API утилитами из консоли. Если же проверять нужно продукт целиком, с авторизацией, корзиной, очередями, реалистичным поведением пользователей и отчётом перед запуском рекламы, такую работу обычно отдают специалистам: нагрузочное тестирование сервера и приложения там идёт по плану, на копии продакшена и с разбором узких мест в коде.

Какие бывают нагрузочные тесты

Нагрузочным тестированием часто называют любую стрельбу запросами по серверу, но у тестов разные цели. От цели зависит, сколько длится прогон и как растёт нагрузка.

Тип тестаВопрос, на который отвечаетКак строится
Нагрузочный (load)Держит ли сервер ожидаемый трафикПостоянная нагрузка на уровне обычного пика, 10–30 минут
Стресс-тест (stress)Где предел и как сервер падаетНагрузка растёт ступенями, пока не начнутся ошибки
Пиковый (spike)Переживёт ли резкий всплескЗа секунды нагрузка вырастает в 5–10 раз, потом падает
На стабильность (soak)Нет ли утечек памяти и деградации со временемУмеренная нагрузка на несколько часов

Для первого знакомства с сервером хватает двух прогонов: нагрузочного на ожидаемом уровне и ступенчатого стресс-теста, чтобы найти предел.

Какие метрики смотреть при нагрузочном тесте

Главные метрики нагрузочного теста — пропускная способность, задержка в перцентилях, доля ошибок и загрузка ресурсов сервера. По отдельности каждая из них вводит в заблуждение, смотреть надо все четыре вместе.

  • RPS (запросов в секунду): сколько ответов сервер успевает отдать. Сам по себе ничего не значит: высокий RPS при ответах 502 — это не успех.
  • Задержка, p50/p95/p99: время ответа, в которое укладываются 50, 95 и 99 % запросов. Именно хвост (p99) показывает, что видят самые невезучие пользователи.
  • Ошибки: ответы 5xx, таймауты, сброшенные соединения. Для веб-сервиса обычный порог — меньше 1 %.
  • Насыщение ресурсов: CPU, память, диск, сеть, лимиты соединений. Это ответ на вопрос «почему».

Почему среднее время ответа обманывает

Среднее прячет хвост. Если 95 запросов из 100 отвечают за 50 мс, а пять — за 3 секунды, среднее будет около 200 мс, и выглядит это прилично. Но каждый двадцатый пользователь ждёт три секунды, а страница, которая делает 20 запросов к API, примерно в двух случаях из трёх наткнётся хотя бы на один медленный. Поэтому критерии успеха формулируют через перцентили: например, «p95 меньше 500 мс, p99 меньше 1,5 с, ошибок меньше 1 %».

Что такое coordinated omission

Coordinated omission — ошибка измерения, при которой инструмент занижает задержки под нагрузкой. Классический wrk и ab отправляют следующий запрос только после ответа на предыдущий. Когда сервер притормаживает, генератор тоже замедляется, и запросы, которые должны были уйти в момент затыка, просто не отправляются и не попадают в статистику. Итог: перцентили выглядят лучше, чем было на самом деле. Лечится это генераторами с фиксированной частотой запросов: wrk2 с ключом -R или режимом constant-arrival-rate в k6.

Как подготовить стенд к тесту

Правильный стенд — это генератор нагрузки на отдельной машине, цель, похожая на продакшен, и снятые лимиты на обеих сторонах. Половина неверных результатов получается из-за того, что упёрся не сервер, а сам генератор.

  1. Генератор отдельно от цели. Если запускать wrk на том же сервере, он отнимает CPU у приложения, а сеть идёт через loopback, без реальных задержек. Возьмите отдельный VPS в том же дата-центре или регионе.
  2. Цель похожа на прод. Та же версия приложения, тот же объём базы, те же настройки nginx. Тест на пустой базе покажет красивые цифры, которые ничего не значат.
  3. Не стреляйте по продакшену без договорённости. Тест мешает живым пользователям, а провайдер или CDN могут принять его за DDoS и заблокировать адрес. Предупредите хостинг и добавьте IP генератора в белый список WAF и rate limiting, иначе вы измерите лимиты защиты, а не сервера.
  4. Поднимите лимиты на генераторе. Каждое соединение — это файловый дескриптор и локальный порт.
# на генераторе нагрузки
ulimit -n 65535
sudo sysctl -w net.ipv4.ip_local_port_range="1024 65535"
sudo sysctl -w net.ipv4.tcp_tw_reuse=1

На целевом сервере проверьте worker_connections и worker_rlimit_nofile в nginx, размер пула соединений к базе и параметр net.core.somaxconn. Значения по умолчанию часто становятся пределом раньше, чем железо.

ab: быстрая проверка одной страницы

ApacheBench (ab) подходит для быстрой проверки одного URL: он есть почти везде и запускается без подготовки. Ставится вместе с утилитами Apache, сам веб-сервер Apache при этом не нужен.

sudo apt install apache2-utils     # Debian, Ubuntu
sudo dnf install httpd-tools       # AlmaLinux, Rocky, Fedora

# 5000 запросов, 50 одновременно, с keep-alive
ab -n 5000 -c 50 -k https://staging.example.com/

В отчёте смотрите на строки Requests per second, Failed requests, Non-2xx responses и таблицу Percentage of the requests served within a certain time — это и есть перцентили. Ключ -k включает keep-alive: без него каждое соединение заново проходит TCP- и TLS-рукопожатие, и вы меряете в основном стоимость установки соединения.

Ограничения у ab серьёзные: он однопоточный, говорит только на HTTP/1.0 и на мощном сервере сам упирается в одно ядро раньше цели. Для ответа «страница вообще держит 50 параллельных клиентов?» его хватает, для поиска предела — нет.

wrk и wrk2: высокая нагрузка с одной машины

wrk — многопоточный генератор HTTP-нагрузки: с одной машины он создаёт в разы больше запросов, чем ab, и сам почти не тратит CPU. В Debian и Ubuntu он есть в репозитории, в других дистрибутивах собирается из исходников за минуту.

sudo apt install wrk

# 4 потока, 200 соединений, 60 секунд, подробные перцентили
wrk -t4 -c200 -d60s --latency https://staging.example.com/

Число потоков (-t) ставьте равным числу ядер генератора, а соединения (-c) увеличивайте от прогона к прогону. В выводе смотрите блок Latency Distribution с перцентилями 50/75/90/99, итоговую строку Requests/sec и строку Non-2xx or 3xx responses, если она появилась. Ошибки сокетов (Socket errors: connect, read, write, timeout) означают, что сервер перестал принимать соединения или не успевает отвечать.

Как отправить POST-запрос через wrk

Для POST-запросов и заголовков в wrk используется скрипт на Lua. Файл post.lua:

wrk.method = "POST"
wrk.body   = '{"query":"linux","limit":20}'
wrk.headers["Content-Type"] = "application/json"
wrk -t2 -c50 -d30s -s post.lua https://staging.example.com/api/search

Когда брать wrk2

wrk2 — форк wrk, который держит заданную частоту запросов и корректно считает задержки с учётом coordinated omission. Частота задаётся обязательным ключом -R: например, -R2000 означает ровно 2000 запросов в секунду, независимо от того, успевает сервер или нет. В репозиториях его обычно нет, собирается из исходников (git clone, make), а бинарник тоже называется wrk. Используйте wrk2, когда нужен честный ответ на вопрос «какая будет задержка при 2000 RPS», а обычный wrk — когда ищете максимальную пропускную способность.

k6: сценарии, ступени нагрузки и пороги

k6 — инструмент, в котором тест описывается сценарием на JavaScript: ступени нагрузки, проверки ответов и пороги успеха задаются кодом. Сценарий хранится в git рядом с приложением, а при провале порогов k6 завершается с ненулевым кодом, поэтому тест легко встроить в CI. Сам k6 написан на Go и работает как один бинарник без Node.js.

В стандартных репозиториях дистрибутивов k6 нет: его ставят из репозитория dl.k6.io (ключ и строку для apt берите из официальной инструкции по установке) или запускают в Docker без установки:

docker run --rm -i grafana/k6 run - < test.js

Сценарий ступенчатого теста с порогами, файл test.js:

import http from 'k6/http';
import { check, sleep } from 'k6';

export const options = {
  stages: [
    { duration: '2m', target: 50 },   // разгон до 50 виртуальных пользователей
    { duration: '5m', target: 50 },   // держим
    { duration: '2m', target: 200 },  // поднимаем до 200
    { duration: '5m', target: 200 },  // держим
    { duration: '2m', target: 0 },    // плавно снимаем
  ],
  thresholds: {
    http_req_failed: ['rate<0.01'],                  // ошибок меньше 1 %
    http_req_duration: ['p(95)<500', 'p(99)<1500'], // мс
  },
};

export default function () {
  const res = http.get('https://staging.example.com/catalog');
  check(res, { 'статус 200': (r) => r.status === 200 });
  sleep(1); // пауза «пользователя» между действиями
}
k6 run test.js

В итоговой сводке ищите http_req_duration с перцентилями, http_req_failed, http_reqs (общее число и RPS) и отметки у порогов. Если порог не выполнен, k6 выходит с кодом 99, и задача в CI падает. Строка sleep(1) важна: без пауз 200 виртуальных пользователей создают нагрузку, как несколько тысяч реальных, и результат перестаёт соответствовать жизни.

Чем отличаются ab, wrk, wrk2, k6, JMeter и Locust

Выбор инструмента зависит от задачи: для быстрой проверки — ab, для поиска предела — wrk, для честной задержки при фиксированном RPS — wrk2, для сценариев и CI — k6.

ИнструментСильная сторонаСлабое местоКогда брать
abЕсть почти везде, ноль настройкиОдин поток, только HTTP/1.0Проверка одной страницы за минуту
wrkОчень высокий RPS с одной машиныЗанижает задержки под перегрузкойПоиск максимальной пропускной способности
wrk2Фиксированный RPS, честные перцентилиНет в репозиториях, сборка вручнуюЗадержка при заданном трафике
k6Сценарии на JS, ступени, пороги, CIНужно писать код сценарияПользовательские сценарии, регулярные тесты
JMeterGUI, много протоколов, плагиныJava, тяжёлый, XML-сценарииКоманды QA, нестандартные протоколы
LocustСценарии на Python, веб-интерфейсМеньше RPS с одной машиныКоманды, которые пишут на Python

Что смотреть на сервере во время нагрузочного теста

Цифры генератора говорят, что сервер замедлился, а метрики самого сервера — почему. Откройте на целевой машине несколько терминалов (удобно в tmux) и держите их перед глазами весь прогон.

vmstat 1              # очередь процессов (r), swap (si/so), ожидание диска (wa)
mpstat -P ALL 1       # загрузка каждого ядра: одно ядро в 100 % — однопоточный узкий участок
iostat -x 1           # %util и await дисков
ss -s                 # сколько соединений, сколько в TIME-WAIT
sudo dmesg -w         # OOM killer, переполнение conntrack

Утилиты mpstat и iostat входят в пакет sysstat. Типичные находки и что они значат:

  • CPU у приложения под 100 %, у nginx нет: упираетесь в код или в число воркеров (PHP-FPM, Gunicorn, Node.js).
  • CPU свободен, а задержка растёт: запросы ждут чего-то внешнего: базу, блокировки, медленный внешний API, пул соединений.
  • Высокий wa и %util диска: база или логи упираются в диск. Помогает индекс, кеш или более быстрый диск.
  • В dmesg строка nf_conntrack: table full, dropping packet: переполнена таблица отслеживания соединений, пакеты теряются. Поднимите net.netfilter.nf_conntrack_max.
  • Ошибки 502/504 в логе nginx: бэкенд не отвечает или не успевает за таймаут: смотрите лог приложения, а не nginx.

Если на сервере уже настроен мониторинг (Prometheus с Grafana, Zabbix), запишите время начала и конца каждой ступени: потом графики легко сопоставить с результатами теста.

Как найти предел сервера

Предел сервера — это точка, после которой RPS перестаёт расти, а задержка и ошибки резко увеличиваются. Ищут её ступенчатым тестом.

  1. Задайте критерий успеха: например, p95 меньше 500 мс и ошибок меньше 1 %.
  2. Запустите прогон с небольшой нагрузкой и запишите RPS, p95, p99, ошибки и загрузку ресурсов.
  3. Увеличьте нагрузку в 1,5–2 раза и повторите. Каждая ступень — минимум 3–5 минут, чтобы прогрелись кеши и пулы.
  4. Продолжайте, пока не нарушится критерий. Последняя ступень, где он выполнялся, — рабочий предел.
  5. Заложите запас: планируйте обычный пик не выше 60–70 % от найденного предела.

На графике это выглядит как «колено»: до него RPS растёт вместе с нагрузкой, а задержка почти не меняется; после — RPS стоит на месте, а задержка уходит вверх. Найдя колено, посмотрите, какой ресурс был исчерпан на этой ступени, исправьте именно его и повторите тест. Без повторного прогона нельзя сказать, помогла ли правка.

Типичные ошибки при нагрузочном тестировании

  • Одна и та же страница из кеша. Тест главной, которую отдаёт кеш nginx, ничего не говорит о каталоге с фильтрами и о поиске. Берите несколько типичных URL.
  • Короткий прогон. 10 секунд не хватает, чтобы заполнились пулы и проявились утечки. Каждая ступень — минуты.
  • Нет пауз между действиями. Виртуальный пользователь без sleep создаёт нагрузку десятков реальных.
  • Упёрлись в генератор. Если на генераторе CPU в 100 %, вы измерили его, а не сервер. Добавьте машину или потоки.

FAQ: частые вопросы

Можно ли запускать нагрузочный тест на продакшене?

Можно, но только по договорённости и в часы минимального трафика. Тест замедлит сервис для живых пользователей, а хостинг или CDN могут принять его за атаку. Безопаснее держать копию продакшена с тем же объёмом данных и тестировать её.

Сколько виртуальных пользователей нужно для теста?

Считайте от реальных данных: возьмите пиковое число запросов в секунду из логов или аналитики и умножьте на 2–3 для запаса. Число виртуальных пользователей в k6 подбирайте так, чтобы с учётом пауз между действиями получался нужный RPS.

Чем нагрузочное тестирование отличается от стресс-теста?

Нагрузочный тест проверяет, держит ли сервер ожидаемый трафик. Стресс-тест намеренно выходит за предел, чтобы узнать, где он и как система ведёт себя при перегрузке: отдаёт ошибки и восстанавливается или падает целиком.

Почему wrk показывает больше RPS, чем k6?

wrk написан на C и не исполняет сценарий: он просто отправляет запросы так быстро, как может. k6 на каждого виртуального пользователя выполняет JavaScript, проверки и паузы. Для поиска сырого предела удобнее wrk, для реалистичных сценариев — k6.

Как часто нужно проводить нагрузочное тестирование?

Перед каждым ожидаемым всплеском трафика (распродажа, рекламная кампания, релиз), после переезда на другой сервер и после крупных изменений в коде или базе. Короткий k6-тест с порогами можно запускать в CI при каждом релизе.

Нужен ли отдельный сервер для генератора нагрузки?

Да. Генератор на том же сервере отнимает ресурсы у приложения и работает через loopback без сетевых задержек. Подойдёт недорогой VPS с 2–4 ядрами в том же регионе, что и цель; для больших нагрузок генераторов ставят несколько.