Автор: Ильдар Ишкинин, ведущий инженер Innostage
Привет, Хабр!
Когда выбираешь межсетевой экран недостаточно смотреть только на характеристики, заявленные производителем. Важно, при какой нагрузке получен результат, какие функции защиты включены, сколько правил настроено и какой профиль трафика используется.
В лаборатории Innostage мы протестировали PT NGFW версии 1.10.3 в восьми нагрузочных сценариях. Начали со скорости установления TCP-соединений и количества одновременных сессий, а затем перешли к измерению пропускной способности на профиле EMIX при включении разных функций продукта.
Это первая часть материала о тестировании PT NGFW 1.10.3. Разберём, как был устроен стенд, какой трафик подавали на устройство и что получили в каждом сценарии. Отдельно остановимся на результатах, которые нельзя напрямую сравнивать с показателями производителя без учёта методики испытаний.
Почему тестировали версию 1.10.3
На момент испытаний уже была доступна PT NGFW 1.11.1. Но мы выбрали версию 1.10.3, потому что у неё был сертификат ФСТЭК. Для проектов, в которых необходимо использовать сертифицированную версию продукта, это важное условие.
Результаты ниже относятся к PT NGFW 1.10.3 и конфигурации, на которой проводились испытания.
Подготовка трафика
Для генерации нагрузки использовали аппаратные (а в отдельных случаях виртуальные) серверы c установленным Cisco TRex. Скрипты, дампы трафика и настройки генераторов доступны в репозитории на GitHub.
Для испытаний мы собрали профиль EMIX на основе реального трафика внутренней сети одной организации. В нём использовались шесть типов трафика в следующих пропорциях.
Таблица 1
Тип трафика |
Доля |
HTTPS |
5% |
RTSP |
28% |
HTTP |
14% |
SMB |
43% |
SIP |
5% |
RDP |
5% |
В протоколе указан критерий успешного прохождения нагрузочного теста: потери сессий должны быть менее 0,105. Этот критерий не применялся к тестам с IPS.
Тестовый стенд
Схема организации стенда для проведения функциональных и нагрузочных испытаний
Для испытаний использовали аппаратные и виртуальные компоненты. В таблице 2 собраны их характеристики, указанные в протоколе.
Таблица 2
№ |
Назначение/название |
Технические Характеристики |
1. |
Сервер PT NGFW 2010 (2 шт.) |
PT-NGFW-GW-HW-2010-NIC-M1 Аппаратная платформа Positive Technologies Next Generation Firewall GW-2010, корпус 2U, 5xNIC.
PT-NGFW-NIC-4S-OCP-M1 Дополнительная сетевая карта для аппаратных платформ Positive Technologies Next Generation Firewall GW-20xx, GW-30xx, 4x10/25 Gbps, SFP28. |
2. |
Сервер управления и мониторинга (СУ PT-NGFW) |
4 vCPU, 10GB RAM, 250Gb Store. Операционная система: Debian 11 Версия ПО 1.10.3 |
3. |
Сервер генератор трафика (Trex) |
Сервер Dell PowerEdge R840, 4 x 24 Cores, Intel Xeon Gold 6252 2.1Ghz, 2TB RAM, 250GB store Порты: • 6 x 10Gbe (SFP+) (на базе Intel) • 4 x 1Gbe (Rj45) Операционная система: Debian 11 |
4. |
Виртуальный сервер генератора трафика (Trex VM) |
8 vCPU, 16GB RAM, 100Gb Store. Операционная система: Debian 11 |
5. |
Сервер генератор трафика (Trex2) |
SuperMicro SYS-740P-TRT Tower/4U |
6. |
PT NGFW 3 |
4 vCPU, 16GB RAM, 30Gb Store. Операционная система: Debian 11, Версия ПО 1.10.3 |
7. |
Active Directory 2022 |
2 vCPU, 4GB RAM, 40Gb Store. Операционная система: Windows Server 2022 |
8. |
Server (tftp, http, syslog) |
4 vCPU, 8GB RAM, 100Gb Store. Операционная система: Windows 10 |
9. |
Host2 |
4 vCPU, 8GB RAM, 100Gb Store. Операционная система: Windows 10 |
10. |
Host3 (В домене) |
4 vCPU, 8GB RAM, 100Gb Store. Операционная система: Windows 10 |
11. |
Decryption Mirror |
4 vCPU, 8GB RAM, 100Gb Store. Операционная система: Windows 10 |
12. |
Router |
Eltex ESR-200 |
Восемь нагрузочных сценариев
В первых двух сценариях мы проверяли работу с TCP-соединениями: скорость установления новых подключений и количество одновременных сессий. В остальных оценивали пропускную способность на профиле EMIX при включении разных модулей защиты и логирования.
Тест 1. Максимальная скорость установления новых TCP-соединений (CPS)
CPS — это количество новых TCP-соединений, которые устройство может устанавливать за секунду.
Для проверки использовали профиль max_cps, который генерирует HTTP-запросы и ответы. Размер пакета составлял 1 KB. Вид запроса и ответа приведены на рисунке (Рисунок 5‑1).
Политика МЭ приведена на рисунке 3.
Сценарий запуска приведен в таблице 3.
Таблица 3
В рамках методики нашей лаборатории стабильная работа сохранялась до 700 000 CPS. При дальнейшем увеличении нагрузки начиналась деградация.
Результат теста приведен в таблице 4.
Таблица 4
Заявлено производителем |
Результат в лаборатории INSI |
900 000 CPS |
700 000 CPS |
В протоколе отмечены различия в методике, которые могли оказать влияние на итоговый результат: в лаборатории Innostage использовался отказоустойчивый HA-кластер с агрегированными интерфейсами, тогда как испытания производителя проводились на одиночном NGFW без LACP. Кроме того, в тесте производителя использовалось значение response_size_kb=0.001, а в нашем сценарии — response_size_kb=1.
Показатели оборудования
Загрузка CPU PT NGFW приведена на рисунке 4.
Показатель CPS на PT NGFW приведена на рисунке 5.
Показатели генерации нагрузки Trex1 приведены на рисунке 6.
Результат выполнения нагрузочного теста Trex1 приведен на рисунке 7.
Тест 2. Максимальное количество одновременных TCP-сессий (CC)
Во втором сценарии мы проверяли, сколько одновременных TCP-сессий может обрабатывать устройство. Для этого использовали профиль max_cc, который открывает HTTP-сессии. Нагрузка наращивалась с шагом 64 000 сессий в секунду, а целевое количество составляло 6,4 млн сессий.
HTTP запрос и ответ приведен на рисунке 8.
Политика МЭ приведена на рисунке 9.
Сценарий запуска приведен в таблице 5.
Таблица 5
Параметр |
Значение |
Команда |
./trex_run.py -f trex_profiles/max_cc.py --drp 0.105 -t flow_size=20 delay=20 -d 100 -m 64000 --cc-dur 600 |
Продолжительность теста |
10 минут |
Количество правил МЭ |
10 000 — по описанию сценария в протоколе |
Логирование |
Включено |
Активные модули |
МЭ, App |
Продолжительность |
10 минут |
Во время тестов зафиксирован успешный результат при 6 400 000 CC — столько же, сколько и было заявлено производителем (Таблица 6).
Таблица 6
Заявленное производителем значение |
Результат Innostage |
6 400 000 CC |
6 400 000 CC |
Показатели оборудования
Загрузка CPU PT NGFW приведена на рисунке 10.
Показатели генерации нагрузки Trex1 приведены на рисунке 11.
Количество активных подключений на PT NGFW приведено на 12.
Тесты 3–8. Пропускная способность на профиле EMIX
В следующих шести сценариях мы проверяли пропускную способность на одном и том же профиле EMIX, постепенно меняя набор активных функций. В каждом сценарии настраивали 100 000 правил межсетевого экрана, а трафик генератора проходил через последнее правило. Продолжительность каждого теста составляла десять минут.
Такой подход позволяет рассмотреть результаты в контексте конфигурации: какие модули были активны, включено ли логирование и какие значения были указаны производителем.
Тест 3. Определение производительности тестируемого устройства на профиле трафика EMIX (МЭ, IPS, App, 100k rules)
Включили межсетевой экран, систему предотвращения вторжений и контроль приложений. Логирование было выключено.
Политика МЭ состоит из 100 000 правил, трафик генератора проходит по последнему правилу. Структура правила политики приведена на рисунке 13.
Сценарий запуска приведен в таблице 7
Таблица 7
Результат приведен в таблице 8.
Таблица 8
Заявлено производителем |
Результат в лаборатории INSI |
12 Гб/с |
28,9 Гб/с |
Показатели оборудования
Загрузка CPU PT NGFW приведена на рисунке 14.
Пропускная способность PT NGFW приведена на рисунке 15.
Показатели генерации нагрузки Trex1 приведены на рисунке 16.
Результат выполнения нагрузочного теста Trex1 приведен на рисунке 17.
Тест 4 Определение производительности тестируемого устройства на профиле трафика EMIX (МЭ, IPS, App, Log, 100k rules)
В следующем сценарии набор модулей остался прежним, но мы включили логирование.
Политика МЭ состоит из 100 000 правил, трафик генератора проходит по последнему правилу. Структура правила политики приведена на рисунке 18.
Сценарий запуска приведен в таблице 9.
Таблица 9
Результат приведен в таблице 10.
Таблица 10
Заявлено производителем |
Результат в лаборатории INSI |
12 Гб/с |
28 Гб/с |
Показатели оборудования:
Загрузка CPU PT NGFW приведена на рисунке 19.
Пропускная способность PT NGFW приведена на рисунке 20.
Показатели генерации нагрузки Trex1 приведены на рисунке 21.
Результат выполнения нагрузочного теста Trex1 приведен на рисунке 22.
Тест 5. Определение производительности тестируемого устройства на профиле трафика EMIX (МЭ, IPS, App, AV, Log, 100k rules)
Перед нами стояла задача определить производительность оборудования с включенными модулями МЭ, IPS, App, AV, Log на профиле трафика EMIX.
Политика МЭ состоит из 100 000 правил, трафик генератора проходит по последнему правилу. Структура правила политики приведена на рисунке 23.
Сценарий запуска приведен в таблице 11.
Таблица 11
Результат приведен в таблице 12
Таблица 12
Заявлено производителем |
Результат в лаборатории INSI |
- |
27,1 Гб/с |
Для этого сценария в исходном отчёте нет значения производительности, заявленного производителем, поэтому сопоставить два показателя нельзя.
Показатели оборудования:
Загрузка CPU PT NGFW приведена на рисунке 24.
Пропускная способность PT NGFW приведена на рисунке 25.
Показатели генерации нагрузки Trex1 приведены на рисунке 26.
Результат выполнения нагрузочного теста Trex1 приведен на рисунке 27.
Тест 6. Определение производительности тестируемого устройства на профиле трафика EMIX (МЭ, IPS, App, AV, NAT, Log, 100k rules)
В шестом сценарии к предыдущему набору добавили NAT. Политика МЭ состоит из 100 000 правил, трафик генератора проходит по последнему правилу. Структура правила политики приведена на рисунке 28.
Сценарий запуска приведен в таблице 13.
Таблица 13
Результат приведен в таблице 14.
Таблица 14
Заявлено производителем |
Результат в лаборатории INSI |
10 Гб/с |
27 Гб/с |
Показатели оборудования:
Загрузка CPU PT NGFW приведена на рисунке 29.
Пропускная способность PT NGFW приведена на рисунке 30.
Показатели генерации нагрузки Trex1 приведены на рисунке 31.
Результат выполнения нагрузочного теста Trex1 приведен на рисунке 32.
Тест 7. Определение производительности тестируемого устройства на профиле трафика EMIX (МЭ, IPS, App, AV, NAT, URL, Log, 100k rules) и оценка эффективности отражения атак
В следующем сценарии дополнительно включили URL-фильтрацию. Помимо измерения пропускной способности, проверяли блокировку атак.
Политика МЭ состоит из 100 000 правил, трафик генератора проходит по последнему правилу. Структура правила политики приведена на рисунке 33.
Сценарий запуска приведен в таблице 15.
Таблица 15. Сценарий запуска (Тест 7)
Параметр |
Значение |
Команда запуска |
./trex_run.py -f trex_profiles/emix_cor.py --drp 0.105 -t ramp_up=100 -d 600 -m 800 |
Продолжительность теста |
10 минут |
Количество правил МЭ |
100 000 (прохождение трафика генератора по последнему правилу) |
Логирование |
Включено |
Активные модули |
МЭ, IPS, App, AV, NAT, URL, Log |
Результат приведен в таблице 16.
Таблица 16. Результат (Тест 7)
Заявлено производителем |
Результат в лаборатории INSI |
10 Гб/с |
27 Гб/с |
В ходе теста было заблокировано 58 из 60 атак.
Показатели оборудования
Загрузка CPU PT NGFW приведена на рисунке 34.
Пропускная способность PT NGFW приведена на рисунке 35.
Показатели генерации нагрузки Trex1 приведены на рисунке 36.
Результат выполнения нагрузочного теста Trex3 приведен на рисунке 37.
Тест 8. Определение производительности тестируемого устройства на профиле трафика EMIX (МЭ, IPS, App, AV, NAT, URL, Log, 100k rules) и оценка эффективности отражения атак
Последний сценарий использовал тот же набор модулей, что и предыдущий. В этом тесте отдельно фиксировали результаты блокировки попыток загрузки вредоносных файлов.
Политика МЭ состоит из 100 000 правил, трафик генератора проходит по последнему правилу. Структура правила политики приведена на рисунке 38.
Сценарий запуска приведен в таблице 17.
Таблица 17
Параметр |
Значение |
Команда запуска |
./trex_run.py -f trex_profiles/emix_cor.py --drp 0.105 -t ramp_up=100 -d 600 -m 800 |
Продолжительность теста |
10 минут |
Количество правил МЭ |
100 000 (прохождение трафика генератора по последнему правилу) |
Логирование |
Включено |
Активные модули |
МЭ, IPS, App, AV, NAT, URL, Log |
Результат приведен в таблице 18.
Таблица 18.
Заявлено производителем |
Результат в лаборатории INSI |
10 Гб/с |
27 Гб/с |
Были заблокированы все 108 из 108 попыток загрузки вредоносных файлов
Показатели оборудования:
Загрузка CPU PT NGFW приведена на рисунке 39.
Пропускная способность PT NGFW приведена на рисунке 40.
Показатели генерации нагрузки Trex1 приведены на рисунке 41.
Результат выполнения нагрузочного теста Trex3 приведен на рисунке 42.
Результат блокировки файла eicar на тестируемом МЭ на рисунке 43.
Результаты нагрузочного тестирования
В таблице собраны результаты всех восьми сценариев. Она позволяет сопоставить показатели лаборатории со значениями производителя и увидеть, при какой конфигурации были получены результаты.
Таблица 18
Тест |
Сценарий |
Основные параметры |
Заявленное значение |
Результат Innostage |
Примечание |
1 |
Максимальная скорость установления новых TCP-соединений (CPS) |
max_cps; HTTP request/response; пакет 1 KB; 1 правило МЭ; логирование выключено; 5 минут |
900 000 CPS |
700 000 CPS |
При нагрузке выше 700 000 CPS начиналась деградация. В протоколе указаны различия в методике испытаний |
2 |
Максимальное количество одновременных TCP-сессий (CC) |
max_cc; до 6,4 млн сессий; шаг 64 000 сессий/с; 10 000 правил по описанию сценария; МЭ + App; логирование включено |
6,4 млн |
6,4 млн |
Результат совпал с заявленным |
3 |
EMIX + МЭ + IPS + App |
100 000 правил; логирование выключено; 10 минут |
12 Гбит/с |
28,9 Гбит/с |
— |
4 |
EMIX + МЭ + IPS + App + Log |
100 000 правил; логирование включено; 10 минут |
12 Гбит/с |
28 Гбит/с |
— |
5 |
EMIX + МЭ + IPS + App + AV + Log |
100 000 правил; логирование включено; 10 минут |
Не указано |
27,1 Гбит/с |
Значение производителя отсутствует в исходном отчёте |
6 |
EMIX + МЭ + IPS + App + AV + NAT + Log |
100 000 правил; логирование включено; 10 минут |
10 Гбит/с |
27 Гбит/с |
— |
7 |
EMIX + МЭ + IPS + App + AV + NAT + URL + Log |
100 000 правил; логирование включено; 10 минут |
10 Гбит/с |
27 Гбит/с |
Заблокировано 58 из 60 атак |
8 |
EMIX + МЭ + IPS + App + AV + NAT + URL + Log |
100 000 правил; логирование включено; 10 минут |
10 Гбит/с |
27 Гбит/с |
Заблокированы 108 из 108 попыток загрузки вредоносных файлов; EICAR заблокирован |
В тесте на количество одновременных сессий лаборатории удалось достичь заявленных 6,4 млн. В тесте на скорость установления новых соединений результат составил 700 000 CPS. В протоколе отдельно отмечены различия в конфигурации и параметрах лабораторных испытаний производителя и Innostage.
В сценариях с профилем EMIX лабораторная пропускная способность составила от 27 до 28,9 Гбит/с. Во всех сценариях EMIX, для которых в протоколе приведено значение производителя, результат лаборатории оказался выше.
Отдельно фиксировались результаты проверки защитных функций: в сценарии 7 было заблокировано 58 из 60 атак, а в сценарии 8 — все 108 попыток загрузки вредоносных файлов, включая тестовый файл EICAR.
Все результаты относятся к конкретной версии PT NGFW, конфигурации стенда и методике испытаний. В другой инфраструктуре показатели могут отличаться, поэтому при выборе межсетевого экрана важно учитывать не только пропускную способность, но и условия, в которых она измеряется, а также работу отдельных функций защиты.
Производительность — лишь одна часть проверки NGFW. Не менее важно убедиться, что его функции корректно работают в различных условиях и конфигурациях. Поэтому в следующей статье расскажем о второй части испытаний. Там нас ждут 156 проверок PT NGFW 1.10.3: от межсетевого экрана и IPS до маршрутизации, управления и отказоустойчивости.