YahontC
Enthusiast
Enthusiast

тестирование пропускной способности сетевых интерфейсов

Jump to solution

Добрый день, у меня в кластере 4 хоста, на каждом по 2 порта  Mallanox ConnectX-3, Варя показывает, что их видит, скорость 40Гбит/с, режим работы IPoIB.

По факту Варя видит по 2 IP интерфейса 40Гбит/с. Они пингуются, тарфик ходит, на них живут интерфейсы vMotion и vSAN.

Короче на кластере все работает, все мигрирует и все хранится. Но vSAN чёто не очень хорошие результаты производительности выдает.

Как мне убедиться, что нет затыка в сети? Как протестить реальную пропускную способность, которые могут выдать мои порты 40Гбит/с?

Можно ли провести тестировании встроенными средствами вари (через командную строку)?

Что сделал я. Я создал 2 тестовых виртуалки, положил их на разные хосты, дал им по сетевухе vmmxnet3, прицепил их к портам 40Гбит/с и запустил на них iperf.

Он мне выдал 8-10 Гбит/с. Но это максимум для vmmxnet3. Добавил еще пару виртуалок (по 2 на хост) и запустил на них iperf паралллельно - получил в сумме 13Гбит/с

Добавил еще пару - получил 16Гбит/с (т.е. не больше 5-6Гбит/с с 1 пары). В мониторинге порта на хосте Варя также показала 2ГБ/с = 16Гб/с, т.е. показания совпадают.

Больше пар делать тупо лень, чувствую, что это погоды не сделает, мне кажется не спроста падает скорость пары при увеличении числа пар.

А может мой подход выдает не совсем корректную картину, посоветуйте другой способ...

1 Solution

Accepted Solutions
YahontC
Enthusiast
Enthusiast

Я сам нашел отличное решение для тестирования производительности физических сетевых интерфейсов хостов.

vSphere 6.2 в составе гипервизора имеет встроенную утилиту iperf. Соответственно её ставить не надо, она уже есть и можно все померить из-под esxi.

Лежит она по адресу: /usr/lib/vmware/vsan/bin/. Там есть 2 бинарника: iperf и его копия iperf.copy.

Берем 2 хоста и начинаем мерить скорость сети между ними. Подключаемся к обоим по ssh, и отрубаем FW: esxcli network firewall set --enabled false.

На хосте-сервере (в понятиях iperf) запускаем приемник: /usr/lib/vmware/vsan/bin/iperf.copy -s -B 10.1.1.5 -w 1M. В моем случае 10.1.1.5 - это IP-адрес интерфейса vmkernel, который привязан к тестируемому мною порту. Данный хост готов принимать поток от клиента iperf.

На хосте-клиенте вводим команду: /usr/lib/vmware/vsan/bin/iperf -c 10.1.1.5 -t 60 -i 3 -w 1M. И смотрим результаты полученной пропускной способности сети.

по поводу параметров iperf - изучаем healp: /usr/lib/vmware/vsan/bin/iperf -h

View solution in original post

6 Replies
Umlyaut
Expert
Expert

Попробуйте померить опосредованно, через дисковую бенчилку.

Делаете быстрый LUN на сетевом сторадже (идеально RAM-диск, но сойдёт и SSDшная рейд-группа в R-0), отдаёте его виртуалке и натравливаете на него бенчилку (на чтение, ес-сно).

Как отдавать, дело Ваше - RDM напрямую в виртуалку, или блочным образом хосту Сферы, или ещё как.

0 Kudos
YahontC
Enthusiast
Enthusiast

Я сам нашел отличное решение для тестирования производительности физических сетевых интерфейсов хостов.

vSphere 6.2 в составе гипервизора имеет встроенную утилиту iperf. Соответственно её ставить не надо, она уже есть и можно все померить из-под esxi.

Лежит она по адресу: /usr/lib/vmware/vsan/bin/. Там есть 2 бинарника: iperf и его копия iperf.copy.

Берем 2 хоста и начинаем мерить скорость сети между ними. Подключаемся к обоим по ssh, и отрубаем FW: esxcli network firewall set --enabled false.

На хосте-сервере (в понятиях iperf) запускаем приемник: /usr/lib/vmware/vsan/bin/iperf.copy -s -B 10.1.1.5 -w 1M. В моем случае 10.1.1.5 - это IP-адрес интерфейса vmkernel, который привязан к тестируемому мною порту. Данный хост готов принимать поток от клиента iperf.

На хосте-клиенте вводим команду: /usr/lib/vmware/vsan/bin/iperf -c 10.1.1.5 -t 60 -i 3 -w 1M. И смотрим результаты полученной пропускной способности сети.

по поводу параметров iperf - изучаем healp: /usr/lib/vmware/vsan/bin/iperf -h

View solution in original post

Umlyaut
Expert
Expert

Ну вот и здОрово!

Жаль, что на предыдущих версиях Сферы это решение не реализуешь. Я вот у себя на 5.0 мерил именно как описывал.

Кстати, ещё можно оценить скорость сети непосредственно счётчиками Performance, проводя vMotion - это не требует ни  утилиты, как в Сфере 6.2, ни подготовки (через диск-бенч), как в любой другой.

P.S. Да, а сколько намерили-то в итоге? Smiley Happy

0 Kudos
YahontC
Enthusiast
Enthusiast

20-27 Гбит/с

0 Kudos
Menhatep9
Contributor
Contributor

Уважаемый автор вопроса. Можно посмотреть на конфигурацию железа вашего кластера?  Проектирую сейчас новый миниЦод, нужны примеры.

0 Kudos
YahontC
Enthusiast
Enthusiast

Развертывание тестового кластера VMware Virtual SAN 6.2 / Хабрахабр

настоятельно рекомендую выбирать все оборудование из VMware Compatibility Guide, чтобы все было совместимо, я пользовался тем, что есть, а это даже для тестирования оказалось неайс, ибо не все совместимо!

0 Kudos