vSphere 6.5 + NIC 10G = низкая скорость сети

[malefik]

Здравствуйте, колеги!

1. Имеем:

- VCSA 6.5.0.21000

- a few ESXi, 6.5.0, 8935087

- 2 физических свитча DELL FORCE10 S4810 (свитчи объеденены в LAG)

- 2 NIC 10G Intel X520 (82599) на каждом хосте (каждый NIC подключен в разные физические свитчи)

- везде включено MTU9000

2. На уровне dSwith настроено:

- объединение NIC в LAG (active mode, Load Balancing: source and destination ip address tcp/udp port and vlan)

- портгруппа Private VLAN, на физических свитчах также сделаны все необходимые настройки.

3. Подготовлены тестовые машины Windows Server 2012R2 с адаптерами vmxnet3 (VM version 13) и VMware-tools-10.2.5-8068406. Все машины размещены в одной подсети и в одной портгруппе.

Таким образом, я должен получить общую скорость между хостами около 20G и похожую скорость между виртуальными машинами?

Но:

- тестирую iperf между хостами - скорость около 8G

- тестирую iperf между VM, размещенными на одном хосте - скорость 3-3,5G

- тестирую iperf между VM, размещенными на разных хостах - скорость 1-2G

В чем может быть проблема?

[IT_pilot]

Маршрут на основе IP Hash работает, беря IP-адреса источника и получателя и выполняет математический расчет для каждого пакета, чтобы определить, какой uplink в группе использовать. Когда вы запускаете iperf, используется один сеанс между источником X и получателем Y. Следовательно, он будет использовать только один физический сетевой адаптер для трафика между этими двумя конечными точками, и больше 10 Гб вы не получите. Вам нужно будет запускать несколько тестов между разными парами источника/назначения одновременно, чтобы увидеть эффект.

[malefik]

Спасибо за ваш отклик!

Хорошо, больше 10G в тесте не получить, - ок.

Но почему в виртуалках скорость НАСТОЛЬКО плоха? Даже при попытке измерить скорость внутри самой машины (на одной машине и сервер и клиент iperf) получаем не более 4,5-5G.

А уж скорость в рабочей схеме 1,5-2G между машинами на разных хостах - вообще печаль...

[Finikiez]

Добрый день!

Начните ваш траблуштинг с замены гостевой ОС с Windows на какой-нибудь Linux и выполнении тех же замеров, что и раньше, которые вас беспокоят.

Это позволит понять, копать вам в сторону инфраструктуры или же в сторону тюнинга MS (например настройки RSS).

[malefik]

Уже пробовали - результат тот же плюс-минус.

[Finikiez]

1. Какая версия драйвера и прошивки установлена для сетевого адаптера на ESXi хостах?

2. Помимо тестовых машин на хостах есть еще ВМ?

3. Какая конфигурация тестовых ВМ по CPU и памяти?

4. Можете запостить выводы iperf и параметры запуска?