5 Replies Latest reply on Aug 29, 2018 3:01 AM by Finikiez

    vSphere 6.5 + NIC 10G = низкая скорость сети

    malefik Enthusiast

      Здравствуйте, колеги!

      1. Имеем:

      - VCSA 6.5.0.21000

      - a few ESXi, 6.5.0, 8935087

      - 2 физических свитча DELL FORCE10 S4810 (свитчи объеденены в LAG)

      - 2 NIC 10G Intel X520 (82599) на каждом хосте (каждый NIC подключен в разные физические свитчи)

      - везде включено MTU9000

       

      2. На уровне dSwith настроено:

      - объединение NIC в LAG (active mode, Load Balancing: source and destination ip address tcp/udp port and vlan)

      - портгруппа Private VLAN, на физических свитчах также сделаны все необходимые настройки.

       

      3. Подготовлены тестовые машины Windows Server 2012R2 с адаптерами vmxnet3 (VM version 13) и VMware-tools-10.2.5-8068406. Все машины размещены в одной подсети и в одной портгруппе.

       

      Таким образом, я должен получить общую скорость между хостами около 20G и похожую скорость между виртуальными машинами?

       

      Но:

      - тестирую iperf между хостами - скорость около 8G

      - тестирую iperf между VM, размещенными на одном хосте - скорость 3-3,5G

      - тестирую iperf между VM, размещенными на разных хостах - скорость 1-2G

       

      В чем может быть проблема?

        • 1. Re: vSphere 6.5 + NIC 10G = низкая скорость сети
          IT_pilot Expert
          vExpert

          Маршрут на основе IP Hash работает, беря IP-адреса источника и получателя и выполняет математический расчет для каждого пакета, чтобы определить, какой uplink в группе использовать. Когда вы запускаете iperf, используется один сеанс между источником X и получателем Y. Следовательно, он будет использовать только один физический сетевой адаптер для трафика между этими двумя конечными точками, и больше 10 Гб вы не получите. Вам нужно будет запускать несколько тестов между разными парами источника/назначения одновременно, чтобы увидеть эффект.

          • 2. Re: vSphere 6.5 + NIC 10G = низкая скорость сети
            malefik Enthusiast

            Спасибо за ваш отклик!

            Хорошо, больше 10G в тесте не получить, - ок.

            Но почему в виртуалках скорость НАСТОЛЬКО плоха? Даже при попытке измерить скорость внутри самой машины (на одной машине и сервер и клиент iperf) получаем не более 4,5-5G.

            А уж скорость в рабочей схеме 1,5-2G между машинами на разных хостах - вообще печаль...

            • 3. Re: vSphere 6.5 + NIC 10G = низкая скорость сети
              Finikiez Master
              vExpert

              Добрый день!

               

              Начните ваш траблуштинг с замены гостевой ОС с Windows на какой-нибудь Linux и выполнении тех же замеров, что и раньше, которые вас беспокоят.

              Это позволит понять, копать вам в сторону инфраструктуры или же в сторону тюнинга MS (например настройки RSS).

              • 4. Re: vSphere 6.5 + NIC 10G = низкая скорость сети
                malefik Enthusiast

                Уже пробовали - результат тот же плюс-минус.

                • 5. Re: vSphere 6.5 + NIC 10G = низкая скорость сети
                  Finikiez Master
                  vExpert

                  1. Какая версия драйвера и прошивки установлена для сетевого адаптера на ESXi хостах?

                  2. Помимо тестовых машин на хостах есть еще ВМ?

                  3. Какая конфигурация тестовых ВМ по CPU и памяти?

                  4. Можете запостить выводы iperf и параметры запуска?