Медленный Storage migration

[1msi]

Доброго времени суток!

Два сервера Hp Proliant dl 380e Gen8

Установлена Vmware Esxi 6.0.0, 9313334

Установлен vCenter 6.5.0, 14020092.

Два дисковых сервера на FreeNAS с 10GBe линками, один для управления, другой для ISCI.

Подключены по одному storage с каждого дискового сервера по протоколу ISCI.

На серверах виртуализации 4 интерфейса 1GBe  и 2 интерфейса 10GBe.

1GBe: Для серверов внутри сети, для серверов в зоне DMZ, для серверов в сети Интернет, интерфейс для Управления (Management) Все в отдельных vSwitch

10GBe: Один для ISCI, один для vMotion. Все в отдельных vSwitch, все подсети в своих VLANах.

Все связано через Cisco Nexus 5k.

А проблема в следующем,

Когда делаю Migration storage скорость не поднимается выше 100 MiB/s ~ 6.29 Gb/min.

Машина размером 100 GB переносится от 20-30 мин.

При этом если нагружаю виртуалки дисковыми тестами то скорость поднимается до 700 MiB/s  ~44Gb/min.

Статистику смотрю со стороны FreeNAS серверов.

Подскажите, в какую сторону копать?

Заранее спасибо!

[Finikiez]

Добрый день!

Я бы начал с проверки показателей задержек (DAVG, KAVG) и количества IOPS в момент работы svmotion на гипервизоре, на котором выполняется svmotion.

[1msi]

Davg ~ 5-6, Kavg всегда 0.01, CMDS ~ 2500-2700.

[Finikiez]

Я полагаю, что при однопоточном чтении у вас внешний сервер с FreeNAS просто больше не выдает.

Попробуйте запустить две-три операции svmotion одновременно и проверить с какой скоростью они идут.

[1msi]

Запустил три миграции, одновременно выполняются только две, третья ждет.

По скоростям особенно ничего не изменилось:

Davg прыгает от 9 до 18, Kavg в основном 0.5 - 0.11 иногда заваливается за 3.0

А вот cmds прыгает от 1800 до 3300.

Как считаете это проблема программной реализации FreeNAS или дело в железе ?

[Finikiez]

Мне трудно сказать, потому что неизвестно на чем у вас сделан FreeNAS и как сконфигурирован. Какие там под ним диски, используете ли вы для них RAID или все делает FreeNAS, сколько памяти у него и т.д.

Что касается тюнинга со стороны хостов - можно установить MTU в 9000 на всех хостах, портах коммутаторов и FreeNAS.

[dimsua]

Нужны подробности по конфигурации FreeNas.
Например если используется ZFS и свободного места менее 80%, то падение скорости записи на массив может быть очень значительным.

[1msi]

Подробности по поводу FreeNAS.

Построенное на базе серверов HP Proliant Storage Works P4500 G2

Процессор Xeon E5520 2.4 Ghz, 24 Gb Оперативной памяти.

12x2 TB диски SAS 7200, через Raid контроллер HBA LSI SAS Pack 9211-8i в JBOD режиме.

FreeNAS установлен на отдельный SSD диск, остальные диски собраны в один Pool с Raid z3.

Заполнение дисков 7%, В качестве сети установлена hp NC523SFP.

По поводу 9000, у FreeNAS, конкретно с этой карточной проблемы, при выставлении такого MTU начинают валиться ошибки и падает сеть.