Alpha694
Enthusiast
Enthusiast

LSI 2308

А кто нибудь использует HBA LSI 2308? В HCL он есть. ESXi свежая 5.1 U2

Я вот новый сервер на Supermicro с этим адаптером запускаю.

Специально взял с ним, ибо кроме зеркала из двух дисков (WD Se серии) ничего не нужно в этом случае, решил сэкономить на нормальном RAID

И вот теперь выгребаю...

Скорость вообще никакая! Плюс еще и нестабильная.

Сразу обновил все BIOSы, включая на HBA, все драйвера на ESXi (на HBA для него CIM и сеть)

(Могу перечень написать, если это имеет какой-то смысл)

Первым же делом напоролся на то, что RAID1 собрался и начал в бекграунде иннициализироваться со скорость пол процента в час...

Итого новое зеркало на 4Т будет иннициализироваться больше недели и ничего с этим сделать нельзя? Однако...

Ладно, убрал зеркало - сделал страйп на время первых экспериментов.

Получил скачки скорости на запись от 8 до 80 мегабайт в секунду, на чтение от 2 до 100 (упирается в гигабит).

Потом заметил, что скорость скачет четко периодично, минуту хорошо - минуту плохо...

Вот график в аттаче.

Начал дальше экспериметировать, разные прошивки, разные дрова, по разному включал диски...

В итоге все стало совсем плохо... пару мегабайт в секунду что на запись, что на чтение.

При чем, если те-же диски включить в набортный контроллер, то все становится как обычно с набортными контроллерами и SATA, ~10 запись и полка гигабита на чтение.

А как только возвращаешь диски на HBA - все ломается. При чем без массива обычно даже лучше работает, чем с массивом...

Включенный в тот-же контроллер одиночный SSD то-же показывает печальную картину, хоть и несколько лучше чем массив.

Подскажите в какую сторону дальше копать?

0 Kudos
15 Replies
Sladky
Virtuoso
Virtuoso

Глобально, конечно, лучше взять нормальный контроллер. А с этим могу посоветовать разве что поиграться с его прошивками и драйверами под ESXi.

VCP5
0 Kudos
Patcher20111014
Enthusiast
Enthusiast

Чтобы исключить проблемы софта/дров можно попробовать винду поставить, потестить.

0 Kudos
Alpha694
Enthusiast
Enthusiast

Да согласен. Нормальный контроллер лучше. Да я везде и использовал нормальные. Вот решил поэкспериментировать с простеньким, он ведь есть в HCL же! Просто этот сервер должен был временно, на момент обновления серверов, принять нагрузку на локальном зеркале, а в дальнейшем уже работать с внешней хранилкой.

И дополнительный контроллер там негде конструктивно вставить, 1U с дополнительной сетевухой.

Вот экспериментировал неделю...

Напишу, может пригодится кому...

1. Странно почему так долго оно мне первую инициализацию делало. Я потом еще два раза зеркало собирал - за 10 часов справлялось. Так и не понял что это было.

2. В виндовсе работает нормально. Пробовал и на железо ставить виндовс, и в виртуалку пробрасывать весь контроллер. Скорость прекрасная, IOPSы сотнями, latency приличное.

Единственный интересный нюанс, при проброске контроллера внутрь виртуалки, после перезагрузки ESXi хоста виндовс не видит с первого раза LUN (контроллер видит, MSM видит диски и LUN на контроллере). Сразу еще раз перезапускаем виртуалку - все находится. Проверял три раза!

3. В режиме IT контроллер работает в vmware нормально. Хотя latency в некоторых случая вырастает заметно. Но жить можно. (Я не сильно исследовал этот режим работы, поэтому без подробностей. Однозначно лучше чем RAID, но возможно хуже чем под виндовс)

4. В IR режиме все плохо. 😞 Создавал и зеркало и страйп, и просто диски. Создавал VMFS на весь LUN и на часть. Подключал LUN как rdm диск к виртуалке. Пробовал две разных прошивки (больше нет) и два разных драйвера (встроенный в 5.1u2 и последний с сайта vmware).

Скорость прыгает. IOPSы 10-20. latency растет до 600 миллисекунд!!!

На отдельных дисках скорость более менее равномерная, а на массивах скачет от 10 до 100 мегабайт в секунду даже при однопоточном чтении.

Кстати, такое интересное наблюдение. Создаю vmfs на первых 10% диска, на нем нуленый 32гиговый vmdk - скорость 100. Создаю vmfs на 100% диска, на нем нуленый 32гиговый vmdk - скорость 80. Интересно почему? Может vmfs начинает размещать файлы не с начала раздела а с конца?

В общем мораль такая - если не брать хороший RAID контроллер, то лучше никакой не брать. 😞

И вопрос недорого варианта под банальное зеркало так и остается открытым 😞 Ибо "хороший RAID" начинается от $400.

А я все-же, пожалуй, напишу в сапорт супермикры, что они по этому поводу скажут... 🙂

0 Kudos
Alpha694
Enthusiast
Enthusiast

После еще недели экспериментов я нашел слабое звено.

Это LSI SMIS-provider который нужен, чтобы через CIM мониторить состояние адаптера и дисков.

Я его всегда сразу ставил, на него и подозрений то не было.

Итог такой, при IT и IR режиме контроллера без smis все работает хорошо, пробовал разные прошивки и разные драйвера scsi-mpt2sas.

При IT режиме и установке smis провайдера, на первый взгляд все хорошо, но на самом деле наблюдаются ритмичные небольшие провалы в производительности приблизительно раз в минуту.

При IR режиме с любой версией smis провайдера (пробовал три штуки которые нашел на сайте LSI 39 50 и 41(он-же 90 не подписанный)) производительность падает катастрофически.

Перепроверил много раз в разных конфигурациях драйверов, прошивок, подключения дисков.

По поводу поддержки.

LSI ответила что этим не занимается, обращаться в супермикро.

Супермикро пока не ответило.

В дебрях сайта vmware нашел не очень убедительную табличку, где сказано, что LSI smis провайдеры поддерживаются контроллерами megaRAID и HBA SAS IT, про IR упоминаний не нашел.

Что интересно, собственно мониторинг и конфигурирование работает на IR без проблем.

Это как-же надо было этот smis провайдер делать, чтобы оно так все ломало? 😞

0 Kudos
Alpha694
Enthusiast
Enthusiast

Супермикро прислало новую прошивку.

18 (на ftp последняя 16)

С ней то-же самое. Подробно отписал.

Ответили что воспроизвели проблему в лаборатории и передали в vmware.

В течении двух недель ответа от vmware не получили.

Ждем дальше...

0 Kudos
Proger
Contributor
Contributor

Мне на днях приедет похожая конфигурация. Удалось как-то решить проблему? Тоже хотелось бы использовать RAID..

0 Kudos
Alpha694
Enthusiast
Enthusiast

Ничего нового. Supermicro больше не отвечали, на ftp все еще старая 16 прошивка.

На LSI нового SMIS не появилось, только 50й от 20 января.

Я на некоторое время эксперименты прекратил, т.к. были более насущные задачи.

Вот собираюсь выкинуть сетевуху - обойтись двумя портами набортными, и поставить нормальный RAID контроллер (как раз освободился с подменного сервера).

По сути печально это...

0 Kudos
Alpha694
Enthusiast
Enthusiast

Смотрю - появились в мае новые версии драйверов.

Все обновил, и обновления на esxi и lsi и smis и сетевые драйвера.

Даже bios новый прошил.

Все осталось по прежнему, без smis провайдера все работает, последовательная запись больше 100, последовательное чтение больше 200. IOPSы сотнями. Стоит поставить smis последовательная скорость падает вдвое, IOPSы на порядок - жить нельзя...

Напомнил о проблеме в поддержку супермикры получил окончательный ответ:

"We have contacted our HQ yesterday night as we have never received any updates

They also did not receive any details from LSI but after contacting LSI they received the following information

The LSI 2308 SAS controller is not validated with VMware ESX in combination with SMIS

SMIS is only designed to be used with LSI Hardware RAID controllers such as LSI 2208 based controllers

The LSI 2308 controller can indeed function with SMIS but can have issues as this is a Software RAID controller"

Думаю, на этом эту тему можно закрыть раз и навсегда. Никаких больше недоконтроллеров.

0 Kudos
SolarW
Contributor
Contributor

Читал тему запоем, как детектив.

Возник дополнительный вопрос:

- будет ли эта железка нормально работать в данной конфигурации если ее использовать не как RAID-контроллер а как обычный SATA III (6 Gbps) контроллер?

0 Kudos
Alpha694
Enthusiast
Enthusiast

Да, тот еще детектив был... 🙂

Работать будет, и даже не только SATA, но и SAS.

Главное smis не устанавливать. 🙂

С установленным smis оно у меня даже в IT режиме без RAIDа немного подтормаживало с периодичностью.

Оно в принципе и в RAID режиме нормально работает, но без мониторинга. Т.е. если под стенд какой нибудь - то вполне можно использовать.

А просто IT режим вполне можно юзать, мониторинг ему ни к чему.

0 Kudos
SolarW
Contributor
Contributor

Спасибо за ответ.

Да, мониторинг не нужен, предполагалось что диски висящие на данном контроллере будут пробрасываться виртуалке напрямую (RDM) а уже ось виртуалки будет за SMART'ом смотреть и т.д.

Но похоже это оказалось в результате неактуальным - я почему-то думал что этот контроллер есть в виде отдельной платы а в представительстве супермикры меня обломали сказав что он интегрирован в некоторые модели материнок...

0 Kudos
Alpha694
Enthusiast
Enthusiast

RDMом не пробросится SMART

Вообще пробрасывать SATA RDMом весьма не хорошая идея.

Я бы рекомендовал такое делать, только если нужен прямой доступ к существующей файловой системе на диске.

А вот если пробросить весь контроллер через passthrough то все будет работать, и даже raid 🙂

0 Kudos
SolarW
Contributor
Contributor

Как так не пробросится?

Есть у меня несколько ящиков у которых:

- ESXi стоит на флешке

- есть маленький сторадж (30Gb) на SSD

- с этого стораджа стартует виртуалка с FreeNAS'ом

- этой виртуалке полностью пробрасываются по RDM два SATA диска из которых FreeNAS делает зеркало, на нем подымает ZFS том и отдает его по iSCSI обратно виртуализатору

- остальные виртуалки стартуют уже с этого iSCSI стораджа

Так вот FreeNAS чудесно опрашивает SMART этих SATA дисков...

0 Kudos
SolarW
Contributor
Contributor

Вношу поправку.

Сказанное мной относилось к 8-й ветке FreeNAS'а.

Вчера попробовал проделать аналогичный фокус с 9-й веткой - нифига, вообще диски по RDM не пробрасываются, не то что SMART читать...

Пришлось взять последний дистрибутив из 8-й ветки.

0 Kudos
Alpha694
Enthusiast
Enthusiast

Не буду спорить про smart, помню что еще давно когда-то, на четверке даже возможно, эксперементировал.

Но вообще про разумность использования rdm весьма резонно написано в faq фринаса.

Мне тоже показалось это логичным, преимуществ особо не дает, а подводные камни закладывает.

Т.е. если есть возможность прокинуть весь контроллер - лучше так сделать, а если нет, то и виртуальные диски (можно заранее нуленые) не привнесут заметных задержек, зато будут более прогнозируемыми.

Ну как бы не зря конфигурации с rdm sata дисков вмварью официально не рекомендуются.

0 Kudos