12 Replies Latest reply on Aug 14, 2014 8:32 AM by philzy

    vSAN и SLI controller

    tocha4 Lurker

      Всем доброго времени суток.

      Собираемся внедрять vSAN.

      Посмотреть список совместимости, но не нашел там свой raid контроллер.

      В списке присутствует LSI MegaRAID SAS 9260CV-4i

      У меня же LSI MegaRAID SAS 9260-4i

      Есть ли большие различия? Может у кого был опыть работы с этим контроллером? Заведется ли на нем vSAN?

      Заранее спасибо за ответы.

        • 1. Re: vSAN и SLI controller
          Umlyaut Expert

          До vSAN пока не добрался, но на гипервизорах давно использую LSI рейды именно 92хх серии.

           

          Прямо сейчас у меня в работе на 5.0U1 и на 5.5U1 обе эти модели - и 9260-4i, и 9260CV-4i. Ничего, всё пучком.

          Как человек, долго и плотно имевший дело с рейд-контроллерами (этой фирмы, но и не только), скажу, что эти две модели "изнутри" (биос, прошивка, драйверы, функционал) полностью идентичны - разница лишь в том, что "безбуквенный" защищает бортовой кеш батарейкой (BBU), а CV-шный суперконденсаторами (на время сброса бортового кеша на буферный флеш). И если ОС работает с одной моделью, то и с другой тоже работать будет.

           

          P.S. Кстати, мне показалось, или для локальных дисковых групп vSAN изначально требовались HBA (просто контроллеры, не рейды)? Особенно с учётом использования в этих группах SSD-кеша, о котором "сквозь рейд-контроллер" ESXi может и не ведать всей правды (что это именно SSD).

          1 person found this helpful
          • 2. Re: vSAN и SLI controller
            tocha4 Lurker

            Спасибо огромное за развернутый ответ!

            Да, вы правы, рейд не нужен. Просто контроллер уже был. В него и подключили HHD и SSD.

            Попробовали - vSAN принял эту модель контроллера!

            • 3. Re: vSAN и SLI controller
              philzy Enthusiast

              Простите, но

              LSI MegaRAID SAS 9260CV-4i  и LSI MegaRAID SAS 9260-4i - не поддерживает JBOD, т.е. не работает как обычный HBA

              Вы уверены, что vSAN запустился нормально?

              И какой RAID вы собрали? RAID-0 под каждый диск?


              • 4. Re: vSAN и SLI controller
                Umlyaut Expert

                Коллега, встречный вопрос - а кто сказал, что для vSAN обязательно нужен HBA ???

                 

                Насколько я понял, для vSAN нужны "диски", видимые ОС (ESXi) - а будут ли это "физические" диски, предоставляемые бортовым/навесным HBA, или же "логические" (LUN), презентуемые гипервизору RAID-контроллером, мне представляется несущественной подробностью.

                 

                И какой RAID вы собрали? RAID-0 под каждый диск?


                 

                О-оооо! В том-то и прелесть vSAN не на "физических" дисках, а на "логических" томах от RAID-контроллера - на HBAшной "физике" мы имеем по сути RAID-0 и минимальной "единицей редундантности" у нас работает хост (это типа "зеркало" из N штук RAID-0 хостов).

                 

                А если мы соберём с пол-дюжины "зеркал" на RAID-контроллере и отдадим "наверх", гипервизору, чтобы он использовал эти "зеркала" как "диски" для vSAN, то получаем RAID-10 на каждом хосте vSAN - тогда редундантность повышается и выход из строя одного HDD не приводит к "выпадению" этого хоста из vSAN.

                • 5. Re: vSAN и SLI controller
                  philzy Enthusiast

                  Возможно, что вы правы. Но, у меня проблема в том, что vSAN уже есть и сделан на beta2, чтобы перейти на GA нужен HBA|RAID из HCL списка, т.к. онбордовые SATA контроллеры выкинуты из HCL из-за маленькой глубины очереди 32 при необходимых 256. И поставить GA не могу, а тем более beta2 Vsphere 6.0. Эта железка есть в HCL, и я только ее могу воткнуть (проклятый Hetzner), но как настроить RAID, чтобы он не снес разметку партиций vSAN, которые уже есть? При JBOD все понятно, а в случае RAID он при инициализации все грохнет.

                  Вот и думаю как выкрутится без пересборки vSAN.

                   

                  Т.е. как vSAN устроен я понимаю, но вот как мне выкрутится с RAID - не могу придумать.

                  Конечно, прелесть в том, что vSAN c политикой FTT-1 позволяет все пересобрать отключая последовательно хост за хостом, но есть нюанс в том, что если этот контроллер не заведется, то долго на 2-х из 3-х хостов мне сидеть не очень можно. Плюс пересборка vSAN и миграция VM 2 раза.

                  Вот Re: Update VSAN configuration taking a long time

                  Из-за ответа vwade и приходится решать эту проблему.

                   

                  Все, стало понятно - http://www.yellow-bricks.com/2014/03/27/selecting-disk-controller-vsan-using-hcl/

                  Дункан оказывается все это разжевал.

                  Если у железки RAID-0 стоит в HCL то в таком режиме диски и цеплять. Это специальный режим (megacli -CfgEachDskRaid0 WB RA Direct CachedBadBBU -a0), который заменяет JBOD и более правильный (так говорит LSI), т.к. используется кэш.

                  Крутотень! vSAN пересобирать, по-любому.

                   

                  А вот насчет того, чтобы зеркала делать и их представлять в vSAN думаю, что неплохо бы протестировать этот момент.

                  Любопытная идея.

                  • 6. Re: vSAN и SLI controller
                    tocha4 Lurker

                    philzy wrote:

                     

                    Простите, но

                    LSI MegaRAID SAS 9260CV-4i  и LSI MegaRAID SAS 9260-4i - не поддерживает JBOD, т.е. не работает как обычный HBA

                    Вы уверены, что vSAN запустился нормально?

                    И какой RAID вы собрали? RAID-0 под каждый диск?


                    Да, именно RAID-0 под каждый диск.

                    Вот уже несколько месяцев сидим на vSAN, полет нормальный.

                    • 7. Re: vSAN и SLI controller
                      aceovter Enthusiast

                      Чтобы не плодить спрошу здесь:

                      Поднимется ли vSAN на RAID-1 из 2-х жёстких с установленным ESXi (SSD не имеется, но подменив HDD как SSD) и будет ли с этого профит?

                      • 8. Re: vSAN и SLI controller
                        tocha4 Lurker

                        Должен подняться. vSAN видит только контроллер. В моем случает ssd диски тоже были в RAID (RAID-0). И как SSD он их не определял. Делал подмену.

                        Вот только профит тут не вижу. Только скорость ssd, ввиде кэша, дает нам прирост скорости относительно обычного хранения на локальных датасторах. Кэшировать на HDD смысла не вижу.

                        • 9. Re: vSAN и SLI controller
                          aceovter Enthusiast

                          Спасибо! Для меня профит в общем сторейдже.) Правильно ли я понимаю, что райд не нужно будет разваливать, чтобы пожертвовать один HDD диск под кэш?

                          • 10. Re: vSAN и SLI controller
                            tocha4 Lurker

                            Может я Вас не так понял или вы меня. Vsan не видит диски внутри raid. Каждый raid он видит как один диск. Если у Вас всего два диска, то у вас выход один - это сделать raid0 из каждого диска. И один из raid0 пометить как ssd.

                            Еще не забудьте, что системы (esxi) не должна стоять на дисках участвующих в Vsan

                            В Вашем случае, как вариант, вынос ее на флешку.

                            • 11. Re: vSAN и SLI controller
                              aceovter Enthusiast

                              Самое главное, что нужно я услышал. Не случайно гугл не привёл ни к одной статье про развёртку vSAN с ESXi на одном рэйд/жд, а то всякие умельцы есть.)

                              • 12. Re: vSAN и SLI controller
                                philzy Enthusiast

                                На vSAN поставить esxi нельзя, т.к. диск размечается на 2 партиции vSAN (метаданные) и VMFS, a esxi требует FAT и Linux Native.

                                А вот размеченные ранее vSAN диски подхватываются инсталлятором отлично.