huntsman3000
Contributor
Contributor

Посоветуйте с выбором raid контроллера под esxi 5.5

Jump to solution

Добрый вечер.

Посоветуйте пожалуйста raid контроллер с поддержкой raid 10 для esxi 5.5.

Сейчас попытался поднять esxi 5.5 на десктопной материнке gigabyte со встроенным raid контроллером intel, но при установке выбрать том для системы не дал, к выбору представились отдельные диски (как будто я их и не делал в raid 1) думаю это проблема с совместимостью.

Я приглядел вот такой контроллер (RAID контроллер ADAPTEC ASR-6405E KIT), но не уверен на 100%, что он подойдет, я уже недавно "повеселился" с сетевой картой и не хочу также в пустую тратить деньги на ветер на контроллер.

Может кто-то посоветуют уже проверенный отличный вариант?

И еще хотел спросить, имеет ли смысл raid 10 или достаточно сделать несколько raid 1 томов и распределять уже вручную где, что будет храниться?

И последний вопрос ... имеетли смысл делать raid 1 для системного диска esxi 5.5 или достаточно выделить один мелкий диск для него?

0 Kudos
1 Solution

Accepted Solutions
Umlyaut
Expert
Expert

huntsman3000 wrote:

А если выбирать более бюджетный вариант, мне нужно по сути добавить в raid 10 только 4 жестких диска под виртуалки + 2 (raid 1) под саму систему esxi.

"А вот ЭТОГО не надо! - сказал граф и пошёл мыть посуду"(с)анек.  Smiley Happy

Уже N лет делать на рейд-контроллере отдельную дисковую группу (ага, практически всегда пресловутое "зеркало") "под систему" - признак дурного тона. Лучше сделать на контроллере единую дисковую группу (настоятельно рекомендуется не пренебрегать и HSD), которую разбить на LUN`ы - небольшой первый для ОS и остальное - на DATA.

Иначе (по чаемой Вами схеме) Вы буквально крадёте у себя а) ёмкость этого отдельного "зеркала" (бо система там займёт мизер) б) IOPSы у разделов с данными (бо эти же диски могли бы быть в общей дисковой группе) в) порты на контроллере.

Причём ESXi вообще может (или даже должен) быть установлен на USB-флешке, а локальный дисковый массив отдан под данный - но если Вы почему-то не желаете держать гипервизор на флешке, то сделайте, как я Вам выше рекомендовал, не пожалеете...

RAID контроллер LSI LOGIC MegaRAID SAS 9240-4i SGL

Это если попроще без зеркала на ситсему (вот только не уверен, что без зеркала будет надежно)

И вариант покруче до 8 портов:

LSI MegaRAID SAS9260-8i

И еще один вариант подешевле:

LSI SAS SATA 9211-8i

что из этого точно подойдет под мою задачу?

Третий не пойдёт - это HBA, а не рейд-контроллер.

Т.е. формально он может делать R1/R10, но фактически это фейк-рейд (софт-рейд, хост-рейд - как угодно), диски на котором будут видны ESXi`ю россыпью, а не как дисковая рейд-группа.

Первое отказать напрочь - и не столько из-за малого к-ва портов (хотя и это лыко в строку - например, r10 там придётся делать без HSD), сколько из-за отсутствия набортной кеш-памяти, отчего запись у этой железяки - одно горе да беда.

9260-8i - хорошая надёжная рабочая лошадка, сам такие пользовал и пользую именно со Сферой.

6 дисков (можно SATA, можно SAS - на что средства будут) в R10, 1-2 HSD.

Очень хорошо если удастся прикупить опцию CacheCade (+200 USD), тогда 6 на R10 + 1 HSD + 1 SSD дадут копоти и на запись, и на чтение.

View solution in original post

0 Kudos
23 Replies
Sladky
Virtuoso
Virtuoso

Настоятельно текомендую смотреть не на Adaptec, а на LSI. И работают они хорошо, и проблем с совместимостью на порядок меньше.

До кучи адаптеки реально тупой менеджмент имеют. LSI многое умеет делать на лету, без перезагрузок.

Контроллер берите любой, что удовлетворит потребности производительности. Старшие модели, c 1 гигом памяти, тащат легко 48 дисков и более.

Если хочется побюджетнее, то вот хороший вариант:  http://www.lsi.com/products/raid-controllers/Pages/megaraid-sas-9261-8i.aspx

Только про батарейку к нему не забываем.

VCP5
0 Kudos
huntsman3000
Contributor
Contributor

А если выбирать более бюджетный вариант, мне нужно по сути добавить в raid 10 только 4 жестких диска под виртуалки + 2 (raid 1) под саму систему esxi.

Вот присмотрел из LSI вариант

RAID контроллер LSI LOGIC MegaRAID SAS 9240-4i SGL

Это если попроще без зеркала на ситсему (вот только не уверен, что без зеркала будет надежно)

И вариант покруче до 8 портов:

LSI MegaRAID SAS9260-8i

И еще один вариант подешевле:

LSI SAS SATA 9211-8i

что из этого точно подойдет под мою задачу?

PS хотя с такими ценами, уже задумываюсь купить просто NAS накопитель .... правда не знаю, это будет лучше или хуже ....

0 Kudos
Sladky
Virtuoso
Virtuoso

NAS не надо. Производительность будет ниже плинтуса.

Контроллер можно любой, лишь бы поддерживался ESXi на уровне драйверов: http://www.vmware.com/resources/compatibility/search.php

VCP5
Umlyaut
Expert
Expert

huntsman3000 wrote:

А если выбирать более бюджетный вариант, мне нужно по сути добавить в raid 10 только 4 жестких диска под виртуалки + 2 (raid 1) под саму систему esxi.

"А вот ЭТОГО не надо! - сказал граф и пошёл мыть посуду"(с)анек.  Smiley Happy

Уже N лет делать на рейд-контроллере отдельную дисковую группу (ага, практически всегда пресловутое "зеркало") "под систему" - признак дурного тона. Лучше сделать на контроллере единую дисковую группу (настоятельно рекомендуется не пренебрегать и HSD), которую разбить на LUN`ы - небольшой первый для ОS и остальное - на DATA.

Иначе (по чаемой Вами схеме) Вы буквально крадёте у себя а) ёмкость этого отдельного "зеркала" (бо система там займёт мизер) б) IOPSы у разделов с данными (бо эти же диски могли бы быть в общей дисковой группе) в) порты на контроллере.

Причём ESXi вообще может (или даже должен) быть установлен на USB-флешке, а локальный дисковый массив отдан под данный - но если Вы почему-то не желаете держать гипервизор на флешке, то сделайте, как я Вам выше рекомендовал, не пожалеете...

RAID контроллер LSI LOGIC MegaRAID SAS 9240-4i SGL

Это если попроще без зеркала на ситсему (вот только не уверен, что без зеркала будет надежно)

И вариант покруче до 8 портов:

LSI MegaRAID SAS9260-8i

И еще один вариант подешевле:

LSI SAS SATA 9211-8i

что из этого точно подойдет под мою задачу?

Третий не пойдёт - это HBA, а не рейд-контроллер.

Т.е. формально он может делать R1/R10, но фактически это фейк-рейд (софт-рейд, хост-рейд - как угодно), диски на котором будут видны ESXi`ю россыпью, а не как дисковая рейд-группа.

Первое отказать напрочь - и не столько из-за малого к-ва портов (хотя и это лыко в строку - например, r10 там придётся делать без HSD), сколько из-за отсутствия набортной кеш-памяти, отчего запись у этой железяки - одно горе да беда.

9260-8i - хорошая надёжная рабочая лошадка, сам такие пользовал и пользую именно со Сферой.

6 дисков (можно SATA, можно SAS - на что средства будут) в R10, 1-2 HSD.

Очень хорошо если удастся прикупить опцию CacheCade (+200 USD), тогда 6 на R10 + 1 HSD + 1 SSD дадут копоти и на запись, и на чтение.

View solution in original post

0 Kudos
Umlyaut
Expert
Expert

PS хотя с такими ценами, уже задумываюсь купить просто NAS накопитель .... правда не знаю, это будет лучше или хуже ....

А что NAS-накопитель? Думаете, это волшебная палочка или серебряная пуля? Smiley Happy

Накопитель с ценой ниже или равной локальному массиву на 9260 будет на-а-ааамного медленнее.

А накопитель по скорости равный - будет на-а-амного дороже. Smiley Happy

0 Kudos
huntsman3000
Contributor
Contributor

Заказал на ebay вот такой девайс ...

ibbu08 аккумулятор + LSI MEGARAID 9261-8I 3C 8-Port PCI-E 6Gb/s RAID контроллер

Надеюсь не обложался? Пока без рейда поработает, а там как-то надо мигрировать на новый том ...

PS На счет системы отдельным томом, реально подумаю. Сейчвас стоят на систему 2 SSD по 64 Gb (завалялись, думал хуже не будет).

На счет флешки слышал многое, но почему-то флешка не внушает доверия как надежное хранилище, тем более без зеркала.

Большое спасибо всем за ответы и помощь, это первая моя виртуалка как пилотный проект, потом начну внедрять на своей компании, пока сам себе дома шишки набивать буду, чтобы не портить чужое имущество Smiley Happy

0 Kudos
Sladky
Virtuoso
Virtuoso

У меня 40 серверов с флешками на ESXi, всё гуд. Иногда флешки подвисают, но это не критично. Да и редко бывает.

Контроллер норм заказали.

VCP5
0 Kudos
Umlyaut
Expert
Expert

huntsman3000 wrote:

Заказал на ebay вот такой девайс ...

ibbu08 аккумулятор + LSI MEGARAID 9261-8I 3C 8-Port PCI-E 6Gb/s RAID контроллер

Надеюсь не обложался? Пока без рейда поработает, а там как-то надо мигрировать на новый том ...

Э-э-ээ... слегка расточительно - если это для тестовой лабы, то батарейку можно было и не брать - невелика потеря "если что"... Вот на продакшен-сервер батарейка маст хэв, да.

Насчёт "так, а потом мигрировать"... до приезда контроллера и появления диска для него можете реально поставиться хоть на одиночный хард на бортовом SATA и играться - приедет контроллер, воткнёте его и получите локальный стор.

Ну или всё же можете пока на USB-флешку поставиться: этот вариант Вам всё равно нужно знать-уметь, может когда-нибудь пригодиться в продакшене.

По дискам - смотрите сами, но R10 + HSD для Вас оптимально будет.

Поскольку на лабе ёмкость огромная не нужна, можно не ставить вначале терабайтники "на всю тягу" (это ж дороговасто будет и ненужно поперву), а набрать некий объём шпинделями на 160-250-320GB - IOPSы это даст, места тоже для лабы хватит.

PS На счет системы отдельным томом, реально подумаю. Сейчвас стоят на систему 2 SSD по 64 Gb (завалялись, думал хуже не будет).

На счет флешки слышал многое, но почему-то флешка не внушает доверия как надежное хранилище, тем более без зеркала.

Тут и думать нечего - отдельная R1 рейд-группа под систему ничем не лучше системного LUN`a, отрезанного от общей рейд-группы... то есть, совсем ничем... а вот "убытки" от неё я выше указал...

За флешку зря беспокоитесь -  во время работы гипервизора на неё практически ничего не пишется, т.ч. ресурс у неё не тратится. И зеркалить её, соответственно, незачем - это в Вас старые страхи бродят, от "классических ОС". Вообще же даже при каком-то дизастере воткнуть другую флешку и инстальнуть на неё гипервизор заново - дело четверти часа со всеми пирогами... а если свежеинсталлированную флешку склонировать и положить клон в сейф, то и этого не понадобится. Smiley Happy

Не сомневайтесь, в продакшене дисклесс-хосты давно грузятся с флешек.

huntsman3000
Contributor
Contributor

Ну как сказать тестовая лаба, у меня давно крутится мой веб сервер, с почтовиком и шлюзом на разных компах, плюс сервер терминалов поднять нужно, вот как раз все это дело аккурутно влезет в мой новый сервер на vmware.

С флешкой убедили ... выну свои ССД и лучше их на десктогпный комп поставлю, пользы больше будет, подарю серверу 2 флешки, одну рабочую, другую копию (вот только если вдруг что-то случится, копию то придется до настраивать до последних изменений, если они будут, но думаю это не большая потеряю)

Спасибо большое всем за ответы, хоть мозги встают на место, а то как начал изучать столько вопросов, а в интернете еще больше ответов выбирай, что хочешь на свой страх и риск Smiley Happy

PS Продолжаем изучать великую вещь vmware Smiley Happy

0 Kudos
Umlyaut
Expert
Expert

huntsman3000 wrote:

Ну как сказать тестовая лаба, у меня давно крутится мой веб сервер, с почтовиком и шлюзом на разных компах, плюс сервер терминалов поднять нужно, вот как раз все это дело аккурутно влезет в мой новый сервер на vmware.

Ну Вы же вначале поведали, что сперва изучалово на стенде, а потом в продакшен. Smiley Happy

Собственно, одно другому не противоречит - и VI можно овладевать как раз путём разворачивания на ней более-менее реальных сервисов и задач.

huntsman3000 wrote:

С флешкой убедили ... выну свои ССД и лучше их на десктогпный комп поставлю, пользы больше будет, подарю серверу 2 флешки, одну рабочую, другую копию (вот только если вдруг что-то случится, копию то придется до настраивать до последних изменений, если они будут, но думаю это не большая потеряю)

Можете SSD не в десктопный комп совать, а попробовать на хосте ESXi в качестве скоростного локального стора (для БД, скажем... в т.ч. и почтовика толстого). Если Вы повесите эту пару SSD на рейд-контроллер как R1, то рекомендую от четверти до трети этого "зеркала" оставить неразмеченным (соответствующе выбрав размер LUN для данной дисковой группы) - тогда будет полегче на записи из-за увеличения WLA SSD`шек и, соответственно, улучшения работы их BGC.

Так же можете попробовать (на энтерпрайз-триале 5.5) работу SSD-кеша для тех или иных VMDK, лежащих на HDD-сторе - путём включения Flash Read Cache. SSD-шки при этом надо будет развесить по набортным каналам, не на рейд-контроллер.

Ну и как "вишенку на тортик" можете попробовать включить на рейд-контроллере триал-лицензию CacheCade и осуществить предыдущий пункт силами контроллера, а не Сферы (этот вариант независим от редакции Сферы и имеет свои плюсы, хотя есть и отличия в работе от vFRC).

В общем, доброй охоты, коллега! :smileygrin:

0 Kudos
patcher_tula
Enthusiast
Enthusiast

Umlyaut "отдельная R1 рейд-группа под систему ничем не лучше системного LUN`a, отрезанного от общей рейд-группы... "

Поясните, зачем вообще отрезать LUN для esxi? Чем хуже сделать общий LUN, на него поставить esxi и на нем же держать машины?

0 Kudos
Umlyaut
Expert
Expert

Ну, например тем, что при переустановке ESXi на такой "общий большой LUN" инсталлятор потрёт к тудой-то матери весь LUN. Что автоматом херит все виртуалки на нём. Smiley Happy

Вообще же я уже высказывал популярную среди VI-админов т.з насчёт установки гипервизора на USB-флешку.

А вопрос выбора между отдельной дисковой рейд-группой (R1) под систему против отдельного системного LUN  на общей дисковой рейд-группе я затронул не (с)только в контексте ESXi - скорее, в освещение общей дремучести парадигмы наивных админов, полагающих, что отдельная пара зазаеркаленных дисков под систему (любую), есть гуд и мастхев. Что не есть так.

0 Kudos
arunkrish
Contributor
Contributor

Что точное проблема , вы сталкиваетесь с инструментом управления Adaptec .

Я планирую купить контроллер RAID от Intel / Adaptec / LSI . Пожалуйста, дайте мне знать ваши входы .

Благодаря .

0 Kudos
patcher_tula
Enthusiast
Enthusiast

Umlyaut     спасибо за инфу. Никогда не приходилось переставлять esxi поверх, всегда делал 1 LUN (на DAS). А какого размера должен быть лун для esxi? Он потом будет виден в списке стораджей? Его надо как-то убрать оттуда, чтобы не мешался.

Не знаю как насчет установки на флешку... А если она того в самый неподходящий момент? На массиве как-то надежнее.

0 Kudos
Umlyaut
Expert
Expert

patcher_tula wrote:

Umlyaut     А какого размера должен быть лун для esxi?

ESXi устанавливается на 4GB-ю флешку. Из этого и исходите.

Он потом будет виден в списке стораджей? Его надо как-то убрать оттуда, чтобы не мешался.

Нет, не будет.

Не знаю как насчет установки на флешку... А если она того в самый неподходящий момент? На массиве как-то надежнее.

Уже писАл в ветке, но повторюсь - гипервизор на USB-флешке работает практически в режиме RO, так что ничего с флехой не будет. Для страховки, повторюсь же, можете склонировать её после установки и спрятать клон в сейф. Но и без того переустановка на новую флешку занимает не больше четверти часа "на круг".

0 Kudos
operando
Enthusiast
Enthusiast

Umlyaut wrote:

Уже N лет делать на рейд-контроллере отдельную дисковую группу (ага, практически всегда пресловутое "зеркало") "под систему" - признак дурного тона. Лучше сделать на контроллере единую дисковую группу (настоятельно рекомендуется не пренебрегать и HSD), которую разбить на LUN`ы - небольшой первый для ОS и остальное - на DATA.

...

Третий не пойдёт - это HBA, а не рейд-контроллер.

Т.е. формально он может делать R1/R10, но фактически это фейк-рейд (софт-рейд, хост-рейд - как угодно), диски на котором будут видны ESXi`ю россыпью, а не как дисковая рейд-группа.

1. Это не очень хороший совет при использовании SATA-дисков, для ESXi не страшно (хотя ему и флешки хватит с головой), но в общем случае растёт время поиска из-за постоянного перемещения головки.

2. С IR будут видны луны и производительности автору скорее всего хватит.

0 Kudos
Umlyaut
Expert
Expert

operando wrote:

Umlyaut wrote:

Уже N лет делать на рейд-контроллере отдельную дисковую группу (ага, практически всегда пресловутое "зеркало") "под систему" - признак дурного тона. Лучше сделать на контроллере единую дисковую группу (настоятельно рекомендуется не пренебрегать и HSD), которую разбить на LUN`ы - небольшой первый для ОS и остальное - на DATA.

1. Это не очень хороший совет при использовании SATA-дисков, для ESXi не страшно (хотя ему и флешки хватит с головой), но в общем случае растёт время поиска из-за постоянного перемещения головки.

Я не очень понял, "кто на ком стоял", но чисто интуитивно (на основании богатого опыта) подозреваю, что где-то в этом месте Вы не правы. Если соблаговолите Smiley Happy раскрыть свою мысль чуть более подробно, то я постараюсь поточнее указать, в чём Вы ошиблись... :smileygrin:

operando wrote:

Umlyaut wrote:

...

Третий не пойдёт - это HBA, а не рейд-контроллер.

Т.е. формально он может делать R1/R10, но фактически это фейк-рейд (софт-рейд, хост-рейд - как угодно), диски на котором будут видны ESXi`ю россыпью, а не как дисковая рейд-группа.

2. С IR будут видны луны и производительности автору скорее всего хватит.

Ну начать с того, что c HBA (или  IR) гипервизору "будут видны" не LUN`ы (в значении Virtual Drive в "системе координат" тех же МегаРЕЙДов), а диски, на которых означенный гипервизор и создаст разделы VMFS.

Только вот не производительностью единой: LUN на дисковой рейд-группе с избыточностью (R1/10, R5/6/50/60) это  в первую голову отказоустойчивость по вылету носителя. А вот два отдельных VMFS-раздела на независимых дисках на HBA без доп.извращений таковую избыточность не обеспечат...

0 Kudos
operando
Enthusiast
Enthusiast

Umlyaut wrote:

Я не очень понял, "кто на ком стоял", но чисто интуитивно (на основании богатого опыта) подозреваю, что где-то в этом месте Вы не правы. Если соблаговолите Smiley Happy раскрыть свою мысль чуть более подробно, то я постараюсь поточнее указать, в чём Вы ошиблись... :smileygrin:

Ну начать с того, что c HBA (или  IR) гипервизору "будут видны" не LUN`ы (в значении Virtual Drive в "системе координат" тех же МегаРЕЙДов), а диски, на которых означенный гипервизор и создаст разделы VMFS.

Только вот не производительностью единой: LUN на дисковой рейд-группе с избыточностью (R1/10, R5/6/50/60) это  в первую голову отказоустойчивость по вылету носителя. А вот два отдельных VMFS-раздела на независимых дисках на HBA без доп.извращений таковую избыточность не обеспечат...

По поводу HBA:

Смена режима прошивки (IR/IT) для LSI SAS HBA

Управление контроллерами LSI SAS HBA (IR)

По поводу LUNов:

Это рекомендация вендоров СХД. Нарезка SATA-дисков на LUNы вызывает лишнее перемещение головки и меняет характер I/O, что приводит к увеличению latency и снижению и без того невысокой производительности. С распространением дисков с SMR про это станут говорить чаще.

0 Kudos
Umlyaut
Expert
Expert

operando wrote:

По поводу HBA:

Смена режима прошивки (IR/IT) для LSI SAS HBA

Управление контроллерами LSI SAS HBA (IR)

Товарищ, Ваша логика заводит дискуссию в тупик.

Я Вам про Фому то, что VMFS-сторы на отдельных дисках, висящих на HBA, не дают нам избыточности - а Вы мне про Ерёму смену прошивки и управление HBA. "Где логика, где разум?"(с)анекдот. Smiley Happy

Ещё раз и медленно - я высказался отрицательно насчёт конкретного адаптера, т.к. он не являлся рейд-контроллером, отчего диски на нём, даже если их собрать силами адаптера в т.н. "R1/10", будут видны гипервизору НЕ как отказоустойчивая дисковая группа, А как отдельные диски. Что неприемлемо с т.з. сохранности данных при вылете одиночного диска.

operando wrote:

По поводу LUNов:

Это рекомендация вендоров СХД. Нарезка SATA-дисков на LUNы вызывает лишнее перемещение головки и меняет характер I/O, что приводит к увеличению latency и снижению и без того невысокой производительности. С распространением дисков с SMR про это станут говорить чаще.

Будьте любезны, побалуйте ссылкой на эти самые "рекомендации вендоров", а то я боюсь, что Вы могли их неверно перевести/интерпретировать. Это не говоря уж о том, что в СХД используются исключительно софт-рейды ОС хранилок на HBА (а не на аппаратных рейд-контроллерах) - а это совсем другая песня, нежели обсуждаемые рейды.

Кроме того к Вам небольшая претензия по корректности формулировок - рейд-контроллеры на LUN`ы режут не диски (SATA или иные), а дисковые группы той или иной размерности (уровня RAID).

И это место устроено так, что:

а) LUN размером условно с четверть всей дисковой группы "отрезает" на каждом диске группы одну и ту же облать - например, первую четверть, если это первый LUN;

б) рейд-контроллеры отдают команды на перемещение головок синхронно по одним и тем же цилиндрам на всех дисках группы, от деления на LUN-ы это никак не зависит, т.к. это более низкий "уровень абстракции" дисковой системы.

Отсюда весьма странно выглядит Ваше заявление о каких-то "лишних" перемещениях головок.

Про "характер I/O" Вы тоже что-то не то говорите (в привязке к LUN`ам на контроллере).

И это очень общее высказывание - хотелось бы больше конкретики; с какого на какой меняется "характер" этого I/O - и с какого боку тут нарезка дисковой группы на LUN.

Товарищ, не в обиду Вам будь сказано - Вы бы ознакомились получше с устройством и работой рейд-контроллеров, спеки почитали. А то реально утомляет степень непонимания, возникающая отттого, что не все участники дискуссии в должной мере владеют понятийным аппаратом и контекстом его применения.

С уважением...

0 Kudos