Accepted Solutions
huntsman3000 wrote:
А если выбирать более бюджетный вариант, мне нужно по сути добавить в raid 10 только 4 жестких диска под виртуалки + 2 (raid 1) под саму систему esxi.
"А вот ЭТОГО не надо! - сказал граф и пошёл мыть посуду"(с)анек. 
Уже N лет делать на рейд-контроллере отдельную дисковую группу (ага, практически всегда пресловутое "зеркало") "под систему" - признак дурного тона. Лучше сделать на контроллере единую дисковую группу (настоятельно рекомендуется не пренебрегать и HSD), которую разбить на LUN`ы - небольшой первый для ОS и остальное - на DATA.
Иначе (по чаемой Вами схеме) Вы буквально крадёте у себя а) ёмкость этого отдельного "зеркала" (бо система там займёт мизер) б) IOPSы у разделов с данными (бо эти же диски могли бы быть в общей дисковой группе) в) порты на контроллере.
Причём ESXi вообще может (или даже должен) быть установлен на USB-флешке, а локальный дисковый массив отдан под данный - но если Вы почему-то не желаете держать гипервизор на флешке, то сделайте, как я Вам выше рекомендовал, не пожалеете...
RAID контроллер LSI LOGIC MegaRAID SAS 9240-4i SGL
Это если попроще без зеркала на ситсему (вот только не уверен, что без зеркала будет надежно)
И вариант покруче до 8 портов:
LSI MegaRAID SAS9260-8i
И еще один вариант подешевле:
LSI SAS SATA 9211-8i
что из этого точно подойдет под мою задачу?
Третий не пойдёт - это HBA, а не рейд-контроллер.
Т.е. формально он может делать R1/R10, но фактически это фейк-рейд (софт-рейд, хост-рейд - как угодно), диски на котором будут видны ESXi`ю россыпью, а не как дисковая рейд-группа.
Первое отказать напрочь - и не столько из-за малого к-ва портов (хотя и это лыко в строку - например, r10 там придётся делать без HSD), сколько из-за отсутствия набортной кеш-памяти, отчего запись у этой железяки - одно горе да беда.
9260-8i - хорошая надёжная рабочая лошадка, сам такие пользовал и пользую именно со Сферой.
6 дисков (можно SATA, можно SAS - на что средства будут) в R10, 1-2 HSD.
Очень хорошо если удастся прикупить опцию CacheCade (+200 USD), тогда 6 на R10 + 1 HSD + 1 SSD дадут копоти и на запись, и на чтение.
huntsman3000 wrote:
А если выбирать более бюджетный вариант, мне нужно по сути добавить в raid 10 только 4 жестких диска под виртуалки + 2 (raid 1) под саму систему esxi.
"А вот ЭТОГО не надо! - сказал граф и пошёл мыть посуду"(с)анек.
Уже N лет делать на рейд-контроллере отдельную дисковую группу (ага, практически всегда пресловутое "зеркало") "под систему" - признак дурного тона. Лучше сделать на контроллере единую дисковую группу (настоятельно рекомендуется не пренебрегать и HSD), которую разбить на LUN`ы - небольшой первый для ОS и остальное - на DATA.
Иначе (по чаемой Вами схеме) Вы буквально крадёте у себя а) ёмкость этого отдельного "зеркала" (бо система там займёт мизер) б) IOPSы у разделов с данными (бо эти же диски могли бы быть в общей дисковой группе) в) порты на контроллере.
Причём ESXi вообще может (или даже должен) быть установлен на USB-флешке, а локальный дисковый массив отдан под данный - но если Вы почему-то не желаете держать гипервизор на флешке, то сделайте, как я Вам выше рекомендовал, не пожалеете...
RAID контроллер LSI LOGIC MegaRAID SAS 9240-4i SGL
Это если попроще без зеркала на ситсему (вот только не уверен, что без зеркала будет надежно)
И вариант покруче до 8 портов:
LSI MegaRAID SAS9260-8i
И еще один вариант подешевле:
LSI SAS SATA 9211-8i
что из этого точно подойдет под мою задачу?
Третий не пойдёт - это HBA, а не рейд-контроллер.
Т.е. формально он может делать R1/R10, но фактически это фейк-рейд (софт-рейд, хост-рейд - как угодно), диски на котором будут видны ESXi`ю россыпью, а не как дисковая рейд-группа.
Первое отказать напрочь - и не столько из-за малого к-ва портов (хотя и это лыко в строку - например, r10 там придётся делать без HSD), сколько из-за отсутствия набортной кеш-памяти, отчего запись у этой железяки - одно горе да беда.
9260-8i - хорошая надёжная рабочая лошадка, сам такие пользовал и пользую именно со Сферой.
6 дисков (можно SATA, можно SAS - на что средства будут) в R10, 1-2 HSD.
Очень хорошо если удастся прикупить опцию CacheCade (+200 USD), тогда 6 на R10 + 1 HSD + 1 SSD дадут копоти и на запись, и на чтение.
PS хотя с такими ценами, уже задумываюсь купить просто NAS накопитель .... правда не знаю, это будет лучше или хуже ....
А что NAS-накопитель? Думаете, это волшебная палочка или серебряная пуля?
Накопитель с ценой ниже или равной локальному массиву на 9260 будет на-а-ааамного медленнее.
А накопитель по скорости равный - будет на-а-амного дороже.
Заказал на ebay вот такой девайс ...
ibbu08 аккумулятор + LSI MEGARAID 9261-8I 3C 8-Port PCI-E 6Gb/s RAID контроллер
Надеюсь не обложался? Пока без рейда поработает, а там как-то надо мигрировать на новый том ...
PS На счет системы отдельным томом, реально подумаю. Сейчвас стоят на систему 2 SSD по 64 Gb (завалялись, думал хуже не будет).
На счет флешки слышал многое, но почему-то флешка не внушает доверия как надежное хранилище, тем более без зеркала.
Большое спасибо всем за ответы и помощь, это первая моя виртуалка как пилотный проект, потом начну внедрять на своей компании, пока сам себе дома шишки набивать буду, чтобы не портить чужое имущество
huntsman3000 wrote:
Заказал на ebay вот такой девайс ...
ibbu08 аккумулятор + LSI MEGARAID 9261-8I 3C 8-Port PCI-E 6Gb/s RAID контроллер
Надеюсь не обложался? Пока без рейда поработает, а там как-то надо мигрировать на новый том ...
Э-э-ээ... слегка расточительно - если это для тестовой лабы, то батарейку можно было и не брать - невелика потеря "если что"... Вот на продакшен-сервер батарейка маст хэв, да.
Насчёт "так, а потом мигрировать"... до приезда контроллера и появления диска для него можете реально поставиться хоть на одиночный хард на бортовом SATA и играться - приедет контроллер, воткнёте его и получите локальный стор.
Ну или всё же можете пока на USB-флешку поставиться: этот вариант Вам всё равно нужно знать-уметь, может когда-нибудь пригодиться в продакшене.
По дискам - смотрите сами, но R10 + HSD для Вас оптимально будет.
Поскольку на лабе ёмкость огромная не нужна, можно не ставить вначале терабайтники "на всю тягу" (это ж дороговасто будет и ненужно поперву), а набрать некий объём шпинделями на 160-250-320GB - IOPSы это даст, места тоже для лабы хватит.
PS На счет системы отдельным томом, реально подумаю. Сейчвас стоят на систему 2 SSD по 64 Gb (завалялись, думал хуже не будет).
На счет флешки слышал многое, но почему-то флешка не внушает доверия как надежное хранилище, тем более без зеркала.
Тут и думать нечего - отдельная R1 рейд-группа под систему ничем не лучше системного LUN`a, отрезанного от общей рейд-группы... то есть, совсем ничем... а вот "убытки" от неё я выше указал...
За флешку зря беспокоитесь - во время работы гипервизора на неё практически ничего не пишется, т.ч. ресурс у неё не тратится. И зеркалить её, соответственно, незачем - это в Вас старые страхи бродят, от "классических ОС". Вообще же даже при каком-то дизастере воткнуть другую флешку и инстальнуть на неё гипервизор заново - дело четверти часа со всеми пирогами... а если свежеинсталлированную флешку склонировать и положить клон в сейф, то и этого не понадобится.
Не сомневайтесь, в продакшене дисклесс-хосты давно грузятся с флешек.
Ну как сказать тестовая лаба, у меня давно крутится мой веб сервер, с почтовиком и шлюзом на разных компах, плюс сервер терминалов поднять нужно, вот как раз все это дело аккурутно влезет в мой новый сервер на vmware.
С флешкой убедили ... выну свои ССД и лучше их на десктогпный комп поставлю, пользы больше будет, подарю серверу 2 флешки, одну рабочую, другую копию (вот только если вдруг что-то случится, копию то придется до настраивать до последних изменений, если они будут, но думаю это не большая потеряю)
Спасибо большое всем за ответы, хоть мозги встают на место, а то как начал изучать столько вопросов, а в интернете еще больше ответов выбирай, что хочешь на свой страх и риск
PS Продолжаем изучать великую вещь vmware
huntsman3000 wrote:
Ну как сказать тестовая лаба, у меня давно крутится мой веб сервер, с почтовиком и шлюзом на разных компах, плюс сервер терминалов поднять нужно, вот как раз все это дело аккурутно влезет в мой новый сервер на vmware.
Ну Вы же вначале поведали, что сперва изучалово на стенде, а потом в продакшен.
Собственно, одно другому не противоречит - и VI можно овладевать как раз путём разворачивания на ней более-менее реальных сервисов и задач.
huntsman3000 wrote:
С флешкой убедили ... выну свои ССД и лучше их на десктогпный комп поставлю, пользы больше будет, подарю серверу 2 флешки, одну рабочую, другую копию (вот только если вдруг что-то случится, копию то придется до настраивать до последних изменений, если они будут, но думаю это не большая потеряю)
Можете SSD не в десктопный комп совать, а попробовать на хосте ESXi в качестве скоростного локального стора (для БД, скажем... в т.ч. и почтовика толстого). Если Вы повесите эту пару SSD на рейд-контроллер как R1, то рекомендую от четверти до трети этого "зеркала" оставить неразмеченным (соответствующе выбрав размер LUN для данной дисковой группы) - тогда будет полегче на записи из-за увеличения WLA SSD`шек и, соответственно, улучшения работы их BGC.
Так же можете попробовать (на энтерпрайз-триале 5.5) работу SSD-кеша для тех или иных VMDK, лежащих на HDD-сторе - путём включения Flash Read Cache. SSD-шки при этом надо будет развесить по набортным каналам, не на рейд-контроллер.
Ну и как "вишенку на тортик" можете попробовать включить на рейд-контроллере триал-лицензию CacheCade и осуществить предыдущий пункт силами контроллера, а не Сферы (этот вариант независим от редакции Сферы и имеет свои плюсы, хотя есть и отличия в работе от vFRC).
В общем, доброй охоты, коллега! :smileygrin:
Ну, например тем, что при переустановке ESXi на такой "общий большой LUN" инсталлятор потрёт к тудой-то матери весь LUN. Что автоматом херит все виртуалки на нём.
Вообще же я уже высказывал популярную среди VI-админов т.з насчёт установки гипервизора на USB-флешку.
А вопрос выбора между отдельной дисковой рейд-группой (R1) под систему против отдельного системного LUN на общей дисковой рейд-группе я затронул не (с)только в контексте ESXi - скорее, в освещение общей дремучести парадигмы наивных админов, полагающих, что отдельная пара зазаеркаленных дисков под систему (любую), есть гуд и мастхев. Что не есть так.
operando wrote:
Umlyaut wrote:
Уже N лет делать на рейд-контроллере отдельную дисковую группу (ага, практически всегда пресловутое "зеркало") "под систему" - признак дурного тона. Лучше сделать на контроллере единую дисковую группу (настоятельно рекомендуется не пренебрегать и HSD), которую разбить на LUN`ы - небольшой первый для ОS и остальное - на DATA.
1. Это не очень хороший совет при использовании SATA-дисков, для ESXi не страшно (хотя ему и флешки хватит с головой), но в общем случае растёт время поиска из-за постоянного перемещения головки.
Я не очень понял, "кто на ком стоял", но чисто интуитивно (на основании богатого опыта) подозреваю, что где-то в этом месте Вы не правы. Если соблаговолите раскрыть свою мысль чуть более подробно, то я постараюсь поточнее указать, в чём Вы ошиблись... :smileygrin:
operando wrote:
Umlyaut wrote:
...
Третий не пойдёт - это HBA, а не рейд-контроллер.
Т.е. формально он может делать R1/R10, но фактически это фейк-рейд (софт-рейд, хост-рейд - как угодно), диски на котором будут видны ESXi`ю россыпью, а не как дисковая рейд-группа.
2. С IR будут видны луны и производительности автору скорее всего хватит.
Ну начать с того, что c HBA (или IR) гипервизору "будут видны" не LUN`ы (в значении Virtual Drive в "системе координат" тех же МегаРЕЙДов), а диски, на которых означенный гипервизор и создаст разделы VMFS.
Только вот не производительностью единой: LUN на дисковой рейд-группе с избыточностью (R1/10, R5/6/50/60) это в первую голову отказоустойчивость по вылету носителя. А вот два отдельных VMFS-раздела на независимых дисках на HBA без доп.извращений таковую избыточность не обеспечат...
Umlyaut wrote:
Я не очень понял, "кто на ком стоял", но чисто интуитивно (на основании богатого опыта) подозреваю, что где-то в этом месте Вы не правы. Если соблаговолите
Ну начать с того, что c HBA (или IR) гипервизору "будут видны" не LUN`ы (в значении Virtual Drive в "системе координат" тех же МегаРЕЙДов), а диски, на которых означенный гипервизор и создаст разделы VMFS.
Только вот не производительностью единой: LUN на дисковой рейд-группе с избыточностью (R1/10, R5/6/50/60) это в первую голову отказоустойчивость по вылету носителя. А вот два отдельных VMFS-раздела на независимых дисках на HBA без доп.извращений таковую избыточность не обеспечат...
По поводу HBA:
Смена режима прошивки (IR/IT) для LSI SAS HBA
Управление контроллерами LSI SAS HBA (IR)
По поводу LUNов:
Это рекомендация вендоров СХД. Нарезка SATA-дисков на LUNы вызывает лишнее перемещение головки и меняет характер I/O, что приводит к увеличению latency и снижению и без того невысокой производительности. С распространением дисков с SMR про это станут говорить чаще.
operando wrote:
По поводу HBA:
Товарищ, Ваша логика заводит дискуссию в тупик.
Я Вам про Фому то, что VMFS-сторы на отдельных дисках, висящих на HBA, не дают нам избыточности - а Вы мне про Ерёму смену прошивки и управление HBA. "Где логика, где разум?"(с)анекдот.
Ещё раз и медленно - я высказался отрицательно насчёт конкретного адаптера, т.к. он не являлся рейд-контроллером, отчего диски на нём, даже если их собрать силами адаптера в т.н. "R1/10", будут видны гипервизору НЕ как отказоустойчивая дисковая группа, А как отдельные диски. Что неприемлемо с т.з. сохранности данных при вылете одиночного диска.
operando wrote:
По поводу LUNов:
Это рекомендация вендоров СХД. Нарезка SATA-дисков на LUNы вызывает лишнее перемещение головки и меняет характер I/O, что приводит к увеличению latency и снижению и без того невысокой производительности. С распространением дисков с SMR про это станут говорить чаще.
Будьте любезны, побалуйте ссылкой на эти самые "рекомендации вендоров", а то я боюсь, что Вы могли их неверно перевести/интерпретировать. Это не говоря уж о том, что в СХД используются исключительно софт-рейды ОС хранилок на HBА (а не на аппаратных рейд-контроллерах) - а это совсем другая песня, нежели обсуждаемые рейды.
Кроме того к Вам небольшая претензия по корректности формулировок - рейд-контроллеры на LUN`ы режут не диски (SATA или иные), а дисковые группы той или иной размерности (уровня RAID).
И это место устроено так, что:
а) LUN размером условно с четверть всей дисковой группы "отрезает" на каждом диске группы одну и ту же облать - например, первую четверть, если это первый LUN;
б) рейд-контроллеры отдают команды на перемещение головок синхронно по одним и тем же цилиндрам на всех дисках группы, от деления на LUN-ы это никак не зависит, т.к. это более низкий "уровень абстракции" дисковой системы.
Отсюда весьма странно выглядит Ваше заявление о каких-то "лишних" перемещениях головок.
Про "характер I/O" Вы тоже что-то не то говорите (в привязке к LUN`ам на контроллере).
И это очень общее высказывание - хотелось бы больше конкретики; с какого на какой меняется "характер" этого I/O - и с какого боку тут нарезка дисковой группы на LUN.
Товарищ, не в обиду Вам будь сказано - Вы бы ознакомились получше с устройством и работой рейд-контроллеров, спеки почитали. А то реально утомляет степень непонимания, возникающая отттого, что не все участники дискуссии в должной мере владеют понятийным аппаратом и контекстом его применения.
С уважением...