pepelxl
Contributor
Contributor

выбор файловой системы для виртуального nas?

Немного вводной информации: Знание технологий чуть выше нуля. Нужен nas для домашнего использования. Имеется довольно старый самосбор с установленным бесплатным esxi6.7, которого хватает за глаза.  Под ним крутятся несколько vm не требующие производительности. В сервере установлен аппаратный raid6 на 5ТБ. При сборке я эпически облажался и собрал raid из дисков 4kn. Дело было давнее, знаний ещё меньше, по этому запустил виртуальный  win2012 пробросил весь контроллер в vm для поддержки 4kn. Так долгое время работал, производительность полностью устраивает, но не устраивает некоторые аспекты последовательной загрузки vm и доступа к шаре. Пришел 6.7 c нативной поддержкой 4kn. Решил всё пересобрать. Понял, что опять не хватает знаний. 

Цель - сетевая шара c nfs, iscsi,webdav и т.д. Высокая защищённость от сбоев(содержимое шары, backup не запланирован). Содержимое редко обновляется, но большими объёмами, поэтому важна скорость чтения и записи(1Gb сеть).

В начале думал vm с freenas или аналогом и смонтированным виртуальным диском под шару(vmdk). Описание данной конструкции ни где не нашел. Во всех примерах freenas-у отдают весь контроллер на растерзание. Это меня не устраивает, т.к. первыми должны грузится другие vm находящиеся на raid массиве.

Второе с чем столкнулся, это предупреждение не использовать zfs на аппаратных raid, т.к. в лучшем случаи пользы от плюшек zfs не будет, в худшем - при наступлении механизма восстановления данных, zfs может разрушить весь raid массив. Отсюда возникает вопрос - проблема сохраняется если используется прослойка в виде vmfs6?

Третье, что не понравилось freenas и им подобные требовательны к единственному нужному мне ресурсу - оперативной памяти сервера. Я так понимаю это издержки zfs. Но тогда чем её заменить? Какие файловые системы с проверкой содержимого менее ресурсоёмки - btrfs, refs, ...?

Принципе главный вопрос - с какой операционной системой собрать vm, какую файловую систему использовать для хранилища при моих условиях? 

0 Kudos
13 Replies
Finikiez
Champion
Champion

Добрый день!

Во всей этой истории не понятно одно - зачем вам нужен ESXi?

0 Kudos
pepelxl
Contributor
Contributor

почему-то я так и подумал, что первый ответ будет таким Smiley Happy

Из-за других vm работающих на этом сервере, - их много, esxi бесплатен, стабилен и позволяет динамически перекидывать оперативку между ними. А пользователь один -я.

0 Kudos
Umlyaut
Expert
Expert

Принципе главный вопрос - с какой операционной системой собрать vm, какую файловую систему использовать для хранилища при моих условиях?

Это не один, а два вопроса. :smileygrin:

Сразу прошу извинить относительную пространность (ну, с т.з. профи Smiley Happy) - Вы сами обозначили себя как начинающего, так что немного ликбеза в гомеопатических дозах не повредит. :smileygrin:

По первому - на основе чего NAS.

Наверное, на той ОС, которую Вы лучше всего знаете/понимаете.

Но в целом при Вашей ситуации можете взять какой-нибудь коробочный дистр с минимумом телодвижений.

Например, OpenFiler.

Да, он "заморожен" и больше не развивается, но даже на многое железо до сих пор встаёт "на ура" (как пример - Xeon`ы 1366/2011, SATA/SAS-контроллеры 6Gbit, Ethernet 10Gbit).

На виртуалку же он заходит, как дети в школу. Smiley Happy

При этом он реально "интуитивно понятен и дружественен" даже для начинающего, да и материалов по его установке/настройке в Сети хоть пруд пруди. Smiley Happy Берите 2.99, 2.3 менее актуален. Реально "дубовый" дистр в самом хорошем смысле.

Чтобы не быть голословным, скажу, что у самого все хранилки - на работе! - крутятся именно на OF. В сумме там полсотни терабайт и в ближайших планах утроить этот объём ещё парой хранилок на OF (одна боевая SAS, вторая архивная на entrprise SATA).

Работает на них четыре десятка виртуалок - собственно, вся продуктивная инфраструктура, на "физике" у еня остались только элементы VI - хосты и хранилки.

Ага, уже не первый год обещаю себе переползти на что-то более стильное, модное, молодёжное современное - даже собирал себе ЦентОС с SCST-таргетом... но воз и ныне там: то лень, то некогда... а OF крутится и крутится себе. Но, чую, ща с переходом на 12Gbit контроллеры (SATA/SAS) придётся всё же заменять OF на "самокрутки".

Так что попробуйте сделать тестовую VM с OF и поиграйте с ней - не пожалеете. :smileygrin:

По второму вопросу - тут сложно.

Вот Вы говорите:

Цель - сетевая шара c nfs, iscsi,webdav

Применительно к iscsi слово "шара" может послужить причиной многих трагедий Smiley Happy

iscsi - блочный доступ, сама хранилка на LUN (разделе), презентуемом по iscsi другим хостам/компам, никакую ФС не делает - файловую систему на этом LUN создаёт хост-инициатор (iscsi-"клиент" хранилки).

Если хост-инициатор будет виндовой машиной, то iscsi-LUN от таргета (Вашей хранилки) её диск-менеджер "увидит" как ещё один локальный диск - и Вы сможете создать на нём, например, NTFS.

Если хостом-инициатором будет Мак, то на этом iscsi-LUN`е будет созданная им HFS.

А попытка отдать LUN по iscsi на запись двум или более компам-инициаторам чревата гарантированной потерей данных - если у Вас только не будет на этом LUN КЛАСТЕРНОЙ(!) файловой системы.

"Локальные" ФС - NTFS, FATxx, HFS, extN, xfs, reiser и иже с ними кластерными НЕ являются!

Поэтому попытки работать с "шарой" (именно так - в кавычках") iscsi в привычном стиле работы с файловыми шарами - это больно и неприятно.

Вот когда речь идёт о файловых шарах - тогда за ФС, на которую эти файлы лягут с сетевого компа по файловому сетевому протоколу, отвечает ОС хранилки. И она же регулирует совместный доступ к этим файлам с разных компов по сети.

При Ваших условиях - вполне вегетарианских и игрушечных по правде говоря - лепить на хранилку ZFS, это как вспахивать одну грядку под морковку с помощью трактора К-700 с семилемешным плугом. Избыточно, короче - и весьма.

ZFS больше чем ФС - и закончим на этом, ОК?

В Вашем случае выбор той или иной системы (дистрибутива) для VM-хранилки автоматом определяет список ФС, которые это ОС сможет сгенерировать.

Скажем, если Вы слепите хранилку на вин-сервере, то Ваш выбор ограничится одним пунктом - NTFS (не, FAT32 тоже теоретически возможна, но это несерьёзно Smiley Happy).

А хранилка на линуксе (к коим относится и тот же OF) даст возможность использовать набор ФС: ext2/3/4, xfs, reiserFS, etc.

И тут выбор делать Вам. Критерии выбора разные, тут надо смотреть на сильные и слабые стороны.

Например, одни не блещут по скорости (относительно, конечно - по сравнению с "чемпионами"), но надёжны и устойчивы к сбоям (хорошо чекаются при рестарте, иеют богатый набор утилит восстановления и т.д.).

Другие - ровно наоборот. Третьи - частично то, частично это.

Тут я Вам не подсказчик, могу лишь сказать, что при приемлемом уровне железа я обычно поступаюсь "родными" спринтерскими качествами ФС в сторону бОльшей надёжности ("передавливаю" железом софт, тсзть. Но это не догма.

Вот вкратце как-то так... Smiley Happy

Umlyaut
Expert
Expert

И вдогонку, чтоб не раздувать предыдущий комментарий... :smileygrin:

По вопросу ФС - я сразу не заметил, что у Вас крайне специфическое видение этой проблемы/задачи (и в данном случае это не похвала! Smiley Sad)

Отсюда возникает вопрос - проблема сохраняется если используется прослойка в виде vmfs6?

vmfs нужна самому гипервизору (ESXi), чтобы размещать на ней файлы виртуальных машин (ну и прочие необходимые ему).

С т.з. как ОС виртуалки, так и ФС внутри этой ОС, на её "диске", VMFS "снаружи" не существует!

ОС "думает", что работает на "просто компе", а стоИт он в серверной или под столом, крутится ли в виде VM в гипервизоре - ХЗ, ОС виртуалки это не известно (технически это не совсем так, но это в данном вопросе абсолютно непринципиально).

Иначе говоря, если - а точнее, когда - ZFS или иная ФС дурканёт, то совершенно без разницы, будет ли "под ней" VMFS или физические сектора HDD (ячейки флеша SSD).

Высокая защищённость от сбоев(содержимое шары, backup не запланирован).

Какие файловые системы с проверкой содержимого менее ресурсоёмки - btrfs, refs, ...?

Товарищ, скажите, Вам настолько пох Ваши данные (выразился бы грубее, но стесняюсь)???

И кто Вам напел все эти военные песни (про zfs в частности... ну, в контексте надёэности, восстановления и пр.).

Я, блин, админ с почти четвертьвековым стажем, парюсь по рейд-конфигурациям носителей, зеркалированию и скрабингу модулей памяти (с ЕСС!!) на своих серверах, угораю по сдвоенным-строенным питальникам на разных UPS`ах и фидерах, мультипасу через разные коммутаторы, репликации нод и пр. - и при этом просыпаюсь ночами в холодном поту от кошмара, в котором все мои быкапы и архивы накрылись женским половым органом (ну ладно, тут вру :smileygrin:  - не просыпаюсь... и просыпаться не хочу от такого Smiley Happy)...

А Вы, ничтоже сумняшеся, в явном виде предаёте анафеме саму идею резервного копирования, уповая на какие-то полумифические способности ФС к (само)восстановлению и корректировке... да просто верите в её тотальную и незыблемую безглючность ныне, присно и во веки веков, аминь!

Поймите, быкапы - это последняя линия обороны и зачастую последний шанс "удержаться на краю" когда - не если, когда!!! - обосрутся, пардон май френч, все предыдущие решения по "отказостойчивости" (включая и редундантные сущности).

Привет Вам, кстати, из прошлого лета, от весёлого парня - Петя-шифровальщик зовут. :smileygrin:

У туевой хучи народа "абсолютно надёжное" оборудование на супер-пупер ФС содержало нечитаемый мусор.

И тем, у кого не оказалось быкапов/архивов пришлось оооочень несладко.

Просто учтите это.

pepelxl
Contributor
Contributor

Cспасибо за развёрнутый ответ.

пока в процессе тестирования и раздумий.

Выяснилось, что компании с крупными бюджетами не спешат с поддержкой своих продуктов. LSI до сих пор не выпустил smi-s provider под 6.7 так что я,даже не вижу, что там с массивом. Опять ждать у моря погоды.

0 Kudos
Umlyaut
Expert
Expert

Кстати, а что за LSI у Вас?

Ну, модель контроллера интересует.

Спрашиваю потому, что насторожил момент, связанный с дисками 4KN.

По-хорошему контроллер, "понимающий" диски 4KN, должен презентовать их в виде LUN (в терминологии контроллера - VD) операционке как диски с сектором 512b (512N или 512E).

По крайней мере LSI это давно умеют.

Т.е. проброс всего контроллера с рейд-группой из дисков 4KN в виртуалку с 2012-м сервером представляется мне довольно бессмысленным излишним действом - ESXi должен был увидеть LUN на этой дисковой группе как большой "диск" с размером сектора в 512b.

Если контроллер не умеет работать с дисками 4KN, то только "снизу" - т.е. он просто "не увидит" набора таких дисков, подцепленных на него - а Вы сказали, что у Вас R6, т.е. всё ОК тут.

0 Kudos
Umlyaut
Expert
Expert

отвечаю на работе, в "перекур", тсзть, поэтому пропускаю кое-что (а редактировать уже отправленный комментарий бывает проблематично - то ли сайт тут чудит, то ли браузер мой капризничает Smiley Happy)

Выяснилось, что компании с крупными бюджетами не спешат с поддержкой своих продуктов. LSI до сих пор не выпустил smi-s provider под 6.7 так что я,даже не вижу, что там с массивом. Опять ждать у моря погоды.

Я бы не стал тут пинать LSI - ну, именно за этот аспект (за тупую, тормозную и глючную JAVA-морду их MSM я бы убивал с особым цинизмом :smileygrin::smileygrin::smileygrin:).

Просто Варя чота стала угорать по Аджайлу это то, что раньше называлось х.як-х.як и в продакшен - в результате вменяемые админы (а таких в нашем цехе всё же большинство Smiley Happy) до U1/SP1 на новую мажорную версию не переходят.

Ну и LSI, видимо, не сильно рвётся бежать впереди паровоза - тем более, что парадигма Сферы и окололежащей экосистемы в том, что это решение в первую голову для крупняка, для которого локальный стор на рейд-контроллере непосредственно в хосте гипервизора скорее исключение, нежели правило - рулят сетевые хранилки (NAS/SAN).

Да даже Варина конь-цепция vSAN не предусматривает обязательного применения рейд-контролеров (так, как приятная опция и лишний уровень редундантности) - упор делается на "зеркалирование"-дублирование хостов и их сторов из отдельных дисков на HBA.

P.S. Лично я вообще сижу на Сфере 5.0, т.к. всё устраивает и обилие фичЪ 6-го семейства, как по мне, пока не окупает геморроя с переходом и последующей эксплуатацией (принципы-то базовые всё те же). Smiley Happy

Так что когда/если буду переходить дальше по версиям,  то не на самую свежую, а на предыдущую - обкатанную и обтёсанную (в т.ч. и со SMIS-провайдерами :smileygrin:).

0 Kudos
pepelxl
Contributor
Contributor

9266. Контроллер диски обрабатывает нормально. Собирает их в lun. Esxi до 6.7 такие диски видит, но сам установится на них не может(ошибка при инсталяции). Отформатировать в datastore не может. Пробросить в VM как raw тоже не может. Короче ни чего не может. На версии 6.7 всё окей( кроме raw, судя по wiki).

0 Kudos
Umlyaut
Expert
Expert

так, я освежил свою память по спекам - вопрос снимается Smiley Happy

контроллеры - включая Ваш 9266 - реально стараются придерживаться "сквозной" презентации именно размера сектора - то есть они могут (при соответсвующей опции в прошивке) менять только компатибабельность, презентуя диски 512Е как 512Т и наеборот Smiley Happy

а размер сектора они отдают "наверх" без изменений

вот кстати плюс сетевых хранилок версус локального рейд-стораджа хоста ESXi - легче маневрировать версией ОС в сторону нативно понимающей сектор 4К

0 Kudos
moshkow
Hot Shot
Hot Shot

FreeBSD, ZFS/RAIDZ, Samba.

VMFS 6 - дает заметный бонус при наличии больших файлов по несколько террабайт, при совместном (кластерном) доступе нескольких ESXi - не использует scsi-reservations  при обслуживании тонких дисков, и еще у него поддержка 4к- дисков

0 Kudos
dimsua
Enthusiast
Enthusiast

Имеется хост с ESXI 6.7 и аппаратным RAID 6.
Датастор 6 ТБ

На нем несколько VM.
В то числе и FreeNas 11.1

Выделено 16 GB под систему и 5 ТБ под хранилище.

По NFS делаем бекапы.

ОЗУ для FreeNas выделено 8 ГБ - минимально рекомендуемое значение.

На ZFS включено сжатие.

Так что схема вполне рабочая.

Состояние массива (LSI 9266-8i)  мониторится по storcli.

pepelxl
Contributor
Contributor

Можно по подробней про storcli?

Может уже вами нарисованы какие скрипты для автоматического уведомления?

0 Kudos
dimsua
Enthusiast
Enthusiast

Скрипты не делали.

Периодически подключаемся по SSH и проверяем состояние массивов.

В нашем случае команда выглядит так:  ./storcli /c0 show all

Более подробно по командам можно посмотреть например здесь:
StorCLI команды управления RAID контроллером LSI в VMware ESXI 5.5 | Настройка серверов windows и li...

0 Kudos