Merlin22
Contributor
Contributor

vSphere 4 + infiniband + iSER

Приветствую Всех.

Планируем использовать iSCSI поверх Infiniband для работы с хранилищем.

В процессе чтения англоязычных коммунитес встретил интересные вещи:

http://communities.vmware.com/message/1478172#1478172

тут в конце странички пост товарища wolf.

Понятно, что iSCSI -технология, которая работает с большими накладными расходами на инкапсуляцию.

Похоже, действительно, существуют замечательные вещи: iSER, RDMA, COMSTAR Которые позволяют повысить производительность iSCSI. Пока не знаю как это реализовывать, но вопрос ведь в том, стоит ли разбираться?

Возможно ли использование чего-нибудь из перечисленного в vSphere4?

0 Kudos
14 Replies
m0ps
Enthusiast
Enthusiast

iSCSI и FCoE на базе COMSTAR реализованы в NexentaStor. доступна как коммерческая версия, так и бесплатная (developer edition). если денег на коммерческую версию нет, а возможностей developer edition недостаточно, можно накрутить самому на OpenSolaris, как я и поступил я.

best regards, m0ps

best regards, m0ps
zubastiy
Enthusiast
Enthusiast

iSCSI и FCoE на базе COMSTAR реализованы в NexentaStor. доступна как коммерческая версия, так и бесплатная (developer edition). если денег на коммерческую версию нет, а возможностей developer edition недостаточно, можно накрутить самому на OpenSolaris, как я и поступил я.

best regards, m0ps

Да простит меня автор топика )

Уважаемый m0ps, вы какими плюшками ZFS там пользуетесь? (компрессия, клоны на запись что то еще?)

0 Kudos
Umlyaut
Expert
Expert

Приветствую Всех.

Планируем использовать iSCSI поверх Infiniband для работы с хранилищем.

А оно Вам надо? Инфинибэндом, обычно, вяжут между собою ноды вычислительных кластеров для обеспечения быстрого доступа к памяти нод (RDMA). ИМХО, Ваше хранилище утилизирует лишь малую часть пропускной способности этой шины (упрётся в дисковый I/O). Может, ограничитесь GE в Мультипас или 10GE ???

Понятно, что iSCSI -технология, которая работает с большими накладными расходами на инкапсуляцию.

Угу. При этом, скорее всего, этой инкапсуляцией будет заниматься CPU хоста (если не сделаны ещё Infiniband-адаптеры, умеющие брать эту задачу на себя) - так можно и перегрузить хост, при таком-то потоке.

0 Kudos
m0ps
Enthusiast
Enthusiast

Да простит меня автор топика )

Уважаемый m0ps, вы какими плюшками ZFS там пользуетесь? (компрессия, клоны на запись что то еще?)

</div>удаленная репликация.

best regards, m0ps

best regards, m0ps
0 Kudos
zubastiy
Enthusiast
Enthusiast

доступ к хранилищу как предоставляете? iSCSI NFS FCoE?

0 Kudos
m0ps
Enthusiast
Enthusiast

доступ к хранилищу как предоставляете? iSCSI NFS FCoE?

</div>iSCSI

best regards, m0ps

best regards, m0ps
0 Kudos
Merlin22
Contributor
Contributor

iSCSI и FCoE на базе COMSTAR реализованы в NexentaStor. доступна как коммерческая версия, так и бесплатная (developer edition). если денег на коммерческую версию нет, а возможностей developer edition недостаточно, можно накрутить самому на OpenSolaris, как я и поступил я.

best regards, m0ps

Я вот как раз тоже набрёл на это решение. Вопросов пока много так как сейчас только качаю коммерческую триалку. Буду смотреть что это такое.

Главный вопрос: поддерживает ли ESX работу с iSCSI "в режиме" COMSTAR (не знаю как правильно сказать, потому как пока не понял самостоятельный ли это протокол или модийфикация iSCSI) ?

Делались ли Вами какие-нибудь сравнительные тесты работы с одним и темже хранилищем по iSCSI и iSCSI + COMSTAR?

Если да, то есть ли разница?

0 Kudos
Merlin22
Contributor
Contributor

Приветствую Всех.

Планируем использовать iSCSI поверх Infiniband для работы с хранилищем.

<skip>

А оно Вам надо? Инфинибэндом, обычно, вяжут между собою ноды вычислительных кластеров для обеспечения быстрого доступа к памяти нод (RDMA). ИМХО, Ваше хранилище утилизирует лишь малую часть пропускной способности этой шины (упрётся в дисковый I/O). Может, ограничитесь GE в Мультипас или 10GE ???

Понятно, что iSCSI -технология, которая работает с большими накладными расходами на инкапсуляцию.

Угу. При этом, скорее всего, этой инкапсуляцией будет заниматься CPU хоста (если не сделаны ещё Infiniband-адаптеры, умеющие брать эту задачу на себя) - так можно и перегрузить хост, при таком-то потоке.

Много интересных вопросов Вы затронули Smiley Happy

Мы тоже об этом всём думали. Давайте попробуем по порядку:

1. infiniband встроенный в высокопроизводительные серверные и блейлд-системы это уже сегодняшний и завтрашний день. Техника закупленная нами для виртуализации уже имеет интерфейсы IB. Собственно ещё на этапе обсуждения проекта мы решили строить сеть хранения именно на высокоскоростной технологии.

2. GE в Мультипас - только занимать гигабитные адаптеры... и не получить реально высокой скорости работы с хранилищем.

3. 10GE - скорость вполне приемлимая, но цена вопросв такая же как IB, пропускная способность ниже. Хотя реализация похоже проще чем IB. (если чесно пока с IB имеем большие проблеммы. вынесу их на обсуждение в след топике)

4. К сожалению iSCSI-infiniband адаптеров пока не придумали, и CPU хостов скорее всего попадут под загрузку работы с хранилищем, но никаких статистических данных на сей счёт нет в природе. Пусть мы будем первыми кто исследует этот вопрос. Есть правда надежда что та самая технология COMSTAR отчасти решает эту проблему, а может и нет. На этот счёт есть прекрасное решение http://en.wikipedia.org/wiki/ISCSI_Extensions_for_RDMA

но я пока не смог найти подтверждение работы ESX по iSER. Моежт кто то что то знает?

5. "упрётся в дисковый I/O" Если правильно спроектировать дисковый массив, то можно спокойно прогрузить и 20 Gbit/s работой с дисками.

Во первых уже есть SSD, переварить скорость которых пока не в состоянии имеющиеся на сегодняшний день RAID-контроллеры.

Во вторых даже с дисками SAS можно сделать высокопроизводительный RAID массив, а с технологией MAX-IQ от Adaptec его можно повысить очень значительно.

0 Kudos
m0ps
Enthusiast
Enthusiast

таргет, который в составе COMSTAR работает в kernel level в отличае от userspace level таргетов, которые идут в составе старых версий OpenSolaris и Solaris (а также IET'a, который используется в линупсах). я думаю это весомый аргумент в пользу COMSTAR-овского iSCSI таргета, т.к. не для кого не секрет, что производительность приложений в kernel level выше чем userspace level

лично я тесты не производил, т.к. в интернете достаточно сравнений производительности

PS COMSTAR это не протокол, а фреймворк

best regards, m0ps

best regards, m0ps
Merlin22
Contributor
Contributor

таргет, который в составе COMSTAR работает в kernel level в отличае от userspace level таргетов, которые идут в составе старых версий OpenSolaris и Solaris (а также IET'a, который используется в линупсах). я думаю это весомый аргумент в пользу COMSTAR-овского iSCSI таргета, т.к. не для кого не секрет, что производительность приложений в kernel level выше чем userspace level

На сколько я понял, Вы взяли чистый OpenSolaris и прикрутили к нему некий набор пакетов, реализующий COMSTAR-овский iSCSI таргет.

Вопросы:

1. Какой у Вас RAID-контроллер? Увидился ли он?

2. Удалось ли придумать этому хранилищё какой-нибудь интерфейс кроме командной строки?

0 Kudos
m0ps
Enthusiast
Enthusiast

pkg install storage-server

1. для zfs не нужно покупать дорогущие raid контролеры. весь нужный функционал реализовывается через zfs пулы (mirror - аналог raid1, raidz - аналог raid5, raidz2 - аналог raid6 и raidz3 - аналогов в аппаратных рейдах вроде нет) . плюсы - отсутствие привязки к железу, и простота. управления/настройки. минусы - привязка к ОСи (Solaris, OpenSolaris и FreeBSD в котором zfs сильно отстает в развитии, поэтому фрю не рассматривал). мне же достался сервер с Adaptec 5405, завелся без проблем, ASM тоже стал без танцев с бубном

2. нет, но он особо и не нужен. при наличии опыта, настройка производится за 3 минуты. многие администраторы предпочитают использовать cli а не gui (и я тоже).

best regards, m0ps

best regards, m0ps
0 Kudos
m0ps
Enthusiast
Enthusiast

Хочу добавить:

Если есть хот малейшая возможность приобрести коммерческий продукт - настоятельно рекомендую присмотреться либо к NexentaStor, либо к Sun Storage 7000 Series (http://www.oracle.com/us/products/servers-storage/storage/open-storage/index.html). Городить что-то самому советую только в том случае, если нет другого выхода.

PS не сочтите за рекламу Нексенты и Оракла

best regards, m0ps

best regards, m0ps
0 Kudos
Merlin22
Contributor
Contributor

На самом деле план состоит в следующем:

- приобретаем хорошую аппаратную платформу. Сервер в Корпусе с большим кол-вом дисков. Естественно брендовый. (Вовремя отказались от идеи городить всё это очумелыми ручками из всякого подручного железа) Ставим в него Адаптековский контроллер. Соответствующим образом строи RAID массив.

- Покупаем или делаем сами некое программное решение, имеющее на выходе iSCSI, для подключения к vSphere4. Тут есть уже варианты. До этого момента Наиболее приемлимым выглядело решение OPEN-E (в нём кстати и поддержка Infiniband встроеная). Одно знаю точно, решения на базе Windos рассматривать не хочу. Вот теперь ещё появилась NexentaStor. Скачал, поставил на виртуальную машину. Вроде бы запустилось. Теперь попробую на аппаратной платформе.

Остались вопросы:

1. Удастся ли подключить к NexentaStor Infiniband? Что то я таких драйверов не видел у производителя карточек.

2. На сколько Comstar эффективнее того же решения OPEN-E (там в описании никакого упоминания про COMSTAR нету)?

0 Kudos
m0ps
Enthusiast
Enthusiast

в Nexenta_Operational_Scalability_datasheet_ru.pdf упоминается infiniband. узнать о партнерах Nexenta в РФ можно на этой (http://ru.nexenta.com/corp/index.php/partners-in-russia) страничке. у них (партнеров) можно и уточнить все интересующие вопросы (в том числе и про поддерживаемое оборудование).

PS. HCL у нексенты аналогичен HCL OpenSolaris. NexentaStor 3.0 построенна на ядре OpenSolaris b134

best regards, m0ps

best regards, m0ps
0 Kudos