alexizh
Contributor
Contributor

Черезвычайно низкая скорость записи на SSD intel SSDSC2BA200G401

Jump to solution

Доброго всем времени суток.

Система ESXi 6.5 стоит на SuperMicro X10SRL-F + Xeon E5-1660 v4 + 64 Gb RAM на SSD Samsung 850 EVO 1Tb

Развернуто пару тестовых виртуалок. При тестах записи и чтения на самсунге все в порядке.

Подключил 2 диска intel SSDSC2BA200G401 создал датасторы на каждом и разместил на них диски виртуальных машин.

При копировании данных сразу заметил не ладное. Скорость копирования 5 мегабайт\сек!

Запустил тест дисков, действительно черезвычайно низкая скорость записи, скорость чтения в норме.

В списке подходящих дисков он есть. Поставил Win 8.1 голое железо, без ESXi, тестирую интелы... все в норме, 350 мег\сек на запись.

В чем может быть причина? Куда копать? На другом сервере стоит ESXi 6.0 На точно таких же дисках и проблем нет.

0 Kudos
1 Solution

Accepted Solutions
yushkevichus
Contributor
Contributor

Почитайте ссылки которые я прислал и самое главное параметр OP - over-provisioning

Дело в том, что ESXi не поддерживает TRIM: https://www.reddit.com/r/homelab/comments/4h7hbs/experience_with_esxi_and_ssds_mainly_trim_support/

ESXi поддерживает эквивалент этой команды SCSI UNMAP. Все это объясняется тем, что встроенный в контроллер SSD диска сборщик мусора работает эффективнее чем TRIM.

Вот тут мы и подходим к такой интересной вещи как Enterprise SSD диски. Они разделяются на 2 типа:

  1. Диски с интенсивной записью (до 5 раз перезапись всего диска в сутки)
  2. Диски с интенсивным чтением (до 1 раза перезапись диска в сутки)

Если взять обыкновенный "бытовой" диск, допустим на 1 ТБ, то его Enterprise версия будет иметь следующий объем (примерно):

  1. 800 ГБ для дисков с интенсивной нагрузкой по записи
  2. 960 ГБ для дисков с интенсивной нагрузкой для чтения

Главное отличие от бытовых - это не доступная для пользователя область диска для OP. Не трудно понять, что для диска 800 ГБ она составит ~200 ГБ, что не что иное как 20%

Чтобы не покупать дорогие Enterprise SSD и использовать "обыкновенные" и не получить деградацию производительности, как я и писал, необходимо оставить не размеченной область для OP, где-то 25-30%

Так же, обязательно, необходим этап с Windows машиной, чтобы с помощью TRIM (которая присутствует в Windows) сообщить контроллеру об очистки всех данных. И только после этого можно использовать этот диск в ESXi

View solution in original post

0 Kudos
12 Replies
yushkevichus
Contributor
Contributor

Добрый день!

Посмотрите следующие материалы:

Почему по мере заполнения SSD падает скорость записи в RAID, или зачем нужен TRIM

Особенности выбора твердотельных накопителей (SSD) для серверов и RAID-массивов

По вашей проблеме попробуйте сделать следующее:

  1. Подключить этот диск к любой Windows (7 и старше) машине и отформатируйте диск
  2. Создайте раздел на всю ёмкость
  3. Проверьте что работает TRIMM
  4. Подключите диск обратно к ESXi и разметьте область VMFS не на весь диск, а на 70-75%, оставшееся место оставьте не размеченным
  5. Проверьте производительность

Да... Производительность лучше мерить виртуальной машиной на Linux и утилитой FIO. Для того, чтобы гарантированно убедиться в нормальной работе сборщика мусора в контроллере диска запишите/удалите на диск данных в 2-3 раза больше чем размер тома VMFS где лежит виртуальная машина.

0 Kudos
alexizh
Contributor
Contributor

Ставил Win 8 на весь раздел, скорость теста 300мб\сек

Поставил ESXi 6.0 скорость относительно 6.5 возросла до 150 мб\сек, но тоже далеко от идеала.

Тестирую обычно HD Tune Pro v5.50. Причем IOPS выдает сколько нужно, низкая только скорость линейной записи.

До этого диски, а их два, стояли в софтовом рейд 0 на Windows server 2012 r2  и были заполнены на 90% и проблем не возникало... Это же Intel DC  :smileymischief::smileymischief:

Нубский вопрос, как проверить (включить) TRIMM в ESXi 6?

0 Kudos
yushkevichus
Contributor
Contributor

Почитайте ссылки которые я прислал и самое главное параметр OP - over-provisioning

Дело в том, что ESXi не поддерживает TRIM: https://www.reddit.com/r/homelab/comments/4h7hbs/experience_with_esxi_and_ssds_mainly_trim_support/

ESXi поддерживает эквивалент этой команды SCSI UNMAP. Все это объясняется тем, что встроенный в контроллер SSD диска сборщик мусора работает эффективнее чем TRIM.

Вот тут мы и подходим к такой интересной вещи как Enterprise SSD диски. Они разделяются на 2 типа:

  1. Диски с интенсивной записью (до 5 раз перезапись всего диска в сутки)
  2. Диски с интенсивным чтением (до 1 раза перезапись диска в сутки)

Если взять обыкновенный "бытовой" диск, допустим на 1 ТБ, то его Enterprise версия будет иметь следующий объем (примерно):

  1. 800 ГБ для дисков с интенсивной нагрузкой по записи
  2. 960 ГБ для дисков с интенсивной нагрузкой для чтения

Главное отличие от бытовых - это не доступная для пользователя область диска для OP. Не трудно понять, что для диска 800 ГБ она составит ~200 ГБ, что не что иное как 20%

Чтобы не покупать дорогие Enterprise SSD и использовать "обыкновенные" и не получить деградацию производительности, как я и писал, необходимо оставить не размеченной область для OP, где-то 25-30%

Так же, обязательно, необходим этап с Windows машиной, чтобы с помощью TRIM (которая присутствует в Windows) сообщить контроллеру об очистки всех данных. И только после этого можно использовать этот диск в ESXi

View solution in original post

0 Kudos
yushkevichus
Contributor
Contributor

Я посмотрел модель SSDSC2BA200G401 относится к линейке SSD DC S3710 Series, которую интел как раз позиционирует как диски с интенсивной нагрузкой по записи...

Твердотельные накопители Intel серии S3710 для ЦОД

Но если почитать внимательно, то указанная скорость записи для вашего диска - 300 МБ/с (Для измерения производительности использовался тест IOMeter*, объем пересылаемых данных 128 КБ (131 072 Б), глубина очереди 32). Такое тестирование - это мягко говоря маркетинг буллшит...

Думаю, что последовательная запись в 150-200 МБ/с будет более реальной.

0 Kudos
alexizh
Contributor
Contributor

Я исхожу не из маркетинговых цифр, а из показания тестов  CrystalDiskMark 5 и HD Tune Pro v5.50

pastedImage_0.png

Диск C - Samsung EVO 850

Диски F, G подопытные Intel

Система ESXi 6.0

Причем вчера были значения в 150 мб\с, сегодня диски похоже мусор собрали и газуют на максимум.

После обнаружения проблемы со скорость на 6.5 провел следующие манипуляции:

- Удалил разделы на обоих дисках Intel

- Забил все место нулями.

- Создал датасторы на 99% объема диска 180 гигабайт из 183 доступных.

- Создал жесткий диск для виртуальной машины на весь объем датастора.

- Тестирую скорость записи, 150 мб\сек

- Удаляю диски виртуальных машин и оставляю сервер включенным на ночь.

- Днем снова создаю диски для ВМ, на 50 и 40 гигабайт, тестирую скорость в норме, тестирую на Win 8.1 и Win Server 2012R2.

- Удаляю диски, создаю на весь объем датастора. Тестирую на Server 2012 r2 с на 500 мб куске данных и на 32Гб куску в 9 проходов, скорость в норме...

pastedImage_1.png

Не могу объяснить поведение дисков, кроме как сборщиком мусора корректно работающего под ESXi 6.0

0 Kudos
yushkevichus
Contributor
Contributor

Сборщик мусора работает не на уровне ОС, а на уровне контроллера диска, поэтому он работает с собственным расписанием подготовки места под запись новых данных.

Может быть эта ситуация была временной и больше не повторится?

0 Kudos
alexizh
Contributor
Contributor

Время покажет. Пока понаблюдаю за дисками. Руководство явно не будет в восторге если после внедрения виртуализации скорость 1с баз лежащих на этих дисках упадет в разы.

Спасибо за советы. Хотя в целом конечно ситуация странная.

0 Kudos
Hanson2020
Enthusiast
Enthusiast

Извиняюсь, но не хочется плодить еще одну тему по SSD

на LSI 9260 собран 6 рейд из 5 дисков intel 530 - 240gb

Датастору отдано все имеющееся место 669gb

вертится на этом система мониторинга, записи мало в основном чтение при построение графиков за длительные сроки

почитав темы решил проверить что у меня показывает Crystal Disk

как думаете, падение производительности связано с контролером или  не нужно было делать датастор в весь доступный размер а оставить 25-30%: свободными ?

2017-02-02_11-17-41.jpg

0 Kudos
yushkevichus
Contributor
Contributor

Добрый день!

Скорее всего вы упираетесь в RAID контроллер, так как именно он накладывает максимальное пенальти при записи. Но так как у вас записи мало, то на это можно не обращать внимание, ~16ГБ на каждом диске под служебные нужды контроллера диска, думаю, будет достаточно, чтобы эти диски не проседали при записи. Другое дело, что RAID контроллер может привести к неравномерному износу уже самих диском...

0 Kudos
Hanson2020
Enthusiast
Enthusiast

Спасибо за ответ,

почитал в инете,

итог сводится к проблемы lsi котролера + 6 рейд при рандомной записи,

немного подправил настройки контролера показатели записи увеличились в 2-3 раза,

но все равно низкие во сравнению с приведенными выше скринами, и данными с моего рабочегокомпа с SSD Самсунг 120 гигов,

пока производительности хватает под задачу, будет маловато придется переделать под 10 рэйд

0 Kudos
yushkevichus
Contributor
Contributor

Если не секрет, что поменяли в свойствах контроллера?

Так же может быть стоит рассмотреть вариант отказаться от рейд массива на SSD, а просто использовать несколько SSD дисков под кеш на чтение для ESXi хоста, а саму ВМ расположить на обычных дисках. Со временем процент чтения данных из кеша увеличится и вы получите хороший результат.

0 Kudos
Hanson2020
Enthusiast
Enthusiast

write policy поменял на Write back

IO Policy на Direct io

у меня все vm лежат на netapp подключеным по NFS

в таком варианте ssd для кеша можно использовать

0 Kudos