7 Replies Latest reply on Jan 8, 2015 10:42 PM by Umlyaut

    ESXi 5.5 какой оптимальный страйп для RAID 10?

    malefik Enthusiast

      Здравствуйте, коллеги. Нужна ваша помощь, дано:

      - RAID Dell PERC H710

      - 6x600Gb SAS 15k в RAID 10 + Hotspare

      - размер блока (stripe) RAID - 1Mb

      - ESXi 5.5.0

      - сервер используется сразу под "все": виртуальные машины с контроллером домена, сервером терминалов, сервером MS SQL, сервером 1С

      - все ВМ на базе Windows Server 2012R2

       

      Вопросы:

      1. Каков размер блока NTFS (указывается при форматировании) в гостевых ОС будет наиболее оптимальным в обозначенных условиях?

      2. Есть сомнения относительно правильности выбора размера блока в самом RAID. Или 1Mb - норм?

      3. Тестирую (HD Tune Pro 5.5) одинаковые вирт.диски (10Gb, thick eager zeroed) созданные на базе Logic SAS и Paravirtual - результат не в пользу последних (см.ниже). Почему так? Ведь vmware настоятельно рекомендует именно Paravirtual

       

      SAS Logic

      Случайные операции поиска по поверхности диска 264 IOPS 3.789 мс 0.129 Мбайт/сек

      Случайные операции поиска и чтения 4 КБ по поверхности диска 268 IOPS 3.732 мс 1.047 Мбайт/сек

      Операции перемещения из внешних дорожек во внутренние дорожки и обратно 269 IOPS 3.721 мс 0.131 Мбайт/сек

      Случайные операции чтения / записи со случайным блоком 64 КБ 253 IOPS 3.952 мс 3.891 Мбайт/сек

      Случайные операции чтения / записи со случайным блоком 8 MБ 41 IOPS 24.384 мс 166.294 Мбайт/сек

      Скорость передачи данных на внешних дорожках 3941 IOPS 0.254 мс 246.311 Мбайт/сек

      Скорость передачи данных в центре диска 3317 IOPS 0.302 мс 207.293 Мбайт/сек

      Скорость передачи данных на внутренних дорожках 3344 IOPS 0.299 мс 209.005 Мбайт/сек

      Пиковая скорость 2213 IOPS 0.452 мс 138.330 Мбайт/сек

       

      Paravirtual

      Случайные операции поиска по поверхности диска 260 IOPS 3.845 мс 0.127 Мбайт/сек

      Случайные операции поиска и чтения 4 КБ по поверхности диска 257 IOPS 3.886 мс 1.005 Мбайт/сек

      Операции перемещения из внешних дорожек во внутренние дорожки и обратно 227 IOPS 4.404 мс 0.111 Мбайт/сек

      Случайные операции чтения / записи со случайным блоком 64 КБ 202 IOPS 4.945 мс 3.109 Мбайт/сек

      Случайные операции чтения / записи со случайным блоком 8 MБ 39 IOPS 25.869 мс 156.748 Мбайт/сек

      Скорость передачи данных на внешних дорожках 3730 IOPS 0.268 мс 233.129 Мбайт/сек

      Скорость передачи данных в центре диска 3518 IOPS 0.284 мс 219.866 Мбайт/сек

      Скорость передачи данных на внутренних дорожках 4069 IOPS 0.246 мс 254.329 Мбайт/сек

      Пиковая скорость 1734 IOPS 0.577 мс 108.383 Мбайт/сек

        • 1. Re: ESXi 5.5 какой оптимальный страйп для RAID 10?
          Sladky Master

          Размер страйпов и всего остального на контроллере оставляйте по умолчанию. 1 МБ ставить не надо, теряете в производительности на мелких операциях.

          Почему так? А потому, что прошивки контроллеров отточены для работы в режиме "по умолчанию", а все остальные режимы, как правило, поддерживаются, но криво.

          Просто опыт и практика.

           

          И да, надо юзать паравиртуальный адаптер. Он хорошо даёт производительности на высоких нагрузках.

          • 2. Re: ESXi 5.5 какой оптимальный страйп для RAID 10?
            unix111 Enthusiast

            Re: Какой размер кластера выбрть для ESXi 5.1 при построении RAID

             

             

            Паравиртуальный SCSI-драйвер

            При использовании кластера ESXi, подключенного к Fibre Channel или iSCSI SAN, можно повысить пропускную способность диска (от 10 до 25 %) при данном уровне производительности процессора на узле.

             

            Преимущества достигаются, только если узлы подключены к сети SAN, но не к хранилищу с прямым доступом (DAS).

            У паравиртуального SCSI-драйвера VMware есть некоторые ограничения:

            * паравиртуальный SCSI-драйвер поддерживается только в виртуальных машинах с Windows Server 2008 R2, 2008, 2003 R2, 2003 или Red Hat Linux 5;

            * для виртуальной машины необходимо оборудование виртуальной машины версии 7 или более новой;

            * паравиртуальный SCSI-драйвер непригоден для отказоустойчивых виртуальных машин.

            • 3. Re: ESXi 5.5 какой оптимальный страйп для RAID 10?
              malefik Enthusiast

              Ок, со страйпом RAID понял.

              Как насчет размера блока в гостевой ОС (windows 2012R2) - для обычной системы (контролер домена, сервер терминалов)? А для MS SQL-сервера?

              • 4. Re: ESXi 5.5 какой оптимальный страйп для RAID 10?
                unix111 Enthusiast

                Microsoft рекомендует для MSSQL размер кластера 64k
                Для остальных серверов размер кластера ставьте по умолчанию

                 

                А на счет СТРАЙПА в RAID я установил 1М

                 

                попробуйте проэксперементировать со страйпом  результаты тестов производительности дисковой подсистемы напишите на форуме...

                • 5. Re: ESXi 5.5 какой оптимальный страйп для RAID 10?
                  malefik Enthusiast

                  "А на счет СТРАЙПА в RAID я установил 1М"

                  Есть ли конкретные аргументы в пользу именно этого выбора?

                  • 6. Re: ESXi 5.5 какой оптимальный страйп для RAID 10?
                    unix111 Enthusiast

                    1024. Так как размер блока vmfs 1мб

                    Причина - размер кластера в VMFS5 = 1 MB

                     

                    попробуйте проэксперементировать со страйпом  результаты тестов производительности дисковой подсистемы напишите на форуме...

                    • 7. Re: ESXi 5.5 какой оптимальный страйп для RAID 10?
                      Umlyaut Expert

                      unix111 wrote:

                       

                      1024. Так как размер блока vmfs 1мб

                      Причина - размер кластера в VMFS5 = 1 MB

                       

                      Не вижу связи между размером стрипа (strip) - обычно так называют этот параметр, чтобы отличать от страйпа (stripe) как способа организации дисков в R0 - и размером блока/кластера VMFS.

                       

                      Позволю себе напомнить тот факт, что размер strip`a (для любой размерности рейд-массива кроме, пожалуй, R1) есть не что иное, как общий размер его, стрипа, полосы. Иначе говоря, strip=1MB для дисковой группы из четырёх дисков означает, что условный файл размером в 1MB будет распределён по дискам частями по 256KB. Для дисковой же группы в восемь дисков этот же файл будет разбит на части в 128 KB.

                      Т.е. "ширина" стрипа (при заданном "объёме" его) - величина переменная от к-ва дисков в группе.

                       

                      Соответственно, уверенно говорить можно лишь о соответствии размера блока FS гостевой ОS (например, NTFS - внутри VMDK-файла) размеру же блока FS датастора (VMFS) - тогда как размер блоков LBA рейд-контроллера (так называемые "чанки") как правило остаётся за кадром, нигде особо не указываемый.

                       

                      К стыду своему я так и не обзавёлся достоверной инфой от производителей рейд-контроллеров насчёт детального алгоритма работы их изделий на этом уровне (хотя немало тряс их поддержку неоднократно).

                      Т.е., например, мне до конца не ясно, как будет распределён по упомянутой группе из четырёх дисков со strip=1MB условный файл размером в 512KB - пропорционально меньшими частями по всем же дискам (тогда неясен механизм "частичного" заполнения strip`a), либо во всю "ширину" стрипа (256KB), но на двух дисках.

                      Полагаю, что ТАКОЙ тонкий тюнинг (по проведению серии опытов с разными strip size и размерами файлов) отнимет куда больше времени и усилий, нежели даст профита - посему обычно стараюсь придерживаться рекомендации использовать дефолтные значения этого пар-ра.