1 2 Previous Next 23 Replies Latest reply on May 2, 2011 6:49 AM by RumataRus Go to original post
      • 15. Re: Чудовищные тормоза ESXi c MSA2012
        RumataRus Master

        Sysxp wrote:

         

        Как только начинается копирование, latency падает и держится на уровне 1мс.

        Как только всё копирование заканчивается, latency начинает прыгать до 17 мс, хотя нагрузки при этом вообще нет.

         

        Может, так и должно быть, конечно...

        Конечно так быть не должно.

        Очевидно, именно в моменты активности latency должна возрастать, а не наоборот, как получается по Вашему описанию.

        Мнет трудно что-то предположить, я не имел опыта работы с MSA, но мои DS так себя не ведут.

        • 16. Re: Чудовищные тормоза ESXi c MSA2012
          RumataRus Master

          Sysxp wrote:

           

          И скорость какая-то "вялая". При копировании из вир-машины на внешний сервер большие файлы читает ~25-28 мб/с, а должен бы, по идее, >100 мб/с.

          А у Вас внешний сервер способен принимать файлы со скоростью >100 Мбайт/с?

          Если у Вас в нем, например одиночный винчестер (который принимает данные), то вряд ли, даже если системный диск отдельный.

          • 17. Re: Чудовищные тормоза ESXi c MSA2012
            Deshifrator Hot Shot

            По поводу снижения latency при активном копировании, могу предположить, что в этом момент в работу вступает кэш, тем самым снижая задержку.

             

            У Вас режим отложенной записи включен? Если нет, то попробуйте включить. 

             

            Посмотрите здесь. Может, что интересного найдете для себя.

            • 18. Re: Чудовищные тормоза ESXi c MSA2012
              Sysxp Enthusiast

              RumataRus

              Карманчики купить при желании можно, например у самой HP, зная part number. Если HP их уже не продает за давностью лет, то можно попробовать поискать на ebay.com - у коллег был успешный опыт таких покупок.

              Однако вся эта затея представляется мне сомнительной

              На самом деле вроде бы всё просто: для примера, в моём случае используются AJ736A. Там стоят обычные харды Seagate ST3300656SS, которые отлично продаются по 250$. Вряд-ли HP шьёт в них свою прошивку, чтобы узнавать их, да и мелькают сообщения, что "левые" харды успешно принимаются СХД. А вот с карманчиком сложнее.

              Он называется везде по разному: MSA Tray, MSA Caddy, а на нём самом на планочке "SAS interposer" написано SAS Dongle.

              Ни парт-номера этой штуки, ни людей, которые шлют это дело в Россию я не нашёл. Т.е. на е-bay продают, но к нам не хотят слать.

              Обидно, конечно, руки так и чешутся "затарить" этих "карманчиков"...

               

              А у Вас внешний сервер способен принимать файлы со скоростью >100 Мбайт/с?

              По идее да, может чуть поменьше, там 8x SATA дисков RAID6.

               

              Deshifrator

              По поводу снижения latency при активном копировании, могу предположить, что в этом момент в работу вступает кэш, тем самым снижая задержку.

              Наверное и правда это как-то связано с работой кеша.

               

              У Вас режим отложенной записи включен? Если нет, то попробуйте включить.

              Да, был включен всегда, попробовал для интереса выключить и прогнать "тесты" - копирование примонтированного iso 4.7, а затем тут-же копирование этого-же само в себя - сначала с "write-through" (т.е. кеш отключен), затем с "write-back", и затем то-же но с 2-х машин одновременно. (msa0.png)

               

              C "write-through" работает явно намного хуже.

              В последнем графике, когда идёт копирование с монтированного iso задержка стабильно низкая, как только начинается копирование с самого в себя - подпрыгивает в пиках до 38-и мс.

              И в спокойном состоянии без какой-либо нагрузки прыгает до 20 мс.

               

              Либо это "нормально", либо надо делать какую-то супер-тонкую настройку ESXi для этой конкретной СХД, либо надо побольше HDD...

              Не знаю.

              Придётся пока так жить, как оно сейчас работает, похоже.

              • 19. Re: Чудовищные тормоза ESXi c MSA2012
                MKorotko Expert

                ИМХО у вас проблемы в железной части... как и в конфигурации так и с железками, просто так варнинги не появляются.

                В своей практике сталкивался с MSA 1-го и 2-го поколения на FC и iSCSI раз 5.  Особых настроек делать не нужно для работы с ESXi. C настройками по дефолту все прекрасно работает.

                Я так понял у вас полка первого поколения, она актив - пассив если вы конечно не шили ее прошивками последними, тогда она превращаеться в ААА сторадж.

                Что нужно проверить. Прошивки, шить до последних все - SP, диски, софт и т.п.

                Очень подозрительны варнинги от диска....

                10 RAID на 4 дисках... хм вы от него большой производительности не дождетесь, дисков мало в группе, да плюс еще SATA диски... 10 рейд на таком малом количестве в принципе особой прибавки не даст. Дисков однозначно у вас мало.

                Производительность не блещет, но опять же повторюсь на вашей конфигурации вы скоростей не получите. Тем более MSA не имеет ни фасткешей, ни изитаер ни других подобных функций, это лоуэнд, тут два варианта SAS для более менее нормальной работы, SATA для хранения и места, на SATA вообще честно там делать нечего, нечем его оптимизировать.

                 

                 

                ------------
                VMware vExpert 2010
                http://vm.pro-it.kz

                • 20. Re: Чудовищные тормоза ESXi c MSA2012
                  Sysxp Enthusiast

                  MKorotko

                   

                  Я так понял у вас полка первого поколения, она актив - пассив если вы конечно не шили ее прошивками последними, тогда она превращаеться в ААА сторадж.

                   

                  Всё что можно прошито последними прошивками. ESXi тоже свежие.

                  СХД стала AAA. По неоптимизированным путям потери примерно ~20-30% скорости. Не так страшно, кстати, терпимо работает.

                  Быстрее всего, как ни странно, работает при Round Robin т.е. 2-х активных линках на контроллере-хозяине ЛУН'а.

                  Я пробовал все возможные способы, и Fixed, и MRU, резвее всего работает именно при RR.

                   

                  Точно! Диски только не шил. Старая "предрассудковая боязнь" - не шить диски. Наверное, тоже надо.

                   

                  шить до последних все - SP

                  Только не понял, что такое SP?

                   

                  10 RAID на 4 дисках... хм вы от него большой производительности не дождетесь, дисков мало в группе, да плюс еще SATA диски... 10 рейд на таком малом количестве в принципе особой прибавки не даст. Дисков однозначно у вас мало.

                  Диски SAS 15K. Не SATA. Один, правда, сдох. Вот и верь в "Ентерпрайз" диски. Осталось 3 пока. Быстрее в эту полку дисков нет.

                  Дисков мало, да! Бюджет!

                  Они (hp) один диск стоимостью 7К продают за 15К! А ЛОМАЕТСЯ он одинаково!

                  Конечно, на 12-и дисках, думаю, было бы повеселее. Да и тестировать проще - можно добавлять диски и следить масштабируется производительность или нет. А так приходится изголяться с кешем, настройками, и.т.п. Как с ДВС - объёма добавить не могу - приходится свечи менять да "прошивку" . А быстрее всё-равно не едет.

                  То что они дают 3 года гарантии на хард - мне никакой пользы. Я бы лучше по 7К набрал вдвое больше этих хардов.

                  Хотя, это всё из-за того что в моём глубоком замкадье никакие "сервисы" белые не действуют. Всё растягивается на 3 года.

                   

                  ИМХО у вас проблемы в железной части... как и в конфигурации так и с железками, просто так варнинги не появляются.

                  Ворнинги вроде-бы ушли полностью, когда я вернул "Read Ahead Cache" на "Default". При больших значениях массив становился настолько неотзывчивым, что ESXi писал ворнинги.

                  А latency да, прыгает постоянно, до 15-20 ms в состоянии полного покоя.

                  Наверное это особенность СХД, или взаимодействия ESXi с этой СХД.

                  • 21. Re: Чудовищные тормоза ESXi c MSA2012
                    MKorotko Expert
                    Диски SAS 15K. Не SATA.

                    я откуда взял SATA, видимо на меня тоже праздники действуют....

                    SAS это лучше...

                     

                     

                    Только не понял, что такое SP?

                    Storage Proccessor - контроллер по другому, голова по простому))) SP писать короче и быстрее)))

                     

                     

                    По неоптимизированным путям потери примерно ~20-30% скорости.

                    все правильно, мы же через голову гоняем не родную...

                     

                     

                    Они (hp) один диск стоимостью 7К продают за 15К! А ЛОМАЕТСЯ он одинаково!

                    диски вообще расходный материал... бывает что и 5 лет шуршат, а бывает и при первом запуске или в первые полгода эксплуатации... все диски ломаються, даже при первой их инициализации бывает, даже SSD стоимостью от 28К зеленью кстати из класса супер пупер энтерпрайз тоже ломаються, у меня на памяти куча таких случаев... SSD конечно единичны, а вот шпиндельные так мама не горюй...

                     

                     

                     

                    У вас тормоза были кстати до того как диск из группы вылетел или после обнаружили?

                    Да и кстати как все защьете, скиньте все настройки СХД к заводским, ну и ребутнуть не забудьте.

                    • 22. Re: Чудовищные тормоза ESXi c MSA2012
                      Sysxp Enthusiast

                      MKorotko

                      Storage Proccessor - контроллер по другому, голова по простому)))

                      Понял.

                      Это прошито.

                       

                      У вас тормоза были кстати до того как диск из группы вылетел или после обнаружили?

                      Тормоза были после того как я сдуру увеличил "Read Ahead Cache", в надежде уменьшить latency.

                      Диск, получается, вообще был ни при чём. Результат полностью воспроизводим - ставлю кеш на 32 Мб - и скорость к СХД становится 1 мб/с на всех. Убираю на дефолт - становится нормально.

                       

                      А latency прыгал постоянно до >15 мс без нагрузки всегда, и до того, как диск вылетел. [Типичная картина по latency на картинке (MSAL.png). (нагрузки нет никакой вообще).]

                      Почему так - я не могу понять. Наверное, потому что SAS СХД никто не любит.

                      Все любят iSCSI и FC.

                      • 23. Re: Чудовищные тормоза ESXi c MSA2012
                        RumataRus Master

                         

                        Sysxp wrote:

                         

                        Наверное, потому что SAS СХД никто не любит.

                        Все любят iSCSI и FC.

                        Ну это Вы зря.

                        Вот, к примеру просвятительные статьи в тему: SAS системы хранения как общий Storage. Мультипасинг VMware для SAS. и SAS 2.0 6Gb/s

                        Коллеги говорят, что есть успешные внедрения: SAS Array как Shared storage

                        1 2 Previous Next