10 Replies Latest reply on May 6, 2011 12:38 AM by mayonnaise

    Периодические зависания  дисковой подсистемы в esxi 4.1

    Alexandr1111 Lurker

      Добрый день!!

       

      Есть 1 хост ESXI 4.1 - достался от предыдущих админов. В нем установленно 2 виртуальных сервера Win2003 и Windows Xp.

      В 2003 установлена 1с для работы по терминалу - при копировании файла в терминале  были жуткие тормоза 1,5 Гб   - файл копировался 15 мин. Windows Xp находится в отключенном состоянии.

      После при работе в 1С периодически происходят зависания. Поиск привел к тому что зависания происходят из за дисковой подсистемы - которая раз в пять минут производит на запись. Когда запись прекращается - машина работает нормально, при этом скорость записи не очень большая  - серверу win 2003 выделено 3Гб оперативки и 4 процессора.

      Подскажите  в чем может быть проблемма ?

       

      ESX1.jpg

      esx2.jpg

        • 1. Re: Периодические зависания  дисковой подсистемы в esxi 4.1
          Sysxp Enthusiast

          Как сконфигурировано хранилище? С самим хранилищем всё в порядке?

          Нет ли случайно ограничений на IOPS'ы в свойствах виртуалки?

           

          Какая-то софтина периодически пишет что-то со скоростью 1.5 мб/c.

          Что с Physical Device Write latency?

          • 2. Re: Периодические зависания  дисковой подсистемы в esxi 4.1
            Deshifrator Hot Shot

            Sysxp:

            Как сконфигурировано хранилище? С самим хранилищем всё в порядке?

            По всей видимости, здесь нет как такового  хранилища. Просто какой-нибудь RAID собран  на сервере, на котором всё и лежит

             

             

            Alexandr1111:

            Подскажите в чем может быть проблемма ?

            Попробуйте добавить на график счетчики: average write request per second и average read request per second.

            Понаблюдайте и выложите скриншот

            • 3. Re: Периодические зависания  дисковой подсистемы в esxi 4.1
              Alexandr1111 Lurker

              Да, на системе нет хранилища, - используется райд 1 из 2х дисков в зеркале.

              Лимиты iops установлены в Unlimited.

               

              Physical Device Write latency

               

              esx4.jpg

               

              write request per second и average read request per second.

               

              esx5.jpg

              • 4. Re: Периодические зависания  дисковой подсистемы в esxi 4.1
                Deshifrator Hot Shot

                Каковы характеристики Ваших жестких дисков?

                • 5. Re: Периодические зависания  дисковой подсистемы в esxi 4.1
                  Sysxp Enthusiast

                  Т.е. в момент, когда происходят пики записи, машина становится "неотзывчивой"?

                   

                  latency на запись стабильно высокая всегда. Должна быть ~0, по идее, без нагрузки.

                  Скорее всего, надо копать в сторону RAID-контроллера.

                  ESXi не любит, когда нет батарейки, если она предусмотрена. "Простенькие" RAID'ы и сетевые карты он тоже не любит.

                  Также можно обновить сам ESXi и VMware tools внутри до последней версии на всякий случай. (перед этим лучше иметь ПОЛНЫЕ копии машины)

                  Ещё может помочь поиск "имя raid контроллера esxi" - может кто сталкивался с аналогичным поведенем.

                   

                  Оно, кстати, всегда так работало (подвисало)?

                  Или это началось внезапно?

                  • 6. Re: Периодические зависания  дисковой подсистемы в esxi 4.1
                    Alexandr1111 Lurker

                    Sysxp wrote:

                     

                    Т.е. в момент, когда происходят пики записи, машина становится "неотзывчивой"?

                     

                    latency на запись стабильно высокая всегда. Должна быть ~0, по идее, без нагрузки.

                    Скорее всего, надо копать в сторону RAID-контроллера.

                    ESXi не любит, когда нет батарейки, если она предусмотрена. "Простенькие" RAID'ы и сетевые карты он тоже не любит.

                    Также можно обновить сам ESXi и VMware tools внутри до последней версии на всякий случай. (перед этим лучше иметь ПОЛНЫЕ копии машины)

                    Ещё может помочь поиск "имя raid контроллера esxi" - может кто сталкивался с аналогичным поведенем.

                     

                    Оно, кстати, всегда так работало (подвисало)?

                    Или это началось внезапно?

                     

                       Да машина висит, после  окончания пика все становится нормально.

                       Судя по всему так и работало.

                       Поставил делать бакап -  попробую переустановить esxi.

                    • 7. Re: Периодические зависания  дисковой подсистемы в esxi 4.1
                      Umlyaut Expert

                      Sysxp wrote:


                      ESXi не любит, когда нет батарейки, если она предусмотрена.

                       

                      Хотел бы я взглянуть на это зрелище (почти без сарказма).

                       

                      ESXi для RAID-контроллера такая же ОС, как и любая другая (вин, лин, ябл, сол, бсд, etc.), а ОС не может "любить" или "не любить" наличие или отсутствие BBU на контроллере - это (наличие или отсутствие BBU) есть внутреннее дело самого контроллера (например, некоторые вендоры директивно блокируют режим WB при отсутствии BBU), но никак не ОС.

                       

                      Причинно-следственная цепочка относительно BBU тут несколько иная: коль нет BBU, то упомянутый чуть ранее режим WB может быть незадействован (добровольно через опаску админа "обрушить" кэш при краше - или принудительно через запрет фирмвари, как уже было сказано) - отсюда тормоза на запись.

                       

                      * * *

                       

                      Для ТС - у меня некоторое время назад была необходимость обслужить "хранилку" (OpenFiler, iSCSI, 2 NIC 1Gbit, контроллер 9650 с BBU, 6 HDD SATA2 7k2 (R-10), WB), для чего VM`ки были передислоцированы на временную запасную машинку с такими же характеристиками, только не R-10, a R-1 (из-за форм-фактора "резерва" - 1U).

                      Так пользователи сразу заметили данное изменение - 1С стала более вяло реагировать и Аутлуки (у кого были) стали терять *.pst-файлы (есть у этого клиента такая особенность - Тандербёрду и ЗеБату поровну задержки, а Аутлук вопить начинает).

                       

                      Стоило через сутки вернуть VM`ки обратно, как все задержки как рукой сняло.

                       

                      Это я к тому, что пары шпинделей в зеркале (не важно, локально, как у ТС, или "удалённо-блочно", как у меня) может банально не хватать даже при включенном WB.

                      Возможно, ТС имеет смысл не переустановить хост, а взъерошить свой локальный RAID yа нём хотя бы до "десятки" на четырёх хардах???

                      • 8. Re: Периодические зависания  дисковой подсистемы в esxi 4.1
                        Sysxp Enthusiast

                        Umlyaut

                        ...

                        Причинно-следственная цепочка относительно BBU тут несколько иная: коль нет BBU

                        ...

                        отсюда тормоза на запись.

                        Да, точно!

                        Я просто по "по-быстрому" объяснил, по "колхозному".

                         

                        Ещё ESXi "любит" чтобы 'всё' железо было в HCL.

                        • 9. Re: Периодические зависания  дисковой подсистемы в esxi 4.1
                          Alexandr1111 Lurker

                          После переустановки ESXi все стало работать стабильно, без жутких тормозов.

                          Видимо гдето перемудрили с настройкой.

                          • 10. Re: Периодические зависания  дисковой подсистемы в esxi 4.1
                            mayonnaise Hot Shot

                            так же не мешало бы использовать виртуальный контроллер pvscsi в случаях солидной нагрузки на диски