11 Replies Latest reply on Jun 2, 2019 6:36 AM by adm738

    Падение производительности дисковой подсистемы

    unix111 Enthusiast

      Ситуация следующая есть сервер Supermicro X7DW3 Raid контроллер  adaptec 5805  8 винтов sata 1TB

      Vendor                             : Hitachi
      Model                              : HUA722010CLA330
      Firmware                         : JP4OA3EA
      поднят на нем raid -1 2hdd   raid-10 4hdd  2-hdd hot spare
      RAID мониторится с помощью утилиты Cim provider

      Status of logical device                 : Optimal

      c raid  все в порядке проблем не наблюдалось не рассыпался

      CPU 2 xeon 5420 2.5 Ghz
      RAM 16 GB kingston ECC
      стояла на этом сервере система wmvare vSphere 4.1
      работает на этом серваке 5 виртуалок
      1) 4 CPU 6 GB ram datastore 250 GB  2008R2

      2)1 CPU  512 RAM datastore 20GB  LINUX

      3)1CPU  1GB RAM datastore 25 GB 2003 r2

      4)1CPU   4GB RAM datastore 1 TB 2003r2
      5)2CPU   3GB RAM datastore 450 GB 2003 r2

      Все работало в порядке в жунале esxi ошибок ни каких небыло
      Но решил я обновить сервак до  wmvare ESXi 5.0

      обновления прошло успешно система стартовала

      витуалки тож обновил  до version VM 8
      DATASTORE VMFS5
      драйвера для контроллера тоже обновил
      вродебы все в поряде но после обновления в логах сервера началоь появлятся следующее сообщение
      и дисковая поизводительность  ухудшилась хотя с RAID  все в порядке
      Помогите разобратся Заранее Благодарен

       

      Device mpx.vmhba0:C0:T0:L0 performance has deteriorated. I/O latency increased from
      average value of 1578 microseconds to 124035 microseconds.
      warning
      25.02.2013 11:04:54
      vserver

        • 1. Re: Падение производительности дисковой подсистемы
          Sladky Master

          Периодически подтупливает LUN с контроллера. Причин может быть множество. Драйвера контроллера другие, сам контроллер глючит, диски глючат. Изменилось расположение и объем данных.

           

          Одним словом, я не могу однозначно указать пальцем на виновника. Внешне выглядит как периодические увеличения задержек в 100 раз от обычного значения.

           

          P.S. Сам контроллер очень хороший, у меня 2 таких дома лежат. А вот диски слабоваты.

          • 2. Re: Падение производительности дисковой подсистемы
            unix111 Enthusiast

            Да вот так обновил систему
            призводительность дисковой подсистемы  просела в разы 
            что посоветуете неужели тока у меня такая проблема?

            • 3. Re: Падение производительности дисковой подсистемы
              Sladky Master

              У меня на таких же контроллерах под 5.1 всё просто летает. Правда, RAID-5 на 8 SAS 10k дисках.

              • 4. Re: Падение производительности дисковой подсистемы
                unix111 Enthusiast

                вот такая картина при загрузке винды

                раньше такого не было когда стояла wmvare esxi 4.1

                • 5. Re: Падение производительности дисковой подсистемы
                  Patcher201110141 Enthusiast

                  Может, wrate back отключился по какой-то причине?

                  Посмотрите также - нет ли свопни виртуалок, > esxtop>M - сколько свобоной памяти и сколько в свопе. Если кто-то активно свопится, может сильно прогружать датастору, я так думаю.

                  • 7. Re: Падение производительности дисковой подсистемы
                    unix111 Enthusiast

                    залогинился на серевер по SSH

                    смотрел файл hostd.log ничего подозрительного нету

                    поповоду VTd  ошибок никаких небыло

                     

                    при вводе команды dmesg на екране появляется следующее

                     

                    2013-02-26T15:43:46.089Z cpu2:2050)ScsiDeviceIO: 1198: Device mpx.vmhba0:C0:T0:L0 performance has improved. I/O latency reduced from 54683 microseconds to 10727 microseconds.
                    2013-02-26T15:45:23.986Z cpu5:2053)WARNING: ScsiDeviceIO: 1218: Device mpx.vmhba0:C0:T0:L0 performance has deteriorated. I/O latency increased from average value of 1705 microseconds to 52039 microseconds.
                    2013-02-26T15:46:18.037Z cpu4:2052)ScsiDeviceIO: 1198: Device mpx.vmhba0:C0:T0:L0 performance has improved. I/O latency reduced from 52039 microseconds to 10143 microseconds.
                    2013-02-26T15:47:08.817Z cpu2:2050)ScsiDeviceIO: 1198: Device mpx.vmhba0:C0:T0:L0 performance has improved. I/O latency reduced from 10143 microseconds to 3390 microseconds.
                    2013-02-26T15:47:25.082Z cpu5:884107)VmkAccess: 637: sfcb-arc_cli: access denied:: dom:pluginDom(3), obj:forkSys(86), mode:syscall_allow(2)
                    2013-02-26T15:47:25.082Z cpu5:884107)VmkAccess: 320: Posix syscall num 0
                    2013-02-26T15:47:25.082Z cpu5:884107)VmkAccess: 637: sfcb-arc_cli: access denied:: dom:pluginDom(3), obj:forkSys(86), mode:syscall_allow(2)
                    2013-02-26T15:47:25.082Z cpu5:884107)VmkAccess: 320: Posix syscall num 0
                    2013-02-26T15:47:25.082Z cpu5:884107)VmkAccess: 637: sfcb-arc_cli: access denied:: dom:pluginDom(3), obj:forkSys(86), mode:syscall_allow(2)
                    2013-02-26T15:47:25.082Z cpu5:884107)VmkAccess: 320: Posix syscall num 0
                    2013-02-26T15:47:25.082Z cpu5:884107)VmkAccess: 637: sfcb-arc_cli: access denied:: dom:pluginDom(3), obj:forkSys(86), mode:syscall_allow(2)
                    2013-02-26T15:47:25.082Z cpu5:884107)VmkAccess: 320: Posix syscall num 0
                    2013-02-26T15:49:39.693Z cpu0:2056)WARNING: ScsiDeviceIO: 1218: Device mpx.vmhba0:C0:T0:L0 performance has deteriorated. I/O latency increased from average value of 1710 microseconds to 54767 microseconds.
                    2013-02-26T15:49:52.309Z cpu7:3860)WARNING: ScsiDeviceIO: 1218: Device mpx.vmhba0:C0:T0:L0 performance has deteriorated. I/O latency increased from average value of 1712 microseconds to 181860 microseconds.
                    2013-02-26T15:49:56.268Z cpu7:3859)ScsiDeviceIO: 1198: Device mpx.vmhba0:C0:T0:L0 performance has improved. I/O latency reduced from 181860 microseconds to 35911 microseconds.
                    2013-02-26T15:50:51.445Z cpu5:2053)ScsiDeviceIO: 1198: Device mpx.vmhba0:C0:T0:L0 performance has improved. I/O latency reduced from 35911 microseconds to 7109 microseconds.
                    2013-02-26T15:51:08.441Z cpu4:2052)WARNING: ScsiDeviceIO: 1218: Device mpx.vmhba0:C0:T0:L0 performance has deteriorated. I/O latency increased from average value of 1714 microseconds to 73452 microseconds.
                    2013-02-26T15:51:14.820Z cpu0:2056)WARNING: ScsiDeviceIO: 1218: Device mpx.vmhba0:C0:T0:L0 performance has deteriorated. I/O latency increased from average value of 1717 microseconds to 154848 microseconds.
                    2013-02-26T15:51:29.570Z cpu1:2049)ScsiDeviceIO: 1198: Device mpx.vmhba0:C0:T0:L0 performance has improved. I/O latency reduced from 154848 microseconds to 30131 microseconds.
                    2013-02-26T15:51:30.879Z cpu7:2055)WARNING: ScsiDeviceIO: 1218: Device mpx.vmhba0:C0:T0:L0 performance has deteriorated. I/O latency increased from average value of 1719 microseconds to 63392 microseconds.
                    2013-02-26T15:51:56.833Z cpu7:2055)ScsiDeviceIO: 1198: Device mpx.vmhba0:C0:T0:L0 performance has improved. I/O latency reduced from 63392 microseconds to 12394 microseconds.
                    2013-02-26T15:57:06.159Z cpu2:2050)ScsiDeviceIO: 1198: Device mpx.vmhba0:C0:T0:L0 performance has improved. I/O latency reduced from 12394 microseconds to 3350 microseconds.
                    2013-02-26T15:57:48.851Z cpu1:2049)WARNING: ScsiDeviceIO: 1218: Device mpx.vmhba0:C0:T0:L0 performance has deteriorated. I/O latency increased from average value of 1725 microseconds to 60059 microseconds.
                    2013-02-26T15:57:55.318Z cpu0:2056)ScsiDeviceIO: 1198: Device mpx.vmhba0:C0:T0:L0 performance has improved. I/O latency reduced from 60059 microseconds to 11736 microseconds.
                    2013-02-26T15:58:17.743Z cpu5:2053)ScsiDeviceIO: 1198: Device mpx.vmhba0:C0:T0:L0 performance has improved. I/O latency reduced from 11736 microseconds to 3358 microseconds.
                    2013-02-26T15:59:09.395Z cpu5:2053)WARNING: ScsiDeviceIO: 1218: Device mpx.vmhba0:C0:T0:L0 performance has deteriorated. I/O latency increased from average value of 1728 microseconds to 52054 microseconds.
                    2013-02-26T15:59:10.739Z cpu4:2052)WARNING: ScsiDeviceIO: 1218: Device mpx.vmhba0:C0:T0:L0 performance has deteriorated. I/O latency increased from average value of 1728 microseconds to 128149 microseconds.
                    2013-02-26T15:59:12.949Z cpu0:2056)ScsiDeviceIO: 1198: Device mpx.vmhba0:C0:T0:L0 performance has improved. I/O latency reduced from 128149 microseconds to 25358 microseconds.
                    2013-02-26T15:59:20.765Z cpu6:2054)ScsiDeviceIO: 1198: Device mpx.vmhba0:C0:T0:L0 performance has improved. I/O latency reduced from 25358 microseconds to 4939 microseconds.
                    2013-02-26T15:59:25.218Z cpu1:2049)ScsiDeviceIO: 1198: Device mpx.vmhba0:C0:T0:L0 performance has improved. I/O latency reduced from 4939 microseconds to 3456 microseconds.
                    2013-02-26T16:03:09.517Z cpu1:2049)WARNING: ScsiDeviceIO: 1218: Device mpx.vmhba0:C0:T0:L0 performance has deteriorated. I/O latency increased from average value of 1736 microseconds to 53684 microseconds.
                    2013-02-26T16:03:16.648Z cpu3:2051)ScsiDeviceIO: 1198: Device mpx.vmhba0:C0:T0:L0 performance has improved. I/O latency reduced from 53684 microseconds to 10398 microseconds.
                    2013-02-26T16:03:43.885Z cpu3:2051)ScsiDeviceIO: 1198: Device mpx.vmhba0:C0:T0:L0 performance has improved. I/O latency reduced from 10398 microseconds to 3468 microseconds.
                    2013-02-26T16:05:04.180Z cpu7:2055)WARNING: ScsiDeviceIO: 1218: Device mpx.vmhba0:C0:T0:L0 performance has deteriorated. I/O latency increased from average value of 1737 microseconds to 52876 microseconds.
                    2013-02-26T16:05:22.611Z cpu4:2052)WARNING: ScsiDeviceIO: 1218: Device mpx.vmhba0:C0:T0:L0 performance has deteriorated. I/O latency increased from average value of 1740 microseconds to 108502 microseconds.
                    2013-02-26T16:05:46.835Z cpu1:2049)ScsiDeviceIO: 1198: Device mpx.vmhba0:C0:T0:L0 performance has improved. I/O latency reduced from 108502 microseconds to 21343 microseconds.
                    2013-02-26T16:11:11.150Z cpu1:3857)WARNING: ScsiDeviceIO: 1218: Device mpx.vmhba0:C0:T0:L0 performance has deteriorated. I/O latency increased from average value of 1744 microseconds to 68814 microseconds.
                    2013-02-26T16:11:14.745Z cpu3:2051)ScsiDeviceIO: 1198: Device mpx.vmhba0:C0:T0:L0 performance has improved. I/O latency reduced from 68814 microseconds to 13596 microseconds.
                    2013-02-26T16:12:23.197Z cpu5:2053)ScsiDeviceIO: 1198: Device mpx.vmhba0:C0:T0:L0 performance has improved. I/O latency reduced from 13596 microseconds to 3424 microseconds.
                    2013-02-27T09:13:58.858Z cpu6:3857)WARNING: ScsiDeviceIO: 1218: Device mpx.vmhba0:C0:T0:L0 performance has deteriorated. I/O latency increased from average value of 1763 microseconds to 56123 microseconds.
                    2013-02-27T09:14:07.211Z cpu3:3860)ScsiDeviceIO: 1198: Device mpx.vmhba0:C0:T0:L0 performance has improved. I/O latency reduced from 56123 microseconds to 10888 microseconds.
                    2013-02-27T09:14:17.248Z cpu0:2056)ScsiDeviceIO: 1198: Device mpx.vmhba0:C0:T0:L0 performance has improved. I/O latency reduced from 10888 microseconds to 3461 microseconds.
                    2013-02-27T14:58:58.664Z cpu0:916234)WARNING: UserObj: 675: Failed to crossdup fd 8, /dev/ptyp0 type CHAR: Busy
                    2013-02-27T14:58:58.664Z cpu0:916234)WARNING: UserObj: 675: Failed to crossdup fd 10, /dev/ptyp0 type CHAR: Busy
                    2013-02-27T14:58:58.664Z cpu6:940813)WARNING: UserLinux: 1340: unsupported: (void)
                    2013-02-27T15:24:54.304Z cpu0:941933)VmkAccess: 637: sfcb-arc_cli: access denied:: dom:pluginDom(3), obj:forkSys(86), mode:syscall_allow(2)
                    2013-02-27T15:24:54.304Z cpu0:941933)VmkAccess: 320: Posix syscall num 0
                    2013-02-27T15:24:54.304Z cpu0:941933)VmkAccess: 637: sfcb-arc_cli: access denied:: dom:pluginDom(3), obj:forkSys(86), mode:syscall_allow(2)
                    2013-02-27T15:24:54.304Z cpu0:941933)VmkAccess: 320: Posix syscall num 0
                    2013-02-27T15:24:54.304Z cpu0:941933)VmkAccess: 637: sfcb-arc_cli: access denied:: dom:pluginDom(3), obj:forkSys(86), mode:syscall_allow(2)
                    2013-02-27T15:24:54.304Z cpu0:941933)VmkAccess: 320: Posix syscall num 0
                    2013-02-27T15:24:54.304Z cpu0:941933)VmkAccess: 637: sfcb-arc_cli: access denied:: dom:pluginDom(3), obj:forkSys(86), mode:syscall_allow(2)
                    2013-02-27T15:24:54.304Z cpu0:941933)VmkAccess: 320: Posix syscall num 0
                    2013-02-27T15:40:41.698Z cpu0:942493)User: 2348: wantCoreDump : vi -enabled : 0
                    2013-02-27T15:41:27.041Z cpu7:942578)WARNING: UserObj: 675: Failed to crossdup fd 8, /dev/ptyp0 type CHAR: Busy
                    2013-02-27T15:41:27.041Z cpu7:942578)WARNING: UserObj: 675: Failed to crossdup fd 10, /dev/ptyp0 type CHAR: Busy
                    2013-02-27T15:41:27.042Z cpu4:942581)WARNING: UserLinux: 1340: unsupported: (void)
                    2013-02-27T15:45:09.408Z cpu2:942614)WARNING: LinuxSignal: 180: Signal 20 has unimplemented cartel-level semantics (sending anyway)
                    2013-02-27T15:45:31.532Z cpu3:942749)WARNING: LinuxSignal: 180: Signal 20 has unimplemented cartel-level semantics (sending anyway)
                    2013-02-27T15:45:45.357Z cpu0:942751)User: 2348: wantCoreDump : vi -enabled : 0
                    2013-02-27T15:46:26.987Z cpu7:942780)WARNING: UserObj: 675: Failed to crossdup fd 8, /dev/ptyp0 type CHAR: Busy
                    2013-02-27T15:46:26.987Z cpu7:942780)WARNING: UserObj: 675: Failed to crossdup fd 10, /dev/ptyp0 type CHAR: Busy
                    2013-02-27T15:46:26.988Z cpu4:942784)WARNING: UserLinux: 1340: unsupported: (void)

                    • 8. Re: Падение производительности дисковой подсистемы
                      unix111 Enthusiast

                      После отключения в Bios  VT-d

                      а также vmware

                      # esxcli system settings kernel list -o iovDisableIR

                       

                      ничего не помогло проблемы так и остались

                      постоянно в логах сервера пишет

                      Device mpx.vmhba0:C0:T0:L0 performance has improved. I/O latency reduced from 34231 microseconds to 11115 microseconds.

                      • 9. Re: Падение производительности дисковой подсистемы
                        unix111 Enthusiast

                        Покопался на форуме нашол проблему схожею с  моей

                         

                        http://communities.vmware.com/thread/427155?tstart=30

                        там рекомендуют обновить прошивку контроллера

                         

                        да та которя у меня не самая новая
                        Controller Version Information
                        --------------------------------------------------------
                        BIOS                                     : 5.2-0 (16343)
                        Firmware                                 : 5.2-0 (16343)
                        Driver                                   : 1.1-7 (29100)
                        Boot Flash                               : 5.2-0 (16343)
                        --------------------------------------------------------

                         

                        Уже вышли новые прошивки

                        18 May 2012Adaptec RAID 5805 Firmware Build 18948Adaptec RAID 5805 Firmware/BIOS Update Ver. 5.2.0 Build 18948

                        Так вот собственно вопрос  Есть Сервер который сейчас Рабочий на нём настроен RAID 1, 10,   2 hdd Hot spare.  Крутятся виртуалки настроен RAID 1, 10,   2 hdd Hot spare если я обновлю прошивку контроллера настройки Raid слетят потеряется ли информация?

                        • 10. Re: Падение производительности дисковой подсистемы
                          teuda Novice

                          Доброго дня! Чем дело кончилось? решили проблему?

                          • 11. Re: Падение производительности дисковой подсистемы
                            adm738 Enthusiast

                            при обновлении прошивки всё остается, как было. Иначе на фиг такая прошивка. И Потом там на дисках должна быть записана конфигурация рейда для замены старого контроллера на новый.