IvenUA
Contributor
Contributor

потерял пинг к vmware 5.1 и виртуальным машинам, после перезагрузки питанием все восстановилось

потерял пинг к vmware 5.1 и виртуальным машинам, после перезагрузки питанием все восстановилось

причем вторую ночь подряд


03:02 - время появления проблемы судя по логам

4.53 -перезагрузка

кто-то может подсказать причину в логах ?

hostd.log

2013-09-14T02:53:02.477Z [FFCC3D20 verbose 'DvsManager'] PersistAllDvsInfo called

2013-09-14T02:54:13.000Z [2ED40B90 verbose 'Cimsvc'] Ticket issued for CIMOM version 1.0, user root

2013-09-14T02:55:01.879Z [2EB8FB90 verbose 'SoapAdapter'] Responded to service state request

2013-09-14T02:55:44.214Z [2F356B90 verbose 'Cimsvc'] Ticket issued for CIMOM version 1.0, user root

2013-09-14T02:57:15.427Z [2ED40B90 verbose 'Cimsvc'] Ticket issued for CIMOM version 1.0, user root

2013-09-14T02:58:02.477Z [2F1C2B90 verbose 'DvsManager'] PersistAllDvsInfo called

2013-09-14T02:58:46.637Z [2ED81B90 verbose 'Cimsvc'] Ticket issued for CIMOM version 1.0, user root

2013-09-14T03:00:01.907Z [2F181B90 verbose 'SoapAdapter'] Responded to service state request

2013-09-14T03:00:17.854Z [2EB8FB90 verbose 'Cimsvc'] Ticket issued for CIMOM version 1.0, user root

2013-09-14T03:01:49.061Z [2F601B90 verbose 'Cimsvc'] Ticket issued for CIMOM version 1.0, user root

2013-09-14T03:01:58.670Z [2F356B90 verbose 'vm:/vmfs/volumes/520a3402-5252c7b4-b737-001cc091f236/SERVER3_1/SERVER3_1.vmx'] Tools are not set-display-topology capable

2013-09-14T03:01:58.672Z [2F140B90 verbose 'vm:/vmfs/volumes/520a3402-5252c7b4-b737-001cc091f236/SERVER3_1/SERVER3_1.vmx'] Tools are not set-resolution capable

2013-09-14T03:01:58.672Z [2F140B90 verbose 'vm:/vmfs/volumes/520a3402-5252c7b4-b737-001cc091f236/SERVER3_1/SERVER3_1.vmx'] Tools are not set-display-modes capable

2013-09-14T03:01:58.672Z [2F397B90 error 'SoapAdapter.HTTPService'] HTTP Transaction failed on stream TCP(error:Transport endpoint is not connected) with error N7Vmacore15SystemExceptionE(Connection reset by peer)

2013-09-14T03:01:58.684Z [2F181B90 verbose 'vm:/vmfs/volumes/520a3402-5252c7b4-b737-001cc091f236/SERVER3_1/SERVER3_1.vmx'] Tools are not operations ready

2013-09-14T03:01:58.684Z [2F181B90 verbose 'vm:/vmfs/volumes/520a3402-5252c7b4-b737-001cc091f236/SERVER3_1/SERVER3_1.vmx'] Tools are not auto-upgrade capable

2013-09-14T03:01:58.685Z [2F181B90 verbose 'vm:/vmfs/volumes/520a3402-5252c7b4-b737-001cc091f236/SERVER3_1/SERVER3_1.vmx'] Tools guest daemon status changed to: 0

2013-09-14T03:01:58.685Z [2F181B90 verbose 'vm:/vmfs/volumes/520a3402-5252c7b4-b737-001cc091f236/SERVER3_1/SERVER3_1.vmx'] guest operations are not ready

2013-09-14T03:02:11.235Z [2F181B90 verbose 'vm:/vmfs/volumes/520a3402-5252c7b4-b737-001cc091f236/SERVER3_1/SERVER3_1.vmx'] Updating current heartbeatStatus: red

2013-09-14T03:02:11.236Z [2F181B90 info 'vm:/vmfs/volumes/520a3402-5252c7b4-b737-001cc091f236/SERVER3_1/SERVER3_1.vmx'] Turning off heartbeat checker

2013-09-14T03:02:20.069Z [2F397B90 info 'ha-host'] vmxSwapEnabled = true vmmOvhd.anonymous: 77619 vmmOvhd.paged: 142494 vmmOvhd.nonpaged: 28737

2013-09-14T03:02:20.069Z [2F397B90 info 'ha-host'] vmkOvhd.fixd = 303104 vmkOvhd.variable: 2050 vmkOvhd.selfSwap: 3145728

2013-09-14T03:02:20.069Z [2F397B90 info 'ha-host'] Computed from lib overhead: 435634176 for (memPages: 2097152, fbSize: 16384, #vcpus: 4, #lsiscsi: 1, #pvscsi: 0, #passthru: 0, #network: 1) vmkOverhead: 20242432

2013-09-14T03:02:20.069Z [2F397B90 info 'ha-host'] overhead result (no CBRC): 455876608

2013-09-14T03:02:20.069Z [2F397B90 info 'ha-host'] Predicted overhead: 455876608 for (memory: 8589934592, video: 67108864, #vcpus: 4, autodetect: false, enable3D: false, svgaPtFbSize: 67108864, cbrcOverhead: 0

2013-09-14T03:02:20.069Z [2F397B90 verbose 'vm:/vmfs/volumes/520a3402-5252c7b4-b737-001cc091f236/SERVER3_1/SERVER3_1.vmx'] Time to gather config: 5 (msecs)

2013-09-14T03:02:20.070Z [2ED40B90 verbose 'Hbrsvc'] Replicator: ReconfigListener triggered for config VM 1

2013-09-14T03:02:20.086Z [2F397B90 info 'ha-host'] vmxSwapEnabled = true vmmOvhd.anonymous: 77619 vmmOvhd.paged: 142494 vmmOvhd.nonpaged: 28737

2013-09-14T03:02:20.086Z [2F397B90 info 'ha-host'] vmkOvhd.fixd = 303104 vmkOvhd.variable: 2050 vmkOvhd.selfSwap: 3145728

2013-09-14T03:02:20.086Z [2F397B90 info 'ha-host'] Computed from lib overhead: 435634176 for (memPages: 2097152, fbSize: 16384, #vcpus: 4, #lsiscsi: 1, #pvscsi: 0, #passthru: 0, #network: 1) vmkOverhead: 20242432

2013-09-14T03:02:20.086Z [2F397B90 info 'ha-host'] overhead result (no CBRC): 455876608

2013-09-14T03:02:20.086Z [2F397B90 info 'ha-host'] Predicted overhead: 455876608 for (memory: 8589934592, video: 67108864, #vcpus: 4, autodetect: false, enable3D: false, svgaPtFbSize: 67108864, cbrcOverhead: 0

2013-09-14T03:02:20.086Z [2F397B90 verbose 'vm:/vmfs/volumes/520a3402-5252c7b4-b737-001cc091f236/SERVER3_1/SERVER3_1.vmx'] Time to gather config: 5 (msecs)

2013-09-14T03:02:20.092Z [2ED40B90 verbose 'Hbrsvc'] Replicator: VmReconfig ignoring VM 1 not configured for replication

2013-09-14T03:02:20.093Z [2ED40B90 verbose 'Hbrsvc'] Replicator: ReconfigListener triggered for config VM 1

2013-09-14T03:02:20.093Z [2ED40B90 verbose 'Hbrsvc'] Replicator: VmReconfig ignoring VM 1 not configured for replication

2013-09-14T03:02:20.100Z [2ED81B90 verbose 'vm:/vmfs/volumes/520a3402-5252c7b4-b737-001cc091f236/SERVER3_1/SERVER3_1.vmx'] interactive guest operations are not ready

2013-09-14T03:02:43.166Z [2F140B90 verbose 'vm:/vmfs/volumes/520a3402-5252c7b4-b737-001cc091f236/SERVER3_1/SERVER3_1.vmx'] Running status of tools changed to: 0

2013-09-14T03:02:45.595Z [2ED81B90 verbose 'vm:/vmfs/volumes/520a3402-5252c7b4-b737-001cc091f236/SERVER3_1/SERVER3_1.vmx'] Running status of tools changed to: 1

2013-09-14T03:02:59.458Z [2F140B90 verbose 'ResourcePool ha-root-pool'] Root pool capacity changed from 10413MHz/13226MB to 10413MHz/13225MB

Section for VMware ESX, pid=4945, version=5.1.0, build=838463, option=Release

------ In-memory logs start --------

mem> 2013-09-14T04:54:18.023Z [FFCE9D20 verbose 'Default'] No update forwarding configured

vmkernel.log

2013-09-14T01:12:58.121Z cpu0:5970)PShare: 5181: false match: total 8: key=0x9cb91b9431fc1f8f, vm=5970, pgNum=0x2235c

2013-09-14T03:02:44.342Z cpu3:5757)NetPort: 1574: disabled port 0x2000005

2013-09-14T03:02:45.131Z cpu0:5753)VSCSI: 2370: handle 8192(vscsi0:0):Reset request on FSS handle 344544 (0 outstanding commands)

2013-09-14T03:02:45.131Z cpu3:4170)VSCSI: 2648: handle 8192(vscsi0:0):Reset [Retries: 0/0]

2013-09-14T03:02:45.131Z cpu3:4170)VSCSI: 2446: handle 8192(vscsi0:0):Completing reset (0 outstanding commands)

2013-09-14T03:02:50.393Z cpu3:5753)VSCSI: 2370: handle 8192(vscsi0:0):Reset request on FSS handle 344544 (0 outstanding commands)

2013-09-14T03:02:50.393Z cpu3:4170)VSCSI: 2648: handle 8192(vscsi0:0):Reset [Retries: 0/0]

2013-09-14T03:02:50.393Z cpu3:4170)VSCSI: 2446: handle 8192(vscsi0:0):Completing reset (0 outstanding commands)

VMB:...

syslog.log

2013-09-14T02:00:01Z crond[4510]: crond: USER root pid 56650 cmd /sbin/hostd-probe

2013-09-14T02:00:01Z syslog[56652]: starting hostd probing.

2013-09-14T02:00:16Z syslog[56652]: hostd probing is done.

2013-09-14T02:01:01Z crond[4510]: crond: USER root pid 56687 cmd /sbin/auto-backup.sh

2013-09-14T02:05:01Z crond[4510]: crond: USER root pid 56963 cmd /sbin/hostd-probe

2013-09-14T02:05:01Z syslog[56964]: starting hostd probing.

2013-09-14T02:05:16Z syslog[56964]: hostd probing is done.

2013-09-14T02:10:01Z crond[4510]: crond: USER root pid 57151 cmd /sbin/hostd-probe

2013-09-14T02:10:01Z syslog[57152]: starting hostd probing.

2013-09-14T02:10:16Z syslog[57152]: hostd probing is done.

2013-09-14T02:12:05Z cimslp: Found 17 profiles in namespace root/interop

2013-09-14T02:15:01Z crond[4510]: crond: USER root pid 57309 cmd /sbin/hostd-probe

2013-09-14T02:15:01Z syslog[57310]: starting hostd probing.

2013-09-14T02:15:16Z syslog[57310]: hostd probing is done.

2013-09-14T02:20:01Z crond[4510]: crond: USER root pid 57565 cmd /sbin/hostd-probe

2013-09-14T02:20:01Z syslog[57566]: starting hostd probing.

2013-09-14T02:20:16Z syslog[57566]: hostd probing is done.

2013-09-14T02:25:01Z crond[4510]: crond: USER root pid 57722 cmd /sbin/hostd-probe

2013-09-14T02:25:01Z syslog[57723]: starting hostd probing.

2013-09-14T02:25:16Z syslog[57723]: hostd probing is done.

2013-09-14T02:30:01Z crond[4510]: crond: USER root pid 57988 cmd /sbin/hostd-probe

2013-09-14T02:30:01Z syslog[57989]: starting hostd probing.

2013-09-14T02:30:16Z syslog[57989]: hostd probing is done.

2013-09-14T02:35:01Z crond[4510]: crond: USER root pid 58148 cmd /sbin/hostd-probe

2013-09-14T02:35:01Z syslog[58149]: starting hostd probing.

2013-09-14T02:35:16Z syslog[58149]: hostd probing is done.

2013-09-14T02:40:01Z crond[4510]: crond: USER root pid 58352 cmd /sbin/hostd-probe

2013-09-14T02:40:01Z syslog[58353]: starting hostd probing.

2013-09-14T02:40:16Z syslog[58353]: hostd probing is done.

2013-09-14T02:45:01Z crond[4510]: crond: USER root pid 58536 cmd /sbin/hostd-probe

2013-09-14T02:45:01Z syslog[58537]: starting hostd probing.

2013-09-14T02:45:16Z syslog[58537]: hostd probing is done.

2013-09-14T02:50:01Z crond[4510]: crond: USER root pid 58735 cmd /sbin/hostd-probe

2013-09-14T02:50:01Z syslog[58736]: starting hostd probing.

2013-09-14T02:50:16Z syslog[58736]: hostd probing is done.

2013-09-14T02:55:01Z crond[4510]: crond: USER root pid 58896 cmd /sbin/hostd-probe

2013-09-14T02:55:01Z syslog[58897]: starting hostd probing.

2013-09-14T02:55:16Z syslog[58897]: hostd probing is done.

2013-09-14T03:00:01Z crond[4510]: crond: USER root pid 59155 cmd /usr/lib/vmware/vmksummary/log-heartbeat.py

2013-09-14T03:00:01Z crond[4510]: crond: USER root pid 59156 cmd /sbin/hostd-probe

2013-09-14T03:00:01Z syslog[59158]: starting hostd probing.

2013-09-14T03:00:16Z syslog[59158]: hostd probing is done.

2013-09-14T03:01:01Z crond[4510]: crond: USER root pid 59195 cmd /sbin/auto-backup.sh

2013-09-14T04:53:27Z watchdog-vobd: [4466] Begin '/usr/lib/vmware/vob/bin/vobd ++min=0,max=100,group=uwdaemons', min-uptime = 60, max-quick-failures = 1, max-total-failures = 1000000, bg_pid_file = ''

2013-09-14T04:53:27Z watchdog-vobd: Executing '/usr/lib/vmware/vob/bin/vobd ++min=0,max=100,group=host/vim/vmvisor/uwdaemons'

2013-09-14T04:53:28Z crond[4510]: crond: crond (busybox 1.19.0) started, log level 8

0 Kudos
12 Replies
AlexFedosenko
Enthusiast
Enthusiast

Привет. Было похожее на 5.0. Только пинг был до самого esxi,  до его managment interface, а вот до виртуалок пропал. Зайти на сами виртуалки было нельзя как по rdp так и консольно в sphere client. Причем при подключении к esxi по vsphere client можно было обозревать только кол-во виртуалок их имена, сколько датастореджей а вот к примеру инфа о производительности и прочее было не доступно. Виртуалки нельзя было выключить или погасить из интерфейса, все запросы и команды были в статусе in progress. Решилось все так же, перезагрузка питанием. Если кто знает в чемп ричина, хотелось бы услышать. Я вначале думал что один такой =). Так что проблема имеет место быть господа.

p.s. На 4.0 и 4.1 такого никогдане было.

0 Kudos
IvenUA
Contributor
Contributor

не, все таки не то

у меня полное отсутствие коннекта в вмваре

при чем другие устройства в подсети видимы нормально - так что проблема исключительно с вмваре

к сожалению, что в этот момент происходит на экране посмотреть не могу - есть возможность только удаленно питание выключить и включить - после чего к счастью вмваре заводится

в логах я ни бум-бум к сожалению

0 Kudos
AlexFedosenko
Enthusiast
Enthusiast

Ну как бэ да, у вас немного другое, но все равно, глюки есть и лечатся только ребутом по питанию. Что уже пугает.

0 Kudos
IvenUA
Contributor
Contributor

у меня по полгода, если не больше, без перезагрузок работал этот сервак и пару других

так что с проблемой надо разобраться и устранить

0 Kudos
IvenUA
Contributor
Contributor

111.jpg

наконец то увидел ошибку в живую

советы ?

0 Kudos
AlexFedosenko
Enthusiast
Enthusiast

Этот экран, страшнее синего =). Тоже жду ответов гуру.

0 Kudos
IvenUA
Contributor
Contributor

0 Kudos
VTsukanov
Virtuoso
Virtuoso

Вне зависимоти от того что вам насоветую в eng-язычном топике, начните с memtest на сутки

B это ... в SEL какие то ошибки есть? (Если память то она там с высокой вероятностью отметится)

0 Kudos
IvenUA
Contributor
Contributor

ну вы видимо не дочитали - там уже написали что это баг, который лечится патчем

0 Kudos
VTsukanov
Virtuoso
Virtuoso

Я дочитал вплоть до статьи vmware kb, с вашим розовым экран общего вижу мало

0 Kudos
IvenUA
Contributor
Contributor

в принципе я тоже сравнил код ошибок - они отличаются

впрочем пока я для себя ситуацию решил

сделал откат на предыдущую версию esxi, старее этак на полгода и опустил использование оперативки до нормал

вроде сутки полет нормальный

0 Kudos
VTsukanov
Virtuoso
Virtuoso

Решать вам, я сказал как бы я действовал в подобной ситуации

0 Kudos