Spitzen, Aussetzer und Performance-Probleme zur bestimmten Uhrzeit

[MarSch0815]

Hallo,

wir haben ein ESXi Cluster (V4.1) mit 3 Hosts (DL 380G7). Das vCenter ist als eigene VM innerhalb des Clusters aktiv. Als SAN steht eine MSA von HP dahinter. Die Anbindung an das SAN ist per FC und jeweils an verschiedenen Controllern über Kreuz zur Ausfallsicherheit angebunden.

Jetzt kommen wir zu den Problemen:

• täglich 12:00 Uhr Mittags haben wir auf allen ESXi Hosts eine erhöhte Festplatten-, Netzwerk- und CPU-Auslastung:
  

Hier zu sehen die dazugehörigen Hosts:

Auch gut zu sehen, hier bricht einfach die CPU und RAM-Grafik um 12:00 Uhr weg:

Außerdem ist im vCenter unter den Logs folgendes zu erkennen:

[2013-01-23 12:01:05.547 03804 warning 'ProxySvc Req61317'] Error reading from client while waiting for header: class Vmacore::SystemException(Der angegebene Netzwerkname ist nicht mehr verfügbar. )
[2013-01-23 12:01:06.673 04424 warning 'VpxProfiler' opID=HB-host-122@1281] [VpxdHostSync] DoHostSync:000000000738CAB0 took 2014 ms
[2013-01-23 12:01:06.673 04424 warning 'VpxProfiler' opID=HB-host-122@1281] InvtHostSyncLRO::StartWork took 2014 ms
[2013-01-23 12:01:07.487 04248 warning 'ProxySvc Req61318'] Error reading from client while waiting for header: class Vmacore::SystemException(Der angegebene Netzwerkname ist nicht mehr verfügbar. )
[2013-01-23 12:01:15.073 01256 error 'App' opID=09967A5D-000015E7] Connection lost while waiting for the next request on stream TCPStreamWin32(socket=TCP(fd=5148) local=127.0.0.1:8085,  peer=127.0.0.1:56790): class Vmacore::SystemException(Eine bestehende Verbindung wurde softwaregesteuert durch den Hostcomputer abgebrochen. )
[2013-01-23 12:01:34.057 03724 warning 'ProxySvc Req61327'] Error reading from client while waiting for header: class Vmacore::SystemException(Der angegebene Netzwerkname ist nicht mehr verfügbar. )
[2013-01-23 12:01:35.952 03900 warning 'ProxySvc Req61328'] Error reading from client while waiting for header: class Vmacore::SystemException(Der angegebene Netzwerkname ist nicht mehr verfügbar. )
[2013-01-23 12:01:36.493 01076 warning 'ProxySvc Req61329'] Error reading from client while waiting for header: class Vmacore::SystemException(Der angegebene Netzwerkname ist nicht mehr verfügbar. )
[2013-01-23 12:01:39.057 04248 warning 'ProxySvc Req61330'] Error reading from client while waiting for header: class Vmacore::SystemException(Der angegebene Netzwerkname ist nicht mehr verfügbar. )
[2013-01-23 12:02:02.964 02532 warning 'VpxdMoLock' opID=HB-host-77@193024] ***WARNING*** Lock group-v3 mode EXCLUSIVE held for 1362 ms
[2013-01-23 12:02:02.964 02532 warning 'VpxdMoLock' opID=HB-host-77@193024] ***WARNING*** Lock group-v3 mode EXCLUSIVE held for 1362 ms
[2013-01-23 12:02:02.964 02532 warning 'VpxdMoLock' opID=HB-host-77@193024] ***WARNING*** Lock domain-s75 mode EXCLUSIVE held for 1362 ms
[2013-01-23 12:02:02.964 02532 warning 'VpxdMoLock' opID=HB-host-77@193024] ***WARNING*** Lock host-77 mode EXCLUSIVE held for 1363 ms
[2013-01-23 12:02:02.965 02532 warning 'VpxdMoLock' opID=HB-host-77@193024] ***WARNING*** Lock vm-99 mode EXCLUSIVE held for 1363 ms
[2013-01-23 12:02:06.580 01076 warning 'VpxProfiler' opID=HB-host-78@72350] [VpxdHostSync] DoHostSync:0000000007389230 took 2055 ms
[2013-01-23 12:02:06.581 01076 warning 'VpxProfiler' opID=HB-host-78@72350] InvtHostSyncLRO::StartWork took 2056 ms
[2013-01-23 12:02:16.832 03764 warning 'VpxdMoLock' opID=HB-host-78@72351] ***WARNING*** Lock domain-c7 mode SHARE held for 1124 ms
[2013-01-23 12:02:16.832 03764 warning 'VpxdMoLock' opID=HB-host-78@72351] ***WARNING*** Lock host-78 mode EXCLUSIVE held for 1124 ms
[2013-01-23 12:02:16.832 03764 warning 'VpxdMoLock' opID=HB-host-78@72351] ***WARNING*** Lock vm-72 mode EXCLUSIVE held for 1124 ms
[2013-01-23 12:02:16.834 04264 warning 'VpxdMoLock' opID=task-internal-1-280fba75-b8] Locking domain-c7 in mode: EXCLUSIVE took 1122 ms
[2013-01-23 12:02:16.836 04264 warning 'VpxProfiler' opID=task-internal-1-280fba75-b8] Time taken for DRS region took 2053 ms
[2013-01-23 12:02:16.836 04264 warning 'VpxProfiler' opID=task-internal-1-280fba75-b8] Time taken for DRS region took 2054 ms
[2013-01-23 12:02:17.043 03764 warning 'VpxProfiler' opID=HB-host-78@72351] [VpxdHostSync] DoHostSync:0000000007389230 took 2517 ms
[2013-01-23 12:02:17.044 03764 warning 'VpxProfiler' opID=HB-host-78@72351] InvtHostSyncLRO::StartWork took 2518 ms
[2013-01-23 12:02:23.636 03732 warning 'VpxdMoLock' opID=HB-host-77@193025] ***WARNING*** Lock group-v3 mode EXCLUSIVE held for 1016 ms
[2013-01-23 12:02:23.636 03732 warning 'VpxdMoLock' opID=HB-host-77@193025] ***WARNING*** Lock group-v3 mode EXCLUSIVE held for 1016 ms
[2013-01-23 12:02:23.636 03732 warning 'VpxdMoLock' opID=HB-host-77@193025] ***WARNING*** Lock domain-s75 mode EXCLUSIVE held for 1016 ms
[2013-01-23 12:02:23.636 03732 warning 'VpxdMoLock' opID=HB-host-77@193025] ***WARNING*** Lock host-77 mode EXCLUSIVE held for 1016 ms
[2013-01-23 12:02:23.637 03732 warning 'VpxdMoLock' opID=HB-host-77@193025] ***WARNING*** Lock vm-2844 mode EXCLUSIVE held for 1016 ms
[2013-01-23 12:02:23.910 03732 warning 'VpxProfiler' opID=HB-host-77@193025] [VpxdHostSync] DoHostSync:00000000073875B0 took 2400 ms
[2013-01-23 12:02:23.910 03732 warning 'VpxProfiler' opID=HB-host-77@193025] InvtHostSyncLRO::StartWork took 2400 ms
[2013-01-23 12:02:26.885 03592 warning 'VpxdMoLock' opID=HB-host-78@72354] ***WARNING*** Lock domain-c7 mode SHARE held for 1221 ms
[2013-01-23 12:02:26.885 03592 warning 'VpxdMoLock' opID=HB-host-78@72354] ***WARNING*** Lock host-78 mode EXCLUSIVE held for 1221 ms
[2013-01-23 12:02:26.886 03592 warning 'VpxdMoLock' opID=HB-host-78@72354] ***WARNING*** Lock vm-6473 mode EXCLUSIVE held for 1222 ms
[2013-01-23 12:02:27.426 03592 warning 'VpxProfiler' opID=HB-host-78@72354] [VpxdHostSync] DoHostSync:0000000007389230 took 2895 ms
[2013-01-23 12:02:27.426 03592 warning 'VpxProfiler' opID=HB-host-78@72354] InvtHostSyncLRO::StartWork took 2895 ms
[2013-01-23 12:02:56.936 03900 warning 'VpxProfiler' opID=HB-host-122@1292] [VpxdHostSync] DoHostSync:000000000738CAB0 took 2125 ms
[2013-01-23 12:02:56.936 03900 warning 'VpxProfiler' opID=HB-host-122@1292] InvtHostSyncLRO::StartWork took 2125 ms
[2013-01-23 12:03:17.765 04264 warning 'VpxProfiler' opID=HB-host-78@72367] [VpxdHostSync] ProcessChanges host:xxxxx.xxxxxxx.local (111.1111.111.111) took 2152 ms
[2013-01-23 12:03:17.765 04264 warning 'VpxProfiler' opID=HB-host-78@72367] [VpxdHostSync] DoHostSync:0000000007389230 took 3225 ms
[2013-01-23 12:03:17.765 04264 warning 'VpxProfiler' opID=HB-host-78@72367] InvtHostSyncLRO::StartWork took 3226 ms
[2013-01-23 12:03:17.765 04260 warning 'VpxdMoLock' opID=HB-host-78@72367] Locking host-78 in mode: SHARE took 1754 ms
[2013-01-23 12:03:17.765 04260 warning 'VpxdMoLock' opID=HB-host-78@72367] ***WARNING*** Lock vm-436 mode SHARE held for 1754 ms
[2013-01-23 12:03:17.765 03152 warning 'VpxdMoLock'] Locking vm-436 in mode: EXCLUSIVE took 1129 ms

Probleme mit dem vCenter, wie man häufig zu den Meldungen aus dem Log findet, haben wir jedoch nicht.

Vorallem merkt man die Aussetzer beim Verzeichnis- und Dateizugriff auf den Fileserver, ebenfalls eine VM-Maschine unter einem der 3 ESXi-Host im Cluster. Wir haben den Fileserver auch schon mal auf einen andere ESXi-Host verschoben, ohne Erfolg.

Desweiteren haben wir einen der ESXi-Host neu gestartet, auch ohne Erfolg.

Vielen Dank im Voraus für eure Unterstützung.

Gruß

Markus

[a_p_]

Willkommen im Forum,

Keine Lösung, sondern nur eine Vemutung. Schau mal auf dem Storagesystem (logs etc.), ob da irgend eine Aktion läuft (Cleanup, Snapshot, Backup, ...).

Das Einzige, was ich aktuell ausschließen würde, wäre ein Performance-Engpaß durch einen zeitgleichen Zugriff aller Benutzer auf die Speisekarte im Intranet

André

[AndreasNeufertV]

Hi, I would install a monitoring tool to get a better view then vcenter on this problem.

Veeam ONE 30 days trial for example.

Have a look at the Memory Pressure (Veeam commulated Memory analyse) and Disk Latency (when it rises 30ms-100ms above at mid of the day most likely the storage system is your cause)

Andy

[AndreasNeufertV]

Oh was oft auch ist, dass dann Viruenscanner genau gleichzeitig (um 12?) auf allen Systemen einen Scann machen oder sich um 12 die neuesten Patterns laden und dann Auspacken, was ziemlich den gleichen Effekt hat.

[MarSch0815]

Hallo,

danke für die Rückmeldungen.

Also, Virenscanner und SAN können wir ausschließen, wurde schon geprüft.

Zum Monitoring, wir verwenden PRTG - hier sind diese AUffälligkeiten nicht in dem Umfang zu beobachten, wie im vCenter selbst. Jedenfalls zeigt der PRTG keine Aussetzer an.

Mir scheint, es ist auch nicht so glücklich das vCenter als VM laufen zu lassen. Was meint ihr?

[a_p_]

Mir scheint, es ist auch nicht so glücklich das vCenter als VM laufen zu lassen. Was meint ihr?

Virtuell ist absolut ok und sogar die von VMware seit vSphere 4 empfohlene Methode. Ich selbst hab in der Zwischenzeit keine physikalische vCenter Server Installation mehr am laufen. Ich sehe auch keine Probleme mit dem vCenter Server, da ja die Probleme auf allen Hosts auftreten.

Schau mal ob bezüglich den Meldungen in der Logdatei der KB Artikel http://kb.vmware.com/kb/1006369 weiterhilft. Dort wird von Zugriffsproblemen auf die Datenbank berichtet, die mit 4.1 Update 1 für Orcale DBs bereinigt wurde. Ist es vielleicht möglich, daß um die entsprechende Uhrzeit ein DB Backup o.Ä. läuft?

André

[brause76]

Ich bin vom 28.01.2013 bis zum 01.02.2013 nicht im Hause.

Ihre Nachricht wird nicht weitergeleitet.

[kastlr]

Hallo,

finden sich denn vielleicht Hinweise in einem der vmkernel Logs?

Und könnte es sich um ein Roll Out von MS Patchen handeln, eventuell unter Verwendung des Update Managers.

Alternativ würde ich mir mal die Eventlogs des Servers ansehen, ob dort Auffälligkeiten zu finden sind.

Gruß,

Ralf

[AndreasNeufertV]

Falls du den Fehler immer noch nicht gefunden hast, versuch doch mal Veeam ONE zu nutzen, bisher konnte ich damit immer alle Fehler identifizieren.

30 Tage Trial mit vollem Funktionsumfang. (Neue Windows VM und einfach Setup durchklicken).

Falls du den Fehler schon gefunden hast, bitte Lösung sharen *daumendrück* Andy

[MarSch0815]

Hallo,

der Fehler wurde gefunden. Ursache dafür ist der GFILANGuard, der verursacht richtig trouble im LAN. Wir haben den Server und alle Agenten deaktiviert und nun ist ruhe.

Empfehlung von GFI ist, einen elay Agent zusätzlich zu installieren, damit nimmt 50% Entlastung aus dem LAN heraus.

Wir lassen erstmal die Finger davon.

Vielen Dank für die Unterstützung und ein schönes Wochenende.

Gruß

Markus