Rallentamento di tutte le vm

[sasab]

Buongiorno,

se possibile vorrei un vostro aiuto in merito ad un problema che da questa mattina affligge tutte le vm (circa 25) in esecuzione, pur trovandosi su host fisici differenti l'accesso e l'utilizzo di queste macchine (sia windows che linux) risulta decisamente lento anche nello svolgimento di operazioni banali.

Il primo controllo che ho fatto è stato in merito alle risorse sia degli host fisici sia delle singole vm, su di entrambe gli host fisici l'utilizzo sia di memoria che di cpu è abbondantemente entro i limiti ed anche sulle singole vm non ci sono significativi problemi di utilizzo costante di tanta cpu o di memoria al limite.

A questo ho pensato che l'elemento che associa tutte queste vm è che fanno tutte accesso ad uno stesso QNAP e quindi probabilmente il problema di lentezza potrebbe risiedere nell'accesso al disco che per qualche motivo è molto più lento rispetto a ieri.

Da vSphere ho provato a "leggere" i dati relativi all'utilizzo del datastore ed effettivamente mi sembrano alti, allego quelli relativi ad un host fisico presi in due momenti diversi.

Posso fare qualche altra indagine per risalire alla natura del problema di lentezza che affligge le vm ?

Grazie.

-

Salvatore.

[scanda]

Prova a verificare i valori di IOPS da una VM, puoi utilizzare HD_speed e seguire le indicazioni di questa KB

Verifica sulla QNAP eventuali warning o errori (magari si è rotto un disco e sta ricostruendo il RAID)

Controlla anche sugli switch se ci sono problemi sulle interfacce della QNAP

saluti

[rsicilia]

Controlla in ready time delle CPU oltre al mero consumo.

--

Rocco Sicilia

http://www.roccosicilia.it

[sasab]

in allegato lo stato della CPU in real time, credo non siano sovraccariche

Ho anche verificato lo stato del RAID e non ci sono ricostruzioni in corso.

[sasab]

ho letto la KB che mi hai indicato, se ho ben capito dovrei creare un vm di test e con Windows come OS usare LSIlogic come tipo di controller, poi installare il software HD_speed per eseguire un test, è così ?

Grazie.

[scanda]

Se hai già una macchina windows utilizza quella, se hai solo VM Linux utilizza iometer al posto di HD_speed. LE VM sono sempre lente os i è sbloccato qualcosa nel frattempo?

saluti

[rsicilia]

Riesci ad estrarre anche il grafico del parametro READY TIME in millisecondi?

--

Rocco Sicilia

http://www.roccosicilia.it

[sasab]

la situazione si è normalizzata tranne questa mattina dove in particolare sul server mail c'è stato un forte rallentamento.

Aggiungo che stranamente più volte si è verificato questo tipo di problema sui mail server e non vi erano mancanze di risorse per questa VM ma "semplicemente" molti accessi al disco infatti diminuendo il numero di operazioni contemporanee (faccio sempre riferimento al mail server) il problema, anche se non del tutto rientrava.

Ritornando a questa mattia tutto è rientrato nell'arco di 30/40 minuti (passato il picco di accessi delle 9 del mattino) e non si è più ripresentato.

In merito al test da eseguire, ha un forte impatto sulla vm ? posso utilizzare anche una in produzione ?

[sasab]

perdonami se non ho ben capito, fai riferimento al valore in millisecondi piuttosto che in MHz ?

grazie.

[scanda]

Il test effettualo in sola lettura e non in scrittura. Alla fine ti serve capire solo quanto IOPS in lettura riesci a generare.

Provalo in situazione normale (senza rallentamenti) e poi durante il problema. In questo modo puoi fare un confronto e capire se il degrado riguarda effettivamente la catena storage. Tieni conto che dopo va fatta un ulteriore analisi sul problema esatto. Che modello di Qnap utilizzi? taglio e tipologia dei dischi e del RAID?

saluti

[rsicilia]

sasab ha scritto:

perdonami se non ho ben capito, fai riferimento al valore in millisecondi piuttosto che in MHz ?

grazie.

Esatto, mi riferisco al "tempo di attesa" (chiamiamolo così per semplificare) a cui i processi sono sottoposti. Se molto elevato si manifesta con lentezza del sistema.

--

Rocco Sicilia

http://www.roccosicilia.it

[sasab]

Ciao, in allegato i report espressi in millisecondi relativi ai due host, spero possano essere di aiuto.

[rsicilia]

Riesci a mettere a confronto il ready time di una VM "lenta" con il comportamento dell'host?

Di media una VM su questi host che ready time presenta quando la CPU lavora?

--

Rocco Sicilia

http://www.roccosicilia.it

[sasab]

allego un immagine relative alle prestazioni del disco di ieri mattina quando c'era un rallentamento che poi d'improvviso è sparito.

[rsicilia]

Il grafico mostra un trasferimento dati a partire dalle 09:45 ma non sappiamo cosa stava facendo la CPU in quel momento (il grafico si ferma alle 09:40).

L'I/O su disco potrebbe essere causa di lentezza ma l'intensità non mi sembra tale da far sorgere problemi. Ricapitolando ti suggerisco di interpolare i grafici - nello stesso intervallo di tempo, di CPU ready time e I/O latency tra le 09:30 e le 10:00.

Ciao

--

Rocco Sicilia

http://www.roccosicilia.it

[sasab]

stamattina (come ogni lunedì) c'è stato un rallentamento, allego i grafici relativi al periodo del rallentamento.

grazie

[rsicilia]

Direi che corrisponde in modo evidente ad una procedura che sposta o copia files.

A questo punto controlla la latency del datastore su cui insiste la VM nello stesso periodo, se è come penso vedrai la latenza aumentare.

In ogni caso non è raro che una sistema risulti "rallentato" mentre sta compiendo delle lavorazioni come il traffico di dati su disco o via rete.

--

Rocco Sicilia

http://www.roccosicilia.it

[sasab]

nel momento in cui si è presentato il rallentamento non vi erano in esecuzione job di backup o altre operazioni non di routine, allego una immagine con i valori di latenza attuali purtroppo non so il perchè ma non riesco a catturare i valori tornando "indietro nel tempo" a lunedì scorso.

Grazie.

[rsicilia]

Non so dirti cosa sia a generare quel traffico ma è evidente che c'è. Devi necessariamente indagare.

I grafici di latenza che alleghi non si riferiscono alla stessa fascia oraria, non sono quindi utili all'analisi della problematica in oggetto.

Ciao!

--

Rocco Sicilia

http://www.roccosicilia.it

[AndreTheGiant]

Ma hai 25 VM su un solo qnap?

Hai verificato le prestazioni dello storage?

Difficilmente questi modelli entry level riescono a farti andare in modo adeguato così tante VM.