VMware Global Community
cybermodding
Enthusiast
Enthusiast

spiegazioni per networking infrastruttura, con vMotion, iscsi in MPIO e VLAN, grazie

buongiorno, sono un po' in confusione su come realizzare al meglio la parte di networking di due nodi, con tot schede di rete (specificherò dopo meglio) e due nas synology 1815+.

A causa dei budget ridotti, non posso ancora passare a storage attivi-attivi magari in fibra, quindi mi appoggerò all'MPIO per aumentare la banda lato iscsi.

Tra i due nodi e i due storage synology, metterò due switch 1810-48 hp, che praticamente dovrebbero essere dedicati all'infrastruttura e basta. Due perchè l'intenzione è di creare ridondanza. Usando le vlan, soprattutto in produzione (i nodi ospitano più server di diverse realtà aziendali), andrò a cadere sullo switch core di produzione con due altre schede di rete.

In pratica pensavo di usare:

- 4 schede per nodo per ISCSI in MPIO
- 2 schede per nodo per il manament

- 2 schede per nodo per il vMotion

ogni nodo ha 10 schede di rete.

Quello che più mi sta mandando in aria è la parte degli storage. Ho letto diverse guide, diverse best pratics, e ci sono delle discordanze.
In un manuale su 5.1 realizzato da Alessio Carta (lo nomino per riconoscimento) QUI si nota che la parte dell'MPIO viene realizzato utilizando più subnet, una per ogni scheda di rete utlizzata nell'iscsi. (pagina 103 del manuale).
Mentre qui vSphere 5.0 Storage Features Part 12 - iSCSI Multipathing Enhancements - VMware vSphere Blog - VMwar... si specifica che "the initiator must be able to reach the target directly on the same subnet – iSCSI port binding in vSphere 5.0 does not support routing" ed effettivamente, quando ho fatto delle prove con più subnet, ho avuto lentezza nello sfoglio degli storage, ma anche al loro stesso aggancio su vmware.

Qui la prima domanda: su ESX6, dov'è la verità? meglio usare un unico switch con più vmkernel e il portbinding, o switch multipli con ognuno una scheda di rete? e le subnet?

Altro argomento spinoso che non ho ben compreso, è la parte di segmentazione, cioè le vlan. Ho notato che molti usano:

- una vlan per la parte management

- una vlan per la parte vMotion

- una vlan per la parte dell'ISCSI.


mi fate un attimo di chiarezza per favore?
Vi ringrazio

0 Kudos
7 Replies
shanceaylown
Hot Shot
Hot Shot

Avevamo affrontato il discorso in questa discussione: vSphere e Rete, gli hai dato già una occhiata?

Personalmente io utilizzo vSwitch differenti con vmkernel su subnet separate con il port bindings, è con quest'ultimo che hai il multipathing. Sei hai però rallentamenti nella ricerca dei target il problema potrebbe essere dovuto alla configurazione del software iSCSI, soprattutto nella parte di ricerca dei target. Per la segmentazione prova a fare domande più specifiche.

Leggi la discussione che ti ho consigliato e poi ci aggiorniamo qua.

--- If you find this post useful, please consider awarding points for "Correct" or "Helpful" Leonardo Nicolini | VCP6-DCV | VCP5-DCV | MCP @shanceaylown | https://it.linkedin.com/in/leonardonicolini
0 Kudos
cybermodding
Enthusiast
Enthusiast

grazie shanceaylown.
Ho dato una guardata, non ho capito tutto quanto ma sono un po' bollito dai test (è come fare un reverse engineering).

Per il poco che ho capito, comunque, lo scenario ottimale INIZIALE sarebbe:

- avendo due schede di rete quad port, la soluzione migliore sarebbe di mischiare le reti (tipo 2 lan per iscsi prese da una quad, 2 lan per iscsi prese dall'altra quad).
Questo per evitare un punto di failover in caso di guasto della stessa scheda di rete quad.
Non mi è chiaro come comportarmi con il routing della parte iscsi, e se è meglio usare uno switch per ogni scheda o uno switc per tutte e 4 le schede implicate nell'iscsi, andando poi a settare correttamente il fail over (come da tuo piccolo allegato) e il port binding. (tra l'altro, cosa in cui mi sono già cimentato ed il concetto ce l'ho abbastanza in mano.
Rimane il dubbio delle subnet da usare.

- una rete in vlan con due schede di rete per il vmotion (o ne basta una?)
- due schede di rete per il management (in modo da avere ridondanza e accessibilità al nodo in caso di guasto di una scheda e per poter distribuire il management sui due switch)

- due schede di rete per la produzione

Un altro bel dubbio che mi rimane è come poter raggiungere gli storage nel caso avessi subnet differenti. Ma forse è meglio affrontare una cosa alla volta.
Intanto, aspetto l'arrivo delle schede quad port, che ancora non ho (le ho solo ipotizzate nel post, le ho acquistate ma sono in transito)

grazie come al solito per la tua disponibilità

0 Kudos
shanceaylown
Hot Shot
Hot Shot

avendo due schede di rete quad port, la soluzione migliore sarebbe di mischiare le reti (tipo 2 lan per iscsi prese da una quad, 2 lan per iscsi prese dall'altra quad).

Questo per evitare un punto di failover in caso di guasto della stessa scheda di rete quad.

Esatto.

Non mi è chiaro come comportarmi con il routing della parte iscsi, e se è meglio usare uno switch per ogni scheda o uno switc per tutte e 4 le schede implicate nell'iscsi, andando poi a settare correttamente il fail over (come da tuo piccolo allegato) e il port binding. (tra l'altro, cosa in cui mi sono già cimentato ed il concetto ce l'ho abbastanza in mano.

Il port binding lo devi configurare in ogni caso, sia con un solo vSwitch, sia con più vSwitch. Attivando il port binding, il VMkernel di ESXi non utilizzerà più le regole di routing, ma entra in gioco il PSP (Path Selection Policy: che può essere MRU, Fixed e RR). Per questo motivo (non si usa più il routing ip) le vmkernel port devono essere nella stessa sotto rete dello storage processor (il target iSCSI del QNAP). L'utilizzo di più vSwitch dedicati ognuno ad una vmnic oppure il contrario, cioè utilizzare un solo vSwitch con tutte le vmnic è una tua libera scelta.

Rimane il dubbio delle subnet da usare.

- una rete in vlan con due schede di rete per il vmotion (o ne basta una?)
- due schede di rete per il management (in modo da avere ridondanza e accessibilità al nodo in caso di guasto di una scheda e per poter distribuire il management sui due switch)

- due schede di rete per la produzione

Dipende, se è proprio necessario suddividere il traffico. Quante operazioni di vMotion verranno effettuate e di quante macchine virtuali? E' consigliato isolare il traffico vMotion con una VLAN oppure dedicargli una o due vmnic, perché è traffico non criptato e l'operazione deve avvenire nel minor tempo possibile, ma puoi tranquillamente condividere le vmnic del traffico per le macchine virtuali. Eventualmente fai delle modifiche successivamente. Puoi gestire il traffico vmotion, management e virtual machine con le stesse vmnic e impostare tutte le schede come attive in teaming e failover. Dipende sempre dal livello di complessità e sicurezza che vuoi raggiungere.

Un altro bel dubbio che mi rimane è come poter raggiungere gli storage nel caso avessi subnet differenti

Semplicemente non puoi, se usi il port binding.

Leggiti anche questo post di ldelloca http://www.virtualtothecore.com/configurare-una-piccola-infrastruttura-iscsi-ridondata-per-vmware/

--- If you find this post useful, please consider awarding points for "Correct" or "Helpful" Leonardo Nicolini | VCP6-DCV | VCP5-DCV | MCP @shanceaylown | https://it.linkedin.com/in/leonardonicolini
0 Kudos
cybermodding
Enthusiast
Enthusiast

Il port binding lo devi configurare in ogni caso, sia con un solo vSwitch, sia con più vSwitch. Attivando il port binding, il VMkernel di ESXi non utilizzerà più le regole di routing, ma entra in gioco il PSP (Path Selection Policy: che può essere MRU, Fixed e RR). Per questo motivo (non si usa più il routing ip) le vmkernel port devono essere nella stessa sotto rete dello storage processor (il target iSCSI del QNAP). L'utilizzo di più vSwitch dedicati ognuno ad una vmnic oppure il contrario, cioè utilizzare un solo vSwitch con tutte le vmnic è una tua libera scelta.

certo, il port binding è d'obbligo per il risultato che voglio ottenere, diciamo che leggendo in giro forse usando un vSwitch solo si ha una visione più centralizzata.

Dipende, se è proprio necessario suddividere il traffico. Quante operazioni di vMotion verranno effettuate e di quante macchine virtuali? E' consigliato isolare il traffico vMotion con una VLAN oppure dedicargli una o due vmnic, perché è traffico non criptato e l'operazione deve avvenire nel minor tempo possibile, ma puoi tranquillamente condividere le vmnic del traffico per le macchine virtuali. Eventualmente fai delle modifiche successivamente. Puoi gestire il traffico vmotion, management e virtual machine con le stesse vmnic e impostare tutte le schede come attive in teaming e failover. Dipende sempre dal livello di complessità e sicurezza che vuoi raggiungere.

qui il discorso è un po' complesso, mi spiego:
- macchine vm non ne ho tante, però ho diversi file server di piccole realtà, che trafficano molto, quindi ho già dedicato due schede di rete in timing per suddividere il carico.
Inoltre volevo tenere la parte "infrastruttura vmware" ben separata, anche a livello di switch fisici.
- per queste aziende, uso vSwitch con trunk vlan, questo perchè ho un pfsense davanti che gestisce i vari tagli di connettività, e siccome piccole realtà sono poste in diverse zone, con le vlan mi è più facile gestire il tutto.
Sicurezza, non so se è il mio caso. In sala server entro solo io, il discorso è che, a quanto ho capito, gli storage iscasi con l'MPIO su vmware, fanno parecchio traffico di broadcast. Infatti ho notato che, quando lancio un vMotion, capita ultimamente di perdere la connessione ad un nodo (attualmente, il management e il vmotion sono affidati ad una scheda fisica gigabit). Suppongo, e correggimi se sbaglio, che il traffico sugli switch vada a fare qualche tappo o ad aumentare le latenze, quindi perdo la connessione con l'host del caso. Finita la migrazione, tutto torna alla normalità.
Mi capita spesso di fare migrazioni, perchè faccio molta manutezione ed implementazione di nuove cose. Procedure di shutdown tramite apc virtual appliance e ups in parallero (quindi svuota i nodi e metti tutto su di un terzo nodo d'appoggio, così da poter simulare liberamente il tutto). E dovento integrare questi famosi storage synology su due switch, ne vorrei gestire correttamente lo spegnimento.

Semplicemente non puoi, se usi il port binding.

Leggiti anche questo post di ldelloca http://www.virtualtothecore.com/configurare-una-piccola-infrastruttura-iscsi-ridondata-per-vmware/

AH! :smileyshocked: nemmeno se metto le vlan ed uso un'altra scheda di rete di un pc console, taggandola? così dovrebbe funzionare. Considera che i synology in questione hanno 4 porte, se faccio il bind utilizzando tutte le porte, sono fregato. Mi è importante che i synology possano lo stesso andare in rete, per l'invio di mail di stato, ed altri servizi.
Potrei aggiungere una scheda di rete wifi, ma preferisco avere un accesso tramite rame sempre, perchè ho già notato che ogni tanto anche la scheda wifi si "inchioda".
Il link che mi hai messo lo avevo già letto tempo fa, ed effettivamente è quello che vorrei realizzare io.
Lato storage, siamo messi uguali, lato vmware, invece, ho 4 schede da dedicare all'iscsi per nodo. In pratica due su di uno switch, e due sull'altro switch. I nodi sono 2.
Cerco di avere garanzia sia lato vmware (nel caso mi si blocchi una porta di rete) sia lato switch (appunto, due switch). Purtroppo ho limitazioni sugli storage. Sono al massimo attivo-passivo, e i tempi di replica sono biblici. Preferisco ripartire il carico delle macchine su due storage, e poi fare dei backup incrociati delle lun, appena capisco come farli!
Faccio notare che nel link, vengono usate subnet differenti sullo stesso switch, ma non vlan.
Stando a quanto letto nelle bestpratics, si dice di usare la stessa subnet per tutta la parte iscsi. In molti link trovati su google, vedo l'uso delle vlan proprio per diminuire il traffico di broadcast.  Mi sono accorto adesso che le subnet sono diverse si, ma per ogni storage, e ci può stare. Anzi, forse è meglio così?

Gli switch sono due 1810-48 porte, messi sotto ups e nell'armadio. Questi switch avranno la gestione di:
- storage

- iscsi vmware

- management vmware

- backup veeam

- console idrac enterprice.

Spero di essere stato abbastanza chiaro, scusa il prolisso
Buona giornata e grazie come sempre!

ps- hai un messaggio privato, dagli un'occhio per favore

0 Kudos
cybermodding
Enthusiast
Enthusiast

piccolo update: sono arrivate le schede di rete quad!
attendo tue/vostre in merito al post precedente

grazie

0 Kudos
cybermodding
Enthusiast
Enthusiast

aggiungo un altro pezzo al post, sperando in una risposta :smileygrin:

Porte Lan Server.png

questa è la situazione attuale delle schede di rete dei miei due nodi.

due porte sono dedicate alle macchine vm, per quanto riguarda la produzione.
Tutte le altre sono a disposizione.
Ci sarebbe da capire anche quali sono più adatte per l'iscsi.

nel frattempo faccio dei test

0 Kudos
cybermodding
Enthusiast
Enthusiast

mi faccio un up, scusate ma l'argomento mi è molto a cuore

Saluti

0 Kudos