VMware Global Community
SICMAX
Contributor
Contributor

NFS o Iscsi con switch

Premetto che non sono un grande esperto di VMWARE e pertanto mi affido a delle aziende qualificate (spero) quando devo fare dei lavori abbastanza delicati, ma questa volta ho qualche dubbio e pertanto vi chiedo un consiglio visto che chi risponde non ha sicuramente nessun interessa a vendermi qualcosa.

Abbiamo recentemente acquistato un StorCenter ix12-300r/4TB con 4 schede di rete da 1gb perchè dobbiamo sostituire un NAS Openfiler (su un server è stato installato OpenFiler e per adesso non ci ha dato problemi)

Adesso, volevamo fare un piccolo salto di qualità con i pochi soldi dateci a disposizione, ma in fase di progettazione mi hanno proposto di non utilizzare più il collegamento ISCSI ma NFS per agganziare l'IOMEGA senza passare dallo switch ma collegare direttamente i server ESX al Datacenter.

Mi sembra molto strana questa soluzione perchè in questo modo avrei solamente due schede di rete per server (premetto che per ogni server ESX ha 12 schede di rete disponibili) collegate al NAS rispetto ad una soluzione con lo switch.

Perchè, secondo voi, mi hanno proposto una soluzione simile ? Non sarebbe più sicura utilizzare il protocollo NFS con lo switch ?

Ciao e grazie per il vostro supporto.

Max

Reply
0 Kudos
20 Replies
AndreTheGiant
Immortal
Immortal

Il collegamento senza switch personalmente preferisco evitarlo...

La soluzione proposta è in effetti strana.

Servirebbe qualche dettaglio in più.

Il consiglio però è valutare se ha senso portare tutti i dati su una struttura che potrebbe non avere sufficiente disponibilità e bloccare tutto o piuttosto investire in un vero storage (completamente ridondato) oppure in una semplice soluzione di replica periodica delle VM (nel caso non vi sia abbastanza budget).

Andrea

Andrew | http://about.me/amauro | http://vinfrastructure.it/ | @Andrea_Mauro
Reply
0 Kudos
SICMAX
Contributor
Contributor

Grazie per la tua tempestiva risposta, premetto che lo storage è di 8tb e non 4Tb ma a parte questo che dettagli in più vorresti sapere ?

Ciao

Max

Reply
0 Kudos
AndreTheGiant
Immortal
Immortal

Tipo di storage, disegno della configurazione proposta, configurazione vSwitch.

C'è anche un aspetto non banale su come vSphere gestisce i percorsi multipli... con iSCSI e più LUN posso dare un percorso ad un LUN... Ma non NFS se non ho il LAG o EtherChannell a livello di switch+storage+vSphere non posso aumentare la banda.

Discorsi che comunque lasciano lo spazio che trovano... Stiamo parlando di uno "storage" con dischi SATA che quindi può andare bene per qualche macchina virtuale, ma che difficilmente potrà scalare o raggiungere grandi prestazioni.

Andrea

Andrew | http://about.me/amauro | http://vinfrastructure.it/ | @Andrea_Mauro
Reply
0 Kudos
SICMAX
Contributor
Contributor

La soluzione proposta dall'azienda è questa:

Lo storage è composto da 4 dischi da 2tb sata e in Raid 10 creando due dischi da 1.8tb

Sul primo disco verranno messe le macchine virtuali (circa 😎 pari a 500Gb

Il secondo disco verrà utilizzato per fare le copie delle macchine virtuali utilizzando Vm Explorer.

Invece le due macchine fisiche dove è installato ESX sono un Power Edge  T710 con 24Gb di Ram ed ognuna ha 4 macchine virtuali indicizzate.

e collegaranno direttamente le due schede di rete dall'Iomega ad ogni server ESX.

Invece attualmente abbiamo un collegamento ISCI con uno swtich Dell dove confluiscono 4 cavi di rete per ogni server (sia ESX sia OPENFILER in totale sono 12) per creare una rete dedicata ISCSI.

L'Openfiler è installato su un altro Power Edge T710 con 2 gb di ram con 4 dischi da 250Gb in Raid 5

Ma la domanda nasce spontanea... sono andato a peggiore ?

Grazie

Reply
0 Kudos
AndreTheGiant
Immortal
Immortal

Le 4 schede di rete per server per l'iSCSI non riuscirai mai ad usarle tutte insieme (ti servirebbero almeno 4 LUN diverse su openfiler).

Riguardo al cambiamento io ho qualche dubbio.

Sicuramente, da prove fatte, l'NFS è meglio di un target iSCSI implementato in software.

Ma sul fatto che uno "scatolotto" di orgine NAS sia meglio di un server ho qualche dubbio.

Chiaro che se il budget non permette l'acquisto di un MD3200i (o almeno un MD3000) dual controller allora c'è poco da fare...

Andrea

Andrew | http://about.me/amauro | http://vinfrastructure.it/ | @Andrea_Mauro
Reply
0 Kudos
SICMAX
Contributor
Contributor

Grazie per la tua risposta ma alla luce di ciò ti vorrei porti un ulteriore quesito, ovviamente spero di non approffitarne troppo della tua disponibilità.

Avendo già il Nas mi consigli una soluzione NFS con switch. Ma perchè ?

Ciao

Reply
0 Kudos
AndreTheGiant
Immortal
Immortal

I Dell PowerVault MD3xxxi sono storage iSCSI.

Quella è la soluzione che consiglieri o alla peggio la versione solo SAS (che però non è che costi molto di meno e blocca la futura espandibilità dei nodi).

Riguardo NFS e iSCSI, il mio discorso è che se entrambi sono realizzati con uno storage "software" allora ho notato prestazioni migliori dell'NFS rispetto all'iSCSI.

Ma non lo consiglieri in produzione.

Andrea

Andrew | http://about.me/amauro | http://vinfrastructure.it/ | @Andrea_Mauro
johnnybox78
Contributor
Contributor

Ciao Max,

provo anch'io a risponderti visto che tempo fa mi sono fatto un po' di esperienza su problemi simili e ho avuto la possibilità di fare un po' di prove sia con server openfiler sia con diverse nas "economiche" tipo ix4-200 o ReadyNas 2100.

Prima di tutto confermo quello detto anche da Andrea riguardo le performace, NFS è migliore a parità di hardware fondamentalmente perchè VMFS è un derivato alla lontana dell'EXT3 e si comporta meglio nell'accesso "file level" piuttosto che "block level", anche perchè non sono necessari comandi specifici per allineare i blocchi di formattazione vmfs con quelli EXT3 su cui sono appoggiate le share NFS. Io ho fatto prove di stress sullo stesso server openfiler e sulla stessa nas erogando le macchine virtuali prima su iSCSI poi su NFS, la differenza c'è soprattutto il lettura, ma all'atto pratico di utilizzo è impercettibile.

Secondo credo di poterti dare con certezza una brutta notizia. Una share NFS o un target iSCSI erogati da un server (magari xeon con un po' di dischi e un po' di ram) è decisamente più veloce di una NAS con processori "deboli", poca ram, ancor meno cache e dischi SATA da 7.200 rpm.

Io ho fatto il mio primo openfiler su un IBM x346 single xeon single core con 4 gb di ram e 6 dischi da 146 gb in raid 5, erogavo via NFS una dozzina di macchine virtuali (linux e windows non troppo pesanti ma comunque utilizzate). Tutto bene per un anno senza mai un down! Poi ho provato una NAS, una piccola NetGear Readynas 2100 con 2 schede di rete in bilanciamento LACP sugli switch cisco, bene le macchine virtuali spostate dall'openfiler a li, erano praticamente inutilizzabili o quasi, guardando la latenza verso tale datastore avevo valori di avarage introno ai 50 ms, un inferno.

A mio parere le NAS sono ottime per archiviazione ma per andare forte il controller che gestisce la connessione ai nodi deve essere potente, la dimostrazione sono le NAS della NetAPP che via NFS su semplici gigabit vanno tanto e in alcuni casi più di blasonate SAN Fiber Channel.

Ora ho un server un po' più aggioranto (DL380 G5) con pool d 8 dischi SATA da 7.2000, un disco da 32 Gb per la cache e questa distribuzione http://www.nexentastor.org/ . Devo dire che va molto molto forte, chiaro che non è certificato e per metterlo in produzione devi avere un buon backup però per il mio dipartimento di sviluppo con uno sconsiderato prolificare di macchine virtuali è perfetto.

In ultimo, qualunque cosa connetti ai server meglio se passa sempre da degli switch, che sia fibra o ethernet gli switch introducono si un po' di latenza in più ma ti permettono più flessibilità e espansione. Nel caso delle nas in più, quasi tutti gli switch ormai prevedono l'aggragazione delle porte che ti può dare un po' di spinta in più.

Spero di esserti stato utile, sicuramente non voglio venderti nulla ma come dice il saggio "La donna che paghi meno è quella che paghi subito" quindi attento a risparmiare perchè rischi di dover riaprire il portafoglio a breve, meglio aspettare un po' di più, aumentare il gruzzolo e andare su soluzioni performanti e affidabili, non ti serve il top di gamma ma non tutto quello che è nell'HCL vmware può fare tutto!

Saluti

Johnny

I wish I could be a Virtual Machine!
SICMAX
Contributor
Contributor

Grazie Johnny per la tua esauriente risposta ma colgo l'occasione per chiederti se puoi illustrarmi il progetto http://www.nexentastor.org/ . Da quanto ho capito è un software simile ad Openfiler ma esattamente cos'è.

Infine ieri sera ho letto sia le specifiche dell'Iomega StorCenter ix12-300r sia alcune recensioni e sembrerebbe che sia un buon datastore visto anche che il software in dotazione è della ditta EMC.

Ho letto un articolo che diceva:

"Storage per la virtualizzazione dei server  – Tutte le moderne e diffuse piattaforme di virtualizzazione e  hypervisor traggono beneficio dalle funzionalità di storage condiviso  per fornire resilienza dei dati e delle applicazioni. L’ix12 è  certificato VMware vSphere, Microsoft Hyper-V e Citrix XenServer."

Secondo voi la certificazione VMware viene data perchè prima fanno dei test immagino e pertanto dovrebbe andare bene  o sbaglio ?

Comunque in ogni caso ho deciso di utilizzare gli switch con l'aggregazione delle porte. e il protocollo ISCI.

Spero che l'implementazione vada bene ..... e comunque vi farà sapere.

Grazie

Max

Reply
0 Kudos
AndreTheGiant
Immortal
Immortal

La certificazione dimostra solo che funziona e che ti danno supporto in caso di problemi di un certo tipo (se hai comprato il supporto).

Non che funziona con ottime prestazioni.

E' un po' come dire che un computer è certificato per 7... non vuol dire che poi va bene per tutti (e il Vista Ready ha insegnato molte cose a riguardo di questo tipo di "certificazione").

Andrea

Andrew | http://about.me/amauro | http://vinfrastructure.it/ | @Andrea_Mauro
Reply
0 Kudos
johnnybox78
Contributor
Contributor

Come dice Andrea la certificazione è solo una sicurezza in più per il supporto e per sapere che l'hardware funziona, che funzioni con buone performance è un alto paio di maniche. Ho guardato meglio le specifiche della ix12 e in effetti è sicuramente meglio delle ix4 classiche anche se il processore è solo un dual core e soprattutto i dischi sono SATA, se non ne metti un po' rischi di avere una latenza troppo alta.

Comunque capisco le esigenze di baudget quindi non insisto perchè a volte si deve fare come si può.

Nexentastor è un progetto interessante perchè usa ZFS il file sistem proprietario di solaris. E' piuttosto interessante perchè è il padre di tutti i nuovi virutal storage (EMC, NetAPP, Equalogic e tanti altri lo stanno proponendo ora), praticamente le informazione di array raid e lun sono contenute nel pool di dischi, puoi tolie i dischi, mischiarli o rimontarli su un'altro enclosure e tutto riparte senza problemi. Puoi usare dischi allo stato solido come cache e in più autogestisce la consitenza del dato quindi è sicuro anche senza controller con battery cache.

Io lo sto provando da un po' sul server che ti dicevo, in più ho un fornitore che sta producendo storage (non ancora certificati però) con questa tecnologia e hardware supermicro. Se vuoi dare un'occhiata www.syneto.it, non costano molto e posso garantire che vanno molto molto forte, peccato che ancora non si siano dati il tempo di certificarlo (per la cronaca la certificazione non è fatta direttamente da vmware che invece manda un kit software da interfacciare allo storage, raccoglie dati e spedisce il tutto a vmware che con questi dati decide o meno se certificare....burocrazia e basta mi sa).

Johnny

I wish I could be a Virtual Machine!
Reply
0 Kudos
Bittone66
Contributor
Contributor

Ciao a tutti,

scusate se mi inserisco in un post vecchio, ma siccome sto implementando uan soluzione basata su Nexenta e con passaggio dei datastore da iSCSIa NFS, sono alla ricerca di pareri ed esperienze che possano evitarmi le classiche nottate a recuperare i sistemi.

Il mio setup vecchio prevedeva una macchina ESXi singola con uno storage iSCSI basato su Openfiler.

Volendo migrare tutti i server dell'azienda sulla ESXi, mi sono trovato a considerare il problema della continuità di servizio in caso di guasti alla componente di storage (la componente più importante a mio modo di vedere se si parla di continuità).

Alla ricerca di una soluzione sono anche io incappato in Nexenta, e sono rimasto affascinato dal prodotto e dalle capacità di auto tier (anche se non sono sicuro al 1005 di aver capito come funziona l'autosnapshot).

In particolare io vorrei passare da iSCSI a NFS proprio per poter replicare il datastore NFS via auto-tier (che non è applicabile a volumi pubblicati su iSCSI ma solo su share file level) a scadenze prefissate (ogni due o tre ore).

Il progetto prevede quinid due NAS Nexenta , una principale ed una secondaria, in cui la prima pubblica NFS verso la macchina ESXi mentre la seconda riceve gli update Rsync dal datastore così da avere uan copia pronta all'uso dell'intero datastore.

Per la prima NAS prevedo una configurazione RAID 10 con du schede i-RAM Gigabyte come ZIL , mentre per la seconda, una RAID 6 (raiz2) in quanto lo stesso NAS verrà usato per immagazzinare le immagini di backup Bacula su uno share CIFS tramite una rete differente.

Ora, secondo le vostre esperienze, la'utop-tier di nexenta lavora bene con immagini VMDK?

Ho letto pareri discordanti in rete e vorrei avere qualche parere magari suffragato da esperienze reali.

Grazie per il vostro tempo

Alberto

Reply
0 Kudos
Tinto1970
Commander
Commander

In particolare io vorrei passare da iSCSI a NFS proprio per poter replicare il datastore NFS via auto-tier (che non è applicabile a volumi pubblicati su iSCSI ma solo su share file level) a scadenze prefissate (ogni due o tre ore).

Il progetto prevede quinid due NAS Nexenta , una principale ed una secondaria, in cui la prima pubblica NFS verso la macchina ESXi mentre la seconda riceve gli update Rsync dal datastore così da avere uan copia pronta all'uso dell'intero datastore.

non conosco nexenta (ho dato giusto ora un'occhiata http://www.nexenta.com/corp/content/view/104/119/ ) però mi vengono un paio di domande:

soprattutto: metti che si guasti lo storage principale come ti comporti per fare ripartire le cose sullo storage secondario?

Che applicazioni girano sulle tue VM? Una volta che torna vivo il principale, se è trascorso del tempo, come fai, arresti tutto e ricopi dal secondario al principale...

Sei sicuro che non convenga spendere di più su un solo storage che sia ad affidabilità elevata?

--
Alessandro aka Tinto VCP-DCV 2023 | VVSPHT 2023 | VMCE 2024 | vExpert 2024 | Veeam Legend
please give me a "Kudo" if you find my answer useful
www.linkedin.com/in/tinivelli
my blog: https://blog.tinivelli.com
Reply
0 Kudos
Bittone66
Contributor
Contributor

Nel caso di gusto allo storage principale, potrei pubblicare la folder replicata in NFS ed aganciarla alla macchina ESXi nel giro di qualche secondo, si re-inventariano le macchine ed il gioco è fatto.

I server che fanno da storage sono due Supermicro, vecchi ma validi per il lavoro che devono fare.

Non esistono soluzioni storage di "affidabilità elevata" se non replicate.

Ad esempio: come ti puoi cautelare da un guasto al backplane ? O un bug software ?

Tempo fa ho installato un  HP MSA2312i (circa 20K con i dischi) per un cluster Vmware con doppi controller iSCSI ed indovina un po':

1) delle due schede iSCSI dell'appliance una è arrivata rotta e ci sono voluti tre giorni a riaverne una nuova (alla faccia dell'assistenza 4/7/365);

2) le schede avevano di fabbrica un firmware buggato per cui non allineavano la configurazione, per cui ho dovuto ri-flashare tutte e due.

Da allora sta funzionando, ma come vedi non è che se spendi un sacco di soldi sei cautelato per forza, anche perchè la MSA2321i non è una macchina nuovissima, ed il fatto che ci fossero ancora controller con Firmware buggati non è certo una cosa positiva.

Quindi una soluzione replicata "nativa" costa, come minimo (con Nexenta commerciale) 3400 dollari (1700 per SAN), fino a spendere anche 50K per due NetApp con tutte le licenze ed i dischi (e non so se bastano).

Purtroppo io non ho a disposizione molto e pure i due Supermicro usati  non sono passati inosservati al capo.

Per lo spostamento delle VM non è un grosso problema., si possono spostare anche una ad una con un donwtime comunque programmabile (ad esempio la domenica).

Ciao

Alberto

Reply
0 Kudos
Tinto1970
Commander
Commander

Nel caso di gusto allo storage principale, potrei pubblicare la folder replicata in NFS ed aganciarla alla macchina ESXi nel giro di qualche secondo, si re-inventariano le macchine ed il gioco è fatto.

capito, anche se "nel giro di qualche secondo" mi sembra decisamente ottimistico.

Non esistono soluzioni storage di "affidabilità elevata" se non replicate.

Ad esempio: come ti puoi cautelare da un guasto al backplane ? O un bug software ?

non sono molto d'accordo sulla prima affermazione, sulla seconda... ovviamente le controller devono essere duplicate. Sui bug software... mi pare una preoccupazione un po' eccessiva.

Quindi una soluzione replicata "nativa" costa, come minimo (con Nexenta commerciale) 3400 dollari (1700 per SAN), fino a spendere anche 50K per due NetApp con tutte le licenze ed i dischi (e non so se bastano).

i prezzi per una soluzione decente e ridondata sono molto inferiori a quelli che dici secondo me (bisogna anche vedere quante vm hai dietro).

Purtroppo io non ho a disposizione molto e pure i due Supermicro usati  non sono passati inosservati al capo.

purtroppo, visto per esperienza diretta, fare la virtualizzazione con un hw inadeguato diventa peggio che non farla...

D'altronde sentiamo sempre dire che "le piccole e medie aziende sono la fortuna dell'Italia" quando, invece, ne sono la maledizione.

--
Alessandro aka Tinto VCP-DCV 2023 | VVSPHT 2023 | VMCE 2024 | vExpert 2024 | Veeam Legend
please give me a "Kudo" if you find my answer useful
www.linkedin.com/in/tinivelli
my blog: https://blog.tinivelli.com
Reply
0 Kudos
Bittone66
Contributor
Contributor

Io ho adesso 6 VM che si ridurrano a 5 nei prossimi 2 mesi (per cuid avvero una cosa piccina piccina).

Sul tempo hai ragione, forse ci metterei tra i 5 e i 10 minuti:

1) agganciare uno storage NFS credo siano 3 o 4 click e due campi da riempire: IP del server e path dello share;

2) inventariare le macchine basta usare il datastore browser e tasto destro sul .vmx -> Inventory.

Per cui, non è certo il downtime zero ottenibile con una soluzione di clustering, ma non mi pare nemmeno troppo lungo.

Sui costi, ti dico solo che 1 MSA 2312i è costata al cliente 18.000 euro senza le licenze per la replica e con 6 disci SAS da 300GB... fai tu.

Per l'hardware inadeguato, non credo di aver sottodimensionato gli storage: sono due Supermicro dual Opteron con 4GB di RAM e Sata da 1TB in raid 10 con un LSI 300-8x che, per saturare un link 1 Gbit  bastano e avanzano.

Il problema semmai sono gli IOps ma spero che l'aggiunta di ZIL a Nexenta possa rimediare anche a questo.

Fino ad oggi Openfiler è andato alla grande con un uptime del 100% su un anno (l'ho poi spento io per mantenzione HW).

Sul livello degli investimenti IT nelle piccole aziende ti dico solo che ho dovuto insistere, e non poco, per l'acquisto delle licenze Office alla fine l'ho spuntata ma è stato considerato un investimento importante (stiamo parlando di una dozzina di licenze che dureranno almeno 5 anni).

Anche a me piacerebbe "giocare" con hardware di livello migliore... forse in un altra vita (il mio budget ANNUALE per tutta la parte IT, pc. stampanti e toner compresi è di circa 10k).

Reply
0 Kudos
ldelloca
Virtuoso
Virtuoso

In parte ti sei già autorisposto nelle tue affermazioni: l'MSA con sottosistema SAS garantisce iops che col sistema SATA probabilmente non raggiungerai, e come dice Tinto ha un livello di affidabilità maggiore, dovuta più che altro al fatto che il "firmware" è embedded nel sistema e non è un modulo/daemon/servizio che gira in un sistema operativo multi-purpose.

Avere un firmware bacato in realtà è un motivo in più per avere un sistema ridondato, e io piuttosto che avere due storage replicati, spenderei i soldi allora per avere tre cose:

- storage primario di produzione con performance e affidabilità adeguata

- software di backup stile veeam

- storage secondario low-cost e pieno di sata

Statisticamente il primario si romperà/fermerà/avrà problemi quanto in percentuale? 1 ora ogni anno? In quel caso accendo le VM dallo storage secondario low-cost.

PS: sotto certe cifre non si fa virtualizzazione, si sta solo installando vmware

PS2: sarebbe preferibile aprire nuovi post piuttosto che riesumare sempre thread vecchi e sepolti 🙂

Ciao,

Luca.


--
Luca Dell'Oca
@dellock6
vExpert 2011
http://www.vuemuer.it
[Assegnare punti a una risposta utile è un modo di dire grazie]

Luca Dell'Oca | vExpert 2011-2012-2013-2014-2015-2016-2017, VCAP-DCD, CISSP #58353 | http://www.virtualtothecore.com | @dellock6 | http://www.linkedin.com/in/lucadelloca | If you find this post useful, please consider awarding points for "Correct" or "Helpful"
Reply
0 Kudos
Tinto1970
Commander
Commander

Sui costi, ti dico solo che 1 MSA 2312i è costata al cliente 18.000 euro senza le licenze per la replica e con 6 disci SAS da 300GB... fai tu

netapp fas 2020 con 12 SAS da 300 gb, 36 mesi di assistenza 4 ore, doppia controller, 16.000 a dicembre dell'anno scorso.....

Per l'hardware inadeguato, non credo di aver sottodimensionato gli storage: sono due Supermicro dual Opteron con 4GB di RAM e Sata da 1TB in raid 10 con un LSI 300-8x che, per saturare un link 1 Gbit  bastano e avanzano.

non è che li hai sottodimensionati.... quelli *non* sono storage.

--
Alessandro aka Tinto VCP-DCV 2023 | VVSPHT 2023 | VMCE 2024 | vExpert 2024 | Veeam Legend
please give me a "Kudo" if you find my answer useful
www.linkedin.com/in/tinivelli
my blog: https://blog.tinivelli.com
Reply
0 Kudos
Bittone66
Contributor
Contributor

Vabbè ho capito ...  l'OT è normale qui , per cui pure io andrò in OT ribandendo un semplcie concetto: se i soldi non ci sono, non ci sono.

E' inutile insistere dicendo che gli storage iSCSI Netapp o HP o Dell o EMC sono meglio, lo capisco pure io.

Ma se non me li posso permettere, non me li posso permettere.

Non li ho i 16k.

Non arrivo nemmeno a 10k (vedi sopra).

Per cui, sto cercando di arrangiarmi con hardware meno interessante ma che possa raggiungere lo scopo.

Se la cosa non è per voi comprensibile, mi scuso, ma questa è la mia realtà.

Per cui chiedo di nuovo: avete notizie certe sul funzionamento della funzione di AUTO-TIER di Nexenta?

Grazie

Alberto

Reply
0 Kudos