VMware Global Community
alvaro_keys
Contributor
Contributor

SAN para ESX

Hola amigos,

Estoy en una encrucijada  llevo trabajando todo el fin de semana y no consigo buenos resultados,

la semana pasada me llego un servidor dell de 32bits y le instale esx 3.5 asta ahi bien funciona muy bien esx, mi idea era como somos un hosting pues montar una NAS/SAN con todos los discos y si necesitamos mas espacio pues lo aumentamos, decidi hacer una NAS/SAN con FreeNas y para no tirar espacio usamos para el sistema un USB, y 3 discos de 2Tb sin redundancia el problema es que el FreeNas se tira todo el rato dando errores y colgandose y tal y cual, que me recomendais para montar una NAS/SAN pongo lo de NAS/SAN porque me gustaria que si puediera ser poder compartir archivos desde la NAS/SAN con NFS, y CIFS y tambien la opcion de ISCSI. E oido el OpenFiler alguien me peude comentar algo sobre esto es algo muy importante y me urge tengo a mis usuarios sin servicio.

Un Cordial Saludo,

Alvaro Marin

Reply
0 Kudos
26 Replies
sanmarfe
Expert
Expert

Estimado alvaro.

Aqui te dejo un blog donde explcan como montar un openfiler.

Si necesitas algo mas no dudes en comentarlo.

http://www.bujarra.com/ProcedimientoOpenfiler.html

Espero haber sido de ayuda.

Saludos,

Sanmarfe. VMware Certified Professional VCP3/VCP4/VCP5 VTSP4 / VTSP5 Si esta u otra respuesta es util, por favor marca su correspondiente notificador. Gracias/Regards
Reply
0 Kudos
lucianog
Contributor
Contributor

Hola, he probado OpenFiler para hacer una cabina de discos y ofrecerlos por iSCSI a VMWare ESXi 5.0, al principio bien, pero despues dejo de funcionar. Con el tiempo me entere de que es un "bug" de OpenFiler para que compres el parche.

También probe con FreeNAS, funciona bien, pero no lograba sacarle mas de 500Mbps de transferencia en iSCSI desde ESXi 5.0. Era debido a que la tasas de lectura o escritura de los discos no superaban los 50MBps (Siendo estos discos con tasas mas altas).

Por último probe NAS4FREE, funciona, pero hay que instalarle un plugin (ZFS Kernel Tune) para que las tasas de lectura y escritura en los discos alcances las especificadas por el fabricante.

Lo que no he probado es usar discos USB en el NAS por la simple razon de que baja la transferencia de datos. Lo que si he notado es que, al montar volumens ZFS, mientras mas discos agregas, mas rápida es la tranferencia de datos. Probablemente le coloque un par de discos externos a NAS4FREE para ver como trabaja.

Aqui tienes algo para arrancar si te interesa probar NAS4FREE.

Saludos

Samquejo
Commander
Commander

En efecto, podemos considerar estable el openfiler 2.3 para x86, no las de 64 bits (2.3 o 2.99)

A mi me ha estado funcionando muy bién durante un par de años sobre hierro hp

Si esta u otra respuesta es util, por favor marca su correspondiente notificador. Gracias/Regards
Reply
0 Kudos
alvaro_keys
Contributor
Contributor

Primero muchas gracias por buestra contestacion creo que no me entendisteis bien, tengo tres discos dos sata y uno ide conectados a la placa base para guardar todos los datos, el problema que yo creo que tengo es que el señor FreeNas lo tengo instalado en usb, entonces mi pregunta era que cual me recomendais habia pensado en la posibilidad de intalar OpenFiler pero segun lo que me ha puesto lucianog tiene el dicho bug ese alguien mas le ha pasado? Porfavor necesito una solucion para esta tarde!

Reply
0 Kudos
Samquejo
Commander
Commander

Con openfiler 2.3 sobre x86 (era un bl25 con su caja de discos scsi). En un par de años no ha dado problemas, hasta que murió el bicho

Si esta u otra respuesta es util, por favor marca su correspondiente notificador. Gracias/Regards
Reply
0 Kudos
alvaro_keys
Contributor
Contributor

Haber una duda que he leido algo por hay tengo un disco de tera y medio y quiero de este 500 para esx y otros 500 para conectarlos a un ubuntu, cada disco duro solo puede tener una conexion iscsi porque me da error de I / O

Reply
0 Kudos
Samquejo
Commander
Commander

Tendrás que crear un volumen, ese volumen dividirlo en el número de lun que necesites y exportarlas como necesites (iscsi, nfs, samba, cifs ...)

Pienso que te complicas mucho.

Entiendo que tienes un servidor esx por un lado, y el otro distinto, tienes montado freenas, con discos cada uno de su padre y de su madre, pero operativos.

El comentario que me deja fuera es lo de un disco de tera y medio dando 500 al esx (supongo que es la instalación aunque excesiva para mi gusto) y otro tanto a un ubuntu. (esto no se como quieres hacerlo desde el disco en el que instalas esx porque no puedes dar por rdm un datastore local)

En fin, creo que necesitaríamos aclarar un poco las cosas porque no lo veo.

Saludos

Si esta u otra respuesta es util, por favor marca su correspondiente notificador. Gracias/Regards
Reply
0 Kudos
alvaro_keys
Contributor
Contributor

Hablas con algunos tecnicismos que como super novato en esto no pillo.

Haber la Cuestion es la siguiente tengo un servidor esx, en el que pienso montar varios 2003 server y 2 servidores linux uno para mysql y otro para corrreo, luego tengo una maquina fisica para apache la cual tiene tres tarjetas de red dos de 100Mbps para conectar a la NAS y para HTTP y tambien tiene una de 10Mbps para ftp(no me interesa que tenga una velocidad mas alta que esta), luego la nas tiene dos tarjetas una de 100 para el control y acceso por cifs o nfs y otra de 1Gbps para acceso de ESX y APACHEFTP(nombre de la maquina fisica de apache), ahora viene lo que me esta volviendo loco iscsi es la primera ved que lo uso y esx tabien hice pruebas en virtual y me salio todo como queria pero ahora fisicamente pos ZAS! xd

La cuesiton es que tengo 3 discos de 2Tb para mis datos estos solos se accederan desde NFS y CIFS sin problema

Ahora tengo uno de 1,5 Tb del cual quiero que 500 sean para ESX ya que me sobran bastantes Gb porque ya os digo que no pienso montar mas de 6 maquinas, y otros 500Gb para Apache que esta en ubuntu.

Cuanod Arranco FreeNas todo funciona correctamente pasados 4Min arranco las maquinas virtuales y todo y PUF! FreeNas se queda totalmente congelado.

He pensado en NAS4Free ademas em gusta mas la interface pero no puedo importar discos ZFS de FreeNas a NAS4free con lo cual me toca demontar el raid de 2Tb que tenia con dos discos de mis datos y copiarlos aun unico en NTFS y dejar los datos propios para leugo la cuestion es hacer que funcionen apache y esx con el mismo disco.

He leido como funciona iscasi pero sigo algo perdido la verdad, pregunto a mis profesores y se me quedan con una cara de poker cuando les hablo de iscsi o esx que yo pienso estos que tiene para estar aqui si se yo mas que ellos!

Un Cordial Saludo y muchas Gracias,

Alvaro Marin

Reply
0 Kudos
lucianog
Contributor
Contributor

Puedes migrar de FreeNAS a NAS4FREE

Lee este post del foro de NAS4FREE: http://forums.nas4free.org/viewtopic.php?f=16&t=86

Por otro lado, siempre te conviene armar volumenes con los discos. Sino lo tienes pensado asi, pon los discos en el ESXi y punto.

En la Wiki de NAS4FREE tienen un Howto para crear una destino iSCSI y presentarcelo a ESXi http://wiki.nas4free.org/doku.php?id=documentation:howto:create_iscsi_target_from_zfs_volume

En la documentacion de VMWARE tienes un manual de como conectar VMWare a targets iSCSI: http://www.vmware.com/pdf/vsphere4/r41/vsp_41_iscsi_san_cfg.pdf

Por último, nunca pongas en producción una solución sin probarla con anterioridad. Ensaya, prueba, genera fallas, corriges, documentas.

Saludos

Reply
0 Kudos
Samquejo
Commander
Commander

Buenas

Vamos a ver, cosas que se me ocurren:

* Se te queda pillado freenas porque recibe ordenes de lectura y escritura simultaneas?

* Te da error parecido a scsi-3 deep queue timeout?

* En los windows tienes eventos ftdisk y disk con una descripción parecida a Delayed Write Failed?

Si esto es así, te va a pasar con todo. Piensa que los discos sata y usb reciben un comando por cada petición, no como un disco sas o uw320 que sus controladoras pueden procesar colas (a pesar de que el freenas debería hacerlo).

Como dice lucianog, yo también voy a probar el nas4free (me gusta eso de que sea un bsd como todos mis chismes de seguridad) a ver que tal, pero en principio con el openfiler de 32 bits deberías ir servido.

En cuanto al bug, yo no he tenido problemas en 2 años dando iscsi y nfs, pero lo que había por debajo eran discos uw320 y en raid5 de 8 unidades, y 2 tarjetas de giga en 802.3ad para la conectividad.

Saludos

Si esta u otra respuesta es util, por favor marca su correspondiente notificador. Gracias/Regards
alvaro_keys
Contributor
Contributor

Es que el openfiler ese solo puedo crear un tarjet y entonces ya si me hace plof! la cabeza!

Recomendais que use un disco SATA para iscsi del esx y otro para iscasi del apache o como, quiero tener todos los discos en la NAS,

Es que claro cada ved que da este error, deja de funcionar las maquinas virtuales, el apache y todo porque el freenas se bloquea y se me queda frito

Esta tarde intalare NAS4Free espero que me funcione, porque crei que perdia todos mis datos particulares por que los del hosting estan a salvo.

Crear un RAID 1 Hardware me solucionará algo?

Aqui os pongo el error que da

Reply
0 Kudos
FerrerDeCouto
Commander
Commander

Hola,

IMHO para un entorno "productivo" y utilizado una solución open source, yo apostaría por Nexenta. Dejaría ese servidor en modo JBOD y haría que Nexenta gestionara con su ZFS el RAID-Z.

Pruébalo, en mi blog que está en la firma puedes echar un vistazo a algunas capturas, o a cómo montarlo.

Un saludo.

José Luis Gómez Ferrer de Couto Founder of PiPo e2H Blog: http://blog.e2h.net Si encuentras que esta o cualquier otra respuesta fue de utilidad, por favor da el voto. Gracias. If you find this or any other answer useful, please consider awarding points. Thank you.
Reply
0 Kudos
Samquejo
Commander
Commander

[Offtopic] Lo siento Jose Luis, pero me sigo quedando con openfiler. La nexenta es un hibrido raro de ubuntu/debian y los rastrojos de solaris, y no soporto la parejita de ubuntu/debian (soy de redhat de toda la vida).

Si esta u otra respuesta es util, por favor marca su correspondiente notificador. Gracias/Regards
Reply
0 Kudos
lucianog
Contributor
Contributor

EMHO no veo inconvenientes en utilizar OpenSource en Producción. Sin ir más lejos, Vmware ESX esta basado en una distribución RHEL que posee (sacando los binarios y las actualizaciones) el código con licencia OpenSource. Si la plataforma OpenSource es solida, robusta y confiable no veo porqué no utilizarla para producción.

Saludos

Reply
0 Kudos
Samquejo
Commander
Commander

Hola

error unsupported scsi op 0x85 <<<=== esto es bastante relevante. Quiere decir que lo que se le manda al freenas no está soportado

Mira en los logs del esx a ver si tienes el mismo error.

Algo parecido me pasaba con una cabina netapp por iscsi. Prueba en el esx a crear un vmkernel para el iscsi son una sola tarjeta de red, atacas desde ahí al target de freenas que también tienes configurado en una sola tarjeta de red (y están en la misma subred claro, sin routers o similares). La lun la presentas y configuras el software de multipath en fixed (es lo que debería ser por defecto).

Cuando tengas eso funcionando, añade tarjetas de red (haz teamings o bounds). y si sigue estable, empieza a mirar si el hardware soporta jumbo frames y toe. Por cierto, asumo conexionado a giga, a 100 o menos sería un poco suicidio (la velocidad y la respuesta de disco sería muyyyyyyyyyy lenta)

Asumimos que freenas está fuera de toda garantía y fuera de la tabla de compatibilidades de vmware por lo que pocos kb nos aplican, pero echa un vistazo a http://kb.vmware.com/kb/1030381 y http://kb.vmware.com/kb/1005009

También tiene algo que ver que estés usando discos no scsi puros, a lo que un raid te puede aportar algo de ayuda, pero no demasiada.

Por otro lado, es natural que solo tengas un iscsi target, porque lo que vas a hacer es entregar todo por ahí. Lo que si harás es asignar los permisos (lun masking) a cada initiator por su nombre, con eso das visibilidad. No aconsejo usar chap, pero a cada uno...

Por cierto, hay un apliance virtual de la cabina P4000 de hp, prueba a ver si te cumple, que para mi es lo mejor que existe (tengo varias p4500 físicas y un par de ellas virtuales).

Saludos

Si esta u otra respuesta es util, por favor marca su correspondiente notificador. Gracias/Regards
Reply
0 Kudos
lucianog
Contributor
Contributor

El error que mencionas (***ERROR*** lu_disk_lbread() failed) puede que sea un error del hardware del equipo, revisa este post:

http://forums.freenas.org/archive/index.php/t-2581.html

Por otro lado, como está el estado de los discos? me refiero al S.M.A.R.T.

Si vas a hacer RAID de cualquier tipo, personalmente prefiero hacerlo por Software y no por Hardware. El ley motive que me lleva a esto es el siguiente:

El RAID por Soft es independiente del Hardware, si falla el hardware, se reemplaza y el RAID no pierde su estructura.

En el RAID por Hardware esperaría que nunca falle la controladora, si falla tendré que poner una controladora idéntica y si pasaron varios años, es muy probable que la controladora este discontinuada.

Saludos

Reply
0 Kudos
FerrerDeCouto
Commander
Commander

Hola,

En ningún momento he dicho NO utilizar open source. Estoy hablando que si lo más crítico de una infraestructura virtual que es el almacenamiento, yo utilizaría Nexenta.

Un saludo.

Sent from my iPhone

José Luis Gómez Ferrer de Couto Founder of PiPo e2H Blog: http://blog.e2h.net Si encuentras que esta o cualquier otra respuesta fue de utilidad, por favor da el voto. Gracias. If you find this or any other answer useful, please consider awarding points. Thank you.
Reply
0 Kudos
FerrerDeCouto
Commander
Commander

A por cierto,

Usa open source con soporte para tu cabina, no dejaría en mano de foros cualquier incidencia.

Un saludo.

Sent from my iPhone

José Luis Gómez Ferrer de Couto Founder of PiPo e2H Blog: http://blog.e2h.net Si encuentras que esta o cualquier otra respuesta fue de utilidad, por favor da el voto. Gracias. If you find this or any other answer useful, please consider awarding points. Thank you.
Reply
0 Kudos
alvaro_keys
Contributor
Contributor

Si la conexion opr supeusto que es 1Gbps hay una conexion dedicada para esx-nas con una unica red, probare esta tarde NAS4Free.

Lo de :

Por cierto, hay un apliance virtual de la cabina P4000 de hp, prueba a ver si te cumple, que para mi es lo mejor que existe (tengo varias p4500 físicas y un par de ellas virtuales).

No lo entiendo

Reply
0 Kudos