VMware Global Community
el_esceptico
Contributor
Contributor

Switch BNT IBM - vnics group vlan - ESX 5 - No conecto a la red

Hola,

Voy a explicar un poco el problema que tengo. He realizado una instalación con un blade H de IBM que lleva incluidos dos switches de BNT 10Gb Virtual Fabric. Dicho blade tiene 5 cuchillas HS23, en 4 de ellas he instalado ESXi 5 y en la otra Windows.

He habilitado la virtualización de las ethernet en cada una de las cuchillas, por lo tanto tengo un total de 6 ethernet por cada cuchilla. He instalado los ESXs sin problemas. Esos ESXs van con VLANs configuradas. Entonces según el esquema de los BNT las vnic0, vnic2 y vnic6 pertenencen a uno de los switches BNT y las vnic1,vnic3 y vnic 7 pertenecen al otro switch BNT.

En esos switches BNT he habilitado las vnics y he creado vnic groups. Al crear esos vnic groups me manda ponerle una VLAN. PAra trabajar con el ejemplo concreto, yo he creado un vnic group,le he puesto la VLAN 1000, le he dicho que se asocie a la ethernet 1 de cada uno de las 5 cuchillas y le he he dicho que ese vnic group salga por el trunk 1 que previamente he creado. Ese trunk 1, está creado en la parte de los "trunk groups" con el 1 y las salidas 1, 2, 3, 4 y 5 del switch BNT.

Entonces os explico lo que ocurre, si yo trabajo con Windows no tengo ningún problema, me funciona perfectamente, pero al trabajar con VMware no tengo acceso a las máquinas que defino dentro de esa VLAN. Os explico un poco mejor a nivel de un ESX. Yo he definido en ese ESX un vSwitch con un port group de Virtual Machines, según he visto en configuraciónes por ahí, al tener esa vnic(vnic0 y vnic1, correspondiente a cada uno de los switches BNT) conectado a un trunk tengo que ponerle a nivel de esa configuración que tanto el vSwitch como el port group de Virtual Machine trabajen con ip hash en el balanceo de carga. Entonces lo he definido así y he taggeado el port group de Virtual Machine con la VLAN 32, que es la VLAN definida para esa red. Con esta configuración no consigo acceder a la máquina desde fuera, y ni siquiera puedo hacer ping entre máquinas que se encuentran en distintos ESXs, pero si que puedo hacer ping a máquinas que estén asignadas a ese port group dentro de ese ESX.

Haciendo distintas configuraciones, y probando, he dicho, la VLAN del vnic group del BNT según toda la documentación que he leido no se transmite fuera, pero por si acaso, en vez de ponerle al vnic group la VLAN 1000, voy a ponerle la VLAN 32 y cuando le pongo esa VLAN, funciona todo perfectamente y sin problemas. Entonces no entiendo nada porque parece que el ESX si recibe la VLAN  del vnic group definido en el BNT, cuando yo he leido que esto no pasa. De hecho si vas a la parte de network adapters en el ESX ves que en las vnics se ve la VLAN 1000 cuando no se debería de ver.

Esto está bien, o yo lo configuraría así si por esa nic solo tuviera que pasar esa VLAN,32, pero si necesito pasar más de una VLAN, en el vnic group del BNT solo me deja configurar una VLAN.

Entonces necesitaría saber como hacer invisible para el ESX la VLAN del vnic group del BNT haciendo pasar todas las VLANs que quiera por ese trunk.

No se si me he explicado muy bien, pero necesito una respuesta porque no se muy bien la solución.

Gracias.

0 Kudos
22 Replies
FerrerDeCouto
Commander
Commander

Hola el_esceptico,

Échale un vistazo a los siguientes enlaces:

Un saludo.

José Luis Gómez Ferrer de Couto Founder of PiPo e2H Blog: http://blog.e2h.net Si encuentras que esta o cualquier otra respuesta fue de utilidad, por favor da el voto. Gracias. If you find this or any other answer useful, please consider awarding points. Thank you.
0 Kudos
el_esceptico
Contributor
Contributor

Estos links ya los había leido y no me resuleven el problema. Esa configuración que me pasas en cada uno de los links ya la tengo hecha.

No se muy bien si entiendes mi problema...

Gracias.

0 Kudos
FerrerDeCouto
Commander
Commander

Hola el_esceptico,

Creo haber entendido desde el primer momento lo que ocurre. Opino que el problema se encuentra en que sólo funciona con la VLAN nativa y no con las que llegan taggeadas.

¿Cierto?

Un saludo.

José Luis Gómez Ferrer de Couto Founder of PiPo e2H Blog: http://blog.e2h.net Si encuentras que esta o cualquier otra respuesta fue de utilidad, por favor da el voto. Gracias. If you find this or any other answer useful, please consider awarding points. Thank you.
0 Kudos
el_esceptico
Contributor
Contributor

A los ESXs llega con la VLAN que yo le defina en la VLAN del vnic group que yo le he definido a nivel del BNT, cuando supuestamente esa VLAN no debería de transmitirse a los ESXs.

Conoces estos switches???

Gracias.

0 Kudos
el_esceptico
Contributor
Contributor

Leyendo información del BNT veo lo siguiente:

To enforce vNIC communication boundaries, the VNIC group uses VLAN 1000. The group
VLAN is an “outer” tag, which is used in addition to any regular VLAN tag assigned to packets
by the network, server, or hypervisor. The outer VLAN is used only between the VFSM and the
VFA and is removed by the VFA before packets reach the server OS or hypervisor, or by the
switch before packet egress any port that does not contain a vNIC.
Pero después yo hago una visualización de las vnics del esx y veo lo siguiente:

vnics-ESX5.JPG

y por esas vnics deberían pasar la VLAN 30 y la 32, sin embargo ve la 1000 que yo le he definido a nivel del "vnic group" del BNT.

¿Como hago para que no me vea esa 1000, que creo que por definición del switch de BNT no me debería aparecer y que viera las que están taggeada por ahí, la 30 y la 32?

Gracias.

0 Kudos
FerrerDeCouto
Commander
Commander

Hola el_esceptico,

No lo he usado nunca y estaba basándome en lo que aparece en la documentación. No sé si habrás visto esta documentación http://www.redbooks.ibm.com/redpieces/pdfs/sg247966.pdf donde explican claramente los pasos de configuración y cómo configurarlo.

Personalmente le echaría un vistazo al apartado 1.3 del documento que hace ciertas menciones a cuando usar Virtual Fabric y cuando Switch Independent.

Un saludo.

José Luis Gómez Ferrer de Couto Founder of PiPo e2H Blog: http://blog.e2h.net Si encuentras que esta o cualquier otra respuesta fue de utilidad, por favor da el voto. Gracias. If you find this or any other answer useful, please consider awarding points. Thank you.
0 Kudos
el_esceptico
Contributor
Contributor

Sí, ese documento lo tengo controladísimo.

Hay alguna forma en VMware que pueda forzarle en las vnics o a traves de los vswithes para que no me vea esa vlan 1000?

Gracias

0 Kudos
FerrerDeCouto
Commander
Commander

Hola el_esceptico,

Eso lo está viendo porque es la VLAN configurada en el vGroup. vSphere muestra en la vista de "network adapters" que es lo que está viendo cada adaptador.

He encontrado lo siguiente:

https://www.vmware.com/support/vsphere5/doc/vsphere-esx-vcenter-server-50-release-notes.html#network...

Using the bundled Emulex BE2/BE2 NICs (be2net driver)

When using vSphere 5.0 with Emulex BE2/BE3 NICs (be2net driver) in a HP FlexFabric/Flex-10 or IBM Virtual Fabric Adapter (VFA) environment, connectivity may not work properly on Windows VMs or the server when VLANs are configured.
Workaround: Do not use the driver bundled with vSphere 5.0. Before upgrading to vSphere 5.0, please obtain an updated driver from Emulex, HP, or IBM that should be used on HP FlexFabric/Flex-10 or IBM VFA systems.

Un saludo.

José Luis Gómez Ferrer de Couto Founder of PiPo e2H Blog: http://blog.e2h.net Si encuentras que esta o cualquier otra respuesta fue de utilidad, por favor da el voto. Gracias. If you find this or any other answer useful, please consider awarding points. Thank you.
0 Kudos
el_esceptico
Contributor
Contributor

Hola de nuevo, gracias por la preocupación, pero los drivers de la emulex son los más actuales be2net versión 4.1.334.48, así que no creo que ese sea el problema.

No se cual es la solución, estoy un poco desesperado...

Gracias.

0 Kudos
FerrerDeCouto
Commander
Commander

Hola el_esceptico,

Después de leer el documento entero de IBM creo que ya he entendido cómo funciona Virtual Fabric de IBM. A continuación pongo la configuración que supongo debería usarse y con tu experiencia a ver si la puedes contrastar para ver si estoy en lo cierto.

  1. Habilitar vNIC
  2. Crear vNIC Group por cada servicio (Management, VMs, VMotion, FT)
    1. VLAN ID por encima de 4000 y no puede ser usado por otro vNIC Group
    2. Agregar las vNICs (cada una por diferente switch / 0 y 1 por ejemplo para Management) de los 4 hosts ESXi
    3. Agregar los puertos externos a ese vNIC Group que irán conectados a los switches externos
  3. Configurar el vSwitch en vSphere con el método de balanceo Port ID (no uses por ahora IP Hash que requiere configuración en los switches ethernet)
  4. Configurar en los switches externos los puertos como Trunk y hacer allow de las VLANs que existen en los Port Groups de vSwitch que salen por esos puertos externos

¿Qué opinas?

Un saludo.

José Luis Gómez Ferrer de Couto Founder of PiPo e2H Blog: http://blog.e2h.net Si encuentras que esta o cualquier otra respuesta fue de utilidad, por favor da el voto. Gracias. If you find this or any other answer useful, please consider awarding points. Thank you.
0 Kudos
el_esceptico
Contributor
Contributor

Hola Ferrer,

Gracias por tu preocupación ante todo. Todo lo que has dicho lo he hecho. Bueno, te lo cuento con mas detalle.

Creo que todo lo que me has dicho ya lo he hecho. Me refiero, el ejemplo que me pones es si por cada vnic group va una vlan. Esa configuración la hago y tengo acceso desde fuera, no tengo problema. Mi problema es si por uno de esos vnic groups quiero pasar mas de una vlan. Si por vmnic0(switch/0)o vmnic1(switch /1) quiero tener el management y virtual machines en 2 vlans diferentes.

Como habrás visto en el documento que has leído, en ese vnic group hay que poner una vlan, que es en la que tu me dices que ponga un valor por encima de 4000, yo he puesto 1000, pero mañana la cambiare. Esa vlan id del vnic group es la que se ve en las vmnics y yo, por todo lo que he leído esa vlan no debería verla el esx, ese es mi problema. Si como vlan en el vnic group pongo la vlan 30 que es una de las vlan que pasan por esas nics entonces si hay conexión.

Como te he dicho antes, si por cada vnic group es una vlan no hay problema y hay conexión.

Muchas gracias por todo de verdad.

0 Kudos
FerrerDeCouto
Commander
Commander

Hola el_esceptico,

Me da que pensar que al ocurrir lo que comentas se debe a que los switches están funcionando en modo independiente y no Virtual Fabric. Si le echas un vistazo en el documento que hablamos a la parte de Independent Mode.

Si fuese Virtual Fabric como bien dices, el documento hace referencia a que esa VLAN no es publicada al upstream ni al blade, por lo que no debería aparecer. Además, esa VLAN sólo es para el control del vNIC Group que hace tag del frame al salir por la VFA y cuando llega al VFS sabe a que vNIC Group ha de mandar el frame. Cuando va a salir del VSF elimina el tag (conocido como doble tag) y ya manda el frame con su VLAN ID que llega desde el Port Group del host ESXi

¿Qué opinas?

Un saludo.

José Luis Gómez Ferrer de Couto Founder of PiPo e2H Blog: http://blog.e2h.net Si encuentras que esta o cualquier otra respuesta fue de utilidad, por favor da el voto. Gracias. If you find this or any other answer useful, please consider awarding points. Thank you.
0 Kudos
el_esceptico
Contributor
Contributor

Totalmente de acuerdo contigo, pero el definirlo con virtual fabric o switch independent no depende del switch, depende de la configuración que tu le pongas en la bios de cada servidor a las ethernet virtuales. Si defines en la bios de los servidores switch independent mode, la parte de configuración de los switches bnt correspondiente a virtualizacion(vnics y vnic groups) queda deshabilitada, como si no existiese. Hay que configurar ese switch bnt con vlans tradicionales. Yo tengo todas definidas con virtual fabric.

Entonces lo mas raro de todo es que el esx ve esa vlan definida en el vnic group, algo que por definición no debería ocurrir y como con Windows no me pasa eso, pues creo que es un problema de vmware, pero ya no se si es de vmware, de los switches bnt o incluso de los switches externos. Con Windows tengo metida la vnic correspondiente al blade de Windows en el mismo vnic group que las del esx que no me funcionan y con Windows tengo acceso a esa vlan sin problemas. De ahí mis dudas.

Gracias de nuevo.

0 Kudos
FerrerDeCouto
Commander
Commander

Hola el_esceptico,

Es cierto, el modo independiente es a nivel de host y no de switch. Una consulta, aunque muestre la VLAN 1000 (comentaba por encima de la 4000 como buena práctica porque las altas no suelen estar cogidas) si tu pones en tu vmk0 (Management) la VLAN 32 como tagged y haces lo mismo con otro hosts, ¿consiguen comunicar entre ellos si están conectados al mismo vNIC Group?

Algo que haría es comenzar desde "cero", evitando la redundancia de NICs y Trunks en los ESXi y comenzar con una única vNIC, un único vNIC Group y con dos hosts ESXi.

¿Qué opinas?

Un saludo.

P.D. No hace falta que des las gracias, así me sirve para aprender algo nuevo aunque me gustaría poder tener hardware para testear 🙂

José Luis Gómez Ferrer de Couto Founder of PiPo e2H Blog: http://blog.e2h.net Si encuentras que esta o cualquier otra respuesta fue de utilidad, por favor da el voto. Gracias. If you find this or any other answer useful, please consider awarding points. Thank you.
0 Kudos
el_esceptico
Contributor
Contributor

Hola Ferrer,

No no funiona. He hecho la prueba de tener dos máquinas de la vlan 32, una en un esx y otra en otro y no se comunican entre ellas, siempre que ponga en la vlan del vnic group la vlan 1000, si pongo la vlan 32 me funciona perfectamente.

Este problema de comunicación solo ocurre cuando por las vmnics pasa más de una vlan, por la configuración que tienen, que yo no puedo modificar porque no tengo acceso a los switches externos cisco, no se si pasa cuando la salida de esa vmnic esta configurada como un trunk group en el switch BNT. Esto último te lo puedo confirmar en un momento.

Edu.

0 Kudos
el_esceptico
Contributor
Contributor

Hola,

No he seguido actualizando este hilo porque al final he tenido que abrir una incidencia con IBM porque el funcionamiento con los ESXs no sigue un patrón común. Hay algunos ESXs que funcionan bien, otro que no. Cuando reinicio un ESX deja de funcionar...

Por eso abrí la incidencia. IBM me ha comentado que parece un bug, pero que tiene que confirmarlo. Ferrer si quieres, porque tú has sido el que me has intentado resolver el problema te digo la solución cuando sepa algo.

Gracias.

Un saludo.

Eduardo.

0 Kudos
FerrerDeCouto
Commander
Commander

Hola el_esceptico,

Estaría genial saber cómo queda todo.

Un saludo.

José Luis Gómez Ferrer de Couto Founder of PiPo e2H Blog: http://blog.e2h.net Si encuentras que esta o cualquier otra respuesta fue de utilidad, por favor da el voto. Gracias. If you find this or any other answer useful, please consider awarding points. Thank you.
0 Kudos
dquintana
Virtuoso
Virtuoso

Hola el_esceptico

Genial si pueden encontrar la solución por medio de ese bug, no olvides que muchos usuarios leen tu post pero quizás no saben como ayudarte por eso respecto a esto:

Hola,

No he seguido actualizando este hilo porque al final he tenido que abrir una incidencia con IBM porque el funcionamiento con los ESXs no sigue un patrón común. Hay algunos ESXs que funcionan bien, otro que no. Cuando reinicio un ESX deja de funcionar...

Por eso abrí la incidencia. IBM me ha comentado que parece un bug, pero que tiene que confirmarlo. Ferrer si quieres, porque tú has sido el que me has intentado resolver el problema te digo la solución cuando sepa algo.

Gracias.

Un saludo.

Eduardo.

Contribuirías mucho con la comunidad si al tener la solución pudieras compartirla con todos en este mismo hilo.

Un saludo!

Diego Quintana

Ing. Diego Quintana - VMware Communities Moderator - Co Founder & CEO at Wetcom Group - vEXPERT From 2010 to 2020- VCP, VSP, VTSP, VAC - Twitter: @daquintana - Blog: http://www.wetcom.com-blog & http://www.diegoquintana.net - Enjoy the vmware communities !!!

0 Kudos
el_esceptico
Contributor
Contributor

Hola,

Parece que el problema era con el firmware de las tarjetas emulex que llevan en placa base los HS23 con los ESX5 update 1 porque con Windows ese problema no existía.

Hemos actualizado el firmware de dichas tarjetas a la versión 4.1.455.6 y parece que el problema se ha solucionado. Lo hemos instalado el jueves y está funcionando. No he querido poner nada antes por si volvíamos a no tener conexión, pero finalmente el problema ya no existe.

Tengo que decir una cosa sobre este firmware, no estoy seguro, pero creo que todavía no ha salido de forma oficial, a mi me lo ha pasado IBM, decían que saldría en este mes.

Espero haber ayudado y que sirva para que si alguien más se encuentra con este problema pueda solucionarlo.

Gracias a todos por vuestra ayuda.

0 Kudos