andsongomes
Contributor
Contributor

Problema de configuração de failover ethernet

Jump to solution

Olá pessoal,

    Tenho pouca experiência com VMWare vSphere 5.5 e estou montando um ambiente onde tenho dois switches interligados com várias VLANs e um servidor com quatro interfaces de rede.

    Estou tentando configurar as interfaces de rede para que funcionem com load balance e failover. Para isso, estou configurando a porta 1 porta para Management Network e as portas 2,3,4 para as outras redes.

    A porta 1, estou colocando no switch em uma VLAN específica.

    Enquanto que as portas 2,3 e 4, estou colocando no switch o tipo de porta trunk com permissão para todas as VLANS.

    No vSphere, no port group que criei e configurei uma VLAN específica, está configurado a seguinte forma:

Teaming e Failover:

      • Load balance = Route based on originating virtual port
      • Network failure = Link status only
      • Notify switch = yes
      • Failback = yes

    O problema é que quando retiro um dos links cai, todos falham.

    Alguém mais experiente poderia me falar qual a boa prática neste caso?

    Obrigado,

Andson Gomes

Andson Gomes ---------------------------- Sysadmin
0 Kudos
1 Solution

Accepted Solutions
rcporto
Leadership
Leadership

Cara,

Primeiro eu gostaria de sugerir o seguinte design para seu ambiente de vSwitch.

Supondo que as placas do ESXi estão conectadas da seguinte forma:

vmnic0 -> Switch Físico #1

vmnic1 -> Switch Físico #2

vmnic2 -> Switch Físico #1

vmnic3 -> Switch Físico #2

Eu criaria 02 (dois) switches virtuais, o vSwitch0 e o vSwitch1, sendo que o vSwitch0 teriamos todo o tráfego de gerenciamento e vMotion e o vSwitch1 todo o trafego das máquinas virtuais.

A imagem abaixo mostra mais ou menos como ficaria:

vswitchdesign.jpg

Se você não quer criar 02 (dois) switches virtuais, você ainda pode ter redundância de Uplinks fazendo a seguinte configuração:

PortGroup de gerenciamento: vmnic0 ativo e vmnic1 standby, e vmnic2/vmnic3 sem uso

PortGroup de vMotion: vmnic1 ativo e vmnic0 standby, e vmnic2/vmnic3 sem uso

PortGroup das máquinas virtuais: vmnic2/vmnic3 ativo, e vmnic0/vmnic1 sem uso

As demais configurações do NIC Teaming eu mudaria apenas o Failback:

Load balance = Route based on originating virtual port

Network failure = Link status only

Notify switch = yes

Failback = no

Da forma que você falou acima, o PortGroup de gerenciamento tem apenas uma placa, portanto não possui redundancia... você também não comentou sobre se usa vMotion, e caso não use, pode ignorar o PortGroup que citei para vMotion.

Sobre o seu problema em si, qual o seu switch físico ? É da Cisco ? Pois gostaria de se possível dá uma olhada na configuração.

Por último, qual tipo de vSwitch você tá usando ? Standard ou Distributed ?

---

Richardson Porto
Senior Infrastructure Specialist
LinkedIn: http://linkedin.com/in/richardsonporto

View solution in original post

0 Kudos
12 Replies
rcporto
Leadership
Leadership

Andson, tudo tranquilo ?

O que significa "todos falham" ? Os links ficam todos como "down" ? Ou as VMs param de responder ? Ou o host ESXi fica inacessivel ?

Aproveitando, você tem quantos switches virtuais ? 1 ou 2 ? No seu texto não ficou claro se você tem 1 ou 2 switches virtuais, sendo 1 com o PortGroup contendo a interface de gerência e o outro contendo o PortGroup para as VMs.

Por último, todas as interfaces estão conectadas em um unico switch fisico ou dois switches fisicos diferentes ?

---

Richardson Porto
Senior Infrastructure Specialist
LinkedIn: http://linkedin.com/in/richardsonporto
0 Kudos
andsongomes
Contributor
Contributor

Oi Richardson, tranquilo, e com você?

Ficou meio ambiguo o texto heim.

Quanto eu quero dizer que "todos" falham, quiz dizer que todas as VMs ligadas naquele portgroup param de responder.

Antes, quando eu deixavam a Management Network usando todos os link, até o ESXi parava de responder. Separei ethernet física só para a management network para poder mexer nos outros portgroups sem perder a conexão com a ESXi.

Então... Eu tenho apenas 1 switch virtual. Nesta máquina tenho 4 ethernets, sendo uma exclusiva para a management network e as outras 3 para os portgroups das VMs.

Estas quatro portas estão ligadas em dois switches físicos interligados, sendo duas ethernets físicas ligadas em cada swtich. São dois switches core.

Andson Gomes ---------------------------- Sysadmin
0 Kudos
rcporto
Leadership
Leadership

Cara,

Primeiro eu gostaria de sugerir o seguinte design para seu ambiente de vSwitch.

Supondo que as placas do ESXi estão conectadas da seguinte forma:

vmnic0 -> Switch Físico #1

vmnic1 -> Switch Físico #2

vmnic2 -> Switch Físico #1

vmnic3 -> Switch Físico #2

Eu criaria 02 (dois) switches virtuais, o vSwitch0 e o vSwitch1, sendo que o vSwitch0 teriamos todo o tráfego de gerenciamento e vMotion e o vSwitch1 todo o trafego das máquinas virtuais.

A imagem abaixo mostra mais ou menos como ficaria:

vswitchdesign.jpg

Se você não quer criar 02 (dois) switches virtuais, você ainda pode ter redundância de Uplinks fazendo a seguinte configuração:

PortGroup de gerenciamento: vmnic0 ativo e vmnic1 standby, e vmnic2/vmnic3 sem uso

PortGroup de vMotion: vmnic1 ativo e vmnic0 standby, e vmnic2/vmnic3 sem uso

PortGroup das máquinas virtuais: vmnic2/vmnic3 ativo, e vmnic0/vmnic1 sem uso

As demais configurações do NIC Teaming eu mudaria apenas o Failback:

Load balance = Route based on originating virtual port

Network failure = Link status only

Notify switch = yes

Failback = no

Da forma que você falou acima, o PortGroup de gerenciamento tem apenas uma placa, portanto não possui redundancia... você também não comentou sobre se usa vMotion, e caso não use, pode ignorar o PortGroup que citei para vMotion.

Sobre o seu problema em si, qual o seu switch físico ? É da Cisco ? Pois gostaria de se possível dá uma olhada na configuração.

Por último, qual tipo de vSwitch você tá usando ? Standard ou Distributed ?

---

Richardson Porto
Senior Infrastructure Specialist
LinkedIn: http://linkedin.com/in/richardsonporto
0 Kudos
andsongomes
Contributor
Contributor

Richardson,

   Havia realmente pensando nessa topologia da imagem. Mas não havia pensando nessa solução de PortGroups.

   Estou usando o vMotion sim. Só não habilitei ainda Fault Tolerance e DRS, estou sem storage no momento.

   Utilizo dois switch cores HP/3Com 5500.

   Configuração das portas estão assim:

GigabitEthernet1/0/3 current state : UP

IP Sending Frames' Format is PKTFMT_ETHNT_2, Hardware address is 4001-c6fc-39c3

Description: NIC 0

Media type is twisted pair, loopback not set

Port hardware type is 1000_BASE_T

1000Mbps-speed mode, full-duplex mode

Link speed type is autonegotiation, link duplex type is autonegotiation

Flow-control is not enabled

The Maximum Frame Length is 1522

Broadcast MAX-pps: 3000

Unicast MAX-ratio: 100%

Multicast MAX-ratio: 100%

Forbid jumbo frame to pass

PVID: 5

Mdi type: auto

Port link-type: access

Tagged   VLAN ID : none

Untagged VLAN ID : 2


  O que muda entre as portas é a VLAN apenas.


  Então me tira uma dúvida. Como eu posso colocar duas portas agregadas e uma porta extra em failover?


  Será que eu perdia a conexão com todas as portas porque coloquei todas elas ativas e não coloquei nenhum em standby?

Andson Gomes ---------------------------- Sysadmin
0 Kudos
rcporto
Leadership
Leadership

Andson,

Veja se é possível você atachar a esse post a saida do comando show running-config ou display current-configuration... não sei qual dos dois funciona no seu switch, pois na verdade sou do mundo Cisco 🙂

Você tá usando que tipo de switch virtual ? Standard ou Distributed ? Me fala que eu vou te solicitar a saida de um comando para avaliar a configuração de NIC Teaming.

---

Richardson Porto
Senior Infrastructure Specialist
LinkedIn: http://linkedin.com/in/richardsonporto
0 Kudos
andsongomes
Contributor
Contributor

O switch virtual, estou usando Standard ainda. Estou com a ideia de usar o Distributed somente quando tiver um outro ambiente montado.

O que você quer saber especificamente sobre a configuração do swtich? A configuração está muito extensa, melhor saber especificamente o que deve estar habilitado.

Andson Gomes ---------------------------- Sysadmin
0 Kudos
rcporto
Leadership
Leadership

Andson,

Sobre a configuração do switch físico, eu preciso apenas ver a configuração de todas as interfaces onde o ESXi tá conectado... o que você postou acima é mais uma informação de "status" que a configuração em si.

E no seu ESXi, tente rodar os seguintes comandos:

-> Coletar informações de failover do vSwitch:

esxcli network vswitch standard policy failover get --vswitch-name=vSwitch0

-> Coletar informações de failover dos PortGroups:

esxcli network vswitch standard portgroup policy failover get -p "Management Network"

esxcli network vswitch standard portgroup policy failover get -p "Nome do PortGroup das VMs"

Obs.: pode rodar os comandos acima sem medo, pois são apenas comandos "get", ou seja, não vai modificar nada em seu ambiente.

---

Richardson Porto
Senior Infrastructure Specialist
LinkedIn: http://linkedin.com/in/richardsonporto
andsongomes
Contributor
Contributor

Richardson,

   A configuração do ESXi está assim:

~ # esxcli network vswitch standard policy failover get --vswitch-name=vSwitch0

   Load Balancing: srcport

   Network Failure Detection: link

   Notify Switches: true

   Failback: true

   Active Adapters: vmnic0, vmnic1, vmnic3, vmnic2

   Standby Adapters:

   Unused Adapters:

~ # esxcli network vswitch standard portgroup policy failover get -p "Management

Network"

   Load Balancing: srcport

   Network Failure Detection: link

   Notify Switches: true

   Failback: true

   Active Adapters: vmnic0

   Standby Adapters:

   Unused Adapters: vmnic3, vmnic2, vmnic1

   Override Vswitch Load Balancing: true

   Override Vswitch Network Failure Detection: true

   Override Vswitch Notify Switches: true

   Override Vswitch Failback: true

   Override Vswitch Uplinks: true

~ # esxcli network vswitch standard portgroup policy failover get -p "VLAN 5 Ser

vidores"

   Load Balancing: srcport

   Network Failure Detection: link

   Notify Switches: true

   Failback: true

   Active Adapters: vmnic1, vmnic2, vmnic3

   Standby Adapters:

   Unused Adapters: vmnic0

   Override Vswitch Load Balancing: true

   Override Vswitch Network Failure Detection: true

   Override Vswitch Notify Switches: true

   Override Vswitch Failback: true

   Override Vswitch Uplinks: true

~ # esxcli network vswitch standard portgroup policy failover get -p "VLAN 10 Ca

rtorio"

   Load Balancing: srcport

   Network Failure Detection: link

   Notify Switches: true

   Failback: true

   Active Adapters: vmnic1, vmnic2, vmnic3

   Standby Adapters:

   Unused Adapters: vmnic0

   Override Vswitch Load Balancing: true

   Override Vswitch Network Failure Detection: true

   Override Vswitch Notify Switches: true

   Override Vswitch Failback: true

   Override Vswitch Uplinks: true

Andson Gomes ---------------------------- Sysadmin
0 Kudos
rcporto
Leadership
Leadership

Sua configuração de Failover deve funcionar para os PortGroups de VMs, pois pela saida dos comandos acima, cada PortGroup tem 03 (três) interfaces, então se desconectar uma delas, as outras "deveriam" fornecer conectividade para as VMs.

Já o PortGroup de gerenciamento, não possui alta disponibilidade, pelo fato de ter apenas 01 (um) interface como ativa (a vmnic0) e nenhuma como Standby.

Pra finalizar a coleta de informações do vSwitch, roda o seguinte comando pra listas as VLANs:

esxcli network vswitch standard portgroup list

---

Richardson Porto
Senior Infrastructure Specialist
LinkedIn: http://linkedin.com/in/richardsonporto
0 Kudos
andsongomes
Contributor
Contributor

Ainda estou configurando as VLANs, mas as que já estão configuradas são essas.

~ # esxcli network vswitch standard portgroup list

Name                Virtual Switch  Active Clients  VLAN ID

------------------  --------------  --------------  -------

ALL VLANs           vSwitch0                     0     4095

Management Network  vSwitch0               1        0

VLAN 10 Cartorio    vSwitch0                   1       10

VLAN 5 Servidores   vSwitch0                  1        5

VM Network          vSwitch0                     0        0

Andson Gomes ---------------------------- Sysadmin
0 Kudos
rcporto
Leadership
Leadership

Andson,

Conforme falamos em private, confirma se a solução do seu problema foi a remoção da configuração apply qos-profile default das interfaces onde estavam conectados a vmnic2 e vmnic3.

E se foi realmente isso, marca essa resposta como Correta para ajudar outros membros que por acaso venham a ter o mesmo problema.

---

Richardson Porto
Senior Infrastructure Specialist
LinkedIn: http://linkedin.com/in/richardsonporto
0 Kudos
andsongomes
Contributor
Contributor

Richardson,

   A resposta correta é aplicar o layout correto. Acho que o que ocorreu comigo deve ter sido ter colocado até mesmo a porta onde a Management Network estava conectada em modo trunk, daí como não havia setado a VLAN para neste GroupPort, a comunicação era interrompida ao retirar a vmnic que estava com a vlan padrão configurada.

   Vou estudar mais sobre o parâmetro qos-profile nos swtiches da 3Com para ver como ele trabalha.

   Obrigado pela ajuda, foi muito útil.

Andson Gomes ---------------------------- Sysadmin
0 Kudos