Máquina virtual travando ao remover Snapshot

[Ivanildo_GalvÃ_]

Pessoal, tenho um cliente que tem um servidor Vmware ESXi 5 e tem duas VMS e uma delas é um Windows Server 2008 R2, existe um Veeam Backup V6 no ambiente, faz backup das máquinas virtuais, numa lentidão desgraçada mesmo em rede gigabit e com storage de backup gigabit, mas faz.

Me parece que o Veeam cria uns snapshots na hora dos backups, até me preocupei com isso, pois isso pode topar o disco rígido do host, pois bem, o clientes está reclamando que a VMS Windows Server 2008 ja travou 3 vezes e só volta quando desliga ele, reinicia o Vmware e liga a VM novamente, o cliente notou que no momento que VM trava, é visto no vSphere client a mensagem "Removing Snapshot", que para em 92% e não sai daí, então ocorre o travamento.

Alguém aqui já passou por isso ?

Obrigado !

[MauroBonder]

Ivanildo, tudo bem ?

O processo de tirar snapshot antes de inciar o backup é um procedimento normal de todos software de backup que trabalha com VMware, enquanto a isso não se preocupe. Mas é bacana se puder configurar um alerta de snapshot, se passar de um tamanho X, para que você tenha controle desse snapshot, se foi removido, ou se de repente está grande o suficiente a ponto de deixar a LUN sem espaço.

Enquanto aos 92% travado, eu te pergunto, qual é o tamanho do snapshot ? Dependendo do tamanho do Snapshot, esse processo de comitar o snapshot pode demorar 1hora, 2 horas, ou até mais.

Outra coisa que pode acontecer, é o snapshot foi removido com sucesso, porém não está atualizado na aba de tasks, então verifique no datastore se existem arquivos do snapshot.

Existe alguma mensagem de erro ? Algum log ? algum indicador ?

Abraços.

[Ivanildo_GalvÃ_]

Olá Mauro, tudo bem e contigo ?

Dá uma olhada neste link, tem mais detalhes:

http://communities.vmware.com/message/2008776#2008776

Outra coisa, existe uma opção consolidate no snapshot manager, posso usa-la ? O Snapshot foi de fato criado pelo Veeam, e na descrição do Snapshot tem um alerta em letras maiusculas informando que não é para deletar.

Obrigado !

[MauroBonder]

Acessa via ssh o host, vai no diretorio da vm e digita ls -lah e ve quanto tem de espaco esse snapshot. Depois ve se tem espaco livre no datastore para comita essas informacoes.

Pode sim... Isso eh msg gerada pelo veeam... Pq nao pode apaga o snap enquanto ta fzendo o bkp.... O snap ai serve como ponto de seguranca cado precise volta a vm no estado seguro caso de problema no bkp

[RafaNovo]

Ivanildo,

Sugestão de procedimento:

1. Ver se não há nenhum backup pendente ou sendo executado

2. Desligar a VM

3. Apagar via GUI todos os snaps (incluindo qualquer snap do VEEAM)

4. Veja se no Datastore sumiram todos os snaps (-00000x.vmdk). Se ainda houver algum (o que eu acho que vai acontecer), você pode ter um um problema mais sério. Neste caso avisa pra gente e vamos tentar ver um procedimento para resolver isso.

abs

Rafa

[Ivanildo_GalvÃ_]

O Datastore tem apenas 36GB livre, a máquina virtual Windows Server 2008 foi criada com uns 600GB de VMDK, pois ela é servidor de arquivos e tem uma Linux com 150GB, ambas as máquinas tem snapshot, mesmo com o processo de backup parado os snaps estão lá, não sei porque o Veeam fez isso, ontem mesmo disparei um backup full no Veeam 6 de outro cliente, foram copiadas 8 máquinas virtuais, todos os snapshots foram devidamente apagados pelo próprio programa.

Pergunta, mesmo sendo possivel fazer backups todos os dias, de forma incremental, essa é uma prática aconselhada para proteger as máquinas virtuais ?

Costumo dizer que o backup deve ser feito com mais frequencia quando a máquina virtual sofre alterações todos os dias e quando, caso contrário, como em um Proxy Linux que vc não vive mudando regras e outras coisas, basta um backup por semana ou até por mês.

O que acham disso ?

Obrigado !

[RafaNovo]

Se a máquina não sofre muita alteração (como o Proxy que você mencionou) um backup por semana ou por mês é suficiente.

Para Servidores de Arquivo, não tem jeito, Tem que fazer backup diário. Mas, existe a opção de fazer backup de imagem (do VMDK) ou dos arquivos individuais.

Para servidores muito grandes, a tua ferramenta de backup deve suportar CBT (Change Block Tracking), para não ter que fazer backup de todo o VMDK todos os dias. Se a ferramente não suportar essa feature então minha sugestão é fazer backup individual dos arquivos (instalando o agente de backup dentro do servidor)

Agora falando do problema: infelizmente é normal, esporadicamente a ferramenta de backup não remover os snaps que ela criou para o backup. Nesse caso o ideal é você criar o alerta mencionado pelo Mauro.

Porém se isso estiver ocorrendo em todos os backups é um problema que temos que tratar.

[MauroBonder · Accepted solution]

Certa colocação do Rafa, o software de backup por padrão se funcionasse perfeitamente, teria o processo:

- tira snapshot

- backup da VM

- remove snapshot

esse seria o correto, mas muitas  vezes o snapshot não é removido pelo software de backup, ai começa a dar esse tipo de problema....

Pelo que você comenteu de 36GB livre, se tratando de um file server, que esse snapshot provavelmente esta a mais de 1 semana criado, ele + o outro snap da outra VM deve ter mais de 36GB, certo ?

Confirma isso, pq se for o caso, ele nao consegue commitar essas informações pq não ha espaço suficiente no disco para comitar.

Se você puder. acessa via ssh o host vmware, e digita:

cd /vmfs/volumes/DATASTORE_DA_VM

cd diretorio_vm

ls -lah

e me fala o tamanho do snapshot de ambos servidores, caso eles estejam na mesma LUN.

Senao houver espaço para remover esse snapshot, você terá que mapear um volume temporário para conseguir fazer isso. Terá que fazer storage vmotion dessa VM e commitar o snapshot.

Enfim cara..... Foco, e quer um conselho de graça ?

Resolve o snapshot logo, senão vai estourar o espaço em disco, ai o estrago pode ser maior.

Atribua a pontuação se a resposta foi útil.

Abcs

[Ivanildo_GalvÃ_]

Eu acessei agora o ambiente do cliente e vi que na tarefa de backup existe a opção de "Remover snapshots que passam de X MB", ajustei para 5GB, então o próprio  Veeam cuidará disso, o Veeam suporta CBT, no log do processo de backup ele faz menção.

Agora estou ficando preocupado porque acabei de ver que o espaço do Datastore caiu para 22GB, logo ele vai topar e parar as VMS, eu tenho que fazer alguma coisa pra resolver isso sem muitos problemas, será que desligar as VMS e mandar ele remover os snapshots irá resolver ? Se não me engano a cada remoção de snapshot ele consolida dos VMDKS o que faz com que eles cresçam, ou seja, dar a entender que os discos sempre irão crescer e um dia o Storage irá topar, se for isso mesmo, acho isso um problema, pra mim o VMDK tem que ficar sempre naquele tamanho no qual foi definido.

Então, é tentar remover os snapshots com as VMS desligadas, mesmo com apenas 22GB de espaço livre ?

Valeu !

[MauroBonder]

Ivanildo,

Pode tentar remover com a VM desligada sim, mas antes de tentar remover, você já sabe que seu datastore tem 22GB, agora você precisa saber qual é o tamanho desse snapshot para saber se você consegue ou nao remover, pq a partir do momento que voce remove, ele passa as informações para o vmdk.

vmdk- disco onde as informações sao gravadas por padrao

delta-vmdk - disco com informacoes do snap.

quando voce mata o snapshot, as informacoes que sao do delta, passam a ser do vmdk.

entao se seu delta tem 30GB, voce nao tera espaco para comitar essas informações.

entendeu ?

se puder da uma olhada nesse KB, que é explicando como funciona o snapshot http://kb.vmware.com/selfservice/microsites/search.do?language=en_US&cmd=displayKC&externalId=101518...

[Ivanildo_GalvÃ_]

Bem, antes de ler esta mensagem eu comecei um processo, mandei ele remover o snap da máquina Linux pois ela é bem menor, a VM está ligada, o processo está em 28% ainda e faz uns 30 minutos, espero que dê certo para ganhar espaço e assim poder fazer a mesma coisa com a máquina Windows Server 2008.

Não tem como fazer Sorage Vmotion, trata-se de um ESXi5 free, o que poss fazer é mandar o Veeam replicar estas VMS para outro host Vmware que tem um DataStore com uns 600GB livres se não me engano, ou então mandar fazer um backup full das VMS em no atual Storage iSCSI onde as cópias estão sendo armazenadas, então deletar as VMS e subir de novo por estes backups, vai demorar horas, mas não vejo outra forma.

Vou acessar via SSH e posto aqui a tela daqui a pouco !

Valeu pela ajuda !

[MauroBonder]

Se vc remover o snap com a vm desligada eh mais rapido e vc ganha espaco do vswap de memoria tb... Se a coisa aperta me fala t do meu cel e vc me liga

[Ivanildo_GalvÃ_]

Beleza, obrigado e espero que a coisa não aperte

Não dava pra desligar a VM pois ela é o proxy da rede, inclusive estou conectado remotamente no ambiente dele passando por este proxy, mas até agora está respondendo e o processo está em 35%, se der certo e ganhar espaço, irei fazer o mesmo com a maquina Server 2008, mas somente a noite peo fato de precisar desliga-la.

Valeu mais uma vez !

[Ivanildo_GalvÃ_]

Bem, a máquina Linux teve seu snapshot deletado, o Datastore subiu de 22 para 43GB de espaço livre, acho que este espaço é o suficiente para commitar os dados do delta vmdk da VM Windows 2008 quando o snapshot desta for deletado.

A exclusão do snapshot da VM Windows 2008 será feita hoje a noite, sem funcionarios acessando o sistema, pois assim poderemos desligar a VM.

Valeu !

[Ivanildo_GalvÃ_]

Pessoal, obrigado pelas dicas, todos os snapshots foram deletados nas VMS, tudo está funcionando beleza, só pedi para o cliente me confirmar quanto de espaço tem livre no Datastore agora.

Agora, ele disse que disparou outro backup de novo e o mesmo travou, então deve existir outro snapshot preso lá criado neste travamento, mandei ele instalar o Veeam em outra máquina, de preferencia em um servidor, pois tenho certeza que o PC Windows 7 onde o Veeam está no momento é fraco, mesmo com 2GB de RAM, a placa de rede é gigabit mas é Encore, ou seja, placa fuleirinha.

Mandei ele providenciar outro host para por este Veeam, em outros clientes onde temos Veeam instalado, isso não acontece e nestes outros clientes o Veeam está um Servidor Dell ou IBM com Windows Server 2008.

Valeu !

[MauroBonder]

Ivanildo, Acho interessante abrir um chamado junto a veeam, pq se esta travando tanto assim cara, teve ter alguma coisa errada. 

[Ivanildo_GalvÃ_]

Fala Mauro,

Estou em treinamento IBM sobre Storages, só agora estou vendo esta tua resposta, cara eu acho que a bronca é a máquina do cliente onde o Veeam está, um PC Dual-Core com 2GB de RAM, ontem ele me mandou um e-mail dizendo que o ultimo backup deu certo, ou seja, as vezes dá pau e as vezes não.

Sugeri que instalasse o Veeam em uma máquina melhor, pois tenho outros clientes usando Veeam sem problemas, mas instalado em máquina IBM ou Dell com Windows Server e placa de rede Giga, ainda tem esta, a placa do PC do cliente é Giga, mas é Encore, aquela de R$ 50,00, ou seja, não dá pra exigir inteligência deste tipo de NIC na hora de manipular os pacotes.

Obrigado pelas dicas e disposição neste caso !