5 Replies Latest reply on Jun 13, 2019 5:19 AM by Finikiez

    ESXi ssh and mks not working after root overflow

    cyberpunk89 Lurker

      Всем доброго дня.

      Есть 2 фермы ESXi 5.5 с работающим ghetto-VCB, логи которой незаметно переполнили раздел /root. После переполнения у серверов перестала работать консоль VSphere (ошибка unable to connect to the MKS: Failed to connect to server ip:902),  а так же не работает доступ по ssh. Есть доступ к физической консоли ESXI Shell. После очистки логов был выполнен перезапуск сервисов способами:

      1) /etc/init.d/SSH restart

      2) services.sh restart

      3) management agents restart через графическую консоль esxi

      4) esxcli network firewall refresh

       

      esxcli network firewall ruleset list

      выдает результат, по которому порты 22 и 902 открыты.

       

      Когда сканирую nmap'ом ip-адрес сервера, выводит информацию такого плана:

      Discovered open port 443/tcp on ip

      Discovered open port 80/tcp on ip

      Discovered open port 5989/tcp on ip

      Discovered open port 8000/tcp on ip

      Discovered open port 427/tcp on ip

      ....

      22/tcp   closed ssh

      902/tcp  closed iss-realsecure

       

      5988/tcp closed wbem-http

      5989/tcp open   ssl/wbem           SBLIM Small Footprint CIM Broker

      6881/tcp closed bittorrent-tracker

      8000/tcp open   http-alt?

      8080/tcp closed http-proxy

      8100/tcp closed xprint-server

      8300/tcp closed tmi

       

      В рабочем состоянии при этом остается подключние к ферме по http, vSphere.

      Знаю, что такая проблема решается путем перезагрузки всего сервера, но если один из них отправить в ребут еще можно, то второй крайне нежелательно, многос ервисов крутится на нем. Хотелось бы найти решение без перезагрузки.

        • 1. Re: ESXi ssh and mks not working after root overflow
          Finikiez Master
          vExpert

          Добрый день!

           

          А как вы диагностировали переполнение партиций?

          Покажите вывод команды esxcli system visorfs ramdisk list, если не работает то можно заменить на local system  visorfs ramdisk list

          • 2. Re: ESXi ssh and mks not working after root overflow
            cyberpunk89 Lurker

            Добрый день!

             

            Диагностировали командой

            ~ # vdf -h

            Ramdisk                   Size      Used Available Use% Mounted on

            root                       32M    31M      1012K      99% -- (так было до очистки логов ghetto-VCB)

            etc                        28M      200K       27M   0% --

            tmp                       192M        4K      191M   0% --

            hostdstats                791M        3M      787M   0% --

            snmptraps                   1M        0B        1M   0% --

             

            esxcli system visorfs ramdisk list (на скрине)

             

            • 3. Re: ESXi ssh and mks not working after root overflow
              Finikiez Master
              vExpert

              То есть сейчас проблем с местом нет.

               

              Что пишется в hostd.log и vmkernel.log?

              • 4. Re: ESXi ssh and mks not working after root overflow
                cyberpunk89 Lurker

                На всякий случай сразу прикладываю вывод консоли при запуске services.sh restart и конец логов hostd.log и vmkernel.log после рестарта сервисов. Извиняюсь за пару несфокусированных фото, за движущейся консолью не всегда получается угнаться.

                • 5. Re: ESXi ssh and mks not working after root overflow
                  Finikiez Master
                  vExpert

                  По последнему скриншоту, у вас проблемы с выполнением SCSI команд к дисковому устройству с номером 0 на vmhba1 (уж простите, переписывать naa идентификатор не хочется с экрана).  Они отрабатывают со статусом H:0x2 см. VMware Knowledge Base

                   

                  Вполне вероятно, что драйвер просто залип и без ребута вам не решить проблему.

                   

                  Рекомендации просты: обновить версии гипервизора, обновить драйвер и прошивку контроллера vmhba1