Re: VmwareEsxi上の仮想マシンのシャットダウン、電源OFFの確認について

nsfoa · ‎07-06-2017

VmwareEsxi 5.5 上の仮想マシンにWindows2012R2の停止状況の確認について

仮想マシンのログを確認したところ、以下のように通常ならば停止する際の情報も載るはずが突然下記で途切れて止まってしまっています。

何かのエラーで停止してしまったのか、仮想環境がのっているサーバ自体の電源をOFFしてしまった等状況が確認できればと思っております。

下記ログのエラーから推定しうる状況を教えていただけますでしょうか？

よろしくお願いいたします。

vmware.log（最後尾）

2017-06-22T06:34:16.020Z| vmx| I120: GuestRpcSendTimedOut: message to toolbox timed out.
2017-06-22T06:34:16.021Z| vmx| I120: GuestRpcSendTimedOut: message to toolbox-dnd timed out.
2017-06-22T06:34:26.519Z| vmx| I120: Tools: Tools heartbeat timeout.
2017-06-22T06:34:31.024Z| vmx| I120: GuestRpcSendTimedOut: message to toolbox timed out.
2017-06-22T06:34:31.024Z| vmx| I120: GuestRpc: app toolbox's second ping timeout; assuming app is down
2017-06-22T06:34:31.033Z| vmx| I120: GuestRpcSendTimedOut: message to toolbox-dnd timed out.
2017-06-22T06:34:31.033Z| vmx| I120: GuestRpc: app toolbox-dnd's second ping timeout; assuming app is down
2017-06-22T06:34:31.033Z| vmx| I120: GuestRpc: Reinitializing Channel 0(toolbox)
2017-06-22T06:34:31.033Z| vmx| I120: GuestMsg: Channel 0, Cannot unpost because the previous post is already completed
2017-06-22T06:34:31.038Z| vmx| I120: GuestRpc: Channel 0 reinitialized.
2017-06-22T06:34:31.038Z| vmx| I120: GuestRpc: Channel 0 reinitialized.
2017-06-22T06:34:31.038Z| vmx| I120: GuestRpc: Reinitializing Channel 2(toolbox-dnd)
2017-06-22T06:34:31.038Z| vmx| I120: GuestMsg: Channel 2, Cannot unpost because the previous post is already completed
2017-06-22T06:34:31.039Z| vmx| I120: GuestRpc: Channel 2 reinitialized.
2017-06-22T06:34:31.039Z| vmx| I120: GuestRpc: Channel 2 reinitialized.
2017-06-22T06:37:31.041Z| vmx| I120: GuestRpcSendTimedOut: message to toolbox timed out.
2017-06-22T06:37:31.041Z| vmx| I120: Vix: [34889 guestCommands.c:1924]: Error VIX_E_TOOLS_NOT_RUNNING in VMAutomationTranslateGuestRpcError(): VMware Tools are not running in the guest

⇒ここでログが終了している。

gowatana · ‎07-06-2017

こんにちは。

ログの様子を見ると、VMware Toolsが停止ていていることに関係しそうに見えました。

たとえば、下記のような確認をしてみると、その時の仮想マシンの様子が分かるかもしれません。

vSphere Client や Web Client から対象の仮想マシンのイベントやタスクを見て、何か記録が残っていないか。
※シャットダウンをしようとしたり、vSphere HAが作動したりしていないか・・・
Windows 2012 R2ゲストの中のイベントログなどに、何か記録が残っていないか。
※vSphere Client のタスクに記録がなくても、ゲストOSから直接シャットダウンしたような形跡がないか、など・・・

※ESXi はUTC（JSTマイナス9時間）なので、タイムスタンプの読み替えが必要かもしれません。

ESXi のサーバ自体の電源をOFFにしたかは、

ESXi のほかのログが同時刻に途切れていないか、ESXi のアップタイムがそのタイミングで途切れていないか、

サーバの管理ボードに、サーバの電源を停止した記録が残っていないか、

といったような確認で見当がつきそうだと思います。

以上です。参考になりますでしょうか。

nsfoa · ‎07-06-2017

gowatana様

返信ありがとうございます。

まず同じ仮想環境上の別マシンのvmware.logを確認したところ、現象が発生した18:20以降もログが残っていましたので、

サーバ自体或いは仮想環境そのものが落ちたということは無さそうです。

ゲストOS側には「予期しないシャットダウンがありました」とのログがありましたので、正常にシャットダウン操作を

行ったわけでは無さそうです。

vSphere Client で対象の仮想マシンのイベントには

現象が発生した18:20ごろにファイアウォールの構成が変更されましたというログが27個あって、

ホストコアダンプが保存されます

デバイスまたはファイルシステムが「すべてのパスがダウンしています」

ユーザーrootはログアウトしました。

とあってサーバ本体の再起動後のrootユーザログインまでログ無し状態になっております。

ゲストOSではなく仮想マシン自体がクラッシュした感じでしょうか？

度々すいませんが、コメントもらえると助かります。

よろしくお願いいたします。

gowatana · ‎07-07-2017

こんにちは。

推測ではありますが、対象の仮想マシンがvSphere HA でリセットされていませんでしょうか。

その場合、ゲストOSからは強制的なパワーオフ/オンがあったように見えるはずです。

たとえば下記のようなことがありうるかもしれないと思いました。

ESXi ホストで、何らかの理由で対象仮想マシンがのっているデータストアがアクセス不可になった。
（iSCSI / NFS データストアであれば、ESXiファイアウォールのルール変更も原因となるかも）
ESXi で「すべてのパスがダウンしています」（ALL Path Down / APD）が検知される。
データストアがアクセス不可になったことで仮想マシンに何か起きて、仮想マシンがリセットされた。
（VMware Toolsも停止したとか・・）
ゲストOS（Windows 2012 R2）では「予期しないシャットダウンがありました」となった。

vSphere HA が APD を検知して VM をリセットする機能（VMCP）は vSphere 6.0 からだったと思うので、

このような感じなら、仮想マシンのログが途中で終了したりということもありうるかなと考えました。

All

VmwareEsxi上の仮想マシンのシャットダウン、電源OFFの確認について