ESXiログの調査について

[user47]

オンプレESXi7.0u2環境で出力される以下のエラーログの原因について調査していますが、糸口が掴めず困っています。

・Hostd: warning hostd[2******] [Originator@6876 sub=Vmsvc.vm:/vmfs/volumes/<VMX格納パス>/<VM名>.vmx opID=4a******-**** user=vpxuser] File - failed to get objectId, '/vmfs/volumes/<VMX格納パス>/<VM名>.vmx': Operation not supported (11)
15分ごとに出力

・Hostd: error hostd[2******] [Originator@6876 sub=Statssvc.Vapi.HostServiceTokenHandler] AsyncAuthenticate: Token invalid
13分ごとに出力

・Hostd: warning hostd[2******] [Originator@6876 sub=Vimsvc opID=df*****] Refresh function is not configured.User data can't be added to scheduler.User name: vpxuser
6時間ごとに出力

・Rhttpproxy: warning rhttpproxy[2******] [Originator@6876 sub=Proxy Req 75944] Error reading from client while waiting for header: N7Vmacore3Ssl12SSLExceptionE(SSL Exception: error:14094416:SSL routines:ssl3_read_bytes:sslv3 alert certificate unknown)
4時間ごとに出力

ESXiログ調査において、
・プロセス(hostd,rhttpproxyなど)の後ろの[]内の数字（エントリID？）が同一のメッセージは、関連するイベントですか？
・opID（オペレーションID？）が同一のメッセージは、関連するイベントですか？
・その他、ESXiログの関連イベントの調査に役立つパラメータ等ありますか？
・上記メッセージに関連する類似事例等ご存じでしたら、教えてください。
・上記メッセージや時間間隔だけで、ESXiの疑わしい設定項目がわかりましたら、教えてください

[nkaneda1]

・Hostd: warning hostd[2******] [Originator@6876 sub=Vmsvc.vm:/vmfs/volumes/<VMX格納パス>/<VM名>.vmx opID=4a******-**** user=vpxuser] File - failed to get objectId, '/vmfs/volumes/<VMX格納パス>/<VM名>.vmx': Operation not supported (11)
15分ごとに出力

user=vpxuserとなっているのでvCenterから何らかのタスクが実行されているようですね。何のタスクが実行されているのかについてはopIDをベースに追跡すればわかるかもしれません。

・Hostd: error hostd[2******] [Originator@6876 sub=Statssvc.Vapi.HostServiceTokenHandler] AsyncAuthenticate: Token invalid
13分ごとに出力

これは私の環境でも13分沖に出ています。内容的には認証で利用するトークンのExpireと考えられるので静観してよいと思います。

・Hostd: warning hostd[2******] [Originator@6876 sub=Vimsvc opID=df*****] Refresh function is not configured.User data can't be added to scheduler.User name: vpxuser
6時間ごとに出力

こちらも私の環境でも出ていました。私の環境ではもっと間隔が短かったです。vCenterが何かしらの処理を定期的に実行しているのみでWarning自体は特に問題はないと思います。OpIDでタスクを追跡して最終的にそのタスクが成功していれば気にする必要はなと考えます。

・Rhttpproxy: warning rhttpproxy[2******] [Originator@6876 sub=Proxy Req 75944] Error reading from client while waiting for header: N7Vmacore3Ssl12SSLExceptionE(SSL Exception: error:14094416:SSL routines:ssl3_read_bytes:sslv3 alert certificate unknown)
4時間ごとに出力

こちらは信頼されていない証明書を利用したSSL疎通があった場合に表示されるエラーかと思われます。
どのClientからのアクセスなのかを特定し、そのアクセスが最終的に失敗していなければ問題はないと思います。

[user47]

ご回答ありがとうございます。大変助かりました。
もう少しお聞きしたいのですが、もしご存じでしたら教えてください。

これは私の環境でも13分沖に出ています。内容的には認証で利用するトークンのExpireと考えられるので静観してよいと思います。

トークンとは、ESX Token Serviceで生成されたトークンの事でしょうか？
それとも、Token Service関係なく、vCenter-ESXi間で通信する際に内部的に定期生成＆認証利用されるようなものでしょうか？

こちらは信頼されていない証明書を利用したSSL疎通があった場合に表示されるエラーかと思われます。
どのClientからのアクセスなのかを特定し、そのアクセスが最終的に失敗していなければ問題はないと思います。

ESXiへのSSL疎通をESXi側で確認できるログ等ご存じでしょうか？
auth.log等確認しましたが、近しい記録は見受けられず…

[nkaneda1]

トークンとは、ESX Token Serviceで生成されたトークンの事でしょうか？
それとも、Token Service関係なく、vCenter-ESXi間で通信する際に内部的に定期生成＆認証利用されるようなものでしょうか？

公開情報からは確認できないので不明です。vCenterとの疎通で利用しているのかもしれませんし、ESXi内のサービス間での通信かもしれません。vCenterの管理から外しても発生するかどうかで切り分けられると思います。

ESXiへのSSL疎通をESXi側で確認できるログ等ご存じでしょうか？
auth.log等確認しましたが、近しい記録は見受けられず…

ESXi内部の通信かもしれませんので、rhttpd.logから判断ができなければログからの判断は難しいかもしれません。
 /etc/vmware/rhttpproxy/config.xml をいじるなどでログレベルをさらに詳細化できれば、もしかしたら表示されるようになるかもしれませんが、やったことがないので結果は不明です。

あとは、ESXiと外部との疎通を制限したり、サービスを停止したりなどして、ログの出方の関係性から絞り込んでいくような案しか思い当たりませんでした。