Accepted Solutions
いくつか書いて頂いた状況から起きている事象を推測します。
▼ メンテナンスモードのオプション
まず、ESXi ホストをメンテナンスモード (MM) に切り替えた際は、vSAN クラスタの場合、
- アクセシビリティの確保 (既定値)
- 全データの移行
- データの移行なし
のメンテナンスモードに切り替える ESXi ホストに格納されている vSAN 上の仮想マシンデータの移行必要性の有無によりオプションを選択します。
- vSAN クラスタ メンバーのメンテナンス モードへの切り替え
https://docs.vmware.com/jp/VMware-vSphere/8.0/vsan-administration/GUID-521EA4BC-E411-47D4-899A-5E026...
上記 MM のオプション、クラスタから ESXi ホストを取り外したり、ESXi ホストを玉突きで移行する場合は「3. 全データの移行」を選び、仮想マシンデータを安全に退避する必要があります。
通常の ESXi ホストの再起動など、短時間の停止時は「1. アクセシビリティの確保」を選択します。この際は ESXi ホストが再起動中は仮想マシンは冗長化された仮想ディスクの片方にアクセス出来ませんが、もう片方が活きているため仮想マシンは停止しません。
「3. データの移行なし」は、クラスタの全シャットダウンなど計画停止時に利用するオプションです。。
まず、これらの MM のオプションはどれを選択したか覚えていますでしょうか？
▼ メンテナンスモードへの移行
簡易的ですが、先日お伝えした vCenter の複数ある仮想ディスクが vSAN クラスタ上に RAID 1 で分散配置されているイメージを以下に描きました。
※ vCSA は合計 17 個の仮想ディスクを持っていますが、上記は簡易的に D1 ~ D3 の3つの仮想ディスクで記しています。
薄緑の四角が vCSA の仮想ディスクをイメージしています。
このような状態の時、ESXi ホスト ① から仮に「アクセシビリティの確保」または 「データ移行なし」で MM に移行すると、
ESXi ① の仮想マシンデータはそのままに、仮想マシンは別の ESXi ホストに vMotion で移動します。
この時点ではそれぞれ、仮想マシンは vSAN 上で冗長配置された RAID 1 の残ったデータにアクセスできるので仮想マシンは起動しています。
続いてこの状態で ESXi ② を同じく「アクセシビリティの確保」または 「データ移行なし」で MM に移行すると、先に vCSA を他の ESXi ホストに vMotion で逃していたとしても、
以下のように vCSA の Disk 1 が ESXi ① と ② に残ったまま MM に移行されるとデータにアクセス出来なくなり、
vCenter がクラッシュ・半死にします。
実際には、「アクセシビリティの確保」で MM に移行すると vCSA の Disk 1 へのアクセスを確保するため、
ESXi ② に格納されている vCSA の Disk 1 のデータを残る ESXi にデータ移行を裏で行ってから MM に移行完了しますが、
裏で流れているデータ移行に時間がかかっているのを待たずに、vCenter から ESXi ② を切断などすると、FTT=1 の許容台数を超えて ESXi ホストの vSAN データにアクセスできなくなるので vCSA がクラッシュするリスクが高いです。
恐らく今回はそれに近い状況じゃないかと思われます。
これらを防ぐためには、必ず ESXi ホストを永続的に切り離す際には「全データの移行」で MM に移行してください。
そして MM への移行は必ず ESXI ホストを 1 台ずつ、データ移行が完全に完了してから次の ESXi ホストを MM に移行します。
ここで多重に移行しようとするとデータアクセス不可になる VM が発生するリスクがあります。
▼ ESXi ② の状況の推測
> この際、なぜか2号機（vCenterから切断したホスト）から、vsandatastoreが認識されています。
> また、vcsaの移行先である4号機では、vCSAは認識されているものの、リソースや仮想ディスクなどを読み込めないという状況です。
> やはり、vCSAのデータの一部が欠損している可能性が高いですか？
ESXi ②は vCenter のデータを持ったまま切断・MM に移行してしまった可能性が高く、
クラスタから外される前に vCenter がクラッシュしたから今の状態になっていると思われます。
現状で ESXi ② に対して ESXi の再インストールなどの操作を行っていないのであれば、一旦 ESXi ② の MM を解除し、オリジナルの vCenter を再起動して復旧できるかを確認します。
ESXi ① は既に vSAN クラスタから抜かれた状態のようなので、一旦は MM のままでも良いですが、解除できるのであれば MM 解除しておいてください。
▼ 全てのホストをMMにしようとしたところ、仮想マシンのシャットダウンの実行に失敗し、MMにできない状況
これは上記に示した様に、ESXi を MM に移行すると仮想マシンから vSAN 上の仮想ディスクにアクセスできなくなりますので想定される状況です。
全 ESXi ホストを MM にする場合は vCenter 含む全ての仮想マシンをシャットダウン後、各 ESXi の Host Client (ESXi の IP アドレスに Webブラウザで接続)や、SSH でアクセスして esxcli コマンドでメンテナンスモードに移行します。
計画停電など、クラスタの全シャットダウンを行う際は、
vCenter 7.0 update3 以降では vSAN 上の仮想マシンを全てシャットダウンした後、vCenter が活きていれば vSphere Client で vSAN クラスタを右クリックして表示されるメニューの一番下、vSAN を選び、「クラスタのシャットダウン」を実行することで vSAN クラスタを安全にシャットダウンする事ができます。
▼ ESXi ホストから vSAN クラスタへの復旧について
> ＞未参加のESXiをvSANに復旧させることでVCSAが起動できるようになる可能性があります。
> そもそも、ESXiホスト側からvSANに追加させることは可能なのでしょうか？
復旧可能な条件として重要なのが、もともと vSAN で使っていた SSD などをフォーマットするなど「初期化していない」事が必須です。
vSAN Disk に手を付けていなければ、nkaneda さん記載の
> vSAN Diskを初期化していなければ、復旧できる場合があります。
> 難易度は高いですが、 https://kb.vmware.com/s/article/2150303 の Unicast Agentを確認&再設定したり、
> esxcli vsan cluster join -u [UUID]
などの手順で復旧が可能かもしれません。
まずは、ESXi ② を起動し、MM を解除して vCenter の仮想ディスクが見えるようになるか確認してください。
ESXi ④ で確認した Inaccessible Object の数が減っていれば、ESXi ② の MM 解除でアクセス可能な仮想ディスク (vSAN のオブジェクト)が増えたことを意味します。
いくつか書いて頂いた状況から起きている事象を推測します。
▼ メンテナンスモードのオプション
まず、ESXi ホストをメンテナンスモード (MM) に切り替えた際は、vSAN クラスタの場合、
- アクセシビリティの確保 (既定値)
- 全データの移行
- データの移行なし
のメンテナンスモードに切り替える ESXi ホストに格納されている vSAN 上の仮想マシンデータの移行必要性の有無によりオプションを選択します。
- vSAN クラスタ メンバーのメンテナンス モードへの切り替え
https://docs.vmware.com/jp/VMware-vSphere/8.0/vsan-administration/GUID-521EA4BC-E411-47D4-899A-5E026...
上記 MM のオプション、クラスタから ESXi ホストを取り外したり、ESXi ホストを玉突きで移行する場合は「3. 全データの移行」を選び、仮想マシンデータを安全に退避する必要があります。
通常の ESXi ホストの再起動など、短時間の停止時は「1. アクセシビリティの確保」を選択します。この際は ESXi ホストが再起動中は仮想マシンは冗長化された仮想ディスクの片方にアクセス出来ませんが、もう片方が活きているため仮想マシンは停止しません。
「3. データの移行なし」は、クラスタの全シャットダウンなど計画停止時に利用するオプションです。。
まず、これらの MM のオプションはどれを選択したか覚えていますでしょうか？
▼ メンテナンスモードへの移行
簡易的ですが、先日お伝えした vCenter の複数ある仮想ディスクが vSAN クラスタ上に RAID 1 で分散配置されているイメージを以下に描きました。
※ vCSA は合計 17 個の仮想ディスクを持っていますが、上記は簡易的に D1 ~ D3 の3つの仮想ディスクで記しています。
薄緑の四角が vCSA の仮想ディスクをイメージしています。
このような状態の時、ESXi ホスト ① から仮に「アクセシビリティの確保」または 「データ移行なし」で MM に移行すると、
ESXi ① の仮想マシンデータはそのままに、仮想マシンは別の ESXi ホストに vMotion で移動します。
この時点ではそれぞれ、仮想マシンは vSAN 上で冗長配置された RAID 1 の残ったデータにアクセスできるので仮想マシンは起動しています。
続いてこの状態で ESXi ② を同じく「アクセシビリティの確保」または 「データ移行なし」で MM に移行すると、先に vCSA を他の ESXi ホストに vMotion で逃していたとしても、
以下のように vCSA の Disk 1 が ESXi ① と ② に残ったまま MM に移行されるとデータにアクセス出来なくなり、
vCenter がクラッシュ・半死にします。
実際には、「アクセシビリティの確保」で MM に移行すると vCSA の Disk 1 へのアクセスを確保するため、
ESXi ② に格納されている vCSA の Disk 1 のデータを残る ESXi にデータ移行を裏で行ってから MM に移行完了しますが、
裏で流れているデータ移行に時間がかかっているのを待たずに、vCenter から ESXi ② を切断などすると、FTT=1 の許容台数を超えて ESXi ホストの vSAN データにアクセスできなくなるので vCSA がクラッシュするリスクが高いです。
恐らく今回はそれに近い状況じゃないかと思われます。
これらを防ぐためには、必ず ESXi ホストを永続的に切り離す際には「全データの移行」で MM に移行してください。
そして MM への移行は必ず ESXI ホストを 1 台ずつ、データ移行が完全に完了してから次の ESXi ホストを MM に移行します。
ここで多重に移行しようとするとデータアクセス不可になる VM が発生するリスクがあります。
▼ ESXi ② の状況の推測
> この際、なぜか2号機（vCenterから切断したホスト）から、vsandatastoreが認識されています。
> また、vcsaの移行先である4号機では、vCSAは認識されているものの、リソースや仮想ディスクなどを読み込めないという状況です。
> やはり、vCSAのデータの一部が欠損している可能性が高いですか？
ESXi ②は vCenter のデータを持ったまま切断・MM に移行してしまった可能性が高く、
クラスタから外される前に vCenter がクラッシュしたから今の状態になっていると思われます。
現状で ESXi ② に対して ESXi の再インストールなどの操作を行っていないのであれば、一旦 ESXi ② の MM を解除し、オリジナルの vCenter を再起動して復旧できるかを確認します。
ESXi ① は既に vSAN クラスタから抜かれた状態のようなので、一旦は MM のままでも良いですが、解除できるのであれば MM 解除しておいてください。
▼ 全てのホストをMMにしようとしたところ、仮想マシンのシャットダウンの実行に失敗し、MMにできない状況
これは上記に示した様に、ESXi を MM に移行すると仮想マシンから vSAN 上の仮想ディスクにアクセスできなくなりますので想定される状況です。
全 ESXi ホストを MM にする場合は vCenter 含む全ての仮想マシンをシャットダウン後、各 ESXi の Host Client (ESXi の IP アドレスに Webブラウザで接続)や、SSH でアクセスして esxcli コマンドでメンテナンスモードに移行します。
計画停電など、クラスタの全シャットダウンを行う際は、
vCenter 7.0 update3 以降では vSAN 上の仮想マシンを全てシャットダウンした後、vCenter が活きていれば vSphere Client で vSAN クラスタを右クリックして表示されるメニューの一番下、vSAN を選び、「クラスタのシャットダウン」を実行することで vSAN クラスタを安全にシャットダウンする事ができます。
▼ ESXi ホストから vSAN クラスタへの復旧について
> ＞未参加のESXiをvSANに復旧させることでVCSAが起動できるようになる可能性があります。
> そもそも、ESXiホスト側からvSANに追加させることは可能なのでしょうか？
復旧可能な条件として重要なのが、もともと vSAN で使っていた SSD などをフォーマットするなど「初期化していない」事が必須です。
vSAN Disk に手を付けていなければ、nkaneda さん記載の
> vSAN Diskを初期化していなければ、復旧できる場合があります。
> 難易度は高いですが、 https://kb.vmware.com/s/article/2150303 の Unicast Agentを確認&再設定したり、
> esxcli vsan cluster join -u [UUID]
などの手順で復旧が可能かもしれません。
まずは、ESXi ② を起動し、MM を解除して vCenter の仮想ディスクが見えるようになるか確認してください。
ESXi ④ で確認した Inaccessible Object の数が減っていれば、ESXi ② の MM 解除でアクセス可能な仮想ディスク (vSAN のオブジェクト)が増えたことを意味します。