Accepted Solutions
いくつか補足します。
> vSAN構成での運用について、vSANのリバランスを起こさないことがベストプラクティスとだという
> 認識ですが、これが発生するとおおよそどれぐらいのパフォーマンス影響が発生するものでしょうか？
現在の vSAN 7.x ではリバランスに関しては各ドライブの利用率の差分で自動リバランスする設定が可能ですので、
アンバランスのまま運用するより均等に分散させる運用が推奨されますので、リバランスを起こさない事がベストプラクティスというわけではありません。
また、リバランス発生時の IO 性能に関して、vSAN 6.7 で導入された Adaptive Resync、6.7u3 で導入された Parallel Resync によりバックエンドの Resync Traffic を割と適正に制御していますので仮想マシン側への性能影響はかなり抑えられます。
Adaptive Resync in vSAN
https://core.vmware.com/resource/adaptive-resync-vsan
実際に一定 IO 負荷かけ続けた状態で Resync が始まった状態でパフォーマンスグラフを確認すると、
仮想マシン側の IOPS・スループットは一定状態ですが、バックエンドの通信では "リカバリ書き込み" に関する IO が上乗せされ、リカバリ書き込みの通信がバーストしないように対象の通信にのみ遅延を意図的に入れて制御する動作が確認できます。
上記の Core TechZone の記事にもありますが、Resync 中に仮想マシン IO やその他の IO と競合して帯域を食いつぶさないように、競合時には 20％ までが Resync に利用され、残り 80% が仮想マシンなどのその他の通信で利用できるように調整されます。
※ 以前の vSAN では手動で MBps 単位で再同期の帯域制御を設定しましたが、現在は Adaptive Resync がその役割を担っています。
> これぐらい業務用のIOPSが下がるとか、CPU使用率が上がるとか、もしなにか指標などあれば情報をいただけますでしょうか。
性能影響への目安は非常に難しいところで、上記の様に 20:80 で制御しなければならないくらい仮想マシン IO が高い環境下ならば性能が IO 性能は 20% 低下する可能性があります。
それ以上にノード数や構成されるドライブ構成によっても Resync IO がどの程度発生して、どの範囲に分散されるかによってもノード当たりの IO 負荷は異なりますし、ドライブの種別（SSD or HDD、NVMe or SAS or SATA、SSD そのものの性能差など）によっても大きく異なってきます。
一般的には Queue Depth の大きい SAS、NVMe のドライブで構成していただく方が SATA ドライブよりも高い性能を安定的に提供可能です。
ベンチマークテストで負荷を掛けたり、何等か高負荷 IO のシステムが動作しているなどの状況でない限り、
基本的には上記の Adaptive Resync が影響を最小限に制御してくれるはずです。
> ・vSANのリバランスはvSANクラスタへの新しいノードを追加する時や、ノードを撤去するときにも発生する可能性はあるものでしょうか？
元のノードに搭載されたドライブの利用率が 80% を超えている場合には、新規ノードを追加した際に強制的にリバランスが開始されてしまうため IO 影響を気にされる場合は Yamato さんが記されたように、負荷の少ない時間帯にメンテナンスモードを解除するのが良いです。
そうでない場合で、vSAN 7.0 以降をご利用ならば "自動リバランス" をオフにしておき、リバランスを開始したいときにオンにする事が可能です。
> ・vSAN環境でESXiノードをクラスタから切り離す場合、残すノードへ全データの移行を行うと思いますが、
> この時もvSANリバランス時と同じレベルのパフォーマンス影響が出ると思ってよいでしょうか？
こちらはご認識の通りです。
新旧のハードウェアでクラスタ内で玉突きでサーバのリプレイスを行う場合には、
・新規サーバをクラスタに追加、データのリバランスを実施
・旧サーバを1台「データの全移行」でメンテナンスモードへ、データの退避が完了後クラスタから取り外し
・旧サーバの台数分、繰り返す
という流れになります。
ご参考まで、、、
いくつか補足します。
> vSAN構成での運用について、vSANのリバランスを起こさないことがベストプラクティスとだという
> 認識ですが、これが発生するとおおよそどれぐらいのパフォーマンス影響が発生するものでしょうか？
現在の vSAN 7.x ではリバランスに関しては各ドライブの利用率の差分で自動リバランスする設定が可能ですので、
アンバランスのまま運用するより均等に分散させる運用が推奨されますので、リバランスを起こさない事がベストプラクティスというわけではありません。
また、リバランス発生時の IO 性能に関して、vSAN 6.7 で導入された Adaptive Resync、6.7u3 で導入された Parallel Resync によりバックエンドの Resync Traffic を割と適正に制御していますので仮想マシン側への性能影響はかなり抑えられます。
Adaptive Resync in vSAN
https://core.vmware.com/resource/adaptive-resync-vsan
実際に一定 IO 負荷かけ続けた状態で Resync が始まった状態でパフォーマンスグラフを確認すると、
仮想マシン側の IOPS・スループットは一定状態ですが、バックエンドの通信では "リカバリ書き込み" に関する IO が上乗せされ、リカバリ書き込みの通信がバーストしないように対象の通信にのみ遅延を意図的に入れて制御する動作が確認できます。
上記の Core TechZone の記事にもありますが、Resync 中に仮想マシン IO やその他の IO と競合して帯域を食いつぶさないように、競合時には 20％ までが Resync に利用され、残り 80% が仮想マシンなどのその他の通信で利用できるように調整されます。
※ 以前の vSAN では手動で MBps 単位で再同期の帯域制御を設定しましたが、現在は Adaptive Resync がその役割を担っています。
> これぐらい業務用のIOPSが下がるとか、CPU使用率が上がるとか、もしなにか指標などあれば情報をいただけますでしょうか。
性能影響への目安は非常に難しいところで、上記の様に 20:80 で制御しなければならないくらい仮想マシン IO が高い環境下ならば性能が IO 性能は 20% 低下する可能性があります。
それ以上にノード数や構成されるドライブ構成によっても Resync IO がどの程度発生して、どの範囲に分散されるかによってもノード当たりの IO 負荷は異なりますし、ドライブの種別（SSD or HDD、NVMe or SAS or SATA、SSD そのものの性能差など）によっても大きく異なってきます。
一般的には Queue Depth の大きい SAS、NVMe のドライブで構成していただく方が SATA ドライブよりも高い性能を安定的に提供可能です。
ベンチマークテストで負荷を掛けたり、何等か高負荷 IO のシステムが動作しているなどの状況でない限り、
基本的には上記の Adaptive Resync が影響を最小限に制御してくれるはずです。
> ・vSANのリバランスはvSANクラスタへの新しいノードを追加する時や、ノードを撤去するときにも発生する可能性はあるものでしょうか？
元のノードに搭載されたドライブの利用率が 80% を超えている場合には、新規ノードを追加した際に強制的にリバランスが開始されてしまうため IO 影響を気にされる場合は Yamato さんが記されたように、負荷の少ない時間帯にメンテナンスモードを解除するのが良いです。
そうでない場合で、vSAN 7.0 以降をご利用ならば "自動リバランス" をオフにしておき、リバランスを開始したいときにオンにする事が可能です。
> ・vSAN環境でESXiノードをクラスタから切り離す場合、残すノードへ全データの移行を行うと思いますが、
> この時もvSANリバランス時と同じレベルのパフォーマンス影響が出ると思ってよいでしょうか？
こちらはご認識の通りです。
新旧のハードウェアでクラスタ内で玉突きでサーバのリプレイスを行う場合には、
・新規サーバをクラスタに追加、データのリバランスを実施
・旧サーバを1台「データの全移行」でメンテナンスモードへ、データの退避が完了後クラスタから取り外し
・旧サーバの台数分、繰り返す
という流れになります。
ご参考まで、、、