VMware Global Community
pooky3
Enthusiast
Enthusiast
Jump to solution

異なるディスク構成でvSANクラスタを組む際の懸念点

いつもお世話になっております。


既存vSANクラスタに新しくノードを増設したいと考えております。
vSANクラスタのノードは基本的に同一構成が推奨されると思いますが、
もろもろ事情がありまして、新規ノードには既存のホストの半分の
ディスク容量しか搭載することができません。


・vSANクラスタのノード間でディスク搭載量に差がある場合、
一般的に何か懸念点はありますでしょうか?


・vSANクラスタのノード間でディスクグループの構成が異なる場合、
(例えば既存が1ディスクグループ構成、新規が2ディスクグループ構成など)
一般的に何か懸念点はありますでしょうか?


もし上記のディスクがHDDの場合とオールSSDである場合でなにか違いがあれば、
そのあたりもアドバイスいただけると幸いです。


以上、何卒よろしくお願いいたします。

0 Kudos
1 Solution

Accepted Solutions
kawaman
Leadership
Leadership
Jump to solution


・vSANクラスタのノード間でディスク搭載量に差がある場合、
一般的に何か懸念点はありますでしょうか?

vSAN クラスタのデザインの詳細は以下のガイドにまとまっている情報となりますが、

vSAN などのストレージに関わらず、CPU、メモリを仮想化して 1つ大きなリソースに集め、切り分けて提供する仕組み上、
リソース量が大きいホストには多くの VM が稼働し、多くのデータが配置され、
リソース量が少ないホストは逆に VM やデータが少なく配置されます。

※ VM の負荷によって DRS でホスト間のリソース使用率が均等になる様に分散され、vSAN も構成するドライブの利用率が均等になる様にデータ分散されます。

その為、極端に大きな CPU・メモリリソースを持つホストには他より多くの VM が集まり、多くの vSAN ドライブが搭載されている場合は多くのデータが配置され、結果として IOPS や帯域利用も他ホストより大きくなります。

例えば、既存とほぼ同等構成ですがキャパシティドライブの本数だけが少ない場合、以下のようになります。

image (5).png

vSAN ではそれぞれのキャパシティドライブの利用率が機能になる様にデータが分散配置され、リバランスも行われるのでそれぞれの利用率は以下の様になります。

image (6).png

この場合、各ドライブに配置されるデータ量はほぼ均等になるので、
特定のキャパシティドライブに負荷が偏るという事はほぼ起きませんが、

1~3 のホストはホスト 4 より多くのデータを持っているのでその分データの IO は多くなり、
キャッシュドライブも多く使われます。

 

追加ホスト 4 のキャパシティドライブの容量が異なり既存より大きい場合は以下のようになり、

image (7).png

image (8).png

同じ性能を持つキャパシティドライブであれば、容量が大きいドライブの方に多くデータが配置され、その分多くのストレージ IO 負荷が掛かり、ドライブのインターフェースや HBA にも IO 負荷が他のホストより多く掛かります。
負荷の限界に達するような IO 過負荷状態では性能劣化がホスト 4 から起きる、という事も考えられます。

ただ、CPU の世代が1世代~2世代違うホストが混在可能なように
上記の様な 2倍程度ではそのようなアンバランスになる事は少ないと思います。


・vSANクラスタのノード間でディスクグループの構成が異なる場合、
(例えば既存が1ディスクグループ構成、新規が2ディスクグループ構成など)
一般的に何か懸念点はありますでしょうか?

ディスクグループの違いの混在も同様に考えてよいと思います。
既存が 1 ディスクグループ なのに追加ノードが 5 ディスクグループなど極端に違わない限り問題はないです。

image (9).png

 
前提としては以上となりますが、
ホスト間のリソース量が均等でない場合でも、2倍~3倍くらいの差であれば極端な負荷が掛かる限界状態でなければ問題にはなる事はほぼないです。
これは上記 VMware vSAN Design Guide の Asymmetric Configurations Considerations の箇所でも説明されております。
 
容量やドライブの本数が 5 倍違うホストが追加される様な場合など、明らかにそのホストにデータが寄り過ぎた状態で障害が発生すると、データの再構成先の確保が出来なくなるリスクもあります。極端に容量や構成が異なるホストの混在はこの観点からも避けた方が良いです。
 
また、All Flash 構成と Hybrid 構成は同一 vSAN クラスタに混在できませんが、
同じ All Flash 構成でも、例えば All NVMe ドライブで構成された高速な vSAN クラスタに、SAS + SATA など明らかにドライブ性能が異なるホストが追加すると性能が低い方に引っ張られてしまうので非推奨となります。
 
 

もし上記のディスクがHDDの場合とオールSSDである場合でなにか違いがあれば、
そのあたりもアドバイスいただけると幸いです。

Hybrid 構成の HDD の場合、ドライブ 1本あたりの容量が近年劇的に増えていますが、
ドライブとして IOPS・スループットの限界はほぼ変わっていないので、容量の差が大きいとその分性能影響に直結しやすいのでご注意ください。

ドライブのインターフェースやディスクグループ構成でどう性能に影響が出るのかを以前に個人ブログにまとめておりますのでよろしければ参考にしていただければ幸いです。

https://kwmtlog.blogspot.com/2020/06/storage-perf-design-for-vsan.html

 

View solution in original post

2 Replies
kawaman
Leadership
Leadership
Jump to solution


・vSANクラスタのノード間でディスク搭載量に差がある場合、
一般的に何か懸念点はありますでしょうか?

vSAN クラスタのデザインの詳細は以下のガイドにまとまっている情報となりますが、

vSAN などのストレージに関わらず、CPU、メモリを仮想化して 1つ大きなリソースに集め、切り分けて提供する仕組み上、
リソース量が大きいホストには多くの VM が稼働し、多くのデータが配置され、
リソース量が少ないホストは逆に VM やデータが少なく配置されます。

※ VM の負荷によって DRS でホスト間のリソース使用率が均等になる様に分散され、vSAN も構成するドライブの利用率が均等になる様にデータ分散されます。

その為、極端に大きな CPU・メモリリソースを持つホストには他より多くの VM が集まり、多くの vSAN ドライブが搭載されている場合は多くのデータが配置され、結果として IOPS や帯域利用も他ホストより大きくなります。

例えば、既存とほぼ同等構成ですがキャパシティドライブの本数だけが少ない場合、以下のようになります。

image (5).png

vSAN ではそれぞれのキャパシティドライブの利用率が機能になる様にデータが分散配置され、リバランスも行われるのでそれぞれの利用率は以下の様になります。

image (6).png

この場合、各ドライブに配置されるデータ量はほぼ均等になるので、
特定のキャパシティドライブに負荷が偏るという事はほぼ起きませんが、

1~3 のホストはホスト 4 より多くのデータを持っているのでその分データの IO は多くなり、
キャッシュドライブも多く使われます。

 

追加ホスト 4 のキャパシティドライブの容量が異なり既存より大きい場合は以下のようになり、

image (7).png

image (8).png

同じ性能を持つキャパシティドライブであれば、容量が大きいドライブの方に多くデータが配置され、その分多くのストレージ IO 負荷が掛かり、ドライブのインターフェースや HBA にも IO 負荷が他のホストより多く掛かります。
負荷の限界に達するような IO 過負荷状態では性能劣化がホスト 4 から起きる、という事も考えられます。

ただ、CPU の世代が1世代~2世代違うホストが混在可能なように
上記の様な 2倍程度ではそのようなアンバランスになる事は少ないと思います。


・vSANクラスタのノード間でディスクグループの構成が異なる場合、
(例えば既存が1ディスクグループ構成、新規が2ディスクグループ構成など)
一般的に何か懸念点はありますでしょうか?

ディスクグループの違いの混在も同様に考えてよいと思います。
既存が 1 ディスクグループ なのに追加ノードが 5 ディスクグループなど極端に違わない限り問題はないです。

image (9).png

 
前提としては以上となりますが、
ホスト間のリソース量が均等でない場合でも、2倍~3倍くらいの差であれば極端な負荷が掛かる限界状態でなければ問題にはなる事はほぼないです。
これは上記 VMware vSAN Design Guide の Asymmetric Configurations Considerations の箇所でも説明されております。
 
容量やドライブの本数が 5 倍違うホストが追加される様な場合など、明らかにそのホストにデータが寄り過ぎた状態で障害が発生すると、データの再構成先の確保が出来なくなるリスクもあります。極端に容量や構成が異なるホストの混在はこの観点からも避けた方が良いです。
 
また、All Flash 構成と Hybrid 構成は同一 vSAN クラスタに混在できませんが、
同じ All Flash 構成でも、例えば All NVMe ドライブで構成された高速な vSAN クラスタに、SAS + SATA など明らかにドライブ性能が異なるホストが追加すると性能が低い方に引っ張られてしまうので非推奨となります。
 
 

もし上記のディスクがHDDの場合とオールSSDである場合でなにか違いがあれば、
そのあたりもアドバイスいただけると幸いです。

Hybrid 構成の HDD の場合、ドライブ 1本あたりの容量が近年劇的に増えていますが、
ドライブとして IOPS・スループットの限界はほぼ変わっていないので、容量の差が大きいとその分性能影響に直結しやすいのでご注意ください。

ドライブのインターフェースやディスクグループ構成でどう性能に影響が出るのかを以前に個人ブログにまとめておりますのでよろしければ参考にしていただければ幸いです。

https://kwmtlog.blogspot.com/2020/06/storage-perf-design-for-vsan.html

 

pooky3
Enthusiast
Enthusiast
Jump to solution

kawamanさん


ご回答ありがとうございます。
図も付けていただき、分かりやすかったです。


一般的にリソース容量が多いホストがあればそこに多くのデータが配置されて
そこに多くの負荷がかかるが、極端にアンバランスなクラスタ構成にしなければ
そこまで問題ではない、ということで理解しました。

0 Kudos