vSphere Big Data Extentions(BDE) では

Hadoop のスレーブノードを、後から追加したりできます。

手動でのスケールアウトだけでなく、

Elastic Scaling という自動でのノード増減機能もあります。

 

今回は、手動でのノード追加(スケールアウト)を、

BDE の Web Client プラグインから実行してみました。


BDE のセットアップについては、こちらをどうぞ。

vSphere で Hadoop してみる。(Big Data Extentions) 第1回

 

手動でのスケールアウト

 

BDE の Web Cliet プラグインの「Big Data Clusters」画面を開いて、

スレーブノードのスケールアウトをしたいクラスタで

右クリックして「Scale Out」をクリックします。

bde-manual-scale-out-01.png

 

スレーブノード(worker)の、

スケールアウト後の台数を指定します。

今回は、3台から5台に台数を増やしてみます。

bde-manual-scale-out-02.png

 

クラスタの Status が Updating になります。

Worker を 5 VM に拡張中です。

bde-manual-scale-out-03.png


しばらく待つと完了して、Status が Running になります。

bde-manual-scale-out-04.png

 

自動スケールアウトについて

 

BDE には、さらに

自動的に Hadoop のスレーブノード数を増減させる

Elastic Scaling という機能があります。

 

この機能は、スレーブノードのうち Compute Node を対象とします。

ここでの Compute Node は、MapReduce の TaskTracker のことです。


BDE で作成した

スレーブノードが「DataNode + TaskTracker」になっているクラスタでは

Elastic Scaling を有効にすることはできませんでした。

「cluster setParam」コマンドも、Compute Only のクラスタでないとダメなようです。

serengeti>cluster list --name hdp_cluster03

  ============================================================================

 

  CLUSTER NAME              :  hdp_cluster03

  AGENT VERSION             :  2.0.0

  DISTRO                    :  apache

  AUTO ELASTIC              :  N/A ★自動スケールアウトは無効状態。

  MIN COMPUTE NODES NUM     :  N/A

  MAX COMPUTE NODES NUM     :  N/A

  IO SHARES                 :  NORMAL

  STATUS                    :  RUNNING

 

  GROUP NAME  ROLES                                    INSTANCE  CPU  MEM(MB)  TYPE    SIZE(GB)

  ---------------------------------------------------------------------------------------------

  master      [hadoop_namenode, hadoop_jobtracker]     1         2    7500     SHARED  50

  worker      [hadoop_datanode, hadoop_tasktracker]    5         1    3748     LOCAL   50

  client      [hadoop_client, pig, hive, hive_server]  1         1    3748     SHARED  50

 

  ============================================================================

 

serengeti>cluster setParam --name hdp_cluster03 --elasticityMode AUTO --minComputeNodeNum 2 --maxComputeNodeNum 6

cluster hdp_cluster03 setParam failed: If the cluster is MRv1, then it must have compute only node group(s), and set/resetParam is only applicable to compute only node groups. On the other hand, we do not support elasticity on MRv2 (YARN) clusters yet.

 

だめでした。

というわけで、TaskTracker だけのスレーブノードをもつクラスタを作成して

Elastic Scaling を試してみようと思います。

 

つづく・・・

vSphere BDE で Elastic Scaling してみる。第2回(Compute-only Hadoop Cluster)