Skip navigation

Hadoop 検証環境がほしくなり、

せっかくなので vSphere Big Data Extentions(BDE)を試してみようと思います。


vSphere Big Data Extensions

http://www.vmware.com/jp/products/big-data-extensions

 

BDE は、vSphere 環境で

Hadoop クラスタの自動プロビジョニングや VM 追加などができるソリューションです。

GUI(vSphere Web Client のプラグイン)と

CLI(serengeti)どちらでも、Hadoop 環境を構築できます。

ちなみに、これまで serengeti というプロジェクトで取り組まれていたもので

その名前が残っています。

 

この機能は、OVF 形式(.ova ファイル)で提供されていて、

vCenter から vApp としてデプロイできます。

 

BDE の vApp は、2つの VM を含みます。

この BDE で Hadoop クラスタを構成する場合は

検証目的でも Hadoop 環境にそこそこマシンスペックが高くないと厳しいと思いますが

この vApp 自体にはそんなにリソースを必要としません。

  • management-server
    Hadoop クラスタの自動プロビジョニングや、
    クラスタへのノード追加、自動削除をする、BDEの管理サーバです。
    SSH でログインして、CLI(serengeti という名前)を実行することもできます。
  • hadoop-template
    Hadoop 関連のサーバを自動構成する時に使用するテンプレート用 VM です
    vApp に含まれますが、普段は起動しない VM です。

 

それでは、BDE をデプロイしてみます。

今回は、vSphere 5.5 u1 の環境を使用しています。

 

まず、Web Client で vCenter にログインして、

インベントリのどこかに「OVF テンプレートのデプロイ」 をします。

vApp なので、一応 DRS クラスタにデプロイしています。

bde-deploy01.png

 

BDE の OVF ファイルを指定します。

  • VMware-BigDataExtensions-2.0.0.951-1885370_OVF10.ova

今回は、BDE 2.0 を使用しています。評価版は MyVMware からダウンロードできます。

bde-deploy02.png

 

BDE の vApp は、

シックプロビジョニングの場合、デプロイに 40GB 以上のディスク容量が必要です。

シン プロビジョニングであれば、10GB に収まるようです。(初期だと 7.6GB)

これとはべつに、Hadoop クラスタの容量が必要になります。

bde-deploy03.png

 

EULA を「承諾」して「次へ」をクリック。

bde-deploy04.png

 

vApp の名前を変更できます。デフォルトだと

「vSphere Big Data Extensions Server」です。

bde-deploy05.png

 

デプロイ先のデータストアを指定します。

今回は データストアの空き容量があまりなく、

検証環境なので、今回は「Thin Provision」(シン プロビジョニング)にしました。

bde-deploy06.png

 

BDE の vApp に含まれる、

管理サーバが使用するネットワーク(ポートグループ)を指定します。

Network 1 は IPv4、Network 2 は IPv6 で使用するようです。

bde-deploy07.png

 

BDE の管理サーバに対する設定を入力します。

  • 「Initialize Resources?」のチェックは ON にしておきます。
  • VCSSO(vCenter SSO)の Lookup Service の URL は、
    ホスト名の部分を VCSSOのアドレスに書き換えます。
    VCSSOは、だいたいvCenter と一緒だと思うので、
    ここでは、vCenter のアドレスを指定することが多いでしょう。
  • 参照する DNS サーバのアドレスもここで指定します。

まだこの画面で入力します・・・

bde-deploy08.png

 

管理サーバのネットワーク設定も入力します。

  • ネットワーク設定のタイプ(Static か、DHCP か)
  • IP アドレス
  • ネットマスク
  • デフォルトゲートウェイ

入力したら「次へ」。

bde-deploy09.png

 

ちなみに、上記の画面の「~ Network 2 Settings」では IPv6 の設定も出来ますが、

今回は IPv6 を使用しないのでデフォルトのままにしています。

bde-deploy10.png

 

「次へ」・・・

bde-deploy11.png

 

確認画面が表示されるので、内容を確認して「終了」すると

OVF のデプロイ処理が開始されます。

bde-deploy12.png

 

OVF のデプロイ処理が完了すると、

下記のように vApp が作成されています。

VM が 2つ含まれていることもわかります。

bde-deploy13.png

 

vApp を「パワーオン」します。

bde-deploy14.png

 

BDE の管理サーバ(management-server)だけ起動し

テンプレート用 VM(hadoop-template) は起動されません。

bde-deploy15.png

 

以上、BDE のデプロイでした。セットアップはつづく・・・

vSphere で Hadoop してみる。BDE 第2回