Skip navigation

今月は1日1回くらい、さまざまな ネステッド vSAN 6.7 U1 を構成してみています。

 

一連の投稿へのリンクは下記をどうぞ。

ネステッド vSAN 6.7 U1 を楽しむ。まとめ

 

昨日はこちら。

ネステッド vSAN 6.7 U1 を楽しむ。2018-12-14

 

15日目は、2ノード vSAN を展開して、その監視ホストを

疑似的に vSAN から物理的に距離があるデータセンタに配置してみます。

 

vSAN-Cluster-20181215 クラスタ

  • ESXi: 2 ノード
  • 監視ホストの vSAN Witness Appliance は、離れたデータセンタに配置。
    • 2ノード vSAN の Witness と、監視ホストの vSAN ネットワークは、別セグメント。
    • 監視ホストへのトラフィックは、ネットワーク遅延あり。

 

vSAN ノードと監視ホストの構成について。

2ノード vSAN の ESXi ホストと、監視ホストを別ネットワークに配置しています。

  • vCenter と vSAN の ESXi: 192.168.1.0/24 ネットワーク
  • 監視ホスト: 192.168.10.0/24 ネットワーク

vsan-adv-d15-01.png

 

この2つのネットワークは、拠点間接続ルータ役の Linux VM で疑似的に構成しています。

vsan-adv-d15-08.png

 

拠点間接続ルータ役の Linux の構成。

今回利用した Linux は、Oracle Linux 7.5 です。

ホスト名は、VM 名にあわせて「lab-gw-01」にしています。

[root@lab-gw-01 ~]# cat /etc/oracle-release

Oracle Linux Server release 7.5

 

vNIC を 2つ用意して、それぞれのセグメントの IP アドレスを付与しておきます。

 

vSAN ネットワーク側 vNIC(vNIC#1)のネットワーク設定。

[root@lab-gw-01 ~]# ip address show ens192

2: ens192: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP group default qlen 1000

    link/ether 00:50:56:a0:d4:4a brd ff:ff:ff:ff:ff:ff

    inet 192.168.1.25/24 brd 192.168.1.255 scope global noprefixroute ens192

       valid_lft forever preferred_lft forever

    inet6 2400:4070:1b32:6100:250:56ff:fea0:d44a/64 scope global mngtmpaddr dynamic

       valid_lft 14381sec preferred_lft 14381sec

    inet6 fe80::250:56ff:fea0:d44a/64 scope link

       valid_lft forever preferred_lft forever

 

監視ホスト ネットワーク側 vNIC(vNIC#2)のネットワーク設定。

[root@lab-gw-01 ~]# ip address show ens224

3: ens224: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP group default qlen 1000

    link/ether 00:50:56:a0:d3:9b brd ff:ff:ff:ff:ff:ff

    inet 192.168.10.25/24 brd 192.168.10.255 scope global noprefixroute ens224

       valid_lft forever preferred_lft forever

    inet6 2400:4070:1b32:6100:250:56ff:fea0:d39b/64 scope global mngtmpaddr dynamic

       valid_lft 14293sec preferred_lft 14293sec

    inet6 fe80::250:56ff:fea0:d39b/64 scope link

       valid_lft forever preferred_lft forever

 

簡易的なルータとして動作するように、

firewalld を停止して、net.ipv4.ip_forward を有効「1」にしておきます。

なお、今回の ip_forward の設定は一時的なもので、Linux OS を再起動すると無効に戻ります。

[root@lab-gw-01 ~]# systemctl stop firewalld

[root@lab-gw-01 ~]# systemctl disable firewalld

[root@lab-gw-01 ~]# sysctl -w net.ipv4.ip_forward=1

 

vCenter / ESXi と監視ホストとのネットワーク接続性。

vSAN クラスタの vCenter / ESXi と、監視ホストとで

デフォルト ゲートウェイ設定だけではネットワーク接続できない場合は、

スタティック ルートを設定する必要があります。

 

たとえば、ESXi では下記のように esxcli でルーティングを設定できます。

[root@esxi-01:~] esxcli network ip route ipv4 add --network 192.168.10.0/24 --gateway 192.168.1.25

[root@esxi-01:~] esxcli network ip route ipv4 list

Network       Netmask        Gateway       Interface  Source

------------  -------------  ------------  ---------  ------

default       0.0.0.0        192.168.1.1   vmk0       MANUAL

192.168.1.0   255.255.255.0  0.0.0.0       vmk0       MANUAL

192.168.10.0  255.255.255.0  192.168.1.25  vmk0       MANUAL

 

また、vCenter Server Appliance では下記のように

Appliance Shell(appliancesh)でルーティングを設定できます。

VMware vCenter Server Appliance 6.7.0.20000

 

Type: vCenter Server with an embedded Platform Services Controller

 

Last login: Sat Dec 15 13:19:46 2018 from 192.168.1.240

Connected to service

 

    * List APIs: "help api list"

    * List Plugins: "help pi list"

    * Launch BASH: "shell"

 

Command> networking.routes.add --prefix 24 --interface nic0 --destination 192.168.10.0 --gateway 192.168.1.25

Command> networking.routes.list

Routes:

  1:

      Static: False

      Destination: 0.0.0.0

      Interface: nic0

      Prefix: 0

      Gateway: 192.168.1.1

  2:

      Static: False

      Destination: 192.168.1.0

      Interface: nic0

      Prefix: 24

      Gateway: 0.0.0.0

  3:

      Gateway: 192.168.1.25

      Prefix: 24

      Destination: 192.168.10.0

      Interface: nic0

      Static: True

 

疑似的なネットワーク遅延の構成。

まず、vSAN と監視ホストとの間でネットワーク遅延が特にない状態です。

vsan-adv-d15-04.png

 

lab-gw-01 のゲスト OS で、tc コマンドを利用してネットワーク遅延を発生させます。

なお、今回は ens192(vNIC#1)に遅延設定をしていますが、

SSH 接続経路の NIC に遅延設定をいれると操作が遅くなるため、

環境によっては別方向の NIC(vNIC#2 である ens224 など)に遅延設定をしてもよいです。

 

設定変更まえの、Linux ルータでの vNIC の状態です。

まだネットワーク遅延(delay)をエミュレーションする設定はありません。

[root@lab-gw-01 ~]# tc qdisc show dev ens192

qdisc pfifo_fast 0: root refcnt 2 bands 3 priomap  1 2 2 2 1 2 0 0 1 1 1 1 1 1 1 1

 

vSAN のリモートサイトの監視ホストとのネットワーク遅延は、500ms までサポートされています。

Networking and Latency Requirements

 

vSAN の健全性チェックにある「サイト遅延の健全性」の閾値も 500ms なので、

あえて 550ms の遅延を発生させてみます。

[root@lab-gw-01 ~]# tc qdisc add dev ens192 root netem delay 550ms

[root@lab-gw-01 ~]# tc qdisc show dev ens192

qdisc netem 8001: root refcnt 2 limit 1000 delay 550.0ms

 

vSAN の ESXi から監視ホストへ ping を実行しておくと、設定した瞬間に遅延が発生したことがわかります。

vsan-adv-d15-05.png

 

ネットワーク遅延がある環境なので、健全性チェックでも「再テスト」で警告となりました。

vsan-adv-d15-06.png

 

遅延設定は、下記のようなコマンドラインで解除できます。

[root@lab-gw-01 ~]# tc qdisc del dev ens192 root

 

設定すると、ネットワーク遅延が解消されます。

vsan-adv-d15-07.png

 

このように、手軽にネットワーク遅延のテストができたりします。

ネスト環境で、物理マシン 1台でこのような検証をする場合は、

今回のように物理マシン内にルータ役の VM も置いたりすることがあります。

 

つづく。

ネステッド vSAN 6.7 U1 を楽しむ。2018-12-16