vvjapanescalati Tracker

VxRail : VxRail APIを利用したDNS/NTP変更手順

vvjapanescalati — Mon, 10 Jul 2023 02:51:00 GMT

■VxRail Rest APIについて

VxRail ManagerではAPIを提供しており、APIを利用してVxRailのDNSやNTPの設定変更が可能です。

VxRail ManagerのAPIに関するドキュメントはAPI User Guideというものが提供されていますが、

Dell Technologies Developer というサイトにも各製品のProduct向けのAPIガイドがあり、

VxRailもこのサイトでAPI情報を提供しているため、Developer サイトにて新しい情報が展開されております。

Dell EMC VxRail API User Guide

https://support.emc.com/docu91468_VxRail-Appliance-4.5.x,-4.7.x,-and-7.0.x-API-Guide.pdf

Explore APIs

https://developer.dell.com/apis

⇒ VxRail API

実際の利用法としては、下記のURLへアクセスすることでGUIベースでのAPI利用が可能となっております。

https:// <VxRail Manager IP>/rest/vxm/api-doc.html

APIのメニューでは下記のような画面が表示されます。

画面ははDNS情報を取得するGet DNSのAPI例（オレンジ枠）です。

画面上にはそのAPIに関する情報や実際に実行するRequest（赤枠）や、

Responseコードごとの項目の説明（黄色枠）が提供されています。

またResponse結果例（紫枠）やサンプルコード（緑枠）も提供されています。

なお英語版のみとなりますがYoutubeでも動画にて利用方法についてご案内しておりますのであわせてご参照ください。

Getting Started with the VxRail API

VxRail API Overview

API利用方法の参考手順としてDNSの変更手順をご紹介します。

※設定変更系のAPIを利用する際は作業前にVxRail ManagerやVCSAのスナップショットをご取得しておくことを推奨いたします

■DNS変更手順例

※NTPの場合は"Get DNS" や "Set DNS" の項目を"Get NTP" と "Set NTP" のAPIに置き換えて下さい

１．VxRail REST APIのページへアクセスします。

https:// <VxRail Manager IP>/rest/vxm/api-doc.html

下記のようなVxRail REST APIのOverviewが表示されます。

VxRail Manager Serverにて正しいVxRail Manager IP が表示されていることを確認してください。

画面左側に目的ごとにAPIが区分けされております。「＞」マークを押下することで、利用可能なAPIが表示されます

DNSやNTPに関するAPIはSystem informationを展開してください

２．現在のDNSの設定を確認するため、System information > Get DNS of VxRail cluster を選択します

３． Get DNSのAPIのメニューに遷移しますので、画面右側のAuth欄に、User(administrator@vsphere.local) / password を入力し、「Send Request」を押下することでAPIを実行できます。

APIの実行結果が"Response"として表示されます。

実行結果については、「Responses」にあるレスポンスコードごとに情報がございます。

４．次にDNSの値を変更するため、System information > Set DNS of VxRail cluster を選択します

５．Set DNSのAPIのメニューに遷移しますので、IPアドレスの変更をAPIを利用して実行します

・画面右側のAuth欄に、User(administrator@vsphere.local) / password を入力

・Body欄に必要な情報を入力します。入力に関する情報は画面左側の「Body」欄に情報があります。

- components："VXM" 又は "ALL"　を入力してください

　※VXMはVxRail Managerの変更、ALLはVxRail Manager/VCSA/ESXi の変更 (デフォルトではALL)

- 設定するServerが一つの場合は、下記のようにServersの項目を編集します（最後の","も削除してください）

情報を入力後、「Send Request」を押下することでAPIを実行できます。

※下記Bodyの実行例は、componentsを"VRM"、serversに２つのIPアドレスを指定しているため、

　VxRail Managerの設定を指定した２つのIPアドレスに変更する、といったものとなります

APIの実行結果が"Response"として表示されます。

実行結果については、「Responses」にあるレスポンスコードごとに情報がございます。

（"200 OK"と出ていれば変更が正常に完了しています）

上記でAPIを利用したVxRailのDNS設定変更が完了します

■補足

●新しいDNSサーバーでの名前解決ができるかの確認について

VxRail Managerにmysticユーザーでログインし、

digコマンドを利用することで新しいDNSサーバーで名前解決ができるか確認することが可能です。

変更前に必ずVxRail ManagerやVCSA, ESXiの名前解決ができるか確認をお願いいたします。

# dig @<DNS IP> -x <確認対象のIPアドレス> +short

# dig @<DNS IP> <確認対象のFQDN> +short

問題ない場合には以下のようにそれぞれ正逆ともに結果が返ります。

mystic@vxm-XXX:~> dig @<DNS IP> -x <確認対象のIP(例 ESXiのIP)> +short

<確認対象のFQDN(例 ESXiのFQDN)>

mystic@vxm-XXX:~> dig @<DNS IP> <確認対象のFQDN(例 ESXiのFQDN)> +short

<確認対象のIP(例 ESXiのIP)>

VxRail上のvSphere製品のライフサイクルにつきまして

vvjapanescalati — Mon, 17 Oct 2022 03:52:22 GMT

VxRail上のvSphere製品のライフサイクルにつきまして～サポート期限は大丈夫ですか？～

VxRail上のvSphereをはじめとしたVMware製品につきましては、
VMware社のサポートポリシーにしたがって対応を行わせて頂いております。
2022/10/15以降 vSphere(vCenter/ESXi)6.5,6.7 はジェネラルサポートが終了し、
テクニカルガイダンスのフェーズとなることに伴うサポートの違いについてご説明致します。

VMware製品におけるサポートフェーズについて

VMware vSphere製品では以下の段階でのサポートフェーズがございます。

・ジェネラルサポートフェーズ

　メジャーリリースの一般発売日(GA)からジェネラルサポート終了(Enc of General Support)
となる日時までの間、メンテナンスアップデートとアップグレード、不具合とセキュリティの修正、
技術情報の提供等が提供されます。

・テクニカルガイダンスフェーズ

　ジェネラルサポートが終了してテクニカルガイダンスフェーズとなったバージョンでは、
　メンテナンスアップデートおよびアップグレード、新たなセキュリティパッチやバグ修正、
　ハードウェアのサポート(ドライバ等含む)、サーバ/クライアント/ゲスト OS のアップデート
　等の提供がされなくなり、ジェネラルサポート終了日までに発見されている既存の問題や事例,
ドキュメント等の公開されている情報からのご案内のみのフェーズとなります。

　テクニカルガイダンスとなった時点で確認されていなかった新たな事象に関しましては、
基本的に不具合修正等は提供されない他、調査の結果として要因特定不可となり、
対処策としてその時点でのジェネラルサポートフェーズであるバージョンへのアップグレードを
ご提案させていただくことも多く、ご期待に沿った回答が行えない場合が御座います
(回避策をご提示させて頂くための前提条件として、バージョン更新を実施頂く場合が御座います)。

　※VMware社のサポートポリシーでは重要度 1(Sev1)のサポートは同フェーズでは行われておりません。
VxRailの場合にはSev1の場合弊社で受付させていただき調査等は行わせていただきますが、
その中でVMware製品の問題の可能性がある場合にはVMware社のサポートポリシーに準拠しますので、
それまでの既知事象として発見・公開されていない問題についてはジェネラルサポートフェーズの
　　バージョンへのアップグレードのご提案となる場合がございます。

　※VxRail製品の場合にはテクニカルガイダンスフェーズとなった際にもお電話での受付も可能でございます

・サポート終了(EOSL)

　テクニカルガイダンスフェーズが終了しますと、サポート終了となります。
　この場合、ライセンスをお持ちであった場合でもライセンスの使用と、
お客様ご自身によるVMware Knowledgeの検索等は提供されておりますが、
　サポートへのVMware製品のお問い合わせ調査は行えなくなります。

　※VxRailの場合にはサポート終了となったバージョンをご使用の場合には
　　ハードウェア部分のみ対応が可能です。そのためまずはハードウェアの問題か否かを
　　拝見させていただき、ソフトウェア要因との判断に至った場合については、
対応致しかねる場合が御座います。

以上のことから、テクニカルガイダンスのフェーズとなったバージョンについては
お客様のご期待に添えかねるサポート体験となる場合が御座いますので、あらかじめご了承ください。
テクニカルガイダンスのフェーズとなったバージョンをご使用の場合には、
お早めにジェネラルサポートフェーズのバージョンへのアップグレードをいただくことをおすすめいたします。

参考：
VMware Product Lifecycle Matrix
https://lifecycle.vmware.com/#/
VMware のライフサイクルポリシー
https://www.vmware.com/jp/support/lifecycle-policies.html

仮想基盤を将来にわたって安全かつ快適に使い続けるために〜vSphere のライフサイクル対応をしっかり検討〜(1/3)
https://juku-jp.vmware.com/solutions/vsphere-lifecycle-policy/

VMware KB#70650に基づいたVxRailにおけるクラスタ起動手順

vvjapanescalati — Wed, 23 Mar 2022 19:27:04 GMT

VxRailでは、VxRail Manager GUIにてクラスタのシャットダウンボタンを提供しており、

簡単にクラスタシャットダウンを実施できます。

しかしながらVMware KB#60424 (https:/kb.vmware.com/s/article/60424)で紹介されている通り、

vSAN環境では、シャットダウン手順によってはデータの不整合を引き起こす恐れがあり、

KBに従ったStepによってシャットダウンを実施することも可能となっております。

vSAN 6.7 Update 3以降では、VMware KB#60424の手順の簡略化として

VMware KB#70650 (https://kb.vmware.com/s/article/70650) が公開されております。

本記事は、VxRail 4.7.300以降のすべてのVersionで適用されます。

また常にKB側を最新情報として必ずご確認ください。

※本記事を公開するにあたり十分検証確認を行っておりますが、データ保全に関して当アカウントは責任を負いかねますのであらかじめご了承下さい。

まず、大まかな流れとしては、下記のようになります。

■Node起動編

　1. Nodeの起動

　2. メンテナンスモードの解除

■vSANトラフィックの復活・仮想マシン起動編

　1. vSANトラフィックの復活

　2. すべてのESXiにてvSANに関する設定値変更のコマンド実施

　3. VCSA/PSCの仮想マシンを起動

※VxRail 7.0以降ではVCSAのみ存在します

　4. vCLS VMの作成（retreat modeの無効化）

※本項目はVxRail 7.0.100 以降で必要です

※VxRail 4.7およびVxRail 7.0.100未満では不要となります

　5. vSphere HA のEnable

　6. vSANの健全性確認

　7. VCSA/PSC以外のすべての仮想マシンを起動

各Stepについて記載していきます。

■Node起動編

　1. Nodeの起動

※Nodeの起動前に各Nodeが接続されているTORスイッチが起動していることを確認してください

電源ケーブルを抜いている場合は接続し、iDRAC/BMC経由、又は物理的に電源ボタンを押してNodeを起動してください
また、ESXiが正常に起動していることをモニターや仮想コンソールから併せて確認してください

　2. メンテナンスモードの解除（全てESXiで実施してください）

"esxcli vsan cluster get | grep "Maintenance Mode State""にて、メンテナンスモードかどうかの確認（ON の場合、メンテナンスモード状態）
"esxcli system maintenanceMode set -e false"にて、メンテナンスモードの解除を実施

# esxcli vsan cluster get | grep "Maintenance Mode State"

# esxcli system maintenanceMode set -e false

■vSANトラフィックの復活・仮想マシン起動編

　1. vSANトラフィックの復活

vSAN切り離しのScriptを1台のESXiで実行します（一番最後のESXiで実行など必ず1台のみで実施してください）
※「Cluster reboot/poweron is completed successfully!」が出力されることを確認します

# python /usr/lib/vmware/vsan/bin/reboot_helper.py recover

[root@:~] python /usr/lib/vmware/vsan/bin/reboot_helper.py recover Begin to recover the cluster... Time among hosts are synchronized. Scheduled vSAN cluster restore task. Waiting for the scheduled task...(22s left) Checking network status... Network checking done. Cluster reboot/poweron is completed successfully!

　2. すべてのESXiにてvSANに関する設定値変更のコマンド実施

# esxcfg-advcfg -s 0 /VSAN/IgnoreClusterMemberListUpdates

　3. VCSA/PSCの仮想マシンを起動

※VxRail 7.0以降ではVCSAのみ存在します

シャットダウン時にメモしたESXiホストのHost Clientにログインし、VCSA/PSCの仮想マシンを起動する

なお、PSC -> VCSAの順に仮想マシンを起動させていください

またVxRail ManagerをDNSとして利用しているInternal DNS構成の場合は、VxRail ManagerをVCSAより先に起動させる必要があり、その後Solve Online上にも記載がございますが、VCSA仮想マシンの再起動とVxRail Manager内部のサービス再起動（またはVxRail Manager VM自体の再起動）の必要性がございます。

※なおHost Clientは下記でアクセスが可能です

https:// <ESXi host ip address>

　4. vCLS VMの作成（retreat modeの無効化）

※本項目はVxRail 7.0.100 以降で必要です

※VxRail 4.7およびVxRail 7.0.100未満では不要となります

　　4-1. vSphere Client へログイン

　　4-2. vCenter Server > 構成 > 詳細設定 > 右上の設定の編集を押下

　　4-3. 検索欄にて、vclsといった文字列でパラメータを確認

　　4-4. パラメータのFalseをTrueに変更し、保存を押下

　　4-5. vCLSが起動していることを確認

※vCLSが起動している状態の場合には下図のような表示となります

　5. vSphere HA のEnable

外部vCenterにてvSAN Clusterを管理し、Shutdown前にDRSの設定を変更していた場合は、DRSも元の設定に戻してください

vSAN Cluster > 構成 > vSphereの可用性の編集を選択

vSphere HAをEnable （下記状態がEnable の状態）

　6. vSANの健全性確認

下記を参照して、クラスタの健全性を確認します

VxRail: Health Check 方法（https://communities.vmware.com/docs/DOC-40038）

vSAN Cluster > 監視 > vSAN > Skyline健全性（または健全性）> 再テスト

　7. VCSA/PSC以外のすべての仮想マシンを起動

VxRail Managerなど、その他の仮想マシンの起動を実施します

上記手順にてVxRail クラスタ起動手順が完了します

VMware KB#70650に基づいたVxRailにおけるクラスタシャットダウン手順

vvjapanescalati — Wed, 23 Mar 2022 19:26:48 GMT

VxRailでは、VxRail Manager GUIにてクラスタのシャットダウンボタンを提供しており、

簡単にクラスタシャットダウンを実施できます。

しかしながらVMware KB#60424 (https:/kb.vmware.com/s/article/60424)で紹介されている通り、

vSAN環境では、シャットダウン手順によってはデータの不整合を引き起こす恐れがあり、

KBに従ったStepによってシャットダウンを実施することも可能となっております。

vSAN 6.7 Update 3以降では、VMware KB#60424の手順の簡略化として

VMware KB#70650 (https://kb.vmware.com/s/article/70650) が公開されております。

本記事は、VxRail 4.7.300以降のすべてのVersionで適用されます。

また常にKB側を最新情報として必ずご確認ください。

まず、大まかな流れとしては、下記のようになります。

■事前準備編

　1. vSANの健全性確認

　2. vSphere HA のDisable

■仮想マシン停止編

　1. VCSA/PSC以外のすべての仮想マシンをシャットダウン

　2. vCLS VMの削除（retreat modeの有効化）

※本項目はVxRail 7.0.100 以降で必要です

※VxRail 4.7およびVxRail 7.0.100未満では不要となります

　3. VCSA/PSCのシャットダウン

※VxRail 7.0以降ではVCSAのみ存在します

■vSAN切り離し・シャットダウン編

　1. すべてのESXiにてvSANに関する設定値変更のコマンド実施

　2. vSAN切り離しのScriptを1台のESXiで実行

　3. ESXiをメンテナンスモードに移行

　4. Nodeをシャットダウン

各Stepについて記載していきます。

■事前準備編

　1. vSANの健全性確認

下記を参照して、クラスタの健全性を確認します。

VxRail: Health Check 方法（https://communities.vmware.com/docs/DOC-40038）

特に「データ」-「VSANオブジェクトの健全性」の項目にて、「健全」以外の項目がすべて0であることを確認します。

2. vSphere HA のDisable

Clusterの設定として vSphere HAが有効化されている場合には、Disableに変更します。

vSAN Cluster > 構成 > vSphereの可用性の編集を選択

vSphere HAをDisable（下記状態がdisableの状態）

なお外部vCenterにてvSAN Clusterを管理している場合、ESXiホストをメンテナンスモードに移行時に不要な仮想マシンの移動を防ぐため、DRSは"Manual(手動)"への変更を推奨させていただきます。

■仮想マシン停止編

　1．VCSA/PSC以外のすべての仮想マシンをシャットダウン

vCenter Server ApplianceとPlatform Service Controllerを除くすべての仮想マシンをシャットダウンします。

※VxRail ManagerをDNSとして利用しているInternal DNS構成の場合は、VxRail Managerを停止するとDNSによる名前解決ができなくなるため、VxRail Manager VMのシャットダウンは、VCSA/PSCのシャットダウンのステップで実施してください

　2．vCLS VMの削除（retreat modeの有効化）

※本項目はVxRail 7.0.100 以降で必要です
※VxRail 4.7およびVxRail 7.0.100未満では不要となります

retreat modeの有効化については、VMware KB:80472などに手順の記載がございます。

vSphere Cluster Services (vCLS) in vSphere 7.0 Update 1 and newer versions (80472)
https://kb.vmware.com/s/article/80472

クラスタの退避モードへの切り替え
https://docs.vmware.com/jp/VMware-vSphere/7.0/com.vmware.vsphere.resmgmt.doc/GUID-F98C3C93-875D-4570-852B-37A38878CE0F.html

下記はvSphere Clientを使用した変更方法を記載します。
※KB情報やVMware Docsを常に最新情報としてご認識ください

　　2-1. vSphere Client へログイン

　　2-2. Shutdown するVxRail Cluster を選択し、ブラウザのURLにある「domain-c<数字>」のような形式のクラスタのドメインIDをメモします

　　2-3. vCenter Server > 構成 > 詳細設定 > 右上の設定の編集を押下

　　2-4. 検索欄にて、vclsといった文字列ですでにパラメータが存在するか確認

存在する場合には、パラメータのTrueをFalseに変更し、保存を押下

存在しない場合には、下図のように名前（config.vcls.clusters.domain-c<数字>.enabled）と値（False）を入力し、
追加ボタンを押下、vCenter Server の詳細設定の編集の保存を押下

※数字の欄を2-2で確認した値に書き換えてください

　　2-5. vCLSが3台シャットダウンされ、削除されたことを確認

※vCLSが起動している状態の場合には下図のような表示となります

3. VCSA/PSCのシャットダウン

※VxRail 7.0以降ではVCSAのみ存在します

起動時に困らないように、PSCおよびVCSAが稼働しているESXiホストをメモするか特定のESXiホストへvMotionを実施します。

シャットダウンの手順は様々ありますが、下記は例としてVAMI（アプライアンス管理インターフェース）からのシャットダウン手順をご案内します。

VAMI（アプライアンス管理インターフェース）へアクセスするには、それぞれ、VCSA/PSCのIP address宛にhttpsで5480ポートを指定してアクセスできます。

https://VCSA-ip-address:5480/

https://PSC-ip-address:5480/

■vSAN切り離し・シャットダウン編

　●事前作業
　各ESXiホストのsshを有効にする
　※以下サイトに、ESXiのsshを有効にする方法がございます
　　・VxRail: ESXi、vCenter、PSCのSSH有効化
　　　https://communities.vmware.com/docs/DOC-39994

　1. すべてのESXiにてvSANに関する設定値変更のコマンド実施

# esxcfg-advcfg -s 1 /VSAN/IgnoreClusterMemberListUpdates

　2. vSAN切り離しのScriptを1台のESXiで実行（一番最後のESXiで実行など必ず1台のみで実施してください）

　※Cluster preparation is done! と結果が出ましたら問題ございません。

# python /usr/lib/vmware/vsan/bin/reboot_helper.py prepare

　3. ESXiをメンテナンスモードに移行（全てESXiで実施してください）

"esxcli vsan cluster get | grep "Maintenance Mode State""にて、メンテナンスモードかどうかの確認（ON の場合、メンテナンスモード状態）

"esxcli system maintenanceMode set -e true -m noAction"にて、No Actionのオプションでメンテナンスモードへ移行実施

# esxcli vsan cluster get | grep "Maintenance Mode State"

# esxcli system maintenanceMode set -e true -m noAction

　4. Nodeをシャットダウン（全てESXiで実施してください）

vSphere Host Client または、DCUIよりESXiのシャットダウンなど手順は様々ありますが、CLIでの実施も可能です

# esxcli system shutdown poweroff -r ClusterShutdown

DCUIの場合、仮想コンソール（または実機のコンソール）を開き、[Alt] + [F2]を押してESXiの画面に移動してから、[F12] を押しESXiのroot userでLoginを実施

なおpassword入力時は、"Login name"の部分で正しくキーボード入力されるか確認してから実施すると良いです

仮想コンソールのキーボード設定によって"@"などの位置が違う場合がございます

"Shutdown/Restart"のMenuが表示されるので、[F2] Shut Downを選択してESXiのShutdownを実施してください

上記手順にてVxRail クラスタ停止手順が完了します

※シャットダウンを実施してもiDRACへの接続が可能なのは問題ありません

VxRail:クラスター全体でvSphere HAを再構成する

vvjapanescalati — Sun, 23 Feb 2020 01:15:32 GMT

vSphere HAが有効なクラスタ環境の場合、ESXiホストにHAに関する警告が表示される場合があります。

このような場合、発生した警告からVMwareナレッジを検索し、対処を行うことになります。

ただ、ESXiを右クリック「vSphere HA用に再構成」では解消されない場合があり、

そのような場合についてはクラスタ全体としてvSphere HAを再構成する方法が有効です。

以下にその方法を画像付きで紹介したいと思います。

vSphere Web Client

vCenter Web Clientにログインします。
インベントリを「ホストおよびクラスタ」に切り替えます。
クラスタを選択し「管理」タブ「設定」からvSphere HAの「編集」ボタンを表示します。
編集をクリックすることでクラスタの「設定の編集」ウィザードが表示されます。
「Turn on vSphere HA」のチェックを外し、ウィザード下部の「OK」ボタンをクリックします。
クラスタの再設定タスクが完了するまで待機します。
再度クラスタの「設定の編集」画面から「Turn on vSphere HA」をチェックし、「OK」をクリックします。
vSphere HAの再設定タスクが実行されるので完了まで待機します。

上記がWeb ClientでのvSphere HAの再構成の手順となります。

vSphere Client(HTML5 Client)

vCenter のHTML 5 Clientにログインします。
インベントリを「ホストおよびクラスタ」に切り替えます。
クラスタを選択し「設定」からvSphere HAの「編集」ボタンを表示します。
「編集」ボタンをクリックすることでクラスタの「設定の編集」ウィザードを表示します。
「vSphere HA」スライドクリックし（緑からグレー）、「OK」をクリックします。
クラスタの再設定タスクが完了するまで待機します。
再度クラスタの「設定の編集」画面から「vSphere HA」スライドをクリックし（グレーから緑）、「OK」をクリックします。
クラスタの再設定タスクが完了するまで待機します。

上記がvSphere Client(HTML5 Client)でのHA再構成の手順となります。

HAに関する警告が解消されるかご確認ください。

VxRail：VxRailに使用するVMware License keyの取得、適用方法

vvjapanescalati — Sun, 10 Oct 2021 10:14:09 GMT

本記事では、Dell EMCよりVMware License key購入された際にVxRailに適用する方法を記載いたします。

LicenseはVMware License(vSAN, ESXi)が対象となります。

■Licenseの適用の流れ
1. ライセンス情報に関して
2. DELL Digital Lockerに関して
3. パートナーアクティベーションポータルに関して
4. vSphere ライセンスキーの割り当てに関して
■注意点

■Licenseの適用の流れ

DELL EMCよりVMwareのLicenseをご購入の際には、

DELL EMCのサイトよりPAC（パートナーアクティベーションコード）というものが提供され、

そのPACをVMware社のパートナーアクティベーションポータルにてアクティベーションの実施をすることで、実際に使用するvSpere License keyを取得することができます。

※OEMライセンスといった形式となります

具体的には下記のような流れとなります

ライセンスに関する情報（registration codeなど）をメールにて受領
DELL Digital Lockerにて ”registration code”を使用して、PAC（パートナーアクティベーションコード）を取得
パートナーアクティベーションポータルにて PAC（パートナーアクティベーションコード）をアクティベーションし、vSphere ライセンスキーを取得
取得したvSphere ライセンスキーをvSphere Web Client (又はWeb Client)よりライセンスの割り当てを実施

これらの作業に関しては、それぞれのサイトにてお客様のアカウントとの連携が必要となり、基本的にはお客様にて実施いただいている作業となります。

※提供されたLicenseのVersionと種類及び適用するVxRailのVersionを必ずご確認ください

1. ライセンス情報に関して

a. 発注処理などが完了すると、下記のようなDELL Digital Lockerのご案内のメールがお客様宛に届きます

※メールフォーマットが多少異なる場合がございます

b. メール内の記載手順を参考いただき、Dell Digital Lockerへログインおよび登録等を実施します

　※購入方法などによって、registration codeといったLicenseの登録コードが記載されている場合もございます

ライセンスに関するメールが届かない場合は、Dell EMCの営業担当、又は導入パートナー様へご確認ください

2. DELL Digital Lockerに関して

Dell EMCのサイトより、PAC（パートナーアクティベーションコード）を取得します

a.下記のサイトより、DELL Digital Lockerへメールアドレスおよびパスワードを入力してLoginを実施します

http://www.dell.com/support/software

　※お客様が Dell My Account（Dell マイアカウント）をお持ちでない場合は、まずアカウントの作成が必要です

　※サインイン後、Dell Software License Agreement が出てくる場合は、「はい、同意します」を選択してください

b. 左側のナビゲーションから「製品（Digital Products 又は Products）」を選択

※購入したLicenseが一覧にない場合には、「製品登録（Product Registration）」よりメールに記載のあるregistration code（登録コード）を入力して登録します

※製品登録にて所有者の登録を実施した場合には、弊社側のシステム登録の反映にお時間がかかる場合がございます

　その際には、時間を置いて再度確認をお願いします

c. PAC（パートナーアクティベーションコード）を取得するLicenseを選択

PAC（パートナーアクティベーションコード）を取得するLicenseを選択し

「キーの取得（Get key）」を選択して、表示される手順に従って進めることでPAC（パートナーアクティベーションコード）を取得できます

※PACの生成後、60日以内にVMwareのパートナーアクティベーションポータルからActivateする必要がありますのでご注意ください。

DELL Digital Lockerやアカウントに関しては、下記のページを参考にしてください

■DELL Digital Locker よくあるお問い合わせ（FAQ）

https://www.dell.com/support/software/jp/ja/jpbsd1/default/quickstartguide

■デルの「マイアカウント」に関するよくあるお問い合わせ（FAQ）

デルの「マイアカウント」に関するよくあるお問い合わせ（FAQ） | Dell 日本

■Dell Digital Lockerにアクセスする方法

Dell Digital Lockerにアクセスする方法 | Dell 日本

3. パートナーアクティベーションポータルに関して

PAC（パートナーアクティベーションコード）から、製品に割り当てができるvSphere ライセンスキーを取得します

a. 下記のサイトより、MyVMwareのユーザー及びパスワードを入力してLoginを実施します

　DELL Digital Lockerにてパートナーアクティベーションポータルが表示されますので、下記のURLと違う可能性もございます

https://www.vmware.com/oem/code.do?Name=DELL-AC または

https://www.vmware.com/oem/code.do?Name=DELLVXRAIL-AC

※お客様が MyVMwareのアカウントをお持ちでない場合は、まずアカウントの作成が必要です

b. PACのアクティベーション

［パートナーアクティベーションコードのVMware登録］ページの［アクティベーションコード］ボックスに2. で取得したPACを入力します

Menuを進めることで、vSphere ライセンスキーを取得できます

c. vSphere ライセンスキーの確認

VxRailに適用するvSphere ライセンスキーが全て取得できているか確認してください

※PACからライセンスキーへの変換には、約30分-24時間ほど要します。

　変換後、ライセンスキーの結合/分割/移動・ダウングレード/アップグレードなどの操作を行っていただけるまでに、最大24時間ほど要する場合があります。

　変換後、時間をおいて作業を行ってください。

d. ライセンスの結合、分割（必要な場合は対応）

vSAN 用のLicenseなどがNode毎にライセンスキーが発行されている場合、統合処理（combine）が必要となります

下記VMware KBの結合手順にて実施をお願いします

※ESXiのライセンスにも必要な場合もございます

How to Divide or Combine License Keys in Customer Connect with troubleshooting steps (81616)

https://kb.vmware.com/s/article/81616

How to combine license keys:

また、余分に結合処理を実施してしまった場合は、下記のVMware KBの手順にて分割も可能です

How to Divide or Combine License Keys in Customer Connect with troubleshooting steps (81616)

https://kb.vmware.com/s/article/81616

How to Divide License Keys:

※結合（または分割）したいライセンスがMyVMwareに登録されていない場合は、下記のVMware KBをご参考に登録の実施をしてください

My VMware でライセンスキーを登録する (2011177)

https://kb.vmware.com/s/article/2011177?lang=ja

※提供されたLicenseのVersion及び適用するVxRailのVersionを必ずご確認ください

　vSphere 7 / vSAN 7 の Licenseは VxRail 7.X へしか適用できません

　適用するLicenseがvSphere 7で、VxRailのVersionが4.5, 4.7 の場合にはLicenseのダウングレードが必要となります

　How to Upgrade or Downgrade License Keys in Customer Connect with troubleshooting steps (81665)

　https://kb.vmware.com/s/article/81665

MyVMware(現名称：Customer Connect )での操作等に関しては、下記のページを参考にしてください。

Customer Connect に関する FAQ (2014350)

https://kb.vmware.com/s/article/2014350?lang=ja

必要に応じて、My VMwareポータルサポートお問い合わせへご相談ください。

My VMwareポータルサポートお問い合わせ窓口

https://www.vmware.com/jp/contact_license.html

【アカウント関連】

■How to create a Customer Connect profile (2007005)

https://kb.vmware.com/s/article/2007005

https://kb.vmware.com/s/article/2007005?lang=ja　（日本語版）

■デジタルダウンロードストアを使用して VMware OEM 製品ライセンスを登録およびアクティブ化する方法

デジタルダウンロードストアを使用して VMware OEM 製品ライセンスを登録およびアクティブ化する方法。 | Dell US

【操作関連】

■My VMware 操作ガイド(こちらのPDFが分かりやすい資料です)

https://www.vmware.com/content/dam/digitalmarketing/vmware/ja/pdf/support/VMware_License_Support_Manual.pdf

P48. [OEM製品購入時] PACからライセンスキーへの変換

■OEM (Original Equipment Manufacturer) パートナーアクティベーションコード (PAC) ポータル (2011587)

https://kb.vmware.com/s/article/2011587?lang=ja

■How to register a VMware Partner Activation Code (PAC)

How to register a VMware Partner Activation Code (PAC) - YouTube

4. vSphere ライセンスキーの割り当てに関して

取得したライセンスキーの製品への割り当てを実施します

【ライセンスの追加】

a. vSphere web Client（又はWeb Client）へadministrator権限でLoginします

b. 画面上部のMenuから"Administration"を選択し、Licenses のMenuを選択

c. Licensesにある"＋Add New Licenses" を選択し、3.で取得したvSphere ライセンスキーを入力しNEXT

d. Edit License names にて、Product欄に取得したLicenseの詳細が正しいか確認し、License Nameに任意の名前を入力しNEXT

　次のMenuでFinishを選択し、Licensesの画面にて追加したLicense情報が表示されているか確認

※この時点では、vSAN ClusterやESXiへLicenseの適用は完了していませんのでご注意ください

【ライセンスの適用】

a. Assets にあるListからライセンスの適用を実施する対象を選択し、Assign Licenseを選択

VCENTER SERVER SYSTEMS：VCSAのライセンス

HOSTS：ESXi関連のライセンス

CLUSTERS：vSANのライセンス

下記の例の場合、VxRail-Virtual-SAN-ClusterというClusterにvSANライセンス（License 9）を適用していきます

b. Assign LicenseのMenuにて、EXISTING LICENSESにて新しく追加したLicenseを選択

c. 適用したLicenseの情報を確認（Liceseの種類、Expiration等）

【参考情報】

■新規ライセンスを作成

https://docs.vmware.com/jp/VMware-vSphere/6.7/com.vmware.vsphere.vcenterhost.doc/GUID-41AAD7D2-2A25-458B-B2CF-7D08042A1803.html

【ライセンス概要等】

■ESXi ホストのライセンス

https://docs.vmware.com/jp/VMware-vSphere/6.7/com.vmware.vsphere.vcenterhost.doc/GUID-7AFCC64B-7D94-48A0-86CF-8E7EF55DF68F.html

■ESXiホストのライセンスの設定

https://docs.vmware.com/jp/VMware-vSphere/6.7/com.vmware.vsphere.vcenterhost.doc/GUID-1B128360-0060-40F2-A6F0-43CD2534B034.html

■Virtual SAN が有効なクラスタのライセンス

https://docs.vmware.com/jp/VMware-vSphere/6.7/com.vmware.vsphere.vcenterhost.doc/GUID-31AADB51-799C-40C2-882C-8D71B31C4BB9.html

■vSAN クラスタのライセンス設定

https://docs.vmware.com/jp/VMware-vSphere/6.7/com.vmware.vsphere.vsan-planning.doc/GUID-A2A2EDDA-4C4D-438C-98DF-6511C5DF72B2.html

■ Dell EMC VxRail: Troubleshooting guide for License issues

https://support.emc.com/kb/535402

■ Dell EMC VxRail: How to activate PAC for vSphere License

https://support.emc.com/kb/531914

■ VxRail: PAC expired before deployment.

https://support.emc.com/kb/537422

■注意点

・Licenseによる機能制限に関して

VxRailは稼働してから60日間の使用可能なEvaluation Licenseという、すべての機能が使用できる状態のLicenseで初期導入時されます

ご購入されたLicenseの種類によっては、導入直後に使用可能だった機能（DRS等）が使用できなくなる機能もございますのでご注意ください

・ブラウザに関して

Dell Digital LockerやMyVMwareで操作が正常に動作しない場合、ブラウザを変更すると成功する場合もございます

https://kb.vmware.com/s/article/2006975?lang=ja

VMware KB#60424に基づいたVxRailにおけるクラスタ起動手順（vSAN6.7U3未満に対応）

vvjapanescalati — Wed, 03 Aug 2022 00:49:08 GMT

※※ vSAN 6.7U3 以降の場合は VMware KB 70650をご確認ください

※※ VxRail 4.7.520/7.0.130 以降の場合は Dell Technologies の SolveOnlineの手順書を参照ください

VxRailでは、VxRail Manager GUIにてクラスタのシャットダウンボタンを提供しており、簡単にクラスタシャットダウンを実施できますが、

VMware KB#60424(https:/kb.vmware.com/s/article/60424) で紹介されている通り、停電対応などでvSANクラスタの全停止を伴う作業を実施した場合、vSAN Clusterの次回起動時にアクセスできないDiskやNodeがあると、関連する一部のvSAN データストア上のデータ（vSAN Object）にアクセス不可となる可能性があります。

この事象を防ぐために、上記KBに従ったStepによってシャットダウンを実施することを推奨しております。

※本記事を公開するにあたり十分検証確認を行っておりますが、データ保全に関して当アカウントは責任を負いかねますのであらかじめご了承下さい

本記事は、VxRail 4.7.300未満のすべてのVersionで適用されます。

VxRail 4.7.300以降のVersionをご使用の場合は、VMware KB#70650 の手順を参照してクラスタのシャットダウン・起動を実施してください。

下記EMCのKBに従ったVxRailの起動手順を詳細にご説明します。

　VxRail: vSAN cluster shutdown and restart may lead to data unavailability after a single failure (Related VMware KB# 60424)

　https://support.emc.com/kb/528792

VMTN コミュニティでは起動と停止の手順を以下の通り公開しています。

① VMware KB#60424に基づいたVxRailにおけるクラスタシャットダウン手順

② VMware KB#60424に基づいたVxRailにおけるクラスタ起動手順 <--- 本記事です

まず、大まかな流れとしては、下記のようになります。

■Node起動・ステータス確認編

　１．Nodeの起動

　２．vSAN Diskの正常ステータスの確認

　３．メンテナンスモードの解除

■vSANトラフィックの復活・仮想マシン起動編

　４．crontabの編集

　５．vSANオブジェクトの健全性確認

　６．crontabの再編集

　７．VCSA/PSCの仮想マシンを起動する

　８．VCSA/PSC以外のすべての仮想マシンを起動する

■Node起動・ステータス確認編

１．Nodeの起動

電源ケーブルを抜いている場合は接続し、iDRAC/BMC経由、又は物理的に電源ボタンを押してNodeを起動してください

また、ESXiが正常に起動していることをモニターや仮想コンソールから併せて確認してください

起動が完了したら、下記コマンドをすべてのESXiホストで実行しシャットダウン時と同じステータスであることを確認します

[root@esxi01:~] esxcli vsan cluster get | grep "Local Node State"
Local Node State: MASTER

なお、出力結果として”Local Node State: DISCOVER”と表示される場合があります。

その際、localcliコマンドで MASTERステータスであれば、問題ありません。

[root@esxi01:~] localcli vsan cluster get | grep "Local Node State"
Local Node State: MASTER

２．vSAN Diskの正常ステータスの確認

下記コマンドをすべてのESXiホストで実行し、全てのDiskの"In CMMDS:" の値が "true" であることを確認します

[root@esxi01:~] esxcli vsan storage list | grep "In CMMDS"
   In CMMDS: true
   In CMMDS: true
   In CMMDS: true
   In CMMDS: true
   In CMMDS: true
   In CMMDS: true

３．下記コマンドをすべてのESXiホストで実行し、メンテナンスモードの解除を実施します

[root@esxi01:~] esxcli system maintenanceMode set -e false

[root@esxi01:~] esxcli vsan cluster get | grep "Maintenance Mode State"
Maintenance Mode State: OFF

■vSANトラフィックの復活・仮想マシン起動編

４．すべてのESXiホストにて、crontabを編集していきます。

※すべてのESXiホストで同時に実行する必要があるため、4-4で設定する時刻はNode数と作業の手際を考慮した時刻で設定してください

4-1. 各ESXiホストにsshでログインし、クラスタシャットダウン時に配置したスクリプトを確認します。

・ls コマンドでファイルを転送したservice-datastore1のディレクトリにスクリプト「post_reboot.sh」があることを確認。

[root@esxi01:/vmfs/volumes/5d330ce3-a0099b84-7fbe-XXXXXXXXXXXX] ls -l
total 1024
drwxr-xr-x    1 root     root         73728 Jul 22 09:00 idrac
drwxr-xr-x    1 root     root         73728 Jul 20 15:37 images
drwxr-xr-x    1 root     root         73728 Jul 20 12:55 order
-rwxr-xr-x    1 root     root           498 Jul 24 12:43 post_reboot.sh
-rwxr-xr-x    1 root     root           346 Jul 24 12:43 pre_reboot.sh
drwxr-xr-x    1 root     root         69632 Jul 20 13:00 pservice
drwxr-xr-x    1 root     root         73728 Jul 22 09:00 ptagent
drwxr-xr-x    1 root     root         73728 Jul 20 13:02 reset
drwxr-xr-x    1 root     root         73728 Jul 20 12:55 vibs
d-w-r-xr-T    1 root     root         73728 Jul 20 13:36 vmkdump

・post_reboot.shに、追記した「esxcli vsan network ip add -i <VMkNic Name> -T=<Traffic Type>」の一文があることを確認

　※追記したものがない場合は、再度編集して追記してください

[root@esxi01:~] vi /vmfs/volumes/DE700xxxxxxx16-01-01-service-datastore1/post_reboot.sh

#!/bin/sh
# Make sure to do this before running pre_reboot.sh on hosts.
#
# Using the output of the command 'esxcli van network list', find
# the names of the vmknics and their associated traffic types.
#
# For each of those vmknics add one command to enable vsan traffic
# using the following command.
#
#
# esxcli vsan network ip add -i <VMkNic Name> -T=<Traffic Type>
#
# Ex 1:
# esxcli vsan network ip add -i vmk98 -T=vsan
# Ex 2:
# esxcli vsan network ip add -i vmk99 -T=witness
esxcli vsan network ip add -i vmk3 -T=vsan

4-2. rootのcrontabのバックアップをとっておく

[root@esxi01:~] cp /var/spool/cron/crontabs/root /vmfs/volumes/DE700xxxxxxx16-01-01-service-datastore1/root_crontab.BKP2

4-3. システムの現在時刻を確認する(VxRailではUTC <JST-9> のTimezoneとなります)

[root@esxi01:~] date
Sun Jul 28 03:38:56 UTC 2019

4-4. viコマンドでcrontabを編集し、下記のようなpost_reboot.shスクリプトを実行する1文を記載します

※クラスタシャットダウン時に記載した、pre_reboot.shスクリプトを実行する1文は削除してください

[root@esxi01:~] vi /var/spool/cron/crontabs/root

#min hour day mon dow command
1    1    *   *   *   /sbin/tmpwatch.py
1    *    *   *   *   /sbin/auto-backup.sh
0    *    *   *   *   /usr/lib/vmware/vmksummary/log-heartbeat.py
*/5 *    *   *   *   /bin/hostd-probe.sh ++group=host/vim/vmvisor/hostd-probe/stats/sh
00   1    *   *   *   localcli storage core device purge
*/2 * * * * /usr/lib/vmware/vsan/bin/vsanObserver.sh ++group=host/vim/vmvisor/vsanobserver
*/5 *    *   *   *   /usr/lib/emc/secure_process.sh "timeout -t 90 /usr/bin/env python /bin/marvin-endpoint-post"
0 * * * * /bin/sh /opt/dell/DellPTAgent/scripts/clearTmpFile.sh
*/5 * * * * python /opt/dell/DellPTAgent/scripts/PTAgent_Monitor_35.pyc
*/15 *    *   *   *   /usr/lib/emc/collector.sh >> /var/log/emc/logs/mystic-collector.log 2>&1
*/1 *    *   *   *   /usr/lib/emc/secure_process.sh "/usr/lib/emc/shutdown_ESX.py"
30 4 28 7 * /vmfs/volumes/DE700xxxxxxx16-01-01-service-datastore1/post_reboot.sh

※数字は左から分時日月となりますので、上記例の場合、7/28 4:30(UTC<JST-9>)にpost_reboot.shを実行するように指定してあります。

※pre_reboot.shはシャットダウン時に使用するスクリプトのため、起動時には設定しないでください

4-5. 下記コマンドを実行してcrondを再起動し、編集したcrontabの内容を適用させます。

[root@esxi01:~] kill -HUP $(cat /var/run/crond.pid)

[root@esxi01:~] /usr/lib/vmware/busybox/bin/busybox crond

５．vSANオブジェクトの健全性確認を確認します。

5-1. 指定した時刻が過ぎてから、下記コマンドをすべてのESXiホストで実行し、cron jobの内容が問題なく実行されたことを確認します

[root@esxi01:~] esxcli vsan network list
Interface
   VmkNic Name: vmk3
   IP Protocol: IP
   Interface UUID: 1334335d-8295-a311-5c11-e4434b18d3b4
   Agent Group Multicast Address: 224.2.3.4
   Agent Group IPv6 Multicast Address: ff19::2:3:4
   Agent Group Multicast Port: 23451
   Master Group Multicast Address: 224.1.2.3
   Master Group IPv6 Multicast Address: ff19::1:2:3
   Master Group Multicast Port: 12345
   Host Unicast Channel Bound Port: 12321
   Multicast TTL: 5
Traffic Type: vsan

5-2. 下記コマンドをすべてのESXiホストで実行し、何も出力されずにプロンプトが返ってくることを確認します

[root@esxi01:~] cmmds-tool find -f python | grep -C5 CONFIG_STATUS | grep content | grep -v "state....7\|state....15"
[root@esxi01:~]

問題があるデータが存在する場合、何らかの返り値が出力されます。

６．すべてのESXiホストにて、crontabを編集していきます。

6-1. viコマンドでcrontabを編集し、下記のようにpost_reboot.shスクリプトを実行する1文を削除した状態にします

（クラスタシャットダウン実施前の状態）

[root@esxi01:~] vi /var/spool/cron/crontabs/root
#min hour day mon dow command
1    1    *   *   *   /sbin/tmpwatch.py
1    *    *   *   *   /sbin/auto-backup.sh
0    *    *   *   *   /usr/lib/vmware/vmksummary/log-heartbeat.py
*/5 *    *   *   *   /bin/hostd-probe.sh ++group=host/vim/vmvisor/hostd-probe/stats/sh
00   1    *   *   *   localcli storage core device purge
*/2 * * * * /usr/lib/vmware/vsan/bin/vsanObserver.sh ++group=host/vim/vmvisor/vsanobserver
*/5 *    *   *   *   /usr/lib/emc/secure_process.sh "timeout -t 90 /usr/bin/env python /bin/marvin-endpoint-post"
0 * * * * /bin/sh /opt/dell/DellPTAgent/scripts/clearTmpFile.sh
*/5 * * * * python /opt/dell/DellPTAgent/scripts/PTAgent_Monitor_35.pyc
*/15 *    *   *   *   /usr/lib/emc/collector.sh >> /var/log/emc/logs/mystic-collector.log 2>&1
*/1 *    *   *   *   /usr/lib/emc/secure_process.sh "/usr/lib/emc/shutdown_ESX.py"

6-2. 下記コマンドを実行してcrondを再起動し、編集したcrontabの内容を適用させます。

[root@esxi01:~] kill -HUP $(cat /var/run/crond.pid)

[root@esxi01:~] /usr/lib/vmware/busybox/bin/busybox crond

７．PSC -> VCSAの順に仮想マシンを起動します。

7-1. クラスタシャットダウン時にメモした、PSCおよびVCSAが稼働しているESXiホストのHost Clientにアクセスし、

PSC -> VCSAの順に仮想マシンを起動します。

左側のMenuのVirtual Machinesを選択します

vCenter Server Platform Services Controllerを選択し、Power ONを実施します

その後PSCの起動を確認し、vCenter Server Applianceも同様にPower ONを実施します

7-2. Health Checkの実施

VCSA及びPSCのPower Onが完了したら、vSANのHealth Checkを実施します。

vSphere Web ClientへLoginを実施し、

VxRail: Health Check 方法のvSAN ヘルスチェックを実施しエラーがないことを確認します

外部vCenterにてvSAN Clusterを管理し、Shutdown前にvSphere HA及びDRSの設定を変更していた場合は、元の設定に戻してください。

８．VCSA/PSC以外のすべての仮想マシンを起動します

VxRail ManagerやESRSを含めた、その他の仮想マシンの起動を実施します

vSANクラスタの計画停止を行う際、再起動時に故障により起動できないノードがあった場合に一部のデータにアクセスできなくなることがあります。

VxRail: vSphere Data Protection の Upgrade手順（参考資料） Part 2

vvjapanescalati — Sat, 13 Jul 2019 15:34:56 GMT

vSphere のライセンスにバンドルされるvSphere Data Protection VM（VDP）のUpgrade 方法です。

Part 2ではUpgrade VDPボタンを押下して、実際のUpgradeフェーズのご紹介します。

!!!!! 注意 !!!!!

vSphere Data Protection（VDP）のUpgradeはVxRailのサポートに含まれません。

VxRailのUpgradeの際にvSphere Data Protection（VDP）はUpgradeされませんので、お客様にて事前にUpgradeを実施いただく必要があります。

本資料は参考資料としていただき、正式な手順についてはVMware社の提供する資料をご参照ください。

本資料で紹介されない細かい手順や、トラブルシューティングなどについてもVMware社提供のKBやドキュメントを御参照ください

### vSphere Data Protection のUpgrade参考手順 ###

Upgradeの実行

前図赤枠内のUpgrade VDPボタンを押下してUpgradeを実行してください。

途中で１～２度ほどVDPとの接続が切れますが正常動作です。

切断されましたら再度ログインしてください。自動的にUpgradeの進捗画面へ遷移します。

実行中の画面については下記のGIFをご参考にしてください。

GIFが動かない場合は画像をクリックしてください

始まったら基本的に放置で問題ありません。

2回目の切断（Reboot）ののち再度接続してUpgradeタブにいくと、下図のようになにも表示されませんがまだUpgradeは続いています。

しばらくすると下図のように100％の画面が表示されます。

Upgradeが成功するとVDPは自動的にShutdownされます。

Upgrade事後作業

VDPの正常動作を確認

Upgradeが完了したらVDPを起動し、バックアップやVCとの接続性などを確認してください。

Upgrade後にvCenterから接続できなくなったら、一度web clientをLog out/inしてみてください。

それでもだめな場合はPSCとVCSAを再起動してみてください。

動作に問題がある場合はサポートへ連絡し、必要に応じてUpgrade前にSnapshotに戻してください

ShutDown～Snapshotの削除

VDPの正常稼働を確認できたら、WebClientからShutdownを実行してください。（VDP のSnapshotの取得の手順を参照）

WebClientからVDPを右クリックして「Snapshotの管理」を起動し、Upgrade前に取得したSnapShotを削除してください。

Hard Disk2以降の仮想ディスクのDisk Modeを「Independent - Persistent」にもどしてください。（VDP のSnapshotの取得の手順を参照）

ISOファイルのアンマウント

Shutdown状態のまま、Edit Settingより、以下の図を参考にISOファイルをアンマウントしてください。

※Client Deviceを選択して、ConnectedのCheckが外れていることを確認する

VDPのPowerOn

最後にVDPをPower ONしてください

サービスの正常動作を https://<IP_address_VDP_appliance>:8543/vdp-configure/ より確認してください。

Administration Guide（vSphere Data ProtectionのUpgrade概要（所要時間やマニュアル等）を参照）の“Running an Integrity Check” のセクションを参考に、手動にてIntegrity Checkを実行ください

Integrity Checkの実行

管理者ガイドの手順に従い、Integrity Checkを実施してください。

WebClientから簡単に実行できます。

Integrity Checkの進捗はWebClientのRecent Task Paneから確認できます。

（Option手順）仮想ハードウェアVersionのUpgrade

### 補足情報 ###

Intel CPUの脆弱性のFixを適用するためには仮想ハードウェアVersionが9以上である必要があります。

すでに対象Versionよりも高い場合、もしくはIntel CPU脆弱性の対応が不要な場合は本手順の実施の必須ではありません。

##############

一度VDPをShutdownしてください。

WebClientよりVDPを右クリックして、「Compatibility（日本語だと互換性）」を展開して、Upgrade VM Compatibilityを選択してください

Yesを選択してください

Intel CPUの脆弱性のFixを適用するためには仮想ハードウェアVersionが9以上である必要があります。

すでに対象Versionよりも高ければ実施の必要はありません。

仮想ハードウェアのUpgradeが完了したらVDPをPower Onしてください

Upgrade中に問題が発生したら。。。

公式の管理者ガイドの手順をよく読み、紹介されている手順を実施してください。

またそれでも解決されない場合は、検索エンジンよりVMware KBやVDPのRelease Noteを参照すると解決策が提示されていることがあります。

問題が解消されない場合はサポート窓口までご連絡ください

Upgrade後にバックアップに失敗したら

vSAN環境では以下に該当する可能性があります。

Dell EMC KB#494454

Dell EMC KB#494236

VxRail: vSphere Data Protection の Upgrade手順（参考資料） Part 1

vvjapanescalati — Sat, 13 Jul 2019 14:29:46 GMT

vSphere のライセンスにバンドルされるvSphere Data Protection VM（VDP）のUpgrade 方法です。

Part 1ではUpgrade前までのフェーズをご紹介します。

!!!!! 注意 !!!!!

vSphere Data Protection（VDP）のUpgradeはVxRailのサポートに含まれません。

VxRailのUpgradeの際にvSphere Data Protection（VDP）はUpgradeされませんので、お客様にて事前にUpgradeを実施いただく必要があります。

本資料は参考資料としていただき、正式な手順についてはVMware社の提供する資料をご参照ください。

本資料で紹介されない細かい手順や、トラブルシューティングなどについてもVMware社提供のKBやドキュメントを御参照ください

### vSphere Data Protection のUpgrade参考手順 ###

vSphere Data ProtectionのUpgrade概要（所要時間やマニュアル等）

#### 1 ．VDPアップグレードの方法（マニュアル等）

VDP 6.0の管理者ガイドに記載のあるUpgrade手順にて実施可能です。

なお、vDP6.1管理ガイドにはアップグレードに関する情報が無いため6.0でのガイドをご紹介しています。

各手順の詳細はvDP6.0管理ガイドを必ずご確認下さい。

・Administration Guide/管理者ガイド VDP 6.0

https://docs.vmware.com/en/VMware-vSphere/6.0/vmware-data-protection-administration-guide-60.pdf

・vSphere Data Protection Release Note

※Release NoteにはUpgradeに関する不具合や推奨が記載されているので必ず事前にお目通しください

検索エンジンで検索すると簡単にヒットします

またVMwareのものではありませんが、以下のサイトもご参考になるかと思います。

#### 2 ．VDPアップグレード時の影響範囲

Upgrade中はバックアップやリストアなどのオペレーションができなくなります。

#### 3 ．VDPアップグレード作業の想定時間

Upgrade自体に1-4時間ほどかかります。

前後の作業がスムーズに進んだ場合でもプラスして1時間は必要となりますので、

2時間~5時間程度（トラブル無の場合）必要となります。

弊社ラボ内で実施した際は、小さいサイズのVDPでしたが、UpgradeファイルのUploadとデータ整合性チェックに時間がかかったため、4時間必要でした。

事前にUpload～整合性チェックまでは実施されておくほうがよろしいかと思います。

現在のVersionの確認

vSphere Web Clientにログインして現在ご使用のVDPのVersionをご確認ください。

※ドロップダウンから対象のVDPを選択してConnectをClick

Configure タブからVersionを確認

互換性の確認

以下のVMware社のサイトより、VxRailのESXi/VCのVersionと互換性のあるVDPのVersionを確認し、UpgradeのターゲットのVersionを決めてください。

http://partnerweb.vmware.com/comp_guide2/sim/interop_matrix.php?#interop&68=&1=&2=&hideEmpty=false&hideUnsupported=false

※ターゲットVersionの選定について

互換性に問題がない場合でも6.1.4以降を推奨します。

Intel CPUの脆弱性に対応するためには6.1.8以降でないといけません

Upgrade Pathの確認

以下のVMware社のサイトを確認し、現在のVDPのVersionとターゲットVersionのUpgrade Pathをご確認ください。

VMware Product Interoperability Matrices

Upgradeファイルのダウンロード

VMware社のサイトよりターゲットVersionのVDPのUpgrade用ファイル（.iso）をダウンロードしてください。

ダウンロードページは検索エンジンから検索すると簡単に見つかります。

ダウンロードにはMy VMwareのアカウントが必要です。

VDP のSnapshotの取得

以下の手順でVDPのスナップショットをご取得ください

１．VDPのShutdown

WebClientからVDPを右クリックしてShutdown GuestOSを選択してシャットダウンしてください

２．Disk Modeの変更

右クリックのEdit Settingを選択し、Hard Disk2のDisk ModeをIndependent - Persistent からDependentに変更してください。

同じ操作をHard Disk3以降のすべてのDiskに対して実施してください

※Hard Disk3以降の仮想ディスクはManage Other Disksボタンから管理できます。

３．Snapshot の作成～PowerON

Hard Disk2以降のすべての仮想ディスクのDisk ModeをDependentにしたら、vSphere Data Protection VMの Snapshotを取得したのち、PowerON してください

Upgradeファイルのアップロード

vSANデータストアにフォルダを作成してvSphere Data ProtectionのUpgradeファイルをアップロードします。

下記のGIF動画を参考にUploadしてください

※GIFが再生されない場合は画像をクリックしてください

!!!! 補足情報 !!!!

WebClientからのUploadにはClientPluginのInstallが必要になります。

環境によってはClientPluginが正常に動作せずUploadが行えない場合があります。

その場合は、WebClientからUploadフォルダを作成したのち、WinSCPなどのソフトウェアを使用して、ESXiに接続し、作成したフォルダにファイルを転送してください

VDPにISOファイルをマウント

Power On済みのVDPに先ほどUploadしたISOファイルをマウントしてください。

vSphere WebClientの右クリックからEdit Settingを選び、下図を参考にISOファイルをマウントしてください。

※必ずConnectedのチェックボックスにCheckを入れてください。そうしないとマウントされません

VDPのサービスヘルスチェック～ISOファイルのマウントを確認

https://<IP_address_VDP_appliance>:8543/vdp-configure/

にアクセスして、Configurationタブですべてのサービスが正常に稼働していることを確認してください。

サービスの正常動作を確認したら、次はUpgradeタブへ移動してください。

ISOマウントが正しくマウントされ、自動の解凍処理が完了すると実施可能なUpgradeとして表示されます。

ISOのマウント～解凍～Upgradeの表示までは20分以上かかることがあります。

無事にファイルの解凍とチェックが完了し、Upgrade可能な状態になると以下のように表示されます。

Part 2ではUpgrade VDPボタンを押下して、実際のUpgradeフェーズのご紹介をさせていただきます。

VxRail :マニュアルでCluster shutdown を実施する方法

vvjapanescalati — Fri, 28 Jun 2019 10:13:03 GMT

本記事では、VxRail ManagerからCluster Shutdownが正常に動作しない場合などに、マニュアルでVxRailをShutdownする手順についてご紹介します。

はじめに

本コミュニティの手順はVxRailの正規手順のShutdown方法ではなく、Workaroundであることをご注意ください。

また、VMware KB 2142676に基づいた手順となっております。

最新の手順は、VMware KB 2142676をご参照ください。

A. 手動でのCluster shutdown 手順

1. 仮想マシンのShutdown実施

vSphere Web Clientにログインを実施し、ご使用されている全ての仮想マシンのShutdownを実施

VxRail ManagerのShutdownも実施し、Log insightおよびESRSをご使用の場合は併せてShutdownを実施してください

稼働している仮想マシンは上記のように、vCenter Server Appliance（VCSA）および、vCenter Server Platform Services Controller（PSC）のみの状態にしてください

2. VCSA及びPSCの稼働Hostの確認

仮想マシンのvCenter Server Appliance（VCSA）を選択し、summary欄にある"Host"を確認してVCSAがどのHost上で稼働しているかをメモ

vCenter Server Platform Services Controller（PSC）も同様にどのHost上で稼働しているかをメモしてください

※可能な場合、VCSA及びPSCの2つの仮想マシンをNode-1のHostにvMotionを実施することで、Cluster Power ON時に仮想マシンを見つけやすくなります

3. コンポーネントの再同期が発生の有無の確認

vSANのコンポーネントの再同期(Re-sync)が発生していないかを確認

発生していた場合、全ての再同期が完了を待つ必要があります。待たずにCluster Shutdownを実施するとデータ破損などが発生しうる可能性がありますのでご注意ください

vCenter Web Client にLoginし、"Host and Clusters"を選択

左側の最上部に位置するvSAN Clusterを選択し

Monitor > vSAN > Resyncing Componentsの項目を選択し、青矢印（更新ボタン）を押して下さい

下記は、コンポーネントの再同期が発生していない場合の表示です

下記は、コンポーネントの再同期が発生している場合の表示です

その場合は完了を待つようにしてください

4. VCSA及びPSCのShutdown

起動状態のvCenter Server Appliance（VCSA）及びvCenter Server Platform Services Controller（PSC）の停止を実施

仮想マシンのvCenter Server Platform Services Controller（PSC）を選択し、shutdownの実施をしてください

PSCのShutdownのオペレーションを実施後すぐに、vCenter Server Appliance（VCSA）もshutdownするようにしてください

5. 全てのESXi ShellをEnableの実施

仮想コンソールを使用する、またはNodeにKVMを接続してDCUI(Direct Console User Interface)へアクセスを実施

※仮想コンソールの使用方法は、VxRail:BMCの仮想コンソール機能を利用してDCUIを操作するをご確認ください

DCUIにアクセスしたら[F2]を押して、ESXiのroot userでLoginを実施します

※password入力時は、"Login name"の部分で正しくキーボード入力されるか確認してから実施すると良いです

　仮想コンソールのキーボード設定によって"@"などの位置が違う場合がございます

下記のようなSystem Configuration Menu が表示されたら、"Troubleshooting Options"を選択

画面右側で、"ESXi Shell is Enabled"となるように、画面左側の"Enable ESXi Shell"を押してShellのEnable実施をしてください

※上記のキャプチャの状態にしてください

上記を実施した状態で、[Alt] + [F1]を押してESXi Shellの画面を表示、root userでLoginしてください

※VxRail のvSAN Clusterの全てのESXiにて実施してください

ESXi Shell の使用はVMware KB:2004746も併せてご確認ください

https://kb.vmware.com/s/article/2004746

また、補足手順にvSphere Web Clientより実施する手順を記載しておりますので、Step 4実施前にGUI上からESXi ShellをEnableにしておくことも可能です

6. ESXiをメンテナンスモードへの移行を実施

esxcliコマンドを使用して、ESXiをメンテナンスモードに移行

"esxcli system maintenanceMode get"にて、メンテナンスモードかどうかの確認（Enableの場合、メンテナンスモード状態）

"esxcli system maintenanceMode set -e true -m noAction"にて、No Actionのオプションでメンテナンスモードへ移行実施

[root@VxRail-esxi01:~] esxcli system maintenanceMode get
Disabled
[root@VxRail-esxi01:~] esxcli system maintenanceMode set -e true -m noAction
[root@VxRail-esxi01:~]
[root@VxRail-esxi01:~] esxcli system maintenanceMode get
Enabled

※VxRail のvSAN Clusterの全てのESXiにて実施してください

7. ESXiのShutdownを実施

vSphere Host Client または、DCUIよりESXiのShutdownを実施

下記はDCUIでの操作を例にします

ESXi shellの画面にいる場合、[Alt] + [F2]を押してESXiの画面に移動してから、[F12] を押しESXiのroot userでLoginを実施

"Shutdown/Restart"のMenuが表示されるので、[F2] Shut Downを選択してESXiのShutdownを実施してください

VxRail のvSAN Clusterの全てのESXiにて実施してください。

電源ボタンなどが消灯しますので、必要に応じて電源ケーブルの抜線等実施してください。

B. 手動でのCluster Power ON 手順

1. ESXiの起動を実施

ESXiを起動

電源ケーブルを抜いている場合は接続し、iDRAC/BMC経由、又は物理的に電源ボタンを押してNodeを起動してください

2. ESXiのメンテナンスモード解除

vSphere Host ClientまたはESXi Shellを使用してメンテナンスモードの解除を実施

a. vSphere Host Clientの場合

vSphere Host Client(https://<ESXi IP>/ui)にLoginを実施

Action > Exit maintenance mode を選択

b. ESXi shellの場合

下記のコマンドを実施してメンテナンスモードを抜ける

[root@VxRail-esxi01:~] esxcli system maintenanceMode get
Enabled
[root@VxRail-esxi01:~] esxcli system maintenanceMode set -e false
[root@VxRail-esxi01:~]
[root@VxRail-esxi01:~] esxcli system maintenanceMode get
Disabled

VxRail のvSAN Clusterの全てのESXiにて実施してください

※全てのESXiでメンテナンスモードの解除を実施する前に次のステップを実行すると仮想マシンの破損が発生する可能性がございます

3. VCSA及びPSCのPower On

Cluster Shutdown時のStep2でメモした、vCenter Server Appliance（VCSA）とvCenter Server Platform Services Controller（PSC）がいるESXiのvSphere Host ClientにLogin

左側のMenuのVirtual Machinesを選択

vCenter Server Platform Services Controllerを選択し、Power ONを実施

その後、vCenter Server Applianceも同様にPower ONを実施

4. Health Checkの実施

VCSA及びPSCのPower Onが完了したら、vSANのHealth Checkを実施

vSphere Web ClientへLoginを実施

VxRail: Health Check 方法のvSAN ヘルスチェックを実施しエラーがないことを確認します

5. 仮想マシンのPower ONの実施

VxRail ManagerやESRSを含めた、その他の仮想マシンの起動を実施

### 補足手順

i) ESXi Shellのenable (disable)に関して

DCUIに接続をしなくてもvSphere Web Clientより各ESXiのShellをEnableにすることができます

vCenter Web Client にLoginし、"Host and Clusters"を選択し、ShellをEnableにするHostを選択

Configure > system欄のSecurity Profile > Services欄の"ESXi Shell"のステータスを確認

Stoppedであれば、Editボタンを押す(Runningの場合は、すでにEnableになっています)

Edit Security ProfileのMenuが表示されますので、

"ESXi Shell"を選択 > 下部の"Start"ボタンを押し、OKを押す

"ESXi Shell"のステータスがRunningになったことを確認

他のESXiでも有効にする場合は、同様の手順でその他のESXiの設定を変更してください

### 参考文献

・Shutting down and powering on a vSAN 6.x Cluster when vCenter Server is running on top of vSAN (2142676)

https://kb.vmware.com/s/article/2142676

・Using ESXi Shell in ESXi 5.x and 6.x (2004746)

https://kb.vmware.com/s/article/2004746

DTA 525859 に関する情報

vvjapanescalati — Fri, 28 Jun 2019 09:52:04 GMT

DTA 525859に関してご質問をいただいておりますので、情報を記載いたします

※情報は常に更新されますので差分などがある場合、DTA 525859およびVMware KB:58715の記載を正としてください

【事例要約】

vSAN 6.6以降の環境にて不具合が確認され、データの不整合が発生する場合があるものとなります

発生事象としては、VMware vSAN バージョン6.6以降でVMDKファイルの拡張を実施した際にデータの不整合が発生する場合があります

詳細は下記をご確認ください

■EMC DTA

DTA 525859: VxRail: Virtual Machines (VM) running VxRail 4.5.x may report in-guest data consistency issues following a disk extend operation, which may result in potential data integrity issues

https://support.emc.com/kb/525859

■Vmware KB

Virtual Machines running on VMware vSAN 6.6 and later report guest data consistency concerns following a disk extend operation (58715)

https://kb.vmware.com/s/article/58715

【対象筐体】

全てのVxRail のModelが対象(Gen2,Gen3/Quanta model, PowerEdge model)で、

ご使用のVxRail versionが 4.5.070 から 4.5.218 をご使用の筐体が対象となります

【対応方針】

VxRail 4.5.225へのアップグレードを実施することで対応可能です

このコードは修正パッチが含まれているESXi 6.5 EP9 へアップグレードされます

詳細は下記のRelease Notesをご確認ください

■VxRail Release Notes

VxRail Appliance Software 4.5.x Release Notes

https://support.emc.com/docu86659_VxRail_Appliance_Software_4.5.x_Release_Notes.pdf?language=en_US

■ESXi Patch Release

VMware ESXi 6.5, Patch Release ESXi650-201810001 (58852)

https://kb.vmware.com/s/article/58852

VMware ESXi 6.5, Patch Release ESXi650-201810401-BG - Updates esx-base, esx-tboot, vsan, and vsanhealth VIBs (58855)

https://kb.vmware.com/s/article/58855

また早期のUpgrade対応の実施が難しい場合、ワークアラウンドとしてClomEnableInplaceExpansionの設定値変更が提供されております

(詳細はDTA525859 (又は VMware KB:58715) の記載をご確認ください)

※ワークアラウンドを実施した場合、VxRail 4.5.225 へのアップグレード実施後に

ClomEnableInplaceExpansionの値をDefault 値の"1"に戻してください

VMware KB:58855に記載がございます

【その他】

vCenterが外部Networkに接続している環境では、vSAN Health Check(vSAN健全性)の

"オンライン健全性"にて"vSAN Critical Alert - Patch available for critical vSAN issue"の項目で、

Failed(失敗)のステータスが表示される場合がございます

また、"vSAN online health alarm VSAN Critical Alert - Patch available for critical vSAN issue"といった

アラームも検知されます

上記はDTA525859(又は VMware KB:58715)へのアップグレードまたはワークアラウンドの対応を促すものとなります

"Ask VMware"ボタンを押すと、KB:58715が案内されます

【よくある質問】

■DTAの対応は誰が実施可能でしょうか

お客様にてワークアラウンド(設定値変更)は実施可能でございます
VxRail 4.5.225へのアップグレードをご希望される方は弊社担当窓口までお問い合わせください

■Upgradeを希望する場合はどのように対応を進めればよいでしょうか

弊社にご連絡いただければ、Upgradeに関するやり取りを実施させていただきます
作業時間などの詳細情報もその際にご案内いたします

■ClomEnableInplaceExpansionの値を変更した場合、VMDKサイズの拡張は可能でしょうか

はい、値を変更後もVMDKの拡張は可能です

■ClomEnableInplaceExpansionは何のパラメータですか

VMDKの拡張(インプレース拡張)に関するパラメータでございますが、詳細情報はVMware社より開示されていません

■ClomEnableInplaceExpansionの変更時の作業影響を教えてください

ESXiのリブートやサービスの再起動は必要ございません
作業は全てのESXiのSSHをOpenにしていただき、全てのESXiにて設定コマンド("1"から"0"へ変更)を実施するのみとなります

VxRail: 「このホストにはCVE-2018-3646で記述されている問題に対する脆弱性があります。詳細およびVMwareの推奨については、https://kb.vmware.com/s/article/55636を参照してください」の警告、及びL1TF/Foreshadow問題への対応

vvjapanescalati — Fri, 28 Jun 2019 09:33:42 GMT

この文書ではvSphere Web Client/vSphere Host Client上に表示される題記の警告、またIntel社製CPU脆弱性問題:通称L1 Terminal Fault(L1TF)/Foreshadowへの対応について説明します。

※VxRailにおけるL1TF問題への対応全般についての情報をお求めの場合は、"L1 Terminal Fault(L1TF)とは"の項目以下を参照してください。

Ⅰ. 警告が発生する原因について

vCenter が6.0 U3hまたは6.5 U2c以上にUpgradeされており、且つESXiホストに対しCVE-2018-3646の対策(ESXi SCA Scheduler:ESXi サイドチャネル対応スケジューラ)が有効化されていない環境で発生します。

VxRailをご利用のユーザにおいては、下記の条件でCVE-2018-3646の対策(ESXi SCA Scheduler:ESXi サイドチャネル対応スケジューラ)が有効化されていない場合が該当します。

内部VCSA利用環境	VxRailが4.0.520、または4.5.218以上
外部vCenter利用環境	vCenterが6.0 U3hまたは6.5 U2c

Ⅱ. L1 Terminal Fault(L1TF)とは

Intel社からCVE-2018-3615、CVE-2018-3620、CVE-2018-3646の3つのCPUに関する脆弱性が公開されており、総称してL1 Terminal Fault(L1TF)、またはForeshadowと呼称されています。

このうち、VxRailとして対応が必用なものはCVE-2018-3620、CVE-2018-3646の2つです。

L1TF問題の概要については下記のページをご参照ください。

・Japan Vulnerability Notes: Intel 製 CPU の投機的実行機能に対するサイドチャネル攻撃 (L1TF, L1 Terminal Fault)
https://jvn.jp/vu/JVNVU97646030/
・Intel社公式ページ:Q3 2018 Speculative Execution Side Channel Update(英語)
INTEL-SA-00161

L1TF問題の詳細な技術情報については下記に掲載されています。

・Intel社公式ページ: "Deep Dive: Intel Analysis of L1 Terminal Fault"(英語)
https://software.intel.com/security-software-guidance/insights/deep-dive-intel-analysis-l1-terminal-fault

また、Intel社から内容が簡潔にまとまった動画(英語)も公開されています。

Ⅲ. L1TF/Foreshadow問題に対するVMwareからの案内

VMwareとしては、L1TF問題について下記のようにアナウンスしています。

・Intel プロセッサの「L1 Terminal Fault」(L1TF) 投機的実行の脆弱性に対する VMware の対応の概要 CVE-2018-3646、CVE-2018-3620、CVE-2018-3615 (55636)
https://kb.vmware.com/s/article/55636?lang=ja

公開されている3つの脆弱性の内、VxRailとして対応の必用のある項目はCVE-2018-3620、CVE-2018-3646です。

CVE-2018-3620については、VxRailのサービスVM(VxRail Manager、VCSA、PSC)への対処はVxRailが4.0.520、または4.5.218以上にUpgradeされた時点で完了します。

お客様の仮想マシンについては、ゲストOSごとの対処を行う必要があります。

CVE-2018-3646への対応処置は、VMware KB 55806に詳述されています。

・vSphere 用 Intel プロセッサにおける「L1 Terminal Fault」(L1TF - VMM) 投機的実行の脆弱性に対する VMware の対応 CVE-2018-3646 (55806)
https://kb.vmware.com/s/article/55806?lang=ja

上記KBの"Resolution"セクションに、CVE-2018-3646に対する大まかな対応フローが図説されています。

CVE-2018-3646の対策(ESXi SCA Scheduler:ESXi サイドチャネル対応スケジューラ)を実施する手順は、"スケジューラ有効化フェーズ： ESXi サイドチャネル対応スケジューラの有効化"の項目に掲載されています。

ただし、該当処置を行うに際しCPUパフォーマンス影響を伴う場合があります。

パフォーマンス影響の側面については下記記事に詳述されています。

CVE-2018-3646への対応で、パフォーマンス影響を伴う対策(ESXi SCA Scheduler:ESXi サイドチャネル対応スケジューラ)の実施是非を判断する際は、特にこの記事を精読する必要があります。

・「L1 Terminal Fault - VMM」(L1TF - VMM) の軽減策によって VMware が受けるパフォーマンス面の影響の説明 CVE-2018-3646 (55767)
https://kb.vmware.com/s/article/55767?lang=ja

ESXi SCA Scheduler(ESXi サイドチャネル対応スケジューラ)の適用に際する影響を測定する参考ツールとして、VMwareから下記が提供されています。

記事内の"Attachments"からダウンロードすることできます。

・HTAware 軽減策ツールの概要および使用法 (56931)
https://kb.vmware.com/s/article/56931?lang=ja

Ⅳ. VxRailとして必要な処置

CVE-2018-3620について

CVE-2018-3620はゲストOSレベルの脆弱性です。

VxRailのサービスVM(VxRail Manager、VCSA、PSC)への対処は、VxRailが4.0.520・または4.5.218以上にアップグレードされた時点で完了します。

お客様の仮想マシンについては、ゲストOSごとの対処を行う必要があります。

外部vCenterをご利用のお客様は、外部vCenterを6.0u3hまたは6.5u2c以上にアップグレードする必要があります。

CVE-2018-3646について

CVE-2018-3646はハイパーバイザレベルの脆弱性です。

対処には、VxRailを4.0.520・または4.5.218以上アップグレードした後、ESXi SCA Scheduler(ESXiサイドチャネル対応スケジューラ)を有効化する必要があります。

ESXi SCA Scheduler(ESXiサイドチャネル対応スケジューラ)の有効化には、CPUパフォーマンスへの影響を伴う場合があります。

Ⅴ. お客様に取っていただくアクション

1. お客様のセキュリティコンプライアンス、ポリシーを確認いただき、ポリシーに準拠したL1TF問題に対する対応方針を策定いただく

2. VxRailを4.0.520、または4.5.218以上にアップグレードいただく

→この時点でサービスMVに対してCVE-2018-3620の対処が完了します。

3. L1TF/Foreshadow問題に対するVMwareからの案内の項目で紹介している記事を一読のうえ、内容を理解いただく

4. ご利用のVxRailのクラスターのCPUリソース使用状況をご確認いただき、CVE-2018-3646の対策(ESXi SCA Scheduler:ESXi サイドチャネル対応スケジューラ)適用に際する影響を確認いただく

5. 上記で確認・検討いただいた内容を元にESXi SCA Scheduler(ESXi サイドチャネル対応スケジューラ)の適用の是非を検討いただき、必用に応じて適用いただく

最終的に客様に取り得る対応方針は一般的に下記のいずれかであると考えられます。

A. セキュリティ脆弱性を受け入れ、CVE-2018-3646への対応をしないまま運用する(VMwareとしては非推奨)

メリット: パフォーマンス影響を回避できる

デメリット: VxRailがCVE-2018-3646に対して脆弱な状態となる

B. CVE-2018-3646の対応(ESXiサイドチャネル対応スケジューラ)を実施し、セキュリティ対策を実行する

メリット: CVE-2018-3646の脆弱性が回避される

デメリット: パフォーマンス影響が発生する惧れがある

C. クラスターに十分な量のCPUリソースを追加したうえで、CVE-2018-3646の対応(ESXiサイドチャネル対応スケジューラ)を実行する

メリット: セキュリティ面での安全性とパフォーマンスの両方を維持することができる

デメリット: CPU追加(VxRailにおいてはノード追加)のためのコストが発生する

Ⅵ. 警告の抑制

上記を確認・検討のうえ、ご利用のVxRailにCVE-2018-3646に対する処置を実施する必要がないと判断された場合は、下記の方法で警告の表示を抑止することが可能です。

vSphere Web Clientにアクセス: ホストを選択 > サマリ > 警告の抑制

※WebClientにて、「警告の抑制」の表示がない場合は以下のKBを参照し抑制を実施してください。

https://kb.vmware.com/s/article/57374

---------------------------------------------------------------------------------------------------------------------------------------------------------------------

Dell/EMC/VMware のうちどのベンダーも、当該問題についてお客様に取っていただくべき対応方針を案内・推奨・手引きすることはできません。

当該問題により発生し得るお客様ビジネス・セキュリティコンプライアンスへのリスク、及び問題への対処に必要なクラスターリソースを確認いただいた上で、お客様自身で対応方針を策定いただく必要があります。

---------------------------------------------------------------------------------------------------------------------------------------------------------------------

参考資料:

Dell EMC ナレッジベース

VxRail: After upgrading to 4.5.218, an alert is reported on the hosts: esx.problem.hyperthreading.unmitigated

https://support.emc.com/kb/525114

DSA-2018-176: Dell EMC VxRail Security Update for Multiprocessor L1 Terminal Fault Vulnerabilities

https://support.emc.com/kb/525471

VxRail:nodeの停止/起動(メンテナンスモードの終了) 手順

vvjapanescalati — Tue, 17 Aug 2021 07:01:31 GMT

本記事では、nodeの停止/起動(メンテナンスモードの終了) 手順についてご紹介します。

はじめに

ホストの保守作業などの関係でESXiの停止/起動を行う際には、必ずメンテナンスモードを経由する必要があります。

メンテナンスモードへの切り替えを挟む事で、安全な停止/起動を実現します。

VxRail Managerを利用したnode停止/起動(メンテナンスモードの終了)
(VxRMやVxRail plugin経由での操作)

Dell Model VxRailでは、VxRail Managerから1node単位で停止/起動(メンテナンスモードの終了)が可能です。

停止

※ 注意 ※

VxRail Managerからのnode停止におけるメンテナンスモードオプションは、

"他のホストからデータアクセスできることを確認する(アクセシビリティの確保)"のオプションにあたります。

60分以内にメンテナンスモードを解除しなければ、再同期が開始されます。

再同期が開始されるdefault60分を延長したい場合、以下VMware KBに則り設定時間を変更しておきます。

- VSAN におけるホスト障害時の修復遅延時間の変更 (2147736)

https://kb.vmware.com/kb/2147736

◆4.7.100以前の場合(VxRail Manager UIおよびvSphere WEB Clientの場合)

1.[稼働状態] > [物理]タブ > [対象node] > 背面アイコン > "シャットダウン"を選択します。

2.チェックを入れて"確認"をクリック

3.事前チェックが走ります。

pass後、 "続行"をクリックすればメンテナンスモードの移行並びにシャットダウンが開始されます。

4.以下のようにステータスが遷移していきます。

◆4.7.100以降の場合(HTML5 vSphere Client)

1. HTML5 vSphere Clientにログインいただき[ホストとクラスター(Host and Cluster)]を
　クリックし、左側のナビゲーションからVxRailクラスターを選択します

2. [監視(Monitor)]タブをクリックし、左側の内側のナビゲーションバー
　から[VxRail]> [アプライアンス(Appliance)]を選択します。

3.表示するアプライアンス(ノード)の画像をクリックしてから、右側にある[ホストの詳細の表示]
　リンク（ホスト名）をクリックします。
　アプライアンスの正面図と背面図が表示されます。
　　　※[監視(Monitor)]>[VxRail]>[アプライアンス(Appliance)]から該当ノードの
　　　　[ホストの詳細の表示]からノードの物理ビューを表示させて操作ください

4. [アクション]をクリックして、[ホストのシャットダウン]を選択します。
　　VxRail Managerがシャットダウンの事前チェックルーチンを開始すると、
　 [ホストのシャットダウン]ウィンドウが表示されます。

5. 事前チェックルーチンによって検出された問題を修正します。

6. 事前チェックルーチンが正常に完了したら、[続行]をクリックしてノードをシャットダウンします。

※ 注1 ※
vSphere Standard Editionライセンスを利用している場合 DRSが利用できないため、
　web clientから事前に手動でvMotionし仮想マシンを他nodeへ移行またはシャットダウンしておく必要があります。
　操作が完了するまで、事前チェックでエラーが出力されシャットダウンが出来ません。
　ただしvSphere 7.0 U1以降のvSphere Cluster Services (vCLS)の仮想マシンは手動でのシャットダウン/移行は不要です
　　参考:vSphere 7.0 Update 1 の vSphere Cluster Services (vCLS) (80472)
　　　　https://kb.vmware.com/s/article/80472?lang=ja
　　　　https://kb.vmware.com/s/article/80472

※ 注2 ※

DRSが ONでも"自動化レベル"が"手動"の場合、事前チェックはpassするものの

本設定では自動でDRSが作動しないためにメンテナンスモードが19％で止まったままの状態となります

(vmotion待ちの状態)。そのため、web clientから適宜手動でvMotionを実施する必要があります。

起動(メンテナンスモードの終了)

1.電源ボタンまたは BMCより電源ON(参考:VxRail:BMCを利用した電源制御 )します。

2.ESXiが正常に起動完了後、”メンテナンスモードの終了"を選択します。

◆4.7.100以前の場合(VxRail Manager UIおよびvSphere WEB Clientの場合)

　◆4.7.100以降の場合(HTML5 vSphere Client)
　　　

停止/起動ができないケースでの停止/起動(メンテナンスモードの終了)
(VxRMやVxRail plugin経由ではない操作)

VxRail Managerで対象nodeが "消失(Lost)"でmissing表示となっている場合、

vSphere WEB Clientからnode 停止/起動(メンテナンスモードの終了)を実施する必要があります(手順は後記)。

**Memo**

VxRail Managerからnode 停止を実施すると、自動的にクラスタ正常稼働モニタリングがミュートします。

ミュート状態 = その時点での各node情報を保持し、情報を更新しない状態となります。

本ミュートを解除(OFF)してしまうと対象のnode情報を更新するようになるため、

シャットダウン(またはメンテナンスモード)状態の情報を更新してしまい、"消失(Lost)"でmissing表示となります。

結果、VxRail Manager上で”メンテナンスモードの終了"が実施できなくなります。

ミュートがONの場合、VxRail Manager画面上部に黄色警告でその旨が表示されます。

WEB Client/vSphere Client を利用したnode 停止

Quanta Model VxRail 環境、またはVxRail Manager で対象nodeがmissing表示であるDell Model VxRail環境である場合、

vSphere WEB Client/vSphere Clientから操作が必要です。

停止

1.vSphere Standard Editionライセンスを利用している場合、DRSが利用できないため

事前に手動でvMotionし、仮想マシンを他nodeへ移行しておきます。

リソースに余裕がない場合は必要に応じて仮想マシンをシャットダウンします。

2.対象のnodeを右クリックし、[メンテナンスモード] >> [メンテナンスモードの切り替え]を選択

　◆4.7.100以前の場合(VxRail Manager UIおよびvSphere WEB Clientの場合)

　◆4.7.100以降の場合(HTML5 vSphere Client)

2.以下いずれかのオプションにチェックを入れて、メンテナンスモードへ移行します。

VxRail4.0.xxx(vSAN6.2)	VxRail4.5.xxx(vSAN6.6)	VxRail4.7(vSAN6.7)	VxRail 7.0 (vSAN 7.0)
全データの移行	全てのデータを他のホストに退避する	全データの移行	全データの移行
アクセシビリティの確保	他のホストからデータアクセスできることを確認する	アクセシビリティの確保	アクセシビリティの確保

　　前者を選択すると、後者よりデータ移行に時間が掛かります。　　
　　後者を選択すると、前者より早くメンテナンスモードへ移行出来ますが、　　
　　60分以内にメンテナンスモードを解除しなければ再同期が開始されます。　　
　　再同期が開始されるdefault60分を延長したい場合、以下VMware KBに則り設定時間を変更しておきます。
　　 - VSAN におけるホスト障害時の修復遅延時間の変更 (2147736) 　　
　　　　 https://kb.vmware.com/kb/2147736

3.メンテナンスモードへの移行完了後、対象のnodeを右クリックして[電源] >> [シャットダウンを選択します。

　◆4.7.100以前の場合(VxRail Manager UIおよびvSphere WEB Clientの場合)

　◆4.7.100以降の場合(HTML5 vSphere Client)

起動(メンテナンスモードの終了)

1.電源ボタンまたは BMCより電源ON(参考:VxRail:BMCを利用した電源制御 )します。

2.ESXiが正常に起動完了後、対象のnodeを右クリックし [メンテナンスモード] >> [メンテナンスモードの終了]を選択します。
　◆4.7.100以前の場合(VxRail Manager UIおよびvSphere WEB Clientの場合)

　◆4.7.100以降の場合(HTML5 vSphere Client)
　　

VxRail: CLIによるvSANリバランス

vvjapanescalati — Fri, 28 Jun 2019 08:23:03 GMT

この文書では、vSANクラスターのディスクリバランス(再分散)の手順を紹介します。

vSANの健全性テスト結果で頻繁に目にする"vSANディスクバランス"の警告ですが、

GUIのボタンから手動でリバランス(再分散)を実施しても、またすぐに警告が再発してしまうことがあります。

これは、ディスクバランスの警告発生の閾値が"最大分散値30"に設定されていることに起因しています。

分散について:

VxRail、及びvSANクラスターでは、より良いバランスでクラスターを使用するために、各ディスクの使用率の差分が全体で30%以下となるよう閾値を設けています。

例えば、ディスク A の使用率が 45% で、ディスク B が 10% の場合、ディスク A と B の負荷分散は 35 で、閾値を超えたとみなします。この使用率の差分を"分散"とVMwareでは表現しています。

最大分散は、上記の分散値が最も高いディスクの組み合わせ(=クラスター内で最も使用されているディスクと最も使用されていないディスク)を元に取られています。

つまり、最大分散は下記の計算式で導出されています。

最も使用率の高いディスクの使用率(%) - 最も使用率の低いディスクの使用率(%) = 最大分散

vSANはクラスター内のディスクの使用率を監視しており、分散が30を超えるディスクの組み合わせが発生すると健全性テストにディスクリバランスの警告を表示します。

GUIから行うリバランスでは、分散がデフォルトの閾値である30を上回るディスクがなくなった時点でプロセスが自動で完了しますので、

一旦警告が消えても再発しやすい状態のままになってしまうことがあります。

警告の再発を抑止する目的で、閾値である最大分散値30を更に下回った状態(例えば20、10等)のレベルにまでリバランスを実施する場合は、GUIからではなくCLIからリバランスを実施する必要があります。

※ただし、30を大きく下回る値にまでリバランスを実施する場合は、その分大量のデータの移行が発生し、処理により長い時間を要します。

よってこの様な大きなリバランスを行う際は、数日間かけてリバランスを複数回行う、または一晩リバランスを行った後に進捗を確認し、継続して行うか検討する、等ある程度計画的に実施することを推奨いたします。

※vSANディスクバランスの警告は、一般的には障害や不具合の発生を示すものではありません。通常運用内でvSANがI/Oを行った結果発生する場合が大半です。

また、一度警告が発生しても、その後に更にI/Oが行われた結果各ディスクの使用率が均等になり、警告が消える場合もあります。

**vSANディスクバランスの警告に関する包括的な内容については下記の記事を参照ください

VxRail: 「Virtual SAN ディスクバランス」の警告の詳細と対処

・CLIによるvSANリバランス手順

GUIでリバランスを実施した後すぐに警告が再発してしまった・ディスクバランスの警告の表示を可能な限り抑制したい・等の場合は、下記の手順でCLIでのリバランスを実施してください。

[1]. vCenter Server Appliance にSSHにてログイン後、Shellに遷移(プロンプトのマーカが#になっている状態)

※vCSAのSSHを無効化している場合は、下記手順にて有効化が必要です。

ESXi、vCenter、PSCのSSH有効化

Command> shell.set --enabled True
Command> shell
Shell access is granted to root
root@vc [ ~ ]#

[2]. vCenter Server Appliance 上で、下記のコマンドでRuby vSphere Consoleにログイン

# rvc
Install the "ffi" gem for better tab completion.
Host to connect to (user@host): administrator@vsphere.local@localhost < vCenter SSO ユーザー名@localhostを入力
password: < vCenter SSO パスワードを入力
0 /
1 localhost/
>

[3]. RVCにログイン後、一般的なUnixベースOSと同じ要領でlsコマンド、cdコマンドが使えるので、

/localhost/データセンター名/computers/ まで移動し、lsでvSANクラスターのリソースについているインデックスを確認

(例) ※画像はクリックで拡大してください

[4].下記コマンドを実施

vsan.proactive_rebalance

(例)

/localhost/データセンター名/computers/> vsan.proactive_rebalance 0 -sv 0.3

vsan.proactive_rebalanceはリバランスを手動で実行するコマンド、0は対象のvSANクラスタリソースのインデックスです。

-sオプションでリバランス開始、-vオプションでどこまでリバランスを実施するかの閾値を指定します。

-vの後に指定する数字がリバランスの閾値(=最大分散値)で、例では0.3、つまりデフォルトの30%を指定しています。

更に均等なリバランスを実行したい場合は、0.2、0.1等小さい数字を指定してください。

また、-tオプションを追加で指定することで、リバランスを実行する期間(秒単位)を設定できます。

ディスクのリバランスは大量のIOが発生するため、仮想マシンのパフォーマンスに影響を与える惧れがありますが、

-tオプションによって、終業後にコマンドを実行してリバランスを開始し、始業時間の前にリバランスを自動で停止する等、ユーザー環境に合わせて業務に影響のないペースでオペレーションを実施することができます。

-tオプションを指定しなかった場合は、デフォルトの24時間リバランスが実施されます。

例えば、最大分散値20までのリバランスを14時間(5万4百秒=終業時刻18時から翌日始業前の8時までを想定)実施したい場合は、下記のようなオプションを指定します。

> vsan.proactive_rebalance 0 -sv 0.2 -t 50400

[5].下記コマンドでリバランスの状態を確認

> vsan.proactive_rebalance_info 0

(例)

/localhost/データセンター名/computers/> vsan.proactive_rebalance_info 0
Proactive rebalance start: 2018-06-28 03:06:07 UTC                                    ←リバランス開始時刻
Proactive rebalance stop: 2018-06-28 17:06:07 UTC                                     ←リバランス完了予定時刻
Max usage difference triggering rebalancing: 10.00%                                       ←リバランス目標の分散閾値(※この例では0.1=10%に設定)
Average disk usage: 10.00%
Maximum disk usage: 20.00% (18.00% above minimum disk usage)
Imbalance index: 8.00%
Disks to be rebalanced:                                                                             ↓リバランス対象となっているディスクの一覧 +----------------------+----------------+----------------------------+--------------+
| DisplayName                      | Host                      | Disk usage above threshold           | Data to move      |
+----------------------+----------------+----------------------------+--------------+
| naa.xxxxxxxxxxxxxxxx         | sds-01.sds.lab         | 4.00%                                          | 44.7122 GB        |
| naa.xxxxxxxxxxxxxxxx         | sds-01.sds.lab         | 2.00%                                          | 22.3561 GB        |
+----------------------+----------------+----------------------------+--------------+
| naa.xxxxxxxxxxxxxxxx         | sds-03.sds.lab        | 3.00%                                           | 33.5341 GB        |
| naa.xxxxxxxxxxxxxxxx         | sds-03.sds.lab         | 8.00%                                          | 89.4244 GB        |
+----------------------+----------------+----------------------------+--------------+
| naa.xxxxxxxxxxxxxxxx         | sds-04.sds.lab         | 1.00%                                          | 11.1780 GB        |
+----------------------+----------------+----------------------------+--------------+

[5].下記のコマンド、またはGUIの[リバランスの中止] ボタンでいつでもリバランス処理の停止が可能です。

> vsan.proactive_rebalance 0 -o

以上

VxRail: 「Virtual SAN ディスクバランス」の警告の詳細と対処

参考文献:

rvcコマンドの詳細については、下記リファレンスを参照ください(リバランス関連の項目はp59,61)。

VMware® Ruby vSphere Console Command Reference for Virtual SAN

VMware ドキュメント

vSAN クラスタのリバランスについて

VMware ナレッジベース

vSAN 健全性サービス -クラスタの健全性 - vSAN ディスクバランス (2147613)

vSAN のプロアクティブなリバランス (2152028)

VxRail: 「Virtual SAN ディスクバランス」の警告の詳細と対処

vvjapanescalati — Fri, 28 Jun 2019 08:06:08 GMT

「Virtual SAN ディスクバランス」の概要

Virtual SAN（vSAN）では、各ディスクの使用率が均等であることが推奨されています。

通常、新しいVM（vmdkファイル等）がvSAN データストア上に作成される際に、各ディスクの使用率からバランスのとれた容量使用率となるように分散される形でvSAN Object（vmdkファイル等）が作成されますが、障害やvmdkファイルの拡張の不均衡などによって、vSANで使用されるDiskの容量使用率が徐々に不均等になり、閾値（30%）を超えると警告が発報され、vSANのヘルスチェック画面で「Virtual SAN ディスクバランス」の警告が表示されます。

この警告は仮想マシンの稼働やデータの可用性への影響はありませんが、容量使用率の不均衡があまりにも大きくなると、障害時のリスク増加や、パフォーマンス問題につながることがございます。

特に最大ディスク使用率が80％に達したときに、Reactiveリバランスという自動的にリバランス（データの再配置）が作動する仕組みとなっているため、予期せぬタイミングで自動リバランスが行われ、業務時間中であればパフォーマンス影響が出る可能性があります。

そのような事態を未然に防ぐため、最大分散が30％以上になったというアラームにより、業務影響のない時間帯に手動リバランスを実施したほうが良いことを知らせています。

以下が参考 KB です。

vSAN 健全性サービス - 物理ディスクの健全性 - ディスク容量 (2148593)

https://kb.vmware.com/s/article/2148593

vSAN のプロアクティブなリバランス (2152028)

https://kb.vmware.com/s/article/2152028

自動でのリバランス方法

VxRail 4.7.300以降（vSAN 6.7 U3以降）ではAutomatic Rebalanceという機能が追加され、Diskの容量使用率の不均等を検知したら自動でリバランスが実行されるという設定が可能です。

下記のKB：2149809に記載のある注意点を理解し、設定するかどうかの判断をする必要があります

vSAN "Proactive rebalance" and "Automatic Rebalance" (2149809)

https://kb.vmware.com/s/article/2149809

【設定方法に関して】

設定に関しては、下記の手順にて実施が可能です。

自動リバランスの設定

https://docs.vmware.com/jp/VMware-vSphere/6.7/com.vmware.vsphere.vsan-monitoring.doc/GUID-968C05CA-FE2C-45F7-A011-51F5B53BCBF9.html

VxRailクラスタ - 監視 - vSAN - サービス - 詳細オプション -編集をクリック - 自動リバランスのスライダをクリックして有効にする（緑が有効な状態） - 適用をクリック

手動でのリバランス方法

GUIを使用した手動リバランス

Reactiveリバランスは開始などの制御ができないため、vSAN Health Check時に最大分散(Maximum Variance)が30％を超えた場合にアラートを表示します。

まずは下図を参考に、vSANのヘルスチェック画面を開いてください。

Health Checkテスト名の ”クラスタ” を展開するとVirtual SAN ディスクバランスが表示されます。

警告が出ている場合、下記の”ディスクの再分散”のボタン（英語だとProactive Rebalance Disks）が有効になります。

※最大分散が30％で警告が出ていない場合はボタンはグレーアウトして押せません。

ディスクの再分散ボタンを押すと下図のようなポップアップが出ますが大したことは書かれていませんのでOKをおして進めてください。

実行が完了すると下図のように最近のタスクのペインにタスクが表示されます。

リバランスの進捗に関わらず常に5％で表示されます。

GUIから手動で開始したリバランスタスクは24時間稼働したのち停止します。

“ディスクのリバランスの中止” （英語だとStop Proactive Rebalance Disks）により、手動でリバランスタスクを停止することも可能です。

手動で停止した場合は下図のようにリバランスの中止タスクが生成され、中止タスクが完了したのちにリバランスタスクが完了となり、停止します。

rvcを使用したコマンドでの手動リバランス方法

※類似文書として下記もご参照ください。

VxRail: CLIによるvSANリバランス

rvc(Ruby vSphere Console)コマンドを使用することにより詳細な実行設定が可能です。

vsan.proactive_rebalance_info や vsan.proactive_rebalance といったコマンドにより操作します。

vsan.proactive_rebalance には、実行時間(-t 単位：分)や1時間当たりのデータ移動量(-r 単位：MB)などのオプション指定があり運用管理に合わせて設定可能です。

例えば、 40ＧＢを指定する場合は 40960 という値で指定を実施します。

また、GUIからの実行では最大分散が30％の閾値に収まるようにリバランスされますが、より均等にリバランスしたい場合は、30％より小さい値を指定して実行することで可能となります。

下記のコマンドの場合は、最大分散が20％以下になるように、30時間リバランスを実行し、データ移動量を１時間あたり40ＧＢに指定する場合のコマンドとなります

vsan.proactive_rebalance -s -v 0.20 -t 108000 -r 40960 0

実行例

root@vc [ ~ ]# rvc

Install the "ffi" gem for better tab completion.

Host to connect to (user@host): administrator@vsphere.local@localhost

password:

0 /

1 localhost/

> cd 1

/localhost> ls

0 VxRail-Datacenter (datacenter)

/localhost> cd 0

/localhost/VxRail-Datacenter> ls

0 storage/

1 computers [host]/

2 networks [network]/

3 datastores [datastore]/

4 vms [vm]/

/localhost/VxRail-Datacenter> cd 1

/localhost/VxRail-Datacenter/computers> ls

0 VxRail-Virtual-SAN-Cluster-<Cluster id>(cluster): cpu 62 GHz, memory 687 GB

/localhost/VxRail-Datacenter/computers>

/localhost/VxRail-Datacenter/computers> vsan.proactive_rebalance -s -v 0.20 -t 108000 -r 40960 0

以下のコマンドリファレンスや、このコミュニティの他の Document を参考にしていただけます。

VMware Ruby vSphere Console Command Reference for Virtual SAN

https://www.vmware.com/content/dam/digitalmarketing/vmware/en/pdf/products/vsan/vmware-ruby-vsphere-console-command-reference-for-virtual-san.pdf

VxRail: CLIによるvSANリバランス

Virtual SAN ディスクバランスの警告を静観・抑止する場合

このセクションでは警告の発報を抑止する手順を紹介しています。

しかしながら、先に記載した通りディスクバランスに関しては自動リバランスによる予期せぬ業務影響の可能性がありますので、お勧めできません。

従いまして、最大分散や最大ディスク使用率をお客様にて確認していただき、手動リバランス実施の有無の判断をしていただくことをお勧めします。

Virtual SANディスクバランスのHealth Checkをスキップする方法

最大分散が30％以上でアラームが出ないようにする方法ですはVxRail 4.5 (vSAN 6.6, vSphere 6.5) であれば下記リンクのようなの手順にて項目をスキップできます。

VxRail 4.5(vSAN 6.6, vSphere 6.5)のvSAN健全性テストの警告について

https://community.emc.com/message/1000585

しかし、VxRail 4.0では同様の手順は確認できませんでしたので、VxRail 4.0 (vSphere 6.0/vSAN 6.2) に関しては続く「アラーム定義を無効にする方法」をご検討ください。

なお、アラーム定義を無効にする方法」はVxRail 4.5 (vSAN 6.6, vSphere 6.5) でも使用可能です。

アラート定義を無効にする方法

VxRail 4.0 (vSphere 6.0/vSAN 6.2) ではHealth Checkを無効にすることはできませんが、アラート定義を無効にすることで、インベントリでの警告アイコンや、サマリタブでのメッセージを抑止できますのでパッと見、Cleanになります。

※この方法はVxRail 4.5 (vSAN 6.6, vSphere 6.5) でも使用可能です。

※この方法を実施した後でも、vSAN健全性テストの項目にはディスクバランスの警告は表示されます。

まず下図を参考にVirtual SAN ディスクバランスのアラーム定義の編集ボタンを押してください。

編集ボタンを押すと編集ウインドウが出ますので、「このアラームを有効にする」のチェックを外してください。

警告メッセージを消す方法

アラーム定義の無効化や、vSAN ヘルスチェックのスキップを実施した後に、まだ警告メッセージが残存している場合は、下図を参考にクラスタの警告メッセージを確認してください。

”Virtual SAN ディスクバランス” の警告メッセージを確認したら、右クリック > 緑にリセットを選択し、メッセージを消してください。

留意事項

リバランス処理が完了した後も、使用率の低いディスクが1つでも存在する場合には他のディスクとの使用率の差分が閾値に達し、警告メッセージが消えない場合も想定されます。
リバランスに関する挙動（移動するデータの選定や完了時刻見込み、データの移動先）に関しては情報が公開されていません。

vSAN "Proactive rebalance" and "Automatic Rebalance" (2149809)

https://kb.vmware.com/s/article/2149809

VxRail: vSAN HCL DBの更新方法 (vSphere 6.5)

vvjapanescalati — Fri, 28 Jun 2019 03:33:10 GMT

本文書はvSAN の運用上必要となるHCL DBの更新方法について説明しています。

本手順は以下の環境を想定しています。

・VxRail 4.5.x (vSphere 6.5)

・vSphere Web Client（Flash版）にて実施

作業の所要時間約10分

### VxRail: vSAN HCL DBの更新方法 (vSphere 6.5) ###

手順1：vSAN 対象のVMware KBを確認

vSAN HCL DBの更新に関するVMware KB（日本語訳）は以下です。

https://kb.vmware.com/s/article/2148599

こちらにアクセスして内容についてご確認できます。

更新に必要なファイルを入手するために、KB内下部にある以下のリンクへ移動してください。

http://partnerweb.vmware.com/service/vsan/all.json

手順2：最新のvSAN HCL DBファイルをダウンロード

※ご利用のブラウザによって挙動が異なりますのでご注意ください。

Google Chromeをご利用の場合

http://partnerweb.vmware.com/service/vsan/all.json にアクセスすると、下図のようにファイルの中身が表示されますので、ブラウザのBodyを右クリックしていただき、Save as...からファイルをPCに保存してください。

IE（Internet Explore)をご利用の場合

http://partnerweb.vmware.com/service/vsan/all.json にアクセスすると、下図のように画面下部に保存の選択肢が出ますのでPC上に保存してください。

FireFoxをご利用の場合

http://partnerweb.vmware.com/service/vsan/all.json にアクセスすると、下図のような表示となりますので、赤線部をクリックいただくとPCに保存できます。

手順3：vSphere Web Client (Flash版）へ接続

手順2でダウンロードしたファイルをvSphere Web Clientからアップロードします。

vSphere Web Client (Flash版）に接続いただき、下図を参考に Upload ボタンをクリックしてください

手順4：HCL DBファイルをアップロード

手順3でUpload from file...ボタンをクリックいただくと、以下のようにファイル選択のウインドウが開きますので、手順2でダウンロードしたファイルを選択してアップロードを完了してください。

アップロードは10秒程度で完了します。

手順5：更新されたことを確認

アップロードが完了したら、下図を参考にHCL Databaseの最終更新日時が本日となっていることをご確認ください。

手順6：vSAN health checkを実施

下記リンクを参考にvSANおよびVxRail全体のヘルスチェックを実施してください。

ヘルスチェック結果に問題がある場合はDell EMCサポート窓口までご連絡をお願いします。

・vSAN/VxRail ヘルスチェックの方法

https://community.emc.com/docs/DOC-61435

VxRail : vCenter のtask,event,performanceデータを明示的に削除する手順

vvjapanescalati — Fri, 28 Jun 2019 02:56:53 GMT

本記事では、vCenter のtask,event,performanceデータを削除する手順をご紹介します。

なお、環境はVxRail内のInternal vCSA(postgres SQL)を想定した内容となります。

MS SQL ServerやOracle DBを利用している環境については、記事の最後にあるVMware KB をご参照下さい。

はじめに

vCSA(vCenter Server Appliance)は内部にRDB(リレーショナルデータベース)を保持しており、

vCSAで必要な各種設定/情報を保持しています。

長期稼働していく中、データベースが肥大する事で以下のような問題が発生する場合があります。

・パフォーマンスチャートに最新データが表示されないことがある

・パフォーマンスチャートにギャップがある

・VxRail version アップグレードの過程で、vCSA 更新後のサービス展開において非常に時間が掛かる場合がある

・vCenter サービスが起動してから失敗する場合がある

肥大化の最たる要因はtask,event,performanceデータの増加です。

各ログのローテーション期間はdefaultで以下のように設定されています(VxRail 4.0.xxx/4.5.xxx 共通)。

これらは日数による期間設定のため、お客様の運用状況や環境,一時的な障害の影響等によっては、

想定以上に増加していく場合があります。

------------------------------------------------------------------------------------------------------------

vCenter Server のタスク情報：30日

vCenter Server のイベント情報：30日

vCenter Server のパフォーマンスデータ参照期間：1年間(変更不可)

------------------------------------------------------------------------------------------------------------

タスク、イベントそれぞれで期間を変更する際、web clientより[ホーム] >> [インベントリ] 内の

vCenter Serverを選択して以下画面箇所より設定を確認、画面右上の"編集"から設定変更が可能です。

変更内容を反映させるためには、vCSAの再起動を手動で実施した上で

内部的にクリーンアップタスクが実行される事を待つ必要があります。

** vSphere6.0 **

** vSphere6.5 **

本記事の手順を利用する事で、設定変更を加えること無く不要な期間のデータ情報を明示的に削除する事が可能です。

1. [事前準備] vCSAのsnapshot 採取

web clientからvCSAの仮想マシン上で右クリック > "スナップショット" > "スナップショットの作成" を実施します。

名前は日付や作業内容にすることで分かりやすくしておきます。

2. [事前準備] vCSA DBのBackup 採取

ⅰ)VMware KB 2091961 より、バックアップ/リストア用スクリプト(Linux_Backup_Resotre.zip)をダウンロードしておきます。

zipを解凍して 2つのPython Scriptを確認します。

ⅱ)vCSAへrootでSSHでログインし、backupスクリプトをターミナルソフトウェアの機能を用いて/tmp配下等へ保存します。

その後、管理サービスを停止した上でスクリプトを実行します。"Backup Completed Successfully"が表示されれば成功です。

**管理サービスの停止
# service-control --stop vmware-vpxd
# service-control --status vmware-vpxd
**backupスクリプトの実行
# chmod 700 /tmp/backup_lin.py
# python /tmp/backup_lin.py -f /tmp/backup_VCDB.bak

**管理サービスの開始
# service-control --start vmware-vpxd
# service-control --status vmware-vpxd

3.削除スクリプトの入手と実行

ⅰ) VMware KB 2110031 より削除スクリプトをダウンロードしておきます。

ⅱ)ESXi、vCenter、PSCのSSH有効化し、削除スクリプトをターミナルソフトウェアの機能を用いて

/tmp配下等へ保存します。rootユーザーで実行するためにパーミッションを付与しておきます。

# chmod 700 /tmp/2110031_Postgres_task_event_stat.sql

ⅲ) VCDBのログインユーザー名/パスワードを確認の上、削除スクリプトを実行します。

最後にDone at"実行した日付" が表示されてプロンプトが戻ってきたら完了です。

# cat /etc/vmware-vpx/vcdb.properties
# /opt/vmware/vpostgres/current/bin/psql -U vCenter-Server-database-user -v TaskMaxAgeInDays=task-days-v EventMaxAgeInDays=event-days -v StatMaxAgeInDays=stat-days -d database-name -t -q -f download-path/2110031_Postgres_task_event_stat.sql
(例1)
タスクとイベントは削除せずにパフォーマンスデータのみ全削除する
# /opt/vmware/vpostgres/current/bin/psql -U vc -v TaskMaxAgeInDays=-1 -v EventMaxAgeInDays=-1 -v StatMaxAgeInDays=0 -d VCDB -t -q -f /tmp/2110031_Postgres_task_event_stat.sql
(例2)
タスクとイベントは直近10日分を残し、パフォーマンスデータは削除しない。
# /opt/vmware/vpostgres/current/bin/psql -U vc -v TaskMaxAgeInDays=10 -v EventMaxAgeInDays=10 -v StatMaxAgeInDays=-1 -d VCDB -t -q -f /tmp/2110031_Postgres_task_event_stat.sql

削除された各テーブルのレコード数を明示的にチェックしたい場合

作業の前後で以下コマンド実施しておけば、レコード数としてどれだけ削除されたか、確認が可能です。

# /opt/vmware/vpostgres/current/bin/psql -U vc -d VCDB -c "SELECT T2.relname , T2.reltuples FROM pg_stat_user_tables AS T1 INNER JOIN pg_class AS T2 ON T1.relname = T2.relname ORDER BY T2.relname"

それぞれのデータは以下テーブルに保管されています。

テーブル名	説明
vpx_task	taskデータ
vpx_event_* ~ vpx_event_arg_*	eventデータ
vpx_hist_stat1_* ~ vpx_hist_stat4_*	performanceデータ

参考資料：

最新情報が参照できるよう、英語版記事をリンクしています。

- VxRail : vCenterサーバーのtask,event,performanceデータを削除する

https://kb.vmware.com/s/article/2110031

- vCenter Server データベース容量要件の管理 (2078305)

https://kb.vmware.com/s/article/2078305?

- ロールアップスクリプトの実行に時間がかかる場合に vCenter Server データベースのサイズを削減する

https://kb.vmware.com/articleview?docid=1007453

- vCenter Server データベース増大の発生場所の特定

https://kb.vmware.com/articleview?docid=1028356

- Back up and restore vCenter Server Appliance/vCenter Server 6.0 vPostgres database (2091961)

https://kb.vmware.com/s/article/2091961

VxRail: (version 4.0)VCSA/PSC にシングルユーザモードでログインする

vvjapanescalati — Fri, 28 Jun 2019 02:21:46 GMT

この文書はVxRail 4.0のVCSA/PSCにシングルユーザモードでログインする手順を示します。

手順中ではVCSAを対象としていますがPSCでも同様です。

※vCenter 6.5でのシングルユーザモードでの起動とroot パスワードのリセットについては以下のKBをご参照ください。

https://kb.vmware.com/s/article/2147144

※vCenter 6.7でのroot パスワードのリセットについては以下のKBをご参照ください。

https://kb.vmware.com/s/article/75174

シングルユーザモードでログインするためにはGRUBからKernel optionを編集する必要があります。

手順中ではGRUBを安全に起動するためのBIOS起動方法から説明しています。

１．ESXi へログイン

VCSAが稼働するESXiにログインしてください。

２．VCSAのSnapshotを取得

シングルユーザモードでログインしなくてはいけない状況では、多くの場合障害関連で修正が必要な場合です。

サポートから指示が無くても念のためSnapshotを取っておきましょう

仮想マシンメモリのオプションも選択（チェック）して取得してください。

３．VCSAのShutdown/PowerOff

下図を参考にVCSAをShutdownしてください。

障害発生時などはきちんとShutdownできないことが想定されます。

その場合は、下図を参考に強制的にPowerOffをしてください。

４．BIOS強制起動オプションの設定

次回起動時にBIOSが強制起動するオプションを設定します。

下図を参考に仮想マシンの設定編集画面を起動ください。

設定の編集が起動したら、仮想マシンオプションタブに異動して、

起動オプション行を展開し、次回起動時の強制BIOSセットアップのオプションを選択（チェック）してください。

５．VCSAのPower ON

設定変更が完了したらVCSAをPowerONしてください。

方法は下図を参考にしてください

６．VCSAのWeb コンソールの起動

VCSAをPowerOnしたら、下図を参考にブラウザコンソールを起動してください。

ブラウザコンソールが起動すると以下のようにBIOS画面が起動していることを確認してください。

７．BIOSの終了およびGRUBの起動

BIOSは起動をプロセス停止し、簡単にGRUBに入るために利用しているだけなので、

特に設定は変更せず、F10→YES を選んでExitしますが、

すぐにGRUBが起動しますので、BIOSをExitしたらSpaceキーを連打してください。

※Space キーを押さないと自動でOSが起動してしまいます。

下図のようなGRUB画面で起動が停止することをご確認ください

８．シングルユーザモード用オプションの設定

SUSE～を選択した状態で p を押してください。

下図のようにパスワードが要求されたらOSのrootパスワードを入力してください。

もしOS rootパスワードで認証できない場合は過去に設定したrootパスワードをすべてお試しください。

※どうしてもパスワードがわからない場合はDell EMCサポートに相談ください。

認証が成功したら e を押してください。

以下のような画面になりますので、kernel ~ が選択されていることを確認して、再度 e を押してください

下図を参考にして kernel boot optionに init=/bin/bashを追加してください。

※もしキーボード配列の関係で入力がうまくいかない場合は、下図を参考にレイアウト設定を変更してください。

※日本語キーボードを選ぶと、英字キーボード（！？）として使えるようになります。ややこしいのでご留意ください

Enterを押して編集を完了し、 b ボタンで起動すると、OSがシングルユーザモードで起動します。

９．Reboot

作業が終わったらRebootしてください。次回起動する際は通常通り（シングルユーザモードでない）の起動いたします。

rebootコマンドが効かない場合は、

# mkfifo /dev/initctl

を実行したのち、

# reboot -f

を実施してください。

どうしてもうまくいかないようであればsync;sync;sync;を実行したのち、ESXiからResetをかけてください

### 補足 ####

この文書を見る人が良く参照するKB

https://kb.vmware.com/s/article/2149154

https://kb.vmware.com/s/article/2146643

https://kb.vmware.com/s/article/2149278

VxRail: オートコール(自動通報)を一時的に停止する方法

vvjapanescalati — Fri, 28 Jun 2019 02:05:51 GMT

計画作業や、テストでノードを再起動したときのイベントが、Dell EMCにオートコールで通報され

サポートから連絡が入る…という手間がかからないよう、作業前にオートコール通報を一時停止することができます。

1. VxRail Manager にログイン

2. CONFIG > General タブ > Cluster Health Monitoring にて、「Mute」を選択し、

Applyボタンをクリック

　(日本語表示では、構成 > 一般タブ > クラスタの正常稼働モニタリングにて、「ミュート」)

3. 作業終了後、オートコール通知を再開する際は

　CONFIG > General タブ > Cluster Health Monitoring にて、「On」を選択し、Applyボタンをクリック

VxRail: Health Check 方法

vvjapanescalati — Tue, 19 Oct 2021 02:28:52 GMT

参考：https://community.emc.com/videos/182946

### vSAN ヘルスチェック（vSphere Web Client版, vSphere Client版）

■VxRail 4.0 / 4.5

vSphere Web clientへログイン >>> ホストおよびクラスタ >>> VxRail クラスタを選択 >>> 監視 >>> Virtual SAN >>> 健全性 >>> 再テスト

テスト結果がすべてGreenであれば正常です

※VxRail 4.5の場合はVirtual SANではなくvSANとして表示されます。下図はVxRail 4.0のサンプル画像です。

■VxRail 4.7 / 7.0

vSphere clientへログイン >>> ホストおよびクラスタ >>> VxRail クラスタを選択 >>> 監視 >>> vSAN >>> 健全性 (又はSkyline 健全性) >>> 再テスト

テスト結果がすべてGreenであれば正常です

※グレー部分又は青の時計マークに関してはテスト項目がSilent（抑止、サイレンス状態）の設定されていることを示していますので問題ございません

※オンライン健全性チェックについての選択肢が出た場合はオフで問題ありません。

### vSAN ヘルスチェック（Host Client 版）

■VxRail 4.5 / 4.7 / 7.0 のみ

※vSphere Web Client版, vSphere Client版でヘルスチェックできた場合は不要です。 vCenterの不在時などに実施ください。

VxRail4.5.xxx(vSAN6.6)からは、vSAN健全性チェックの一部がHost Clientからも確認可能です。

host clientへログイン >>> 左ペイン[ストレージ] >>> vSANデータストア >> 監視 >>>健全性タブ

### VxRail ヘルスチェック

■VxRail 4.0 / 4.5 のみ

VxRail Managerへログイン（GUI） >>> 構成 >>> 一般 >>> 診断

下図のように正常な旨が表示されれば正常です。

異常がある場合は赤く異常箇所が記載されます。

■VxRail 4.7 / 7.0

vSphere Client にログイン -> 画面上部の黒帯内のMenu -> VxRailを選択 -> System Healthを確認

いずれかで異常が検知された場合はDell EMCへお問い合わせください。

vvjapanescalati Tracker

VxRail : VxRail APIを利用したDNS/NTP変更手順

■VxRail Rest APIについて

■DNS変更手順例

■補足

VxRail上のvSphere製品のライフサイクルにつきまして

VMware KB#70650に基づいたVxRailにおけるクラスタ起動手順

■Node起動編

■vSANトラフィックの復活・仮想マシン起動編

VMware KB#70650に基づいたVxRailにおけるクラスタシャットダウン手順

■事前準備編

■仮想マシン停止編

■vSAN切り離し・シャットダウン編

VxRail:クラスター全体でvSphere HAを再構成する

vSphere Web Client

vSphere Client(HTML5 Client)

VxRail：VxRailに使用するVMware License keyの取得、適用方法

VMware KB#60424に基づいたVxRailにおけるクラスタ起動手順（vSAN6.7U3未満に対応）

■Node起動・ステータス確認編

■vSANトラフィックの復活・仮想マシン起動編

VxRail: vSphere Data Protection の Upgrade手順 （参考資料） Part 2

### vSphere Data Protection のUpgrade参考手順 ###

Upgradeの実行

Upgrade事後作業

VDPの正常動作を確認

ShutDown～Snapshotの削除

ISOファイルのアンマウント

VDPのPowerOn

Integrity Checkの実行

（Option手順）仮想ハードウェアVersionのUpgrade

Upgrade中に問題が発生したら。。。

Upgrade後にバックアップに失敗したら

VxRail: vSphere Data Protection の Upgrade手順 （参考資料） Part 1

### vSphere Data Protection のUpgrade参考手順 ###

vSphere Data ProtectionのUpgrade概要（所要時間やマニュアル等）

現在のVersionの確認

互換性の確認

※ターゲットVersionの選定について

Upgrade Pathの確認

Upgradeファイルのダウンロード

VDP のSnapshotの取得

Upgradeファイルのアップロード

VDPにISOファイルをマウント

VDPのサービスヘルスチェック～ISOファイルのマウントを確認

VxRail :マニュアルでCluster shutdown を実施する方法

はじめに

A. 手動でのCluster shutdown 手順

1. 仮想マシンのShutdown実施

2. VCSA及びPSCの稼働Hostの確認

3. コンポーネントの再同期が発生の有無の確認

4. VCSA及びPSCのShutdown

5. 全てのESXi ShellをEnableの実施

6. ESXiをメンテナンスモードへの移行を実施

7. ESXiのShutdownを実施

B. 手動でのCluster Power ON 手順

1. ESXiの起動を実施

2. ESXiのメンテナンスモード解除

3. VCSA及びPSCのPower On

4. Health Checkの実施

5. 仮想マシンのPower ONの実施

### 補足手順

### 参考文献

DTA 525859 に関する情報

VxRail: 「このホストにはCVE-2018-3646で記述されている問題に対する脆弱性があります。 詳細およびVMwareの推奨については、https://kb.vmware.com/s/article/55636を参照してください」の警告、及びL1TF/Foreshadow問題への対応

Ⅰ. 警告が発生する原因について

Ⅱ. L1 Terminal Fault(L1TF)とは

Ⅲ. L1TF/Foreshadow問題に対するVMwareからの案内

Ⅳ. VxRailとして必要な処置

Ⅴ. お客様に取っていただくアクション

Ⅵ. 警告の抑制

VxRail:nodeの停止/起動(メンテナンスモードの終了) 手順

VxRail: CLIによるvSANリバランス

VxRail: 「Virtual SAN ディスク バランス」の警告の詳細と対処

「Virtual SAN ディスク バランス」の概要

自動でのリバランス方法

手動でのリバランス方法

GUIを使用した手動リバランス

rvcを使用したコマンドでの手動リバランス方法

Virtual SAN ディスクバランスの警告を静観・抑止する場合

Virtual SANディスクバランスのHealth Checkをスキップする方法

VxRail: vSphere Data Protection の Upgrade手順（参考資料） Part 2

VxRail: vSphere Data Protection の Upgrade手順（参考資料） Part 1

VxRail: 「このホストにはCVE-2018-3646で記述されている問題に対する脆弱性があります。詳細およびVMwareの推奨については、https://kb.vmware.com/s/article/55636を参照してください」の警告、及びL1TF/Foreshadow問題への対応

VxRail: 「Virtual SAN ディスクバランス」の警告の詳細と対処

「Virtual SAN ディスクバランス」の概要