この文書はVxRail 4.5.x/4.7.x -> 7.xへのUpgradeに関連する変更点や留意事項についてまとめています。
Dell EMCの公式文書や実際の事例をもとに記載しておりますが、正式な内容については公式文書を正とし、本文書は参考資料としてお使いください。
公式文書と差異がある場合はこちらのドキュメントを劣後としてください。
## VxRail: 4.5.x/4.7.x -> 7.0 へのUpgradeに事前と事後の留意点について ##
- ## VxRail: 4.5.x/4.7.x -> 7.0 へのUpgradeに事前と事後の留意点について ##
- Upgrade前の留意点
- VxRail 4.xと7.xの差異についてのサマリ
- 詳細なUpgrade前後のVersionの確認方法について
- Upgradeパスと制限事項について !!! 重要 !!!
- Upgrade方法に関する制限事項
- vSphere と連携するソフトウェアの互換性について
- NSXがある場合のMajor Upgradeの考慮事項
- vSphere7でサポート外となるコンポーネントについて
- VxRailで利用するVMwareライセンスのUpgradeに関する留意点
- VxRailのライセンスにバンドルされるソフトウェアコンポーネントに関する留意点
- SSL証明書に関して
- Upgrade時に準備いただくもの
- Upgrade前の事前チェックスクリプト
- Upgrade前のvSAN データストア使用容量確認とリバランスとの必要性について
- Secure Boot設定に関する留意事項
- System VMのSnapshotの事前取得
- 7.0.010へのUpgradeに関する既知問題（2020/09/12 Update）
- ESXi の詳細設定パラメータについて
- ESXi 内部管理ユーザのパスワード形式について
- vDSアップグレードに伴うデフォルト設定の変更についての注意事項
- Upgrade中の留意点
- Upgradeファイルのダウンロードに関する留意点
- VxRail Manager VMのDiskサイズを手動で拡張する必要がある。
- 外部VC と外部PSCをご利用の場合の追加作業
- 互換性のないFWによるエラーについて
- Upgrade中の監視・進捗確認
- Upgrade進捗が文字化けする問題
- 日本語名のVMがある場合にUpgradeが失敗する
- Upgrade中のClomdRepairDelayの変更について
- Upgrade失敗時の切り戻しについて
- vCener と PSC のアフィニティルールについての注意事項
- Upgrade後の留意点
- vSphere Clientの表示がおかしい
- 「vSAN ビルドに関する推奨事項エンジンの健全性」について
- 古いVCSAおよびPSC VMの削除について
- Intel CPU脆弱性の対応について
- ESRSVEのUpdateについて
- 仮想分散スイッチのUpgrade
- Password有効期限の変更など、デフォルト値からの変更について
- CVE-2018-3646に関するアラートの対応
- SystemVMのバックアップ取得
- Active Directoryへの再Join
- アップグレード後のESXi 構成情報の暗号化について
- vSAN オブジェクトフォーマットの更新が必要となる場合がある
- vCLSの採用
Upgrade前の留意点
VxRail 4.xと7.xの差異についてのサマリ
もっとも大きな差異はvSphere のVersionが変わることです。
VxRail 4.0.xの場合はvSphere 6.0系です。
VxRail 4.5.xの場合はvSphere 6.5系です。
VxRail 4.7.xの場合はvSphere 6.7系です。
VxRail 7.x の場合はvSphere 7.x 系です。
vSphereと連携するSolutionの互換性について事前の確認が必要になります。
Solutionの互換性以外では、vSphere 7.0へのUpgradeに伴い以下のような代表的な変更が発生します。
- Internal VCSA/PSCが一つの仮想マシンに統合される
VxRailの構築時にInternal VCSAを選んだ場合、VCSAおよびPSCは独立した仮想マシンとしてDeployされておりますが、
VxRail 7.0へUpgradeを実施すると自動的に一つの仮想マシンへ統合が実施されます。
その際にはVCSA VMが新規にDeployが実施され,VxRailで使用しているSubnetと同一のテンポラリー IPをお一つ準備していただく必要がございます。
なお、VxRail 4.7までPSC VMが利用していたIPアドレスは、VxRail 7.0へのUpgrade後は空きとなります。
使用できる機能などに変化はありません。
- vSANのVersionが7.xになる
- vSAN Native File Serviceなどの新機能が使用可能になります。
- 新機能の使用にはDisk Format のVersion Upgradeが必要です。
- その他vSAN7.x系の新機能の詳細についてはVMware社のドキュメントをご参照ください
- vSAN/vSphere/VxRailのVersionは、それぞれ一対一で対応します。対応表はこちらのドキュメントをご参照ください。
- GUIの仕様が変わる
VxRail 7.0(vSphere 7.0)ではvSphere Client(HTML5版)のみ使用可能でFlash版に関しては廃止されておりま
詳細については下記のKBをご参照くださ
vSphere 7 アップグレードのベスト プラクティス (78205)
https://kb.vmware.com/s/article/78205?lang=ja
vSphere 7.0 では、Flash ベースの vSphere Web Client は廃止され、使用できなくなりました。
詳細なUpgrade前後のVersionの確認方法について
Upgrade前後のSolutionの互換性を確認するにあたり、まずは詳細なvSphere コンポーネントのVersionを知る必要があります。
Upgrade前（VxRail 4.5.x/4.7.x）のVersionについてはVxRail のVersionがわかれば確認できます。
もしくは、WebClientなどから各コンポーネントのVersionをご確認いただくこともできます。
VxRailのVersionがわかる場合はRelease Noteから詳細なvSphere コンポーネントのVersionを確認可能です。
・VxRail 4.5.x / 4.7.xリリースノート（英語のみ）
https://support.emc.com/docu86659_VxRail-Appliance-Software-4.5.x-Release-Notes.pdf
https://support.emc.com/docu91467_VxRail_Appliance_Software_4.7.x_Release_Notes.pdf
VxRail4.5系 の場合はVxRail Manager GUIより現在のVersionを確認可能です。以下の図をご参考にしてください
※以下の例はVxRail 4.0系ですが、4.5系でも同様です。
VxRail 4.7系の場合はvSphere Client （HTML5）より確認可能です。以下の図を参考にしてください。
Upgrade後のVersion（ターゲットVersion：VxRail 7.x）のvSphere コンポーネントの詳細についてはVxRail 7.xのリリースノートをご参照いただけます。
VxRail7 Release Note
https://support.emc.com/docu98130_VxRail-7.0.x-Release-Notes.pdf
Upgradeパスと制限事項について !!! 重要 !!!
- VxRail 4.5/4.7からのみUpgrade可能
vSphereの制限と同様に、VxRailもVersion 4.0.x 系（vSphere 6.0系）からVxRail 7への直接のUpgradeはできません。現在のVersionに応じて２～３段階のUpgradeが必要となります。
それに伴いUpgrade時間が多くかかりますので作業調整には考慮が必要です。（VxRailは1回のUpgradeで１Nodeあたり1～2時間程度必要）
- VxRail 4.7.411からVxRail 7.0.000へのUpgradeはできない
VxRail 4.7.411からVxRail 7 GA VersionへのUpgradeはサポートされておりません。
VxRail 4.7.411からVxRail 7にUpgradeする場合はVxRail 7 次期リリース（vSphere 7 P1 or U1） を待たなくてはいけませんので、VxRail 7 (vSphere/vSAN 7)へのUpgradeが必要になることが予想される環境では4.7.411へはUpgradeはせずに、4.7.410を採用する必要があります。
同じことがNode追加にも言えます。VxRail 4.7.410で初期化されたNodeはVxRail 7に追加できますが、4.7.411で初期化したNodeはVxRail 7に追加できません。
VxRail 7 Clusterに追加できるVxRailのVersionについてはVxRail Add Node Matrixをご参照ください。
※VxRail 7にVxRail 4.7.xのNodeを追加した場合、追加時の追加したNodeが自動でVxRail 7にUpgradeされます。Versionが混在するわけではありません。
- Quanta Modelは4.7.xで終了
Quanta ModelはVxRail 7へUpgradeできません。Quanta Modelを含むクラスターはVxRail 7へのUpgrade時に事前チェックエラーとなって、Upgradeに進むことができません。
- GPUを利用している場合はVxRail 7 GA (7.0.000)へのUpgradeができない
GPUを利用されている環境の場合、Driver側の対応状況などの問題でUpgradeを実施することができません。次期リリースを待つ必要があります。
- その他の制限
VxRailの標準の以外のDriverやVIBなどをご利用されている場合、VxRail 7.0.000（vSphere 7 GA）との互換性がない場合があります。例；
vmkapi Dependency error while Installing/upgrading to ESXi 7.0 (78389)
https://kb.vmware.com/s/article/78389
VxRail標準以外のVIBやDriverなどを利用されている場合は、各ベンダーに対応状況についてご確認ください。
Upgrade方法に関する制限事項
VxRailではUpgrade方法として以下の二つをサポートしています。
- 作業端末からUpgradeファイルをUploadするLocal Upgrade
- VxRail ManagerがInternet経由でUpgradeファイルを取得するInternet Upgrade
2020年5月現在で、VxRail 4.5/4.7から7.xへのUpgradeについて、Internet Upgradeは利用できません。（ACEからのUpgradeも同様）
VxRail 7へのUpgradeは注意事項も多いため、SolveOnlineの手順書や、ReleaseNoteを読まずにUpgradeに進んでしまうことを防ぐ措置となっています。
また、vSphere 7から導入されたvLCMについてもVxRailでは利用できません
VxRail7でvLCMによるUpgradeを実施しようとすると、Blockされる仕組みになっております。
vSphere と連携するソフトウェアの互換性について
お客様にてご使用中のvSphere と連携するVMware / 3rd Solutionがある場合、各Solutionのアップグレードが事前もしくは事後に必要になる可能性があります。
VxRail関連のバージョンにVMware Solutionが対応しているか否かは以下をご確認いただけます
https://partnerweb.vmware.com/comp_guide2/sim/interop_matrix.php
更新の順序については以下のVMware KBをご参照ください。
Update sequence for vSphere 7.0 and its compatible VMware products (78221)
https://kb.vmware.com/s/article/78221?lang=en_US
例：
VDP はVxRail 7では利用できません。
NSX-v 6.4.7、もしくはそれ以前のVersionを利用されている場合は、VxRail 7へのUpgradeはできません。
※NSX for vSphere をご利用の場合の留意事項についての詳細は以下のKBをご覧ください。
（参考）Dell EMC KB#524819 および Dell EMCKB#530299
3rd Party Solutionにつきましては各ベンダに互換性をご確認ください。
Recover Point for VMは、VxRail 7.0.000ではサポートされておりません。（2020年5月1日現在）
Recover Point for VMをご使用の際には、VxRail 7.0.000へのUpgradeはできません
また、05/01 現在のRecoverPoint for VMに関しては、vSphere Client(HTML5版)に関してサポートされておりません
RecoverPoint for VMs: RP4VM Plugin doesn't work in HTML5(H5) web client
https://support.emc.com/kb/510651
↑その後サポートされています
NSXがある場合のMajor Upgradeの考慮事項
Dell EMC VxRail: Major version upgrading VxRail with NSX-T in place | Dell US
vSphere7でサポート外となるコンポーネントについて
VDS version 6や、仮想ハードウェアVersion 4（追記：その後のVMware KBの修正により対応になってます）などは、Upgrade後のvSphere7では対応しておりません。
これらのコンポーネントが存在する場合は、Upgrade失敗や、Upgrade後の動作不良につながる可能性がございます。
対応外となるコンポーネントついては事前に更新をお願いいたします。
Uprade Requirement
Distributed Virtual Switch at unsupported version
https://kb.vmware.com/s/article/52826
compatible virtual machine hardware versions list
https://kb.vmware.com/s/article/2007240
VxRailで利用するVMwareライセンスのUpgradeに関する留意点
VxRail 4.x (vSphere/vSAN 6.x) からVxRail 7（vSphere/vSAN 7.x）にUpgradeされることにより、vSphere/vSANライセンスもUpgradeする必要があります。
vSphere6.x/vSAN6.xで利用していたライセンスをそのままvSphere7.x/vSAN7.xで利用することはできません。
VxRail 7 (vSphere 7)にUpgradeした直後は再び60日間の評価ライセンスが有効になりますので、ライセンスを準備できていなかったとしても即座に問題が発生するわけではありませんのでご安心ください。
VxRail 7 へのUpgradeに関連して確認、および対応が必要となるライセンスは、vSphere、vSAN、vCenterの３つです。
VxRail環境のvSphere（ESXi）のライセンスについては、お客様にて管理されているものとなりますので、MyVMwareにお客様のアカウントでログインしていただき、ライセンスのUpgradeを実施したうえで再適用する必要がございます。
vSANライセンスについては、VxRailのEmbedded License（VxRail 4.5.x以前）と、OEMライセンス（VxRail 4.7.x以降）によって対応が異なります。
Embedded Licenseの場合は、VxRailのUpgradeの際に自動でライセンスが書き換わりますので事前準備や当日のライセンス関連の作業は不要となります。
VxRail 4.7以降で導入し、OEMライセンスを購入されているものに関しては、ライセンスはお客様管理となりますので、MyVMwareからvSANライセンスをUpgradeしていただき、VxRailに適用する必要があります。
vCenterライセンスに関しては、Internal VCSAを利用されている場合は、Embedded Licenseとなりますので事前準備や当日のライセンス関連作業は不要です。
External VC構成の場合は、Upgradeおよびライセンス管理はお客様にて実施いただく作業となります
まとめると以下となります。
| 4.5.x 以前に導入したVxRail Cluster | 4.7.x以降で導入したVxRail Cluster |
vSphere | 必要 | 必要 |
vSAN | 不要 | 必要 |
Internal VCSA | 不要 | 不要 |
External VC | 必要 | 必要 |
表１． ライセンスアップグレード作業の要否
対応が必要な場合のライセンスUpgrade方法及び適用方法については、下記のドキュメント及びコミュニティをご参照ください。
Administration Guide 7.0
https://dl.dell.com/content/manual47937902-dell-vxrail-7-0-x-administration-guide.pdf
License VxRail
How to Upgrade or Downgrade License Keys in Customer Connect with troubleshooting steps (81665)
https://kb.vmware.com/s/article/81665?lang=ja
VxRail：VxRailに使用するVMware License keyの取得、適用方法
https://communities.vmware.com/t5/Japanese-Documents/-/ta-p/2775568
4. vSphere ライセンスキーの割り当てに関して
VxRailのライセンスにバンドルされるソフトウェアコンポーネントに関する留意点
VxRailに含まれるソフトウェアコンポーネントのすべてがUpgrade作業によってUpgradeされるわけではありません。
VxRailのUpgrade作業によってUpgradeされるコンポーネントは以下です。
※VxRail Upgradeファイル以外の更新（個別のVIBやパッチを適用）を実施することはサポート外になりますのでご注意ください。
・ESXi（追加のVIBも含む）
・VSAN
・VCSA/PSC（外部VCの場合は除外）
・Firmware （BIOS,iDRAC,HBAなど、Versionやモデルに依存します。）
・VxRail Manager VM
Upgradeされないものは以下です。
※UpgradeはVersion管理（互換性など）はお客様管理になります。
・VDP （お客様作業になります。参考手順：VxRail: vSphere Data Protection の Upgrade手順 （参考資料） Part 1 , VxRail: vSphere Data Protection の Upgrade手順 （参考資料） Part 2 )
・RP4VM （別途サポート窓口にお問い合わせください）
・CloudArray （別途サポート窓口にお問い合わせください）
・Loginsight （お客様作業になります。 参考手順： vRealize Log Insight のUpgrade （参考資料） ）
・ESRS （お客様作業になります。 参考手順： VxRail: ESRSVE VMのUpdate 手順（参考資料） ）
・既存VMのHardwareVersion（Intel CPUの脆弱性の対応で必要です）
・ESRSの内部イメージ（内部イメージは出荷時から変わりません）
・ESXiのファクトリーイメージ（出荷時から変わりません）
※ その他vSphereと連携するDell EMC製品（UnityVSA、IsilonSD Edge、AvamaerVEなど）についてはサポート窓口にお問い合わせください。
※ その他vSphereと連携するSolution（NSX/VDI/vRangerなどその他3rdパーティ製品すべて） についてはすべてお客様作業範囲となります。
SSL証明書に関して
VxRail ManagerのSSL証明書の置き換えなどを実施している場合、Pluginが正常に動作しない事象が報告されています。
下記のKB：530378をご参照ください。
VxRail : How to prevent vCenter plugin issue caused by VxRail Manager SSL certificate mismatch
https://support.emc.com/kb/530378
Upgrade時に準備いただくもの
4.x -> 7xのUpgradeの際に以下をお客様にご準備いただきます。
・一時IPアドレス（１つ） ※Internal VCSA/PSCを利用している場合のみ
VxRailのUpgradeの際に一時的に利用されます。
VxRail 4.x -> 7.x のUpgradeの際にVCSAとPSCのVersionが6.x -> 7.xに変わります。
このUpgradeは従来のOS内部の更新という形ではなく、新規VMの構築＆データ移行という形で実行されます。
そのため旧VCSA/PSC（6.x）から新VCSA/PSC（7.x）へのデータ移行する際に、新VCSA/PSCへ仮のIPアドレスを割り当てる必要があり、その際に使われる一時的なIPアドレスが、一時IPアドレスです。
Upgrade完了後はそれまでのVCSA/PSCのIPアドレスが使用されますので、一時IPアドレスがUpgrade後も使用されることはありません。
一時IPアドレスはVCSA/PSC/VxRail Managerと同じサブネットのIPアドレスでご用意ください。
一時IPアドレスの確保が難しい場合はLogInsight VMやESRSVE VMなどUpgrade時に必要のないSystem VMをShutdownし、そのIPアドレスを利用することができます。
※一時IP Addressは未使用でかつ同じサブネットでなくてはいけません。もし条件に満たしていないIPが使用されていた場合はUpgradeに失敗します。（KB#522181）
※VCSA/PSCのMigrationが完了したのち、新規VCSA/PSCのIPアドレスが一時IPから本来のIPアドレスにつけ変わります。IPアドレスの改ざんやなりすまし防止機能が働いている環境では設定を無効化、もしくは例外設定としてください。（NSX Spoof Guardなど）
※一時IPは一時的ですがVCSA/PSCと同じネットワーク要件を満たす必要があります。DNS/NTPサーバへのアクセスをIPアドレスでフィルターしている場合は、一時IPからのDNSおよびNTP接続も許可する必要があります。
※前述の通りVxRail7へのUpgrade完了後に、Internal VCSA/PSCは統合されて、PSC VMはなくなります。結果としてPSC VMが利用していたIP Addressは欠番となります。
・Zoom端末（Dell EMCにUpgradeを依頼する場合のみ）
Dell EMCの保守契約に付随する無償のUpgradeサービスを利用する場合はZoom経由での作業となります。
端末は物理マシンでも仮想マシンでもどちらでも構いません。
※VxRail上の仮想マシンでも構いませんが、vMotionなどの妨げになる可能性もあるため推奨しません。
利用されるZoomでは以下のスペックが推奨されます。(トラブルシューティングでの利用も想定)
- CPU： 2GHz以上が2コア以上
- メモリ：8GB以上
- Disk：空き容量が20GB以上
- リソース優先度：標準以上
また、以下のアプリケーションが準備されていることが望ましいです。(トラブルシューティングでの利用も想定)
- SSHクライアント（TeratermやPuttyなど）
- WinSCPなどのSFTP/SCP クライアント
- WebClientを起動可能なFlash対応ブラウザ
- Java（JRE）
Upgrade前の事前チェックスクリプト
Dell EMC KB#536801 にVxRailのUpgrade前に実施するPrecheckスクリプトが公開されてます。
※Precheckスクリプトは過去の事例などを元に作成されており、Upgrade結果を保証するものではございませんのでご留意ください。
※閲覧にはDell EMCオンラインサポートへのアカウント作成が必要です。
Upgrade前のvSAN データストア使用容量確認とリバランスとの必要性について
VxRailのUpgrade前には、vSANのすべてのキャパシティディスクの容量使用率が70～75%以下であることが推奨です。
推奨される理由は以下です。
- VMwareの推奨事項であるvSANの容量使用率に準拠するため。
- 単体Disk使用率が80%を越えた場合に発生する自動リバランスを避けるため
容量使用率について、VMwareの推奨を守ることはデータ可用性や安定稼働の観点で重要です。
それ以外にも、自動リバランスが発生するとVxRailのUpgradeが停止してしまう、という問題があります。
VxRailのUpgrade見積時間にはリバランス待ちは含まれないため、作業時間が想定よりも大きく上回る可能性があります。
Upgrade中にリバランスが発生しないようにvSANデータストアの使用容量を確認し、容量が多い場合は、少なくとも75％以下に減らすことを推奨します。
また、vSANデータストア全体としての使用容量が少ない場合でも単体Diskの使用容量が80%に近い場合は事前にリバランスが必要です。
リバランスについては下記の記事が参考になります。
VxRail: 「Virtual SAN ディスク バランス」の警告の詳細と対処
Secure Boot設定に関する留意事項
VxRail 7.0.000からSecure BootがEnableでもUpgradeが可能となっておりますが、すべての環境において可能ではございませんのでご注意ください。
状況が不明な場合はSecure BootをDisableにしたのちにUpgradeされることをお勧めします。
参考KB : https://support.emc.com/kb/529655
VxRail 13G （E460/F、P470/F など） | Disableが必須 |
VxRail 14G with VxRail 4.7.410 （E560/F、P570/F など） | Enableでもよい |
VxRail 14G with 4.7.410未満 （E560/F、P570/F など） | Disableが必須 |
System VMのSnapshotの事前取得
ここでのSystem VMとは、VCSA/PSC/VxRail Managerの３つを指します。
VxRail 7へのUpgrade時に自動でSnapshotが作成されますが、自動作成のSnapshotは自動で削除されてしまいますので、万が一に備えてお客様が事前にSnapshotを作成されることをお勧めします。
Snapshotがない場合は、Upgradeトラブル時に切り戻しできる可能性が減ります。
7.0.010へのUpgradeに関する既知問題（2020/09/12 Update）
・VCSAとPSCのroot passwordをそれぞれで違うものを使用していた場合、Upgrade前に同じパスワードに設定する必要があります
詳細に関しては、KB#545932 をご参照ください
・vCenter portgroup nameをVxRail Deploy時から変更していた場合、VxRail 7.X台へのUpgrade時のネットワーク設定に失敗する場合がございますので、Upgrade前にVxRail Manager内のData Baseと同じvCenter portgroup nameに設定する必要があります
詳細に関しては、KB#545867 をご参照ください
・VxRail manager VMの仮想マシン名が「VxRail manager」から変更していた場合、7.0.010用のVxRail ManagerのDeployに失敗するため、Upgrade前に仮想マシン名を「VxRail manager」にする必要があります
詳細に関しては、KB#545620 をご参照ください
ESXi の詳細設定パラメータについて
既存の不具合と関連する詳細設定パラメータの設定がある場合は事前にVxVerifyで確認されます。
参考
https://www.dell.com/support/kbdoc/en-us/000201608
https://www.dell.com/support/kbdoc/en-us/000043154
ESXi 内部管理ユーザのパスワード形式について
Dell EMCにUpgradeを依頼した場合、Upgrade前の事前チェックにて、環境確認用のスクリプトを実行します。
その際に、ESXi の内部管理ユーザのパスワード形式が古い場合にスクリプトが正しく実行できない場合があります。
VxRail 4.0.300 未満のVersionでVxRail を初期構築した場合は、事前チェック時にパスワードを新形式に更新していただく場合があります。
vDSアップグレードに伴うデフォルト設定の変更についての注意事項
vDS が 6.6 から 7.0になりますが、その際に マルチキャストフィルタリング の設定が強制的に IGMP/MLD スヌーピング に代わるため以下のvmware kb の事象が発生する可能性があります。
IGMP/MLD snooping when enabled makes Virtual IP in Microsoft NLB (Network Load Balancer) not reachable (75217) https://kb.vmware.com/s/article/75217
Upgrade中の留意点
Upgradeファイルのダウンロードに関する留意点
Upgradeファイル（Composite Upgrade Package）のダウンロード方法がこれまでと異なります。
これまでのVxRailのUpgrade用ファイルはすべてサポートサイトからダウンロード可能でした。
しかし、VxRail 7へのUpgradeについては、重要な制限・注意事項がいくつかあるため、不慮のUpgradeを予防する意味で直接のダウンロードはできなくなっています。
代わりに下図のようにREADMEファイルが公開されており、その中でSolveOnlineの手順書を確認したうえで、同書内に記載のURLからダウンロードが可能な旨が示唆されています。
したがって、まずはSolveOnlineから手順書を生成し、内容を確認する必要があります。
VxRail Manager VMのDiskサイズを手動で拡張する必要がある。
VxRailのUpgradeでは、UpgradeファイルがGUIを通じてVxRail VMにUploadされる仕組みになっております。
VxRail7のUpgradeファイルはサイズが大きいため、VxRailのVersionに依存し、手動でのDisk拡張作業が必要となります。
対象となるのは、VxRail Versionが4.5.401未満(4.5.401は含まない)、4.7.301未満および4.7.400です。（下表参照）
手順に関してはSolve Procedureをご参照ください。
既存のVxRail Version | 拡張の要否 |
4.5.400 もしくはそれ以前の4.5系 | 必要 |
4.5.401 もしくはそれ以降の4.5系 | 不要 |
4.7.300 もしくはそれ以前の4.7系 | 必要 |
4.7.301 | 不要 |
4.7.400 | 必要 |
4.7.401 もしくはそれ以降の4.7系 | 不要 |
表2 Disk拡張作業要否
外部VC と外部PSCをご利用の場合の追加作業
VxRailの外部VC構成では、PSC統合型とPSC外部型の二つのパターンがあります。
それぞれの構成の違いについて不明な場合はこちらをご覧ください。
外部VC環境と外部PSCを利用している環境の場合、vSphere 7にUpgradeすることで、外部VCと外部PSCが統合されます。
そのため、VxRail側で管理されるPSCのIP/FQDNをVCSAに統合する処理が必要となります。
※初めから統合型（Embedded PSC）の外部VCを利用している場合は対応不要です。
VxRail側のPSC IP/FQDNの更新作業は外部VC/PSCのUpgrade後、かつVxRail ClusterのUpgrade前に実施しておく必要があります。
つまり、
１．外部VCのUpgrade（お客様）
２．統合作業の実施（お客様）
３．VxRailのUpgrade（お客様 or Dell EMC）
の順で実施が必要です。
統合作業の実施手順については、Dell EMC KB：543028にScriptがございますので、こちらの手順に従い実施いただく必要があります。
Dell EMC VxRail: Need to update VxRail Manager configuration after converging external vCenter and PSC using script
https://support.emc.com/kb/543028
互換性のないFWによるエラーについて
VxRail 4.7.300以降の新機能として、Upgrade時のFirmware互換性チェックが導入されました。
Upgradeを開始してファイルのUploadが完了した後で互換性チェックが実行されます。
過去の障害やお客様の作業によって、VxRailと互換性のないFirmwareが利用されていた場合は、Upgradeに進むことができません。
この状態になりましたら、Dell EMCサポートにご連絡ください。
Upgrade中の監視・進捗確認
Upgrade中はVxRailがHealth MonitoringがOffになりますが、vCenterのアラーム通知機能は動作します。したがってDell EMCへの自動通知機能は無効になりますが、ユーザへのアラーム通知機能は引き続き利用可能です。
Upgradeの進捗はVxRail GUIから確認可能ですが、REST APIからUpgradeを開始した場合、GUIからは進捗を確認できません。
NodeのUpgrade実施中にBIOS画面で停止してしまうことがまれにあります。その場合、VxRail ManagerはUpgrade失敗を検知できず最大2時間ほどそのままとなります。
NodeのUpgrade中はiDRACやBMCの仮想コンソールから進捗を確認しておくことが推奨です。
Upgrade進捗が文字化けする問題
VxRail 4.7.410 もしくは4.7.411からVxRail 7.0.000にUpgradeする際に、GUI上のUpgrade進捗が文字化けする既知の不具合があります。
表示上のみの問題でありUpgradeには影響がありません。
英語表示の場合は文字化けが発生しませんので、英語表示で確認されることを推奨します。
日本語名のVMがある場合にUpgradeが失敗する
VxRailはすべてのNodeが自動で順々にUpgradeされていきます。（ローリングUpgrade）
Upgrade中のNode（ESXi）に日本語名の仮想マシンがある場合にUpgradeが途中で失敗となります。
その際に下記のようなエラーメッセージを出力します。
Failure occurred while running an upgrade for bundle: ESXi. The error message: 'ascii' codec can't decode byte XXXX in position XXXX ordinal not in range(xxx).
この事象についてはDell EMC KB#529443 に記載されています。（パートナー権限が必要）
この事象が発生した場合は、対象の仮想マシンをUpgrade済みのESXiに手動でvMotionしていただき、VxRail GUI(VxRail 4.5.x)もしくはvCenter Plugin (VxRail 4.7.x) からUpgradeを再試行（Retry）していただければUpgradeを再開できます。
Upgrade中のClomdRepairDelayの変更について
VxRail 4.7.100未満から7.x 以降にUpgradeする際の注意事項です。
vSAN 6.7U1から、Object Repair Timerの値をvCenterから一元管理できるようになりました。
その関係で、ESXiをUpgradeした際にObject Repair Timer（ClomeRepairDelay）の値を変更していた場合、デフォルト値に強制的に戻されます。
しかし、vCenterをUpgradeした直後にvSphere Client (HTML5)から対象の項目を変更しておけば回避可能です。
つまり、VxRailのUpgradeの順序として、
- VxRail Manager
- PSC
- VCSA
- ESXi (Firmware含む)
の順番でUpgradeされますが、3のVCSA Upgradeが完了した後にvSphere Client （HTML5）からObject Repair Timerを変更しておけばデフォルト値に戻ることを回避できます。
Object Repair Timerの変更方法はこちらの記事をご参照ください。
https://cormachogan.com/2018/11/13/new-vsan-6-7u1-advanced-options/
なお、VxRailのUpgradeをDell EMCに依頼した場合でも上記の対処は実施してくれないため、Resyncが走ってしまうことがありますので、ご注意ください。
Upgrade失敗時の切り戻しについて
VxRailはダウングレードをサポートしておりません。
しかし、ESXiがUpgradeされる前であれば、System VMを事前に採取したSnapshotに切り戻すことで正常状態に戻すことが可能な場合があります。
VxRail 4.7.x → 7.xのUpgradeの切り戻し作業において、スナップショットを取得したタイミングによっては、VCSAのサービスが起動しない場合があります。
詳細と対処法については以下のDell EMC KBをご参照ください。
Dell EMC VxRail: How to rollback to 6.x internal vCenter when upgrading VxRail from 4.x to VxRail 7.x failed and cannot retry.
https://support.emc.com/kb/542406
vCener と PSC のアフィニティルールについての注意事項
VxRail アップグレードでは vCenter サーバやPSCのアップグレードがされる関係で、一時的に両VMに対してアフィニティルールが適用され、特定のESXi に固定されます。もし既存で既にお客様が設定したVCSA/PSCに対するアフィニティルールがある場合は競合によって設定が失敗することがあります。
Upgrade後の留意点
vSphere Clientの表示がおかしい
VxRail 7へのUpgrade後に、vSphere Clientにて各インベントリの詳細情報が表示されない場合があります。
詳細と対処については以下のKBをご参照ください。
Dell EMC VxRail: vCenter GUI being abnormal after upgrading to 7.0.000
https://support.emc.com/kb/543019
「vSAN ビルドに関する推奨事項エンジンの健全性」について
VCSAがインターネット経由でVMware社にアクセスできないことに起因して、上記のエラーが出ることがあります。
Proxyサーバを設定することでも対処可能ですが、VCSAのインターネットへのアクセスを希望しない場合はこの警告を静観していただくか、もしくはこの項目自体を無効にする必要があります。
この項目のチェックを無効にする手順は下記のコミュニティ投稿をご参考にしてください
古いVCSAおよびPSC VMの削除について
Upgrade前に使用していた古いVCSAが「VMware vCenter Server Appliance（legacy）」としてインベントリに残ります。
Upgradeが失敗した場合はロールバックとして使用する可能性があるものですが、完了後は基本的に不要です。
お客様のご判断にても不要であれば、Upgrade完了後に削除をお願いいたします。
PSC VMについても同様です。
Intel CPU脆弱性の対応について
VxRail 4.5.152以降にはIntel CPUのセキュリティ脆弱性についての修正が含まれております。
VMwareの環境では、Upgradeしただけでは修正が個々の仮想マシンに適用されません。
修正が必要な仮想マシンにたいして以下の対処を実施お願いいたします。
### 補足 ###
※セキュリティ対策が不要な場合は実施不要です。
※下記の説明文中SystemVMとは以下のVxRail によって自動デプロイされた以下のVMのことです。
- VxRail Manager
- VCSA（外部VC構成の場合は無）
- PSC（外部VC構成の場合は無）
- LogInsight （オプション）
##########
― すべてのお客様仮想マシンに対して以下の対処を実施ください ※System VMを除く
1. GuestOSレベルでの修正を適用ください。修正についてはOSベンダにお問い合わせください
2. 仮想マシンハードウェアをVersion 9以上にしてください。
※すでにVersion 9 以上のものに関しては対応不要です。
3. 対象のVMをShutdownし、完全にPower Off状態となったのち、PowerONしてください。※RebootではなくPowerCycleが必要です。
― System VMに対して以下の作業を実施ください
1. 上記「すべてのお客様仮想マシンに対して」のStep2とStep3のみ（PowerCycle）を実行ください。Step1の実施は不要です。
※以下の順序で実施してください
① VxRail Manager
② vRealize Log Insight [if deployed]
③ vCenter Server Platform Service Controller (PSC) [if Internal]
④ vCenter Server Appliance (VCSA) [if Internal]
※PSC/VCSAをPower Offすると認証およびWebClientへのアクセスができなくなります。WebClientへのアクセスが失われた場合、これらのVMのPowerOn作業は各ESXiのHostClientにて実施する必要があります。そのため、PSC/VCSAについてはあらかじめどのNodeにて稼働しているのかをご確認いただくことをお勧めします。
ESRSVEのUpdateについて
ESRSVE VMについてIntel CPUのセキュリティ脆弱性についての対処をご希望の場合は以下を実施する必要があります。
1. ESRSVE VMのSnapshotを取得
2. ESRSVEを最新VersionへのUpdate （※手順は添付。Downloadはお客様のネットワーク環境に依存して2時間以上かかることがあります）
3. ESRSVE VMの仮想ハードウェアVersionを最新にする
4. Dell EMCへ接続性チェックを依頼。※このメールスレッドにてご依頼ください
5. 正常性を確認後、Snapshotを削除。※VSANデータストア上にVMについては必ずしも削除は必要ではありません
※上記はすべて以下のコミュニティ文書にて詳しく解説されていますのでご参照ください。
VxRail: ESRSVE VMのUpdate 手順（参考資料）
仮想分散スイッチのUpgrade
VxRailのVersionが4.x -> 7.xになることでvSphereのVersionが6.x -> 7.xになるため、VxRailが管理している最初の仮想分散スイッチについても自動的にVDS version 7.xにUpgradeされますが、お客様にて作成された分散スイッチは対象外となります。必要に応じて手動で分散スイッチのUpgradeを実施してください。
・仮想分散スイッチのUpgrade方法
Upgrade a vSphere Distributed Switch to a Later Version
Password有効期限の変更など、デフォルト値からの変更について
既存のVCSA/PSCに対してPasswordの有効期限の変更などを実施していた場合はUpgradeによって設定がデフォルトに戻ります。これはUpgradeの過程で新しいVCSA/PSC VMの作成→移行というプロセスを経ているためです。
ほとんどの場合はPassword有効期限に対する変更のみと思いますが、実施していた場合は再設定が必要になります。
CVE-2018-3646に関するアラートの対応
Upgrade後、もしくはUpgrade中にWebClient GUI上に、CVE-2018-3646に関するアラートが表示される場合があります。
こちらもIntel CPUの脆弱性に関するものであり、下記のコミュニティ文書を参考に対応方針（修正の適用 or 静観）を蹴っていただき、必要であれば対応を実施していただく形になります。
SystemVMのバックアップ取得
Upgradeにより、過去に取得したSystem VM （VCSA/PSC/VxRail Manager）のバックアップとの互換性がなくなります。
Upgrade後は必ずSystem VMのバックアップを取得してください。
バックアップについては以下の方法を利用可能です。
- (推奨)仮想マシンImage level バックアップ（vSphere Data Protection、Dell EMC Avamar、もしくは3rd party ソリューションが必要）
- Clone
- OVFテンプレートのExport
- (推奨)Snapshot (※論理破損のみに対応。物理破損についてはリストア不可)
- ※論理破損・・・・filesystem corrupt など。vSphere HAによってVCSA/PSCが再起動された際などファイルシステムが破損することがあります。
- ※物理破損・・・・ Disk障害やvSAN データオブジェクト喪失など
- (推奨)File-base backup
- 2019年7月末より、VCSA/PSCのファイルベースバックアップがサポートされました！
- （参考）https://support.emc.com/docu95114_File-Based-Backup-and-Restore-of-VxRail-VCSA-and-PSC.pdf?language=...
- ※2019年9月8日現在でVxRail 4.7.x系での上記ファイルベースバックアップは未サポートですが将来的にサポートされる可能性がありますので取得しておいて損はありません
- VxRail Manager VMについてもファイルベースバックアップが可能です。詳細はSolveOnline（もしくはSolveDesktop）から手順をご参照ください。
- https://solveonline.emc.com/solve/home/
- ※SolveOnlineを使用するには事前にDell EMCサポートアカウントが必要です。
- ※サポートアカウントをお持ちでない方は事前にご登録ください。登録方法が不明な方はDell EMCアカウント担当者にご連絡ください。
- 手順書までのパス
- 上部検索バーで"vxrail" を検索
- 検索結果の”VxRail Appliance” を選択
- 'How To' Procedures
- Is the system running Virtual Cloud Foundation on VxRail? >>> No
- 'How To' Perform VxRail Manager File-Based Backup and Restore
- Select the Installed VxRail Software Version >>> Upgrade後のVxRailのVersionを選択
- Usage information >>>> Serian Numberなどは記入不要でNextを押下
- Generate ボタンから手順書を生成ダウンロード
- https://solveonline.emc.com/solve/home/
- 2019年7月末より、VCSA/PSCのファイルベースバックアップがサポートされました！
Active Directoryへの再Join
VCSA/PSCの再デプロイによるUpgradeとなりますのでActive DirectoryへJoinしていた場合は、Upgrade後に再Joinが必要になります。詳細については以下のドキュメントをご参照ください。
- JOINING VXRAIL SUPPLIED VCSA AND PSC TO ACTIVE DIRECTORY
- ※Impact of VxRail Upgrades の項目をご参照ください
- 再Join手順はKB#540807をご参考にしてください。
- ※Impact of VxRail Upgrades の項目をご参照ください
https://docs.vmware.com/en/VMware-vSphere/7.0/rn/vsphere-esxi-vcenter-server-70-release-notes.html
After upgrading or migrating a vCenter Server with an external Platform Services Controller, if the newly upgraded vCenter Server is not joined to an Active Directory domain, users authenticating using Active Directory will lose access to the vCenter Server instance.
Workaround: Verify that the new vCenter Server instance has been joined to an Active Directory domain. See Knowledge Base article: https://kb.vmware.com/s/article/2118543
アップグレード後のESXi 構成情報の暗号化について
ESXi 7.0U2 以降ではデフォルトでホストの構成情報が暗号化されます。アップグレード時には自動的に実施されます。
TPM2.0がない場合は難読化されるのみですが、TPM2.0が有効なホストでは暗号化され、TPM2.0障害やシステムボード障害時にリカバリキーを入力しないとホストが起動できなくなります。
該当環境においては、アップグレード後に必ずリカバリキーをバックアップしてください。
暗号化されたくない場合はTPM2.0をOffにしてください。
参考：
ホスト構成情報の暗号化関連
セキュアな ESXi 構成の概要 (vmware.com)
ESXi の構成情報の暗号化、TPM による追加の保護、TPM 障害からの復旧 | vSoliloquy (jangari-ntk.github.io)
リカバリキーのバックアップ関連
セキュアな ESXi 構成リカバリ キーの内容の一覧表示 (vmware.com)
https://kb.vmware.com/s/article/81661
TPM2.0有無の確認方法関連
「Dell EMC VxRail：ホストがvCenterに次のアラートを表示します。TPM 2.0デバイスが検出されたが、接続を確立できない(お客様による修正が可能) | Dell 日本
https://itorwar.blogspot.com/2022/12/vspheretpm.html
vSAN オブジェクトフォーマットの更新が必要となる場合がある
vSAN 7.0U1 以降で vSAN のオブジェクトフォーマットの変換が必要となる場合があります。
VxRail のアップグレードでは実施されないため、必要な場合は事後に手動で実施する必要があります。
https://kb.vmware.com/s/article/80614?lang=ja
vCLSの採用
vSphere 7U1より、DRSの機能がvCenterからではなくvCLS VMにて提供されます。
DRSの機能を利用する場合は、vCLS VMが動作している必要があります。
vCLS VMは管理VMとして運用手順に影響する場合がありますので、詳細は下記のKBをご参照ください。https://kb.vmware.com/s/article/80472?lang=en_us
