20180※本記事は元々"kawaman"の個人ブログスペースに投稿しておりましたが、DECNからDELLコミュニティへのコミュニティ統合に伴う移行影響で"日本語コミュニティ"ブログ側に付け替えさせていただきました。今月、VxRailチャンピオンクラブの勉強会にLTで参加した際に、皆さんいろいろとvSANやHCIの負荷試験についてその方法を検討されている様でしたので、私がよく使うVmware社のLabsツール、HCIBenchの使い方を紹介いたします。日本語で取り上げられていないので、これから試してみようという方、ぜひとも参考にして頂ければと思います。12月17日の分の参加blogになります。リリースされましたので、その後のネタとして以下のブログにも記事をまとめていますので参照ください。Filngsで公開されている負荷試験の自動化を目的とした無償のベンチマークツールです。HCIBenchHCIBenchはベンチマークツールとしてもメジャーなVDBenchを利用したvSANデータストア・vSANクラスタへの負荷試験を自動化して、ベンチマークレポートの収集が簡単にできるようになります。vSphere環境であればvSAN以外のHCI、NFSやiSCSI、FCのデータストアに対してもVDBenchの負荷試験利用が可能です。VDBenchを利用して複数ホストに負荷試験を実施するのは割とテクニックがいるテストなので、これを自動化できるHCIBenchは非常に便利なツールです。HCIBenchはOVA形式の仮想マシンで提供され、vSANの性能検証に欠かせないコントローラVM(PhotonOS)と、負荷用のテストVMテンプレート(PhotonOS)で構成されます。テスト用のコントローラVMには以下のツールが組み込まれて配布されていますので、準備が非常に楽です。VMテンプレートは、別途ダウンロードしたVDBenchが組み込まれ、クラスタに自動でクローン展開されて負荷を実行します。HCIBench実行環境の注意事項HCIBenchのコントローラVMをデプロイするvSphereクラスタと、負荷をかける対象のvSphereクラスタは同一L2のネットワークが適用されている環境が推奨です。ユーザーガイドにはどのvSphere環境への展開でも問題ない、と記載されていますが負荷対象のクラスタとコントローラVMの配置されるクラスタは別環境である方が正しいレポートが取得できるので推奨です。HCIでやりがちな構成として、コントローラVMと負荷をかける対象のテストVM、そしてvCenterが同じクラスタ、同じデータストア上に存在すると過負荷を掛けすぎてログが正常に取得できないなど残念な結果になることもあるので、できれば負荷試験対象のクラスタとは別の場所にvCenterとコントローラVMを配置することが強く推奨されます。今回のVxRail環境は外部vCenterを利用しております。一度パラメータ指定を間違えて、VxRailクラスタ全体の容量を食い潰し、管理VMのリソースを枯渇させて死亡したことがあります...間違っても本番環境では実施しないでください。以降のバージョンではStaticIPでテストVMに自動的にIPを割り当てて検証が可能になりました。Networkを同一ネットワーク(同一VLAN)で設定します。詳細はユーザーガイドを参照願います。公式サイトからダウンロードするOVAファイルと、VDBenchのバイナリです。VDBenchはOracle社が公開しているオープンソースのベンチマークテストツールですので、以下のOracle社のDLサイトから入手します。ダウンロードしたOVAをvSphereクラスタ上にデプロイします。vSphereへOVAのデプロイ手順は通常のvSphereの操作手順に準拠しますが、注意点として必ずシンプロビジョニング形式でデプロイしてください。詳細はユーザーガイド(英文)にも記載があります。負荷試験の実行結果を蓄積するとコントローラVMの容量が増加しがちなので、不要なデータは試験後に回収後、SSHでログインして削除してしまうことを推奨します。デフォルトの仮想ディスクフォーマットがシックプロビジョニングになっている場合がありますので、特にVMFSにデプロイする場合は必ずシンプロに変更してください(NFS・vSAN上にデプロイする場合は結果的にシンプロビジョニングでデプロイされます)HCIBenchのネットワークは、WebUIへのアクセス用のパブリックネットワークと、テストVMとの通信用のプライベートネットワークの二つを指定します。プライベートネットワークはDHCPがすでに利用できる環境であればDHCPをそのまま利用し、DHCPがない場合はプライベートとパブリックを両方とも同じネットワークに指定しておきます。1.6.5以降は自動でStaticIPをこのネットワーク上に設定して負荷試験が実行できます。HCIBenchのWebUIアクセス用のネットワーク情報とrootのパスワードを設定します。ここで指定したrootパスワードはWebUIへのアクセスと、コントローラVMへのSSHアクセスなどでも利用可能です。準備が完了したらデプロイを続行します。シンプロビジョニングなので初期のストレージ消費量は2GB弱と非常にエコです。デプロイ完了後、パワーオンしてIPへの疎通を確認してください。rootパスワードを入力してください。ポート8080をつけない場合は、負荷試験結果などが保存されているディレクトリツリーを確認できます。WebUIにログインできたら負荷対象のvSphereクラスタ情報の入力と、VDBenchのバイナリをアップロードします。画面が長くなりますが、以下のような設定項目を埋めます。ポイントとなる個所を簡単に説明します。Clientなどで表示されているインベントリ名を正確に入力します。▼プライベートネットワークの指定ネットワーク欄はコントローラVMのデプロイ時に指定したプライベートネットワークと同じL2ネットワークのポートグループ名を入力します。~~」のチェック欄は、ネットワークでDHCPが有効でない場合にチェックを入れてください。コントローラVMのパブリックネットワークを同じL2ネットワークを指定します。▼負荷対象データストアの指定データストア欄はvSANの様に1クラスタ1データストアであれば、上の様に1行でデータストアのインベントリ名を入力します。通常のVMFS(FC・iSCSI)やNFSのデータストアを利用する場合で、複数データストアに均等な負荷をかけたい場合は1行毎に入力します。ここに入力されたデータストアに対して均等に仮想ディスクが作成され、負荷試験が実施されます。Testing」のチェックボックスは、この後の設定メニューの負荷対象ホストを個別にアクセス指定する時のみ有効にできます。vDSのポートグループを利用する場合には負荷対象ホストを個別指定はできないので、今回はこのチェックは利用しません。▼負荷対象ホストの指定HCIBenchは指定しなければクラスタ内の全ホストに対して負荷試験を実施します。特定ホストのみに負荷試験を実施したい場合などは上記のメニューで指定します。先にも述べたようにvDSのポートグループを指定している場合はこのオプションは利用できません。▼テストVMの構成指定テストVMの台数、テストVM1台毎の仮想ディスクの数、および仮想ディスクのサイズを指定します。RUN」を選ぶとvSANデータストアの負荷試験用に自動でクラスタの情報を読み取り、テストVMの台数、仮想ディスクの数などが指定され簡易テストが実行できます。RUN」は一度実施してください。Possible」にチェックを入れてテストVMの再利用が可能です。DLしたバイナリをアップロードします。「ファイルを選択」ボタンからDLしたバイナリを指定します。Configuration」をクリックし、「Validate」を実行します。バリデーションがすべてパスしたことを必ず確認してください。準備が完了したら「Test」をクリックして負荷試験を実行します。RUN」であればテストVMのデプロイから負荷試験実行で1時間半ほどかかります。負荷試験の一連の動作はすべて自動化されており、必要台数分のテストVMのデプロイ、仮想ディスクの作成、負荷の実行が行われます。環境のセットアップさえ完了すれば、負荷試験の間は別の仕事に時間を割り当てられるし、業務の終了際に試験を実行して翌朝確認なども可能です。実行結果の確認テストの完了後、「Result」をクリックするとWebUIで結果の確認ができます。result」をクリックするか、以下の画面でZIPファイルをダウンロードすることで負荷試験の結果をローカルに保存できます。負荷試験のテスト名フォルダをクリックすると、詳細データをWebUI上で確認できます。テキストファイルにはベンチマーク結果のサマリが含まれているので、ここを確認すれば試験結果がすぐにわかります。サマリレポートですが、IOPSやスループット、IO遅延など必要な情報は一通り確認できます。クラスタでのCPU利用率や、vSANのKernel側でのCPU負荷も確認ができます。それぞれのテストVM毎のVDBenchの結果を確認したい場合はフォルダの中の個別ファイルでチェックできます。個別のテストVM毎のレポートも全て閲覧可能です。「stats.html」を開くとvSANObserverのViewで詳細なvSANコンポーネントのレポートを確認することができます。RUN」を利用した標準的なテストをご紹介しましたが、HCIBenchはVDBenchの負荷パターンのパラメータファイルを作成したり、作成済みのパラメータファイルをインポートすることで多様な負荷試験の実行が可能です。VDbenchのパラメータファイルを初見で1から作れと言われても非常に面倒なのですが、自動で多数のファイルを簡単に作成できるのも大きなメリットです。負荷パターンは以下の様な項目で指定します。Time以下に指定することくらいです。Timeの指定は負荷試験の開始から指定時間は記録されない(暖機運転)となります(オプション)。Intervalの指定は長時間の負荷試験中にログが大量になることを防ぐために記録のインターバルを指定します(オプション)。ブロックサイズを少しずつ変更し、データストアに対して一括で負荷を掛けられるようにパターンを作り、前パターンの試験を一気に実行できるようにしています。1.6.5.1ではブロックサイズは以下のパターンで指定できます。細かい、VDBenchのパラメータを作成したい場合は、手動で作成したファイルを読み込ませる事ができるので、VDBenchを熟知した方はそちらのほうがやりやすいかもしれません。All」を選択することで、登録した全パターンの一括負荷試験も可能です。ディレクトリに格納されていますので、SCPなどでバックアップもできますし、SSH接続してviなどで直接パラメータファイルの編集も可能です。自動生成されたパラメータファイルを編集して、VDBenchの追加パラメータを含めることも可能です。試験実施後のテストVMの削除の有無を指定できます。※試験が失敗したときに再度デプロイ、仮想ディスクの初期化が時間がかかるので、あえてチェックする必要はないかと思います。まとめHCIBenchは今まで面倒だったストレージ負荷試験を均質なパラメータで、どんなクラスタにも一括で実施できることができます。ベンチマーク毎に実行環境やパラメータを変えるのではなく、複数の環境を同じパラメータで試験する事で性能比較が容易になることがHCIBenchの大きなメリットとなります。無償で使え、面倒だったVDBenchを自動化してストレージ負荷試験を実行できる強力なツールですので、ぜひ活用してみてください。20180※本記事は元々"kawaman"の個人ブログスペースに投稿しておりましたが、DECNからDELLコミュニティへのコミュニティ統合に伴う移行影響で"日本語コミュニティ"ブログ側に付け替えさせていただきました。Manager自体のプロキシ設定のサポートや、ノード拡張時に一度に同時6台を追加拡張できるバッチ拡張モードなどが加わっています。地味にESXi側にも新しい機能が加わりましたのでご紹介します。4.5のvCenterで各ESXiホストのサービスを見ると、以前とは異なるVxRail関連のエージェントにマニアックな人は気づくかもしれません。4.5において追加のvxrail-platform-servicevxrail-platform-service-utilが加わりました。アップグレードの時にバイナリに含まれていたパッケージがこれら4つのサービスを構成しています。新しい二つのサービスが何をしているか、ですがサービス名が示す通り、ESXiの基盤の管理を行うものの様です。vxrail-platform-servicevxrail-platform-service-utilこのうち、-utilの方はバージョンアップなどの際に利用される様で、詳細が確認できていないのでこちらはいずれ確認次第に紹介します。~~」が加わっています。いうオプションが追加されているのが確認できます。今のところ、ハードウェアの構成(マザーボード・ドライブ情報など)やファームウェアの状態確認などの機能が利用できます。Nodeの亜種ではなく、Vmwareの核となるESXiとも密に連動したアプライアンスであるという方向性がこの辺りのアップデートからも感じることができます。※個々のオプションの紹介は省きますが、VxRailを利用していて興味ある方はesxcliのオプション詳細が記載されたxmlが以下のファイルなので、こちらを確認してください。20180※本記事は元々"kawaman"の個人ブログスペースに投稿しておりましたが、DECNからDELLコミュニティへのコミュニティ統合に伴う移行影響で"日本語コミュニティ"ブログ側に付け替えさせていただきました。EMCにもアップグレード用バイナリがいくつか上がっているので、検証した際の手順と注意点を簡単にまとめたいと思います。6.5u1へのメージャーアップグレードが8クリックくらい(ワンクリックではない)で完了してしまいます。4.5.1xxとなるようです。4.0.400に更新して次のリリースを待ちましょう。作業の公式手順はSolveDesktopの手順書、リリースノートを必ず正としてください。4.0.310からのアップグレードが正式サポートとなります。★DECNでVxRailのアップグレードに関しての情報、注意点などがまとまった以下のスレッドが有用ですのでアップグレードの計画時にチェックをお勧めします。アップグレード用バイナリのダウンロードまずはバイナリを落とします。XXがアップグレード用パッケージです。4.0.310こちらを選びます。ダウンロードしたZIPファイルの中身に何が含まれているかは、先日の投稿を参照ください。Applianceにインストールされ機能していた内部DNS(DNSMASQ)が利用できなくなります。そのため、必ずDNSサーバにコンポーネントのFQDNを登録しておく必要があります。OSベースに大きく変わっているため、仮想アプライアンスが再デプロイされ、既存のデータが移行されます。その時に必要となる一時IPアドレス(既存のvCenterなどと同じセグメント)が一つ必要となります。Client側でも各ホストが正常であることを確認しておきます。Managerにログインして、構成メニューから「ローカルアップグレード」をクリックしてZIPファイルをアップロードします。ESXiの三つとシンプルです。Service用のVIBも含まれています。PowerEdge用の各モジュール一式が更新されます。information」を入れろを青帯が表示されます。ここで必要になるのが、事前準備の項で記載した、vCenterのデータ移行用の一時IPアドレスと、FQDNを登録したDNSサーバのアドレスです。OSベースのvCSA、PSCがデプロイされ、既存の設定・データが移行されます。Clientにアクセスできるようになります。OSベースのvCSA以外に、以前のvCSAなどに(legacy)と書かれ、シャットダウンされています。※正常移行が確認できた後、これらは削除可能です。アプライアンスであれば2時間ほどでアップグレードは完了です。Managerの画面を見てると、殆ど何も変わってません(笑)パフォーマンスViewも同じですね構成設定のあたりをみると「プロキシの有効化」が追加されています。4.5の追加項目の一つです。6.5u1に大幅アップグレードなので、やはりメインはWebClientのHTML5対応、でしょうか。VxRail環境でも利用可能です。Client自体が一部の機能制限がありますが、通常の仮想マシン運用では不自由する事はないと思います。vCenterをブラウザで開くと従来のFlashとHTML5が選べるようになりました。Clientを選択すると新しいUIのvCenter環境が利用可能です。今回のアップグレードに関しての記事は以上となります。アプライアンスの大きな魅力かと思います。20184※本記事は元々"kawaman"の個人ブログスペースに投稿しておりましたが、DECNからDELLコミュニティへのコミュニティ統合に伴う移行影響で"日本語コミュニティ"ブログ側に付け替えさせていただきました。年末年始の計画メンテナンスでVxRailのバージョンアップを計画されているお客様からの質問がちらほら来ているので、2017年12月6日時点でのそれぞれのアップグレードパスをまとめました。4.0.400もリリースされましたので、どのバージョンから直接更新が可能か確認する際に参照ください。EMCの公式情報ではなく、あくまでもリリースノート、KBやSolveDesktopでの情報を整理した覚え書きです。作業計画時には必ずSolveDesktopの手順書を生成してそちらを正として確認ください。リリースノートの巻末に記載がありますので最新情報はそちらを確認してください。表が見切れている時は右にスクロールしてください。4.0.302のアップグレードパッケージを適用可能。EMCへSRでサポート依頼を上げる必要がある。4.5.1xxでのサポート予定となりますので注意して下さい。EMCサイト上でバイナリが公開されているため、ターゲットコードへの更新が推奨。アップグレード手順は必ず公式のSolveDesktop資料を確認する事。3Node構成のアップグレード時には事前のクラスタ正常性チェックプロセスをスキップさせる必要があるので注意。4.0.310にはアップグレードパスは無し。以降のバージョンから直接アップグレードが可能。4.5.070のアップグレードパッケージは、4.0.xからのアップグレードパッケージと、4.5.0からのアップグレードパッケージでバイナリが異なるので注意。Managerを利用したインターネットアップグレードは、最新の同一メジャーバージョンがターゲットとなるので、直接アップグレードがされない世代差の更新がある場合はローカルアップグレードが必要です。20180※本記事は元々"kawaman"の個人ブログスペースに投稿しておりましたが、DECNからDELLコミュニティへのコミュニティ統合に伴う移行影響で"日本語コミュニティ"ブログ側に付け替えさせていただきました。最近VxRailのバージョンアップについてよく聞かれるので、自分用に各情報のリンクをまとめました。Package」というZIPファイルがバージョンアップ用パッケージです。driver、etc)など、必要なものすべてが含まれています。platforms)BIOSやファームウェアも一括でアップグレードできるHCI製品は珍しいです。Managerにアップロードして利用しますが、中身は以下のようになっています。上記のZIPファイルを手動でアップロードしてアップグレードする方法はローカルアップグレードと呼ばれています。手順などは過去いくつか投稿しているので参照ください。Manager上から適用が可能です。VxRailの各コンポーネントに含まれるソフトウェアのバージョン一覧、サポートマトリクス。各バージョンのリリースノート、または以下のKBに集約されています。KBの構成が変更となりました。詳細は以下のサポートマトリクスと、外部vCenter利用時のサポマトを参照ください。matrix(外部vCenter利用時のサポマト)https://support.emc.com/kb/520355vSphereのパッチ公開に合わせて順次VxRailもバージョンアップしているので、なるべく最新で安定したバージョンで運用する事が推奨です。2017年11月30日時点では以下のようなバージョンの組み合わせとなっています。※最新は常に上記のKBやリリースノートで確認してください。メジャーバージョンアップグレードについて紹介します。20180※本記事は元々"kawaman"の個人ブログスペースに投稿しておりましたが、DECNからDELLコミュニティへのコミュニティ統合に伴う移行影響で"日本語コミュニティ"ブログ側に付け替えさせていただきました。この項目を空欄にすることが出来なくなっていました。4.5へのアップグレード時に外部DNSサーバの準備が必要となります。Vxrail構築_DNSサーバを使用しない方法(運用含め)現状、作業PCに簡易的にDNSサーバを立てるなどの準備が必要になりそうです。英語UIだと以下のメッセージ。4.5のPoCを隔離環境で実施する場合や、隔離環境での事前セットアップには注意が必要そうです。20180※本記事は元々"kawaman"の個人ブログスペースに投稿しておりましたが、DECNからDELLコミュニティへのコミュニティ統合に伴う移行影響で"日本語コミュニティ"ブログ側に付け替えさせていただきました。Clientが使えなくなってしまい、普段利用していないFirefoxだと大丈夫だったのでしばらくすれば直るだろうと思ってましたが、WilliamさんのBlogでも取り上げられていました。http://www.virtuallyghetto.com/2017/10/shockwave-flash-has-crashed-workaround-for-vsphere-web-flash-client.html同じ事象でアクセスできない方はFlashが最新になっているとクラッシュするので、しばらくはブラウザのアップデートを控えるか、リスクがありますがKBを参照して古いバージョンのFlashに切り替えるなどワークアラウンドが必要となります。Betaを入れて回避する方法がKBに追記されました。Clientのクラッシュ問題。later)がリリースされ、解決されました。20180※本記事は元々"kawaman"の個人ブログスペースに投稿しておりましたが、DECNからDELLコミュニティへのコミュニティ統合に伴う移行影響で"日本語コミュニティ"ブログ側に付け替えさせていただきました。管理系VMのバックアップ・リストア方法【バックアップ取得編】」の続きです。前編で取得したバックアップデータを利用して、VxRailの各コンポーネントの復旧を試してみます。Managerなどのバックアップ手順が公式にリリースされました。SolveDesktopなどの手順を必ず確認してデータ保護対策を実施してください。VMが起動しなくなってしまった、壊れてしまったという場合は直近のイメージバックアップを戻すことで元通りになります。※構成ファイルだけを戻したい場合などはFLRで抜き出すか、別途SCPなどで取得しておくことが推奨です。Managerを停止します。Managerを復元します。リストアオプションは以下の様に別名を指定します。ClientのインベントリにVMが追加され、ステータスが確認できます。DataDomainからはリストアのトラフィックが流れているのが確認できます(リストア時は重複排除データが"復元されて"から流れるので実際のサイズのトラフィック負荷がかかります)リストアが完了したら起動します。Managerが残っているので表示されています。今回は無視で構いません。Managerでも問題なくシステム状態が確認できます。(今回1ホスト停止いていますが、その状態も反映されているのが確認できます。Managerのイメージバックアップからのリストアは以上です。それほど難しくなく戻すことが可能です。vCSAのリストアvSAN上にvCSA自身が稼働していると、vCSAが起動できなくなるなど重大障害が発生した際のリストアにコツが要ります。ポイントは以下となります。ClientのvDPコンソールが利用できないため緊急リストアモードでESXiホストに直接VM(vCSA)を戻す必要がある。vDPの緊急リストアモードでリストアする際にはESXiをvCenterから明示的に「切断」しなければならない。Binding)」のvCSAリストア時用ポートグループを作成しておくことを推奨します。PowerEdgeモデルはNDCの1Gポートがあるので、上位スイッチ次第ですがそれを利用する事が出来るので復旧が楽です)。vSSにvCSAを接続し、通信が可能になると再びvSANクラスタ、vDSがvCenter管理下になりますので、緊急リストア様にvCenter管理下から外したESXiをvCenterに際せず属し、vMotionで正常な他のホストに戻すことができます。構成だと復旧時にこのような搦め手が必要です。※PSCのみの障害の時は、緊急リストアこそ必要ですが、vCSAが生きているのでvDSに接続できるため、それほど手間はかかりません。キャプチャ付きで以下説明します。障害を模す為にvCSAを停止します。Clientは利用できなくなりますので、仮想マシンのリストアのためにvDPのコンソールにアクセスします。緊急リストアのタブを確認すると、今vDPがいるホストが確認できます。6.0u1以降で標準で組み込まれています)rootアカウントでログイン後、vCenterからの切断を実行します。Client側での操作を推奨します。何度も切り分けした訳ではないのですが、この操作は後が面倒になった事があるので避けた方が良いです。Clientを利用してvCenterからホストを切断状態にします。この状態で緊急リストアが可能になります。最新の正常なvCSAのバックアップを選択します。ホストのroot情報を入力し、インベントリ名をオリジナルから変更、リストア先のデータストアをvSANデータストアで指定します。リストアが開始されます。Binding)」のポートグループを作成していればリストア完了後、そのポートグループに接続することができますが、作成していない場合はvCSAがvDSのポートグループに接続できないので別途vSSを作成し、管理ネットワークを割り当てる必要があります。※vCenterの管理下にないvDSに新規VMの接続は出来ないため、「接続中」のチェックが有効になりません。ポートグループの作成、およびvDSから物理NIC(vmnic0)を剥がしてvSSに追加します。Clientを利用します。vCSAをリストアしたESXiホストのネットワーク構成からvDSを選び、物理NICを片方削除します。)作成したvSSのポートグループにリストアしたvCSAを接続します。Clientにアクセスが可能になります。vSANクラスタの正常化この時点では緊急リストアで切断されたESXiホスト上にリストアしたvCSAや、稼働していたvDPが正しくインベントリに登録されません。対象のESXiホストを右クリックして「接続」を実行します。接続後、リストアしたvCSAと稼働していたvDPが確認できます。この状態まで復旧出来ればvCSAをクラスタ内の他のESXiホストにvMotionで移動可能です。vMotionする際に、移行先ではvDSの管理ネットワークに付け替えます。ここまで復旧できれば、一時的に作成したvSSの削除後、物理NICを再度vDSに割り当てが出来ます。Managerの管理画面でも状態が元に戻った事が確認できます。以上が、一通り確認したvCSA障害発生から復旧までの一連の手順です。Manager関連で接続・構成の不都合などがあるかもしれません。vSphere・vSANクラスタとしての正常化は可能なので、重要なシステムを保護する普段として参考にして頂ければと思います。場合によっては最初に記したようにESXiホストをFRU用のESXiインストーラを利用して初期化して、ノード交換の手順で交換してきれいにしてしまうという事も出来るはずです。(恐らくメーカー非サポートの手順ですがシステムの正常復旧のための手段としては有りかと考えています。Managerを利用した故障ノードの交換手順は非常に簡単に、短時間でノード交換が可能です。以上、VxRailの管理系VMのバックアップとリストアについてでした。20180※本記事は元々"kawaman"の個人ブログスペースに投稿しておりましたが、DECNからDELLコミュニティへのコミュニティ統合に伴う移行影響で"日本語コミュニティ"ブログ側に付け替えさせていただきました。いう情報が流れています。それはあり得ないので、VxRailを導入する上で管理系VMの保護はどのように実装したほうが良いかをご紹介します。VxRailに限らず、vSAN上にvCenterが稼働している場合には、バックアップとリストアにコツが必要なので、参考にしていただければと思います。※本項の内容はメーカーが公式にサポートを明言した手法ではなく、弊社で検証、正常動作を確認した内容となります。Managerなどのバックアップ手順が公式にリリースされました。SolveDesktopなどの手順を必ず確認してデータ保護対策を実施してください。6.1.4)を利用(2020年3月でEOAですが無償でVADP構成としてはシンプルなので)。基本的にVADPイメージバックアップをサポートするソフトウェアであれば同様の構成が可能です。vDPには既知のバグを回避するワークアラウンドを適用(詳細は後述)vDPは外部ストレージとしてDataDomainを利用(データ保護の基本は保護対象と異なる場所に保護データを格納する事)。2ポートという縛りの中での復旧方法の説明のため。PowerEdgeモデルは1Gオンボードもあるので復旧はより楽になります)。vCenterは組み込み型を利用(外部vCenterモデルより復旧が面倒が面倒なので)。vSphere(vSAN)クラスタでVxRailのようにvDSのみの構成の場合、通常のvDSの設定運用のままではvCenter障害時に新たにデプロイしたvCSAがvDSに接続できなく、vSSを作るなどの必要があります。Binding)」の管理ネットワーク用ポートグループを作成しておいてください。見落としがちですが私は超推奨します。Base)vCenter(vCSA)のPostgresDBはスクリプトでバックアップも実施。バックアップの環境作りから紹介します。vDPの準備1(デプロイ)vDPの展開はvDPの管理者ドキュメントに沿って進めてください。ポイントはFQDNを事前にDNSで解決出来るように登録しておくことくらいです。vCenterは外部PSCモデルでのセットアップです。今回はバックアップデータを外部のDataDomainに配置するので、vDPのローカル重複排除ボリュームは最小容量の0.5TBで作成します。CPUとメモリもデフォルトで組みます。4vCPUを割り当てれば6ジョブ並列まではこの構成で処理可能です。基本のvDPデプロイが完了したら次はDataDomainの接続です。DataDomainを接続する際には必ず以下の「チェックポイントコピーの有効化」にチェックを入れてください。このチェックを入れておけばvDPアプライアンスが壊れても、DataDomainからバックアップカタログとデータの復旧が可能です。6.1.xにはvSAN上の複数のVMDKを持つVMバックアップにおいて、バックアップが失敗・ジョブステータスが92%で止まる、といった不具合があります。幾つかVMware、EMCでKBが出ていますが、vDPアプライアンスのVADP動作モードで本来不要なSANモードを無効にする事で解決します。Proxyをデプロイ」するなどの記載がありますが気にしないでください。vSAN上にvDPデプロイしてHotAddモードのみの設定でバックアップできます。Clientから再起動かけます。Managerのバックアップも問題ありません。vCSAのPostgresDBのバックアップ・リストアvCSA、PSCともにvDPでVADPイメージバックアップを行いますが、DBはスクリプトを利用して簡単にバックアップが可能です。イメージバックアップ時にDBの不整合が起きることは稀ですが、念のためDBを公式手順でバックアップしておきます。6.5以降はvCSAのVAMI(https://<vCSA>:5480/)コンソールからGUIでバックアップ設定が可能になります。KB上記KBからDLしたLinux用のスクリプトをvCSAにSCPなどでアップロードし、解凍・実行権も付与を行います。successfully.必要に応じて出力したバックアップファイルを別の場所(ファイルサーバなど)にコピーしておきます。今回はvCSA自身にDBのバックアップファイルを格納し、バックアップファイルごとvDPでVADPイメージバックアップで取得します。する事でイメージバックアップからの戻しで正しくサービスが立ち上がらなかった際に、バックアップデータからDBを復旧する事が可能です。DBのバックアップを内部に持つことで、VMDKの容量が枯渇する場合がありますので、取得したDBサイズを見ながら必要に応じてVMDKのサイズを変更してください。ClientのvDP管理画面でバックアップジョブを作成します。バックアップタイプは「ゲストイメージ」>「フルイメージ」を指定します。Managerのバックアップジョブを設定します。※vCSAはDBのバックアップをスクリプトで取得済みの前提です。vDP単体でも重複排除が効きますが、DataDomainと連携すると転送されるトラフィックも重複排除が猛烈に効いているのが確認できます。以下のキャプチャは初回バックアップ時のDataDomain上のステータス確認時のものですが、一番左が取得している対象データ量、左から2番目が重複排除後のデータ量です。毎秒100MB~200MBがvDP内で重複排除され、DataDomainには毎秒30MB前後で転送されているのが確認できます。Tracking)が効き、データのスキャンも猛烈な速度でチェックされ、さらにDataDomainへ転送されるデータは殆ど発生していないのが確認できます。重複排除バックアップの威力ですね。バックアップ取得が完了します。RPO24時間で指定する場合は日次でジョブをスケジュールしてください。バックアップ設定・取得に関しては以上となります。Oneで構成可能なVxRailですが、万が一のクラスタ全断障害に備えて、バックアップデータを外部の器(DataDomainなど)に保存してデータ保護の仕組みを確立する事がポイントになります。外部vCenter利用時のバックアップについて外部vCenter時の保護もイメージバックアップとDBのスクリプトバックアップの組み合わせがお勧めです。外部vCenter自身が、他のvCenter管理下のクラスタにデプロイされている場合は、リストアの運用も容易になります。組み込みvCenterをDBのスクリプトバックアップだけでは構成できないのか?DBのスクリプトバックアップはリストア時にはvCSAを再度デプロイし、DBを復元する必要があります(vCenter6.0の場合)。Managerとの証明書連携の再設定や、VxRail特有のDNSMASQサービスの再インストールなど手作業が発生してしまうためイメージバックアップの利用を推奨します。vDSの構成の時、vCenterが障害で利用できなくなるとvDSに新しいVMを接続できなくなるので、vCSA自体の再デプロイに備えて「短期バインド」のポートグループを作成しておきます。後編のリストア編に続きます。20180※本記事は元々"kawaman"の個人ブログスペースに投稿しておりましたが、DECNからDELLコミュニティへのコミュニティ統合に伴う移行影響で"日本語コミュニティ"ブログ側に付け替えさせていただきました。アプライアンスにベンチマークツールで高負荷を掛けている時にバージョンアップを仕掛けるとどうなるか、試してみました。4ノード、外部vCenterを利用した構成です。CPU負荷が90%~100%とサチった状態を作って、この状態でアップグレードを試してみます。usage」の警告でバージョンアップがストップしてしまいました。上で動くVMを他のノードに退避出来ないので当然と言えば当然ですが、この辺りはしっかりとvSphere上のアラートをチェックしてストップをかけるようです。高負荷を掛けている原因のVMを止めるなど、CPU利用率を落とした後に「再試行」をクリックすればバージョンアップは無事に完了します。Updateの処理と重ならないように注意したほうが良さそうです。20180※本記事は元々"kawaman"の個人ブログスペースに投稿しておりましたが、DECNからDELLコミュニティへのコミュニティ統合に伴う移行影響で"日本語コミュニティ"ブログ側に付け替えさせていただきました。4.0ですが、アップグレード時に注意しておくべきことがあります。DELLモデルの導入時や、その後のテストの後にノードの初期化(内部SDカードのイメージをRASRを利用して復元)した場合、そのままの状態のESXiノードのアップグレードがエラーで失敗します。ユーザーの方が簡単にバージョンアップを実施できるのがVxRailの良いところですが、エラーがいきなり出るとかなり萎えます...エラーのメッセージは以下の様に長いので読むのは一苦労ですが、「/etc/rc.local.d/99.evobackup」の文言が見えたら今回の事象の可能性が高いです。VIBのアップグレード時の事前チェックに失敗するというものです。ノードのシリアルNo(PSNT)です。ファイルはEVO:RAILの頃からあった2U4Nモデルの初期化用バックアップファイルです。touchコマンドで作ってあげることです。SSHでRASRを実施したESXiにログインして、以下のダミーディレクトリとファイルを作成します。/vmfs/volumes/DE*****-01-01-service-datastore1/reset/configBundle.tgzこれでアップグレードは成功するはずです。※アップグレード前にRASRを実施したことのあるノードには全てこの作業をしておくことが推奨されます。公式KBは以下を参照してください。20180※本記事は元々"kawaman"の個人ブログスペースに投稿しておりましたが、DECNからDELLコミュニティへのコミュニティ統合に伴う移行影響で"日本語コミュニティ"ブログ側に付け替えさせていただきました。4.0.200で初期化したアプライアンスのセットアップと、ノード交換などの検証を行ってみました。地味に良くなっていた点として、ESXiのホスト名の「連番のオフセット」と「ポストフィックス」が設定がセットアップ時に追加されました。開始したり、ポストフィックスとして連番の後に文字列の追加が可能になりました。...クラスタは別だが、ホスト名は連番で振り管理したい場合などは便利な機能改善です。4.5に向けて、HCIとしての機能が充実してきました。20180※本記事は元々"kawaman"の個人ブログスペースに投稿しておりましたが、DECNからDELLコミュニティへのコミュニティ統合に伴う移行影響で"日本語コミュニティ"ブログ側に付け替えさせていただきました。まわりのアップデート情報、検証した内容をまとめます。今回の確認点は以下の4点。データストア利用時にも問題なくバージョンアップできるようになった。Issueへの備え・アップグレード時に失敗すると面倒なイメージプロファイルの欠落事象の事前チェック後半二つは弊社の検証環境やお客様の環境で確認したアップグレード時のエラーの回避策と事前にチェックについてまとめました。Standardが利用可能になりましたが、DRSが使えないため、ローリングアップグレードや、メンテナンスのタイミングで暗黙の了解というか、手動でいろいろやる必要がありました。今回の更新で、Standard利用時にもGUI上に適切な操作指示が表示されるようになりました。¥Standardはこのような機能がEnabledですが、DRSはありません。※vDSの機能ははvSANライセンスに紐づく。今回はテストしたのは管理VMを除いて100VMの稼働する環境です。DLしてきた4.0.200のパッケージをアップロードして、更新を「続行」します。ManagerやvCSA、PSCはいつも通り順調にアップグレード。続いてホストの更新に入ったタイミングで、次のメッセージが出力されます。自動でvMotionはしてくれませんね、当然ですが...ただ、以前はわからなかった「どのタイミグで、どのホストのVMをvMotionで逃がせばよいか」が明確に指示されるので割と便利になりました。Plus相当のライセンスでDRSを有効にしておくことがお勧めです。iSCSIを有効化して、外部のUnityからiSCSiデータストアを接続しました。KB>を参照ください。Adapterが有効化されます。NICにそれぞれ1つずつ割り当てます(チーミングを組まない)※iSCSIの場合はNICチーミングではなく、マルチパスで冗長化します。Bindを有効にしておきます。ここまで来たら、Unity側にVxRailのvCenterを登録し、UnityのUIからiSCSIデータストアを作成し、同時にVxRailにもマウントしてしまいます。UnityのUIでVxRailの各ホストがリストされる事を確認し、Unityの「Vmware」タブからデータストアを追加します。ClientからもiSCSIデータストアがマルチパスでマウントされている事がすぐに確認できます。Managerだけ4.0.100に更新し、その後vSphere含めて4.0.200のコンポーネントに更新します。4.0.200のパッケージをアップロードします。アップグレードと同様にPSC、vCenter、各ホストが更新され、iSCSIデータストアがマウントされていても問題なくアップグレードが完了しましたので、キャプチャは省略します。6.0U3となっていますが、6.0U3以降ではPSCのメモリは4GBが推奨となります。vCenterのリリースノートの既知の不具合にありますが、VxRailの環境でもPSCが推奨の4GBには自動で更新されないので、必要に応じて手動で更新する必要があります。※弊社の作業した環境で、1件、アップグレード中にPSCが正しく再起動せず、再起動後もメモリ不足のアラートが出ていたものがありましたが、これは事後に4GBにメモリを増量することでアラートが消えました。アップグレード作業で本件が不安な場合は、事前にリリースノートの以下の手順でメモリを増やしておくことを推奨します。回避策:この問題を回避するには、次の手順を実行します。サイズを手動で増やします。