tired仮想化、ハードウェアなどの技術メモこの広告は、90日以上更新していないブログに表示しています。hardwareESXiのバージョンを5.5から6.0にアップグレードしてから、不定期にHBAのポートがダウンする事象が発生して悩んでいたのですが、最近原因と解決策が判明したのでメモ。degradedが発生。まれに同時にダウンしてAPDが発生。ダウン前後のvmkernel.logの内容は下記のHuaweiのkbの内容とほぼ合致。http://support.huawei.com/enterprise/zh/knowledge/EKB1000838419下記のようなログが出る。Remapperを有効化することで解決できそうということはわかりました。Remapperがデフォルト無効であるバージョンを利用していましたが、アップデート後にデフォルト有効に変わりました。デフォルト無効になっています。Remapperはデフォルトで有効になっています。Remapperが動作していないことがわかりました。VT-dは有効になっています。HPによる数ヶ月に及ぶ長い調査期間を経て、最終的にHBAのドライバ(qlnativefc)のパラメータの変更により問題を回避できるという回答を得ました。割り込みではなく、レガシーなピンベースの割り込みを有効化しています。実際この状態でしばらく運用していますが現在のところ問題は発生していません。Remapperは設定上有効ですが、実際は無効になっていると思います。Remapper関連のエラッタが存在し、XenではBIOS上でIOMMUを無効化することが推奨されています。VMwareのKBではIntel55X0のエラッタに関する記事は存在しないようですが、ESXiでも同様の問題を抱えている可能性はあると思います。設定上有効化しても動作しないことから、ESXi内部で動作が制限され無効化されているような気がします(完全に推測です)。Remapperが無効になっている場合、ESXiは、MSI/MSI-X割り込みを利用します。VMwareのKBに下記のような記述があります。デバイスが上手く反応しないという報告を受け取りました。メッセージが生成され、それに続く影響が発生する場合があります。本環境で使用しているHBAはおそらく上記の行儀の悪いI/Oデバイスに該当しており、MSI-X割り込みの際、ESXiが認識できない割り込みベクタを指定し、ESXiが処理できず問題が発生していたと思われます。そのため、HBAドライバで、MSI-X割り込みではなくレガシーなピンベースの割り込みを有効化することで、無効な割り込みベクタが無くなり、事象が改善した、と考えられます。ヶ月)インフラエンジニア寄りのSRE。月別アーカイブはてなブログをはじめよう!hs_31さんは、はてなブログを使っています。ブログを報告するスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。