ディスクが2台壊れた。少なくともsddはもはや動かなくなるのも時間の問題だ。2レッグミラーなので、1台壊れても同じデータはもう1台にある。2台壊れるとデータは失われる。btrfsは複雑なミラーリングを行うため、必ずしも対になるディスクはないので、2台壊れた時に損失する可能性は非常に高い。4台のクラスタで2台が同時に故障する確立は、どれだけ多めに見積もっても百万分の一に満たない。それが大晦日など「特別な日で、かつ長期の休み」と重なる確率は天文学的な値になるはずだ。データの保全まだマウントはできるため、とりあえずsystemdユニットを修正してro(読み取り専用)でマウントするようにして、スレーブ系にrsyncで送る。スレーブ系はbtrfsだが、マウント時に自動でスナップショットを取るようになっている。そのため、手動で消さない限りデータの履歴を取り出すことができる。rsyncは差分でデータを送るが、既に既存のデータが破損している可能性がある。この場合は、rsyncで差分が送られ、スレーブ側のデータは破壊される。スナップショットによって履歴が取り出せることで、正しいデータに修正することができる。問題は前回のミラーリング以降に追加または更新されたデータだ。それが壊れていた場合はそれは失うしかない。rsyncはエラーを起こすことなく終了した。errorになるはずなので、エラーなく終了したということは恐らく全データが無事転送されたはずだ。データを失うことは避けられたか?なお、私のシステムはRAID1ミラーリングにソフトミラーリングという構成で、2段冗長構成になっている。この台数でRAID1ミラーでデータが失われる可能性は極めて低い一方で、この冗長性のためにこの膨大なディスク容量に対して3倍のコストがかかる。スレーブ系はやめてしまおうかと考えたこともあったが、もしそれを実行していたら、私は5TBに渡る全てのデータを損失していたことになる。ディスクの除去まずはsddをこのままにしておくと致命傷になる可能性があるため除去を試みるが、ファシルステム6TB(全体では12TBで、RAID1のため半分)に対して使用量は5TB。当然ながら、4台から1台を除去するためには使用率は75%以下でなくてはいけない。5/6は0.833なので明らかにできない。device.ということで失敗した。blockが多いために余計に時間がかかった感じだ。ちなみに、方法はもうひとつあった。/worldする方法だ。壊れたディスクが1台ならこれでもよかったのだが、sdcも壊れていたため、sdcでは壊れているがsddでは生きているデータがある可能性も考えるとかなりためらわれた。scrubできないので、これを予め解消できない。新ディスクを取り付けるbalanceなので、軽く10日はかかる計算となる。成功した場合でもsdcとsddが死んでいるため、開いていないから気づいていないだけで壊れているデータが紛れ込んでいる可能性があり、なかなか怖い。ディスクの発注34時間の間に発注した。なんといっても大晦日だったので、2日のアキバの初売りに突撃するか(体調もよくないのに辛いだろう)、ネットで発注するかだった。結局悩んだ上で、深夜3時にツクモネットショップで発注。今回はSeagateが2,4TBがセール、TOSHIBAが3,4,6,8TBがセールだったため、単価の安い3TBは元値が高いTOSHIBAしかなく、ネットショップの通常セールでSeagateの3TBのほうが税込みだとわずかに安かった。交通費を含めると確実にやすかったためネットショップ発注。発送が4日以降だったため、結局到着したのは5日だった。deleteしている最中に発案したのが、もう現在のマスター系のファイルシステムは破棄して、新しいディスクで新規のbtrfsを構築してデータを逆向きに同期することで復元するというバックアップを用いた方法だった。スレーブ系は全てのデータを持っているはずなので、問題はないはずだ。deleteに失敗したことを踏まえてこれを実行。-aHvで36時間を要した。1.02仮想マシン関連のデータは破棄することとなるため、データサイズはある程度減っている。この方法、ディスク数が増えてくると所要時間は逆転する。今回の場合、1台あたりが3TBで、データ総量が4.3TB。3TBのブロックを他のディスクに移すよりも4.3TBを転送するほうが早く、そのあとbalanceすることを考えれば圧倒的に早い。replaceする場合はまた話が変わってくる。Greenで保証期間内だ。ウェスタンデジタルのディスクは交換保証がついている。RMAの手順と方法については、KLX/ITLOGに非常に詳しく書かれているので、ほぼこの通りで良い。ここに書かれている通り、名前を漢字で登録した結果文字化けてRMAを作りなおしてもらうということもやってしまった。ちなみに、私はサポートにメールフォームからメールした。嬉しいことに交換理由にSMARTエラーという項目があり、話が早い。ESDバッグや5cmものクッションなどハードルが高いが、比較的IT機器の購入が多く、梱包も保存している(この手のことを予測して)ため、なんとかなった。pointが作られたため、東京港に送ればよくなった。費用的には小さく、送りやすく、それでいて配送品質も保たれるようになってハッピーだ。REDを買ってもいいかもしれない。(故障しないというのは信用しない。