サーバダウン?別のサービス向けに見栄えの調整を行った。先日機能増強したおかげで、柔軟な調整がエンジンを改修せずに行えるようになり、工数も少なくてすんだ。postgreSQLサーバのひとつ、alpsが落ちたらしく、apacheのerror_logにconnectエラーが多数記録されていた。DBサーバは既存のchiikoからalpsへ移行途上だったが、志し半ばで問題が発生してしまった。alpsでは収益に影響の出るサービス(温泉ガイド、宿泊施設ガイド)の移行はまだだった。影響の出たのはリンク集、掲示板管理などだ。早めに帰宅して原因調査。早めに帰宅してpostmasterが落ちていることを確認。立ちあげようとしたが、I/Oエラーと表示されて起動できない。調査したところ、/var/log/messageに大量のエラーログが吐かれていた。多くはセクタ不良を意味するもので、ディスク障害が原因と判断。シャットダウンさせようとしたが、これもI/Oエラー。再起動後ディスクをチェックしにいったが案の定エラー警告。fsckしていくつものセクタを修理。postmasterを含めて無事起動したが、肝腎のデータベースが消失していた。バックアップは移行以来とっていなく、約1月分の更新データが消失。以前からHDDからたまにカランという異音がしていたのでそのうちご臨終と思っていたがこんなに早いとは思わなかった。