サーバー移行における「ギガ単位の巨大データベース」の取り扱い(インポート/エクスポート)について。サーバー移行における「ギガ単位の巨大データベース」の取り扱い(インポート/エクスポート)について。2013/09/12こんにちは。@CDiP」におきましては約4年ほどとあるサーバーにて運営をしておりました。サーバーマシンへの負荷が高く、時折サーバーダウン等の不具合を起こしつつも、なんとか運営してきましたが、このたびとあるきっかけでサーバー移行することができました。その経緯についてと、移行時において苦労した点についてレポートさせていただきたいと思います。@CDiP」ですが、それからの運営では、数多くのサーバーダウン、あるいはデータベースエラーによってアクセスできない状態が頻発しておりました。正確な数字は把握していませんが、感覚的には週に1度のダウンは当たり前でサーバー再起動もたびたび行いつつ運営しておりました。ブログそのものは順調に成長し、日々のアクセスが増えるに従い、その頻度はどんどん増していきました。とある有志によって用意されたサーバーと担当者さんがいらっしゃいます。当時、知恵も知識もなかった私にとって、ブログをやりながら「WordPressで発信したい」という想いを綴っていたとき、声がかかり、すべてを揃えていただけたのです。そのような恩もあるわけで、自分の都合だけでおいそれとサーバー移行に踏み切れなかった事実もあります。2012年5月の終わり。度重なるサーバーダウンを体験しました。このとき実はひとつのエントリーがきっかけになっていたわけですが、一日に実に17度のサーバーダウンを体験したのです。これはもうこのサーバーでは耐えきれないと判断しました。移行先の模索と移行の難しさを知る私の言う、サーバー移行というのは、「ドメインを変えずにすべてのサイトデータを別サーバーに移管する」ということです。データを一旦ローカルに保存し、それを新サーバーに移しかえる作業が必要です。言葉で言うのは簡単で、実際、自分自身も「簡単にできるだろう」と考えていたのですが、それは甘かった。そこには肥大化したデータベースと、サーバーに保管した巨大なデータ群があったからです。下書きを含めた投稿数は9000点、登録した画像が6000点。音声ファイルなどもギガ単位で保管しておりました。データにして10GBオーバーのものでした。ツールからのダウンロードで対応できましたが、どうしてもデータベースの取り扱いが難しかったです。これの扱いがわかるのに実に1年以上かかったというわけです(正確に言うと途中あきらめていたので取り組んでいた時期はもっと短いです。)とにかく、旧サーバーからのエクスポート並びに新サーバーへのインポート。これが高い障壁になって立ちはだかったのです。FTPツールからのダウンロード、アップロードについても色々と問題がありました。大量のデータを取り扱うことの難しさの一部を垣間見たような気がします。障壁とは何か?私がつまづいた点は、とにかくデータベースの移行です。旧サーバーからのエクスポートまずこれができませんでした。使ってのエクスポートはタイムアウトになってしまい、正常にダウンロードができない状態になっておりました。(ブラウザが真っ白になって無反応になってしまい、ダウンロードファイルの用意に至らない)いろいろな記事を読むことで、こちらについては「データベースをひとつずつ指定してエクスポート」することで、なんとかデータベースをローカルに保存することができました。制限されているのです。肥大化したデータベースは一部100MBオーバーのものも含まれており、いくら圧縮かけても指定のサイズまでサイズダウンすることは到底難しかったです。徹底的なデータベースのシェイプアップも行ってみましたが、どうにもなりませんでした。30MB以下のファイルにおいてもデータベースのインポートに失敗する事例もあったりと、そこで一度サーバー移行をあきらめた経緯があるわけです。FTPにおいても問題がありました。データのダウンロード並びにアップロード作業をやっておりましたが、どうしても、抜けがありました。ファイル数が膨大なため、全体のファイルサイズ以上に時間のかかる作業ではありました。