現在、HQから災対サイトに対してデータのバックアップを取得しています。これはCIFSもNFSも同様に行っていることなんですが、NFSに関しては毎日5:00-6:00にバックアップを行っています。S3へバックアップすることを考え、それを行いました。した概要は以下のとおりです。S3に作成したバケットをファイルシステムとして見せることを考えました。いうことが出来るツールは結構OSSとして出回っているようですが、今回それにS3QLを選定しました。そのTipsを書いてみました。S3QLとはS3QLとは、オブジェクトストレージへの接続を前提とした仮想ファイルシステムの一種と見られます。Userspace)を介して接続されるようです。開発言語にはPythonが使用されています。S3QLには必要なコマンド(mkfs/mount/umount等)毎に専用コマンドが整備されており、コレを使用することでオブジェクトストレージへのファイルシステム作成・マウント・アンマウントを行います。オブジェクトストレージとのデータのやり取りは非同期で行われるため、ローカルディスクにキャッシュを設け、それで整合性を担保するという構成になっています。S3にはS3QLからのみ読み取れるチャンクデータとして配置されます。よって、S3から直接データを読み取られることはありません。S3QLにはデータ暗号化機能があり、特定のパスワードをseedとして暗号化状態でのデータ転送が行えるようです。ほかにもこんな機能が。ダイナミックサイズ:データを追加すれば増え、削除すれば減る、つまりは実際の使用量だけしかS3のバケットを消費しない圧縮:GZIP形式での圧縮を透過的に行います。重複排除:内容が一致するファイルはポインタだけをコピーし、二重コピーはしない。S3QLのサイトを見る限り、ブロック一致型の重複排除機能みたいです。Onlyにすることが出来るようです。Treesと呼ばれてるようです。Writeベースのスナップショット:スナップショット取得が可能っぽいです。ネットワーク遅延影響を受けない:Read/Writeキャッシュを備えており、一旦はキャッシュでやり取りするため、ネットワーク遅延影響を受けにくい構造になっている。同様の理由により、狭帯域ネットワークに対してその影響が出にくい構造になっている。