いう2種類のストレージサービスがあります。この2種類のうち、クラウドストレージ(旧)は2019年1月25日で終了となります。そこで今回は、自分がクラウドストレージ(旧)からオブジェクトストレージにファイルを移行した時のお話をしたいと思います。どのように移行するのかクラウドストレージ(旧)からオブジェクトストレージにファイルを移行する際、移行用にサーバーを用意する必要があります。以下の画像のようにクラウドストレージ(旧)のデータを移行用のサーバーに一時持ってきて、そのデータをオブジェクトストレージにアップロードするのが基本的な流れになります。この移行用のサーバーにツールなどを入れることによって、ストレージのバケットにあるファイルを移行することができます。今回はこのファイルの移行方法について、自分が検証した2種類の方法をご紹介いたします。紹介されている方法になります。そのため、詳しい導入手順や実行例については省略いたします。ここではこの手順を実行する際の注意点やTipsについて、記載いたします。cliのsyncコマンドを実行するとs3fs内のファイルが読み込めずにエラーになることがあります。その際は以下のコマンドのようにumaskオプションを使用することでファイルが読み込める場合があります。cliによるアップロードの速度がボトルネックとなってしまい、最高でも200KB/sしか出なかったりクラウドストレージからデータが読み込めなくなってエラーが出たりします。そのため、大容量・大多数のファイルが上がっているバケットへの移行には向かないと思います。ストレージのバケットにある全ファイル数と全ファイルサイズを取得する方法ここではストレージを移行する前に、バケットにある全ファイル数と全ファイルサイズを取得するコマンドについて紹介します。cliを用いて、以下のようなコマンドを流すとstorage_result.txtに各ファイル名とサイズが出力されていき、最後にバケット全体のファイル数とファイルサイズが出力されます。実行環境やインストール方法、実行方法についてはリポジトリのREADME.mdに記載されてあるので割愛いたします。ここでは、config.ymlに設定する値について、2つのケースを例にして説明します。1ファイルの容量が大きくないが、ファイル数が多い場合この場合は、並列で移行した方が移行速度が上がります。そのため、cpu_numberをできるだけ大きな値にすることを推奨します。cpu_numberは最大でも移行用のサーバーのCPUコア数にしてください。ファイル数は少ないが、1ファイルあたりの容量が大きい場合この場合は、ファイル数が少ないので無理にcpu_numberを大きな値にする必要はありません。逆に色んな値を大きくした状態で実行するとメモリが足らなくなったりする場合があります。オススメの設定としてはgc_execution_intervalの値を一桁台にすると良いと思います。retry_maxもコードを直接修正することで変更することができます。こちらの値も小さくすることでサーバー側の負荷を減らすことができます。※2018/12/7から、migrate_storage_toolはマルチアップロードにも対応しました。2GB以上のファイルを移行する場合はmultipartの設定をしてください。最後に私はストレージからファイルを移行する際、基本的には後者のmigrate_storage_toolを使っていました。このツールを使ってクラウドストレージ(旧)に全ファイルで30TBあるファイルを移行するのに約1ヶ月もかかりました。このように、ファイル数やファイルサイズが大きいと移行に時間がかかってしまいます。クラウドストレージ(旧)を使用している方は早めの移行をお勧めいたします。さんの必要なデータの量は?90%の精度を出すためには?データサイエンスあるあるQ&Aです。LIMITEDスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。