0まだまだ暑さは続いておりますが、いかがお過ごしでしょうか。先日、データサイエンティスト養成読本を個人的に購入しました。白金台」に参加する予定です。参加される方はどうぞよろしくお願い致します。書籍自体はログ収集からログ解析まで幅広い内容をサポートしているので、非常に勉強になりそうです。書籍内でも紹介されているfluentdは、過去のブログ記事でも紹介したことがありましたが、リアルタイムログ収集ツールとして非常に有用です。そのため、今後の本ブログでも詳しく紹介していきたいと思います。それではブログの内容に入ります。import機能について紹介していきます。import機能とはこれまでTreasureDataに100MB以上のファイルをアップロードする際には、bulk_import機能を利用することが推奨されてきました。tdのbulk_import機能は、データ圧縮などのCPUをフルに利用する場面での処理速度に課題がありました。import機能が実装されました。これによって、皆様のお手持ちのデータをよりスピーディーにTreasureDataへのアップロードが可能となります。import:prepare機能に今回は焦点を当て、どの程度処理速度が向上したかを比較してみたいと思います。bulk_import:prepare_partsを利用します。利用方法については、bulk_importとほぼ同様のため、こちらのドキュメントを参照して頂きたいと思います。EC2を用いて検証を行いたいと思います。EC2のsmallインスタンスで比較検証を行った結果、表3に示す結果が得られました。処理時間自体は全体的にかかってしまっていますが、import:prepareとbulk_import:prepare_partsを比較してみると、処理時間を約5分の1短縮できていることが分かります。このように性能向上を果たすためにどのような工夫をしているのかは、Githubでチェックしてみましょう。皆様もご自身の環境で検証して頂き、処理速度が向上したことを体験して頂ければと思います。以上、import:prepareの紹介を終わります。雑誌等の執筆依頼を受付しております。役に立たなかった0人がこの投稿は役に立ったと言っています。コメントをキャンセルメールアドレスは表示されません。Reserved.本サイトに掲載されている社名、製品名、サービス名等は各社の商標または登録商標です。プライバシーポリシーお問い合わせ。