2.0)でリリースしました。Hadoopクラスタ上でネイティブにサポートするライブラリです。GitHub上にプロジェクトが公開されています。HadoopLinkedInのAIエンジニアたちはこれまで、比較的小さなベアメタルクラスタ上でTensorFlowを動かしてきたのですが、モデリングのスピードや精度を上げるためには同社のビッグデータプラットフォームであるHadoopクラスタに接続し、その膨大なコンピュート&ストレージパワーを有効活用する必要があると判断、Hadoopクラスタ上でTensorFlowをネイティブサポートしようと試みた結果、プロジェクトとしてTonYが誕生しました。TensorFlowユーザはTonYにより、Hadoopクラスタ上のメモリやGPUといったリソースをエンドツーエンドで割り当てられ、ジョブを実行することになります。GPUスケジューリングやTensorFlowプログラムをデバッグ/最適化するツール「TensorBoard」のサポートもあるとのこと。Spark上でTensorFlowをサポートするYahoo!主導の「TensorFlowOnSpark」も、名前の通りSparkに特化しているため、GPUスケジューリングとヘテロジニアスなコンテナのスケジューリングの両方に難があり、やはりLinkedInの求めるレベルになかったようです。既存のプロダクトでダメなら自分たちで作ってしまおう、といういつものLinkedInならではのアプローチではありますが、これからニーズが高まるであろうAI環境のスケーリングという意味でも興味深いプロジェクトだといえそうです。AkikoフリーランスのITライター/ジャーナリスト。出版社勤務を経て2011年からフリーに。カバーエリアはクラウドコンピューティング、オープンソース、AI/データアナリティクス、IoT、海外IT業界動向など。インプレス編集委員&特約記者。Reserved.ページ内容の全部あるいは一部を無断で利用することを禁止します。