2017年9月12日、ビッグデータのクラスタ分け(分類)処理を、高速かつ少ないメモリー容量で実行できる手法を開発したと発表した。10億個規模の大規模データを一般的な能力のパソコンでも手軽に扱えるようになるという。本手法のコードは、9月14日からGitHubで一般公開する。図1●1億枚の画像をクラスタリング処理した結果の例。ドワンゴ、東京大学のメンバーで構成する研究チームは今回、大量のデータのうち似たものをまとめてグループに分ける「クラスタリング」の処理について、新たな手法を開発した。クラスタリングとは、膨大な数の画像データを対象に、動物のようなものが写っている写真、街の風景が写っている写真といったグループに分ける処理のことである。今回開発した手法では、データを圧縮した状態でクラスタリングを行う。これによって、従来手法よりも少ないメモリー容量で処理できるようになった。似たデータを集めたグループの「平均」を効率良く計算する新技術を考案し、処理を高速化した。クラスタリングの基本的手法の1つであるk平均法と比較して、精度は劣るものの、100~4000倍ほど省メモリーで、10~1000倍ほど高速になったとしている。背景には、枚数が1億以上の巨大なデータに対しては、従来の手法では、処理速度が遅すぎたり、必要なメモリー容量が大きすぎたりして、個人パソコンユーザーが入手・利用できる仕様のパソコン1台ではクラスタリングを実行することは難しいという問題があった。このため、大規模なクラスタリングを行うためには、多数のサーバーを用いた分散並列処理が必要だった。研究チームが開発した手法では、まず、直積量子化という技術を用いてデータを圧縮する。これにより、データを従来手法よりも少ないメモリーで表現することができる。次に、圧縮されたデータに対して、「似ているデータを集めてグループを作る」「グループの『平均』を計算する」という処理を繰り返す。今回は、グループの平均を効率的に計算する技術を新たに考案し、これにより、高速なクラスタリングが可能になった。100M(YFCC100M)」の1億枚の画像を対象に、「氷上のスポーツ試合」や「欧風の教会」、「ヤシの木」など10万種類のグループに分類したところ、個人が一般に入手できる高性能機種の仕様であるメモリー容量32GB、CPUのコア数4のパソコン1台で、約1時間で実行できた。これを一般的なクラスタリング手法を用いて同じ所要時間で実行しようとすると、同じ仕様のパソコンが約300台必要になる。10億の画像データを10万種類のグループに分ける処理も約12時間で実行できた。k平均法」などと比較して、クラスタリング終了後にデータを近似的に復元できることや、利用にあたってチューニングの必要がないことといったメリットがあるという。多くの既存手法は、高速化を実現するために、元データを不可逆的に大きく変形してしまうため、クラスタリングが終わった後に元データを復元できない。このため、クラスタリング結果を解釈したり、別の処理に利用したりすることができないという弱点があった。今回の手法は、この問題を解決した。多くの既存手法は、使うデータに応じてチューニングする必要があった。今回の手法は、何も設定することなく簡単に使うことができるという。研究チームでは、ビッグデータ処理に関わるすべてのエンジニアや研究者の利用に供するため、今回開発したコードを9月14日から「https://github.com/DwangoMediaVillage/pqkmeans」のURLで公開する予定である。Codes)は、計算機科学などの論文を保存・公開するWebサイト「arXiv(アーカイブ)」(https://arxiv.org/)に9月14日に掲載する。実証実験でRPAの大幅な業務削減効果を確認。Libraryもご利用いただけます。実証実験でRPAの大幅な業務削減効果を確認。ご所属のお客様でも、ご所属企業(または団体)におけるIT化を推進されるお立場の方にもお読みいただけます。2017年9月12日、ビッグデータのクラスタ分け(分類)処理を、高速かつ少ないメモリー容量で実行できる手法を開発したと発表した。10億個規模の大規模データを一般的な能力のパソコンでも手軽に扱えるようになるという。本手法のコードは、9月14日からGitHubで一般公開する。