現在JavaScriptの設定が無効になっています。このページを利用するにはJavaScriptの設定を有効にしてください。engine:VESPAの紹介はじめにこんにちは。メディアカンパニープラットフォーム開発本部サーチテクノロジー部の朴と申します。AOL等50以上のテクノロジーとメディアを運営する子会社)からVESPAがOSSとして公開されました。VESPAは検索エンジンを代表とした大規模なデータをハイトラフィック状況下で高速に配信できるビッグデータサービングエンジンです。2.0のOSSとして公開されました。リアルタイム検索Yahoo!知恵袋Yahoo!ショッピングヤフオク!Yahoo!ロコ広告ニュースタイムライン主な機能VESPAには数多くの機能があり、その中の主要な機能をここで紹介させていただきます。詳しくは本家ドキュメントをご覧ください。スケーラブルデータはシャーディングすることができ、ノードを追加、削除するたびに自動的に再配置のリバランスが行われます。サービスを稼働しながらでもこのオペレーションが可能です。ロバストAdminを含む全てのコンポーネントは冗長化可能で、単一障害点は発生しません。ノードに障害が発生した場合は自動的に設定した冗長化レベルまで復元を行います。リアルタイム大規模なハイトラフィックデータをリアルタイムに更新しながら、数msで検索する事ができます。UGCやトランザクションデータ、デバイスデータなどをリアルタイムに検索、分析することができます。ランキング多様なマッチングロジックを元にしたデフォルトの素性とカスタム素性を組み合わせて柔軟なランキング式の表現ができます。このフレームワークで機械学習ランキングを実装することもできます。rankingの機能により計算量のバランスを考慮した多段階のランキングを構築する事ができます。構造化インデックスに対して、キーワード検索だけでなくYQLを用いたデータ取得ができます。この機能によりグルーピングやアグリゲートされた検索結果を取得できます。PredicateフィールドPredicateフィールドは、クエリが、条件式に適合するかを判定する機能です。この機能は例えば、広告などの分野で、20代、女性をターゲットとしたい広告と、対象のユーザーをマッチングしたいようなケースで有用となります。詳しい使い方については、本家のドキュメントを参照してください。AND)検索の機能により重み付きのBag-of-wordsを用いたテキストマッチベースのレコメンデーションや類似文検索などが高速に行えます。テンソルフレームワークベクトル、行列演算さらにN階のテンソルによる演算の枠組みが用意されています。疎、密両方のテンソルに対応していて、それぞれ計算の最適化が内部でなされているようです。Net)などへの応用が可能です。おわりにこのようにVESPAは同一のインデックスを用いてキーワードや絞り込み検索、グルーピングからレコメンデーションまでを幅広くカバーできる強みを持っています(ビッグデータサービングエンジンたる所以だと思います)。下記ブログデータを用いた検索アプリケーションをレコメンデーションシステムに、さらにそれをDNNモデル化させるチュートリアルが参考になります。modelsVESPAは今後も爆発的に増えていくデータを価値ある形で扱うためのソリューションの1つとして、とても有効なものだと思います。データやトラフィックが大きい要件ほどその真価を発揮してくれると思うので、みなさまも是非試していただけるとうれしいです!最後にこの素晴らしいプロダクトをOSSにしてくれたVESPAチーム、Oathに心から感謝の意を表したいと思います。JAPANでは情報技術を駆使して人々や社会の課題を一緒に解決していける方を募集しています。詳しくは採用情報をご覧ください。JAPANのサービス開発を支える技術やデザイン、文化を発信しています。Reserved.このページの先頭へ。