して30個のLSTMノードをつないだネットワークから30個の単語からなるテキストが生成されます。このテキストと画像の内容を表すテキストとの誤差を逆伝搬させることでデコーダが学習されます。算出する場合には、画像はサイト内のサムネイル画像、テキストはその画像の説明文(キャプション)となります。今回は、サムネイル画像の注目度を画像的特徴だけから説明したいので、注目度の説明変数として画像のエンコード出力ではなくVGG16による特徴ベクトルを直接に用いることにしました。注目度としては、クリック数ではなく掲載期間の長さに依存しないクリック率を採用しました。クリック数が少ないサムネイル画像はクリック率が安定していないので注目度算出対象から外しました(下図を参照)。検証1:画像とキーワードによる商品検索4.1の設計により実装したエンコーダを使って、キーワードによる画像検索を試してみました。「ワンピース」というキーワードをクエリとして、クエリと画像の類似度により画像検索を行いました。結果として、検索上位3位まで全てワンピースの画像が取得できました。次に、紺色のパンプスの画像と「アイボリー」というキーワードの組合せをクエリとして画像を検索したところ、1位はアイボリーのスカート、2位にアイボリーのパンプスが現れました。形よりは色に引っ張られた結果でした。した検証により、エンコーダを使って画像とテキストとの類似度を定量化できることが実証できました。検証2:画像からのキャプション生成4.2の設計により実装したデコーダに商品画像のエンコードベクトルを入力してキャプション生成を検証しました。上手くいった例としては、花の刺繍をあしらったサーモンピンクのブラウスの画像を入力とした場合、「フラワー」「襟元」「飾る」「おしゃれ度」「アップ」といった単語が生成されました。色を表す単語としては適当なものが生成できませんでした。全般的には、画像がサンダルなのにキャプションが「タンクトップ」を含んでいるなど、画像とキャプションの商品アイテムが一致しないケースが多々ありました。これは、学習に用いた商品説明文が辞書に含まれていないカタカナのファッション用語を含んでいるため画像の特徴が商品アイテムと紐づけられなかったためと考えられます。検証3:画像の注目度予測4.3の設計により実装した注目度予測器についても商品アイテムごとに注目度スコアを算出してみたのですが、予測は上手くいきませんでした。実際に、画像の特徴ベクトルをt-SNE*8などのより2次元に圧縮して、注目度による分布領域の違いを散布図として可視化してみたのですが、明確な違いが見えませんでした。画像の特徴量だけでは注目度の説明要因が不足しているようです。以上、3機能の実装について検証結果を見てきました。今回は、実現可能性を一番に考えて進めたので、精度の面では課題が残ってはいますが、word2vecをファッション系サイトのコーパスから再学習したり、ファッション用語を形態素解析で使用する辞書に取り込んだりすることで改善する余地があると思われます。今回の検証を踏まえてサービス化に向けた改善を今後進めていきたいと考えています。現在の状況を簡単にお伝えすると、インターンシップの成果を元に関係メンバーを中心にサービス化に向けた要件定義、プログラムのリファクタリングと機能の切り出しを進めています。サービス開発をゼロから始めるのは大変なことですが、今回、インターンシップでの企業と学生のコラボレーションをもとに、サービス化に向けた最初の一歩を踏み出すことができました。私たちも仕事に向かう姿勢など省みる良い機会となり、インターンとして参加いただいた山腰さんには大変に感謝しています。まとめ今回はインターンシップの取り組みを通して、ブレインパッドのサービス開発についても一部ご紹介しました。データサイエンティストとエンジニアが各々の専門知識にもとづいて自由に意見を交えながらコラボレーションし、新しいサービスを実現する。した自由でクリエイティブな環境で仕事ができるのが、ブレインパッドならではの醍醐味かと思います。今後も、学生さんとの交流や社内コラボレーションを図り、新しいサービスの創出につなげていきたいと考えています。わず、一緒に製品開発などを推進していただける方を募集しています。Networks*3:im2txtとして知られている手法です。Generator*4:im2txtのKerasによる実装は以下を参考にしました。乾・岡崎研)で公開されているものを使用しました。エンティティベクトル*8:高次元データ空間においてデータが分布している多様体構造を学習して低次元に圧縮する技術です。採用ページスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。