BASE開発チームブログスマートフォン用の表示で見るBASE開発チームブログ2018-08-15Yahoo!の近傍探索ツールNGTを使って類似商品APIをつくる機械学習はじめまして、BASEビール部部長の氏原です。Groupで機械学習エンジニアをしています。今回初登場ということで、暑いときにいいサワーエールのお話でも......といきたいところですが、ここは開発ブログということなので仕方ありません。開発のお話をしましょう。現在私は商品の画像に基づいて、その商品に似た商品を類似商品として提示するAPIの開発を行なっています。Indexing)を使って作成したことについて書いてみようと思います。背景BASE株式会社はネットショップ作成サービス「BASE」を運営しています。ここで作成されたショップはそれぞれ別のWEBサイトとして公開されていますが、ショッピングアプリ「BASE」では作成されたショップを横断して商品を検索し購入することができます。ショップの数は公称で50万店舗、非常に多くの商品がありますのでユーザーさんが興味を持つであろう商品をいかにして探しやすくするかはサービスにとって喫緊の課題と言えます。その取り組みの一環として、私は商品詳細ページにある関連商品の改善を目的に類似商品APIの作成を行っています。類似商品APIは以下の3つの構成要素で成り立っています。新しい商品画像がサービスに登録された際に特徴量を計算して保存する特徴量のindexing関連商品として出す商品の画像を選別して近傍探索用のindexを作成するAPI検索元商品の画像から近傍の画像を探索しその画像に対応する商品を類似商品として返すではそれぞれについて解説していきましょう。画像の特徴量抽出BASEには毎日結構な量の商品が新しく登録されていきます。既存の商品の画像を差し替えたりすることもあります。それらの新しい画像の特徴量は随時計算しておかないといけません。特徴量抽出の全体構成BASEでは商品画像をS3に保存しています。S3ではファイルが登録されると、そのことをイベントとして通知できます。特徴量抽出ではそれを利用して以下のようにシステムを組んでいます。SQSS3で画像が登録されると、そのイベントをまずSNSに投げます。SNSはそのイベントをそのままSQSに投げます。SNSを通しているのは、画像登録を契機に何かしらの処理を行いたいという要望は今後他にも出てくることを想定しているためです。SNSであればsubscriberを増やせばイベントをbroadcastできます。してS3に登録された画像はイベントとしてSQSに溜まっていきます。ECSSQSに溜まったイベントを取りに行くのがECS配下で稼働しているServiceです。ここではSQSからイベントをpollingして、取得したイベントから画像を取得して一枚づつ特徴量を計算してDBに保存していきます。Scalingと組み合わせればSQSが溜まってきたときにServiceを増やすのが簡単です。画像の特徴量みなさん、画像の特徴量といえば何を思いつきますか?SIFTとかHOGでしょうか。最近ですとDeepLearningでしょうか。今回、画像の特徴量の抽出にはMobileNetを利用しました。いちからMoblieNetを作るのではなく学習済みモデルをそのまま利用しました。Kerasのやつですね。ホント楽になりましたね。pooling="max")include_topはFalseにしてクラス分類のネットワークは外して特徴量を抽出する部分だけ使います。画像はもう単純に224×224にリサイズして使います。これで224×224のRGB画像からfloat32の1024次元のベクトルが得られます。model.predict(xs).flatten()特徴量を保存するDB上で得られた特徴量はDBに保存しておきます。今回特徴量を保存するのにはAuroraを利用しました。1024次元のfloat32のベクトルを保存するのに容量あまり気にしないでもいい場所が欲しかったためです。RDSとか単にベクトル保存する場所としては機能過多ではあります。Storeでいいんですが、ここは今後も要検討です。特徴量のindexing画像登録に連動してDBに特徴量を保存できるようになりましたが、サービスで使うにはある画像の特徴量vectorの近傍にあるvectorがどれなのかを知ることができるようにしなくてはいけません。これを実現するために今回はNGTを利用しました。NGTとはYahoo!さんの説明をそのまま引用させていただきます。Search)するためのソフトウエアです。超高速に近傍のベクトルを探せるソフトです。350万件の1024次元のベクトルを登録してみたところ、メモリを15G程度食いますが近傍1000件取ってくるのに数十msくらいしかかかりません。これならキャッシュを併用すれば十分使えると判断しました。wrapperもあるので使うのも簡単です。Taskを利用したバッチ処理でNGTのindexを作成しています。Eventをdailyで投げるようにして、ECSがそれを受け取ってTaskを実行するようにしました。TaskはAuroraからindexingする特徴量を取得してNGTに登録します。このとき全部の特徴量を使うのではなく、古い商品は登録しないなどある程度の取捨選択をしています。wrapperを使ってこんな感じです。indexの作成ngt_index.build_index(num_threads=8)S3作成されたNGTのindexはS3に保存しています。indexは毎日作成され、ある程度の期間保存して古いものは捨ててます。APINGTのindexが日々作成されるようになりましたので、今度はそれを利用する部分を用意しましょう。Gatewayを入り口としたECSの二段構えになっています。これは類似商品を取得するという機能と類似画像を取得するという機能を分離させておくことで、類似画像APIを利用した他の機能の開発を簡単にするためです。現在BASEの商品の画像検索APIも開発中ですが、これはこの仕組みにそのまま乗っかっています。類似商品APIここは以下のような役割を受け持ちます。Gatewayに返すやってることはシンプルです。構成のところには出ていませんが、毎度類似画像APIを呼ばなくてもいいようにElastiCacheを設置して、類似画像APIを呼ぶ前にそっちを確認しています。類似画像APIここはNGTの薄いwrapperになってます。やっているのは画像IDや画像の特徴量そのものを受け取り、近傍の画像のIDを返すだけです。ここはindex作成が終わったときに新しいindexを読むように再起動されます。Serviceを少しづつ再起動させていくことでサービスとしては無停止で行われるようになっています。実際にどう変わるかでは、構築したAPIで類似商品がどの程度改善したかみてみましょう。この洋服の関連商品は以前のロジックだと以下のようになってました。うん、服ですらないですね。してこれらが関連商品に上がってきたのか謎です。それが今回のAPIで以下のように改善しました。......まあそれだけで感動できるほど前のが悪すぎたという話もあります。雰囲気もなんとなく似てますかね。ファッション系は概ね良い感じに類似商品を出せるようになりました。Strategyチームは最近できたばかりで、まっさらなAWS環境を渡してもらってインフラ含めて一から類似商品APIを構築するというなかなか楽しい経験をさせてもらいました。精度を上げたいところではありますが、そこそこ良いものができたのではないかと思っています。実際関連商品のタップされる率は今までの2倍ほどに伸びており一安心というところです。今回構築した類似商品APIでは今のところ画像しか見ていません。そのため少々コンテキストから外れたものが出てくることもあります。そこで現在商品のタイトルや説明も考慮するようにAPIをアップデートしようとしているところです。精度を上げて、私がいいビールを探せるように......いえ、ユーザーさんがいい商品をみつけられるようにこれからも頑張ります。開発した成果は、ショッピングアプリ「BASE」で見ることが出来ます。個別の商品を見るビューをスクロールして「関連する商品」をぜひご覧下さい。iOShttps://itunes.apple.com/jp/app/base-beisu-guo-nei-zui-da/id661263905?mt=8Androidhttps://play.google.com/store/apps/details?id=in.thebase.baseP.S.長くなるんで省きましたが、実は今回作ったAPIのAWSの構成管理はTerraformで書いて1発で構築できるようにしています。その話はまたの機会にしたいと思います。)の開発チームによるブログです。Groupの大木です。Developerをしている東口です。Groupのマネージャーをしている山田です。12/1から始まっ...Archiveスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。