Leadを務めている中河です。今回は3/18に正式リリースされた「写真検索機能」を支えるバックエンド・インフラをシステム側からの視点でご紹介します。商品名を知らなくても画像から商品を検索できる機能の事です。詳しくは下記の公式リリースをご覧ください。Index)に追加して画像indexを構築。Indexから検索します。アーキテクチャの概要Figure1上記がアーキテクチャの概要図(Figure1)です。弊社では現在マイクロサービス化を進めており、写真検索機能もマイクロサービスとしてKubernetes(k8s)上に実装されています。Platformを使用してETLやbatchを管理・自動化しています。ここではまず図(Figure1)を元に写真検索機能のIndexingからServingまでの基本的な流れを説明します。Clusterで動いています。resourceとしてk8s上に残る為、batchの再実行を伴う障害復旧作業が容易になります。store(S3)上に存在する商品画像をダウンロードしています。Volume(PV)に保存し一定期間キャッシュする事によって、再インデックスが必要な時には素早くETLを回せるようにしています。Repositoryと呼ばれるモデルストアにバージョン管理された状態で保存します。Registry(GCR)にプッシュします。resourceを作成します。Clusterにdeployされています。serviceを自動で検出・利用する仕組みを持っています。Figure4以上が、写真検索システムの基本的な仕組みとなります。写真検索は、大きな画像データを複雑なETLパイプラインで処理する自動化された仕組みが必要で、またServing時の負荷設計も慎重に行う必要があるサービスです。Event等また別の機会に説明したいと思います。Lykeion(リュケイオン)の紹介をします。Buider、モデルの自動Serving機能等、今回の写真検索システムで使用している機能群があり、現在もサービスに合わせ随時機能拡張を行っています。speakerdeck.comまとめ今回も難産でしたが、どうにかこうにか出せて本当に良かったです。関係者の方々お疲れ様でした。ご迷惑をお掛けしました(汗。InternshipでSpannerのSQLパーサ・型チェッカを作りました!こんにちは。採用情報メルカリは常に優秀なソフトウェアエンジニアを募集しています。ご興味を持たれた方はぜひご応募ください。skills月別アーカイブスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。