BrainPad株式会社ブレインパッドのデータ活用に関する取り組みや製品・サービス開発の裏側、社員の日常などをご紹介します。現地レポートをお送りします!現地レポートは、複数回お届けする予定です。今回は、その第3回です!こんにちは、AI開発部の須藤です。今日はJSAI参加レポートの第3回目ということで、いくつか技術的に気になった発表内容を紹介していきます。これからの人工知能社会。第1回目の記事でもご紹介しましたが、全体の要素技術としてはやはり深層学習が多い傾向が見られました。個人的には、深層学習の適用例だけでなく、深層強化学習の応用の話も増えてきている、という点が印象的でした。分野に限らず、面白い分野だと、コミック工学、人狼知能のセッションがありました。第2回目のブログでは人工知能の応用先の話をメインに紹介しましたが、本記事では、もう少し基礎寄りの技術的な観点で、気になった発表についていくつか概要を紹介していきます。Networks)自然言語処理の分野において、何を伝えるか(意味)ではなく、どう表現するか(スタイル)をモデル化する、教師なし学習を提案しています。ここで言うスタイルとは、「俺」、「あいつ」、「親父」、「だぜ」などのような表現方法のことです。スタイルの学習も行うことができるように、CBOW(Continuous-Bag-of-Words)を拡張した手法を提案しており、スタイルの類似性を捉えた単語ベクトル空間で教師なし学習を行っています。CBOWでは、ある単語(ターゲット単語)の前後の単語数個からターゲット単語を推定するモデルを学習することで、単語間の関係性を学習し、単語の意味的表現を獲得します。提案手法では、「属性や人物情報に関わらず、ある1つの発話内の全単語のスタイルは一貫している」という仮定の元、同じ発話内でターゲット単語から少し離れた単語群も含めて、ターゲット単語を推定するモデルを学習することで、意味的表現を除いたスタイルとしての表現を学習できる手法を提案しています。(上記、図2)単語から意味以外の特徴も捉えることで、書き手がある程度自由に表現できるWeb文書などで有用そうですね!例えば、記事の著者推定や、スパム分類への応用といったことが考えられそうです。)こちらの発表では、マルチモーダルデータ間で適切な類似度を保つように、共通の空間に埋め込む手法を提案しています。適切な類似度に保った埋め込みを行うことで、画像とテキスト間の検索精度を向上させることに成功しています。共通の空間に点として埋め込みを行うと、マルチモーダルデータ間の概念の包含関係や曖昧性の獲得が難しいとして、各データを点ではなく、確率分布として埋め込むことを提案しています。Autoencoder)のように正規分布のパラメータを出力するニューラルネットを導入しています。特徴量が確率分布になってしまうため、コサイン類似度ではなく、JSダイバージェンスを類似度指標として用いています。(上記、図1)シンプルな手法にもかかわらず、精度が良く、発展性がありそうなので、個人的には最も興味を惹かれました。当社でもインターンの方が画像とテキストを用いた応用事例に取り組んでいました。Model)を同時に学習することで、GMMのみだとうまくクラスタリングできないデータに対しても、クラスタリングが可能な手法を提案しています。従来手法だと、クラスタ割り当ての真の分布と近似分布のKLダイバージェンスを0にしていますが、提案手法では、Jensenの不等式を用いて、GMMの下限とVAEの下限を含んだ変分下限を導出して、近似を行っています。dataに対してGMMと提案手法での比較を行っています。ドワンゴ人工知能研究所)強化学習におけるactionのDisentangleな表現の獲得を目指すために、β-VAEと呼ばれるモデルを系列データに拡張できる手法を提案しています。beta-VAEとは、解釈が可能な潜在変数zを扱えるように制約をつけたVAEの事で、disentangleというのは、他の要素に影響を与えないように潜在変数間を分解していく(もつれをほどく)というような意味です。いう、それぞれが無関係(独立)な意味を持った潜在変数に分離することを目指した実験を行っています。Autoencoder)にβ-VAEのロスを適用した手法と、それにseq2seqを組み合わせた手法で実験を行っています。seq2seqと組み合わせた手法では、外側の軌跡の膨らみを獲得することはできていませんが、系列の意味の分離が確認できています。画像の分野では、Grad-Camのように深層学習の解釈を目指す技術が最近流行っていますが、系列データに対する潜在表現の解釈、というのは有用そうな技術ですね!■最後にまだまだご紹介しきれていない発表がたくさんありますが、今回はざっくりと要素技術が気になった発表という形でそれぞれ紹介しました。どの発表も基礎技術寄りの内容でしたが、すぐに応用に活かすことができそうです。明日は、「これからの人工知能。これからの人工知能社会。」をテーマにお届けします。楽しみにしてください!ブレインパッドは、イベントへの参加や最先端の情報収集など、さまざまな取り組みを積極的に実施しています。これからの人工知能社会。Platform(GCP、...2016-02-15「人工知能ビジネス活用研究会(実践編)」にて、ブレインパッド、Myndが講師を担当しましたこんにちは。ブレインパッド広報です。採用ページスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。