生物と機械の間(自然言語処理研究と徒然。DeepにLerning中)スマートフォン用の表示で見る生物と機械の間(自然言語処理研究と徒然。DeepにLerning中)自然言語処理研究@レベル1。「コンピュタと人間の相互理解を深める」を大きなテーマにしています。タスクは対話システム。分子生物学から興味が移動したため、生物と機械の間を探しています。生物をモデルにしたプログラムが好きです。仕事をしながらほぼ独学で自然言語処理の研究を細々頑張る人のブログ。タスクは外部知識を利用した対話システムです。コンピュタと人間のコミュニケーションレベルの向上。それにより多様な人がより深くコンピュタからの恩恵を得られるようにする。新たな文化を創出するを目標に。論文習慣1日10分とにかく論文を読む。2019年12月まで試験的に実施中。1週間1gitとか論文の実装もあげて生きたい。新しく自然言語処理をやる人にために、自然言語処理の英単語帳も作りたい。*風邪や体調不良の時は、論文名だけあげて3分間でやれるところまで行い、後は(途中)とする。毎日続けることを大切に。良いものを作りたい良いものを作りたい(クールでかっちょいいものを作りたい!)知りたい!(知能の不思議を)自己紹介お仕事をしながら、細々と個人で研究者として一人前になれるよう足掻いています。やる気は十分!ですが、自分の能力のなさにうえってなってます。時間の使いかた、元気の保ちかた、効率的なやり方、などをもっとあげていかないととてもたちゆかないなと思っているため、ライフハックなどに興味津々です。ちなみにお仕事の方では、「文献情報をより便利に、より早く」を目標にしています。分子生物学から興味が移動したため、生物をモデルにしたプログラムが好きです。言語獲得や認知などにも興味があります。生物と機械の間を探しています。ピアノと読書が娯楽です。好きなものは美人とスーツ。最近からだを鍛えるのが楽しいなぁと思っています。開始日:2017-8-6。21:36このブログについてTweet広告を非表示にするもっと読むコメントを書く2019-12-30スモールステップ一日一論文まとめたい。宣言したが、色々私事で思うことがあって一回ストップ。覚悟が決まるまで、次のステップには進まない。お仕事も年末で頑張りすぎて、ダウンしていたし。人から疲れてるよ、とか顔死んでるよ、とか言われてたから、休むべきと学習。ゆるゆるとブログ、続けたいのでスモールスモールステップ。毎日一日開く!だけを目標に。来年は、アウトプットをより自分の進みたい道に直接繋がって人の役に立つようなのにしてみたいな。自分でコントロールできることをひたすらがんばりたい。-2018)どんなもの?雑談型対話システムに感情を組み込むことでより豊かな応答をしようと言うシステム。Memory先行研究と比べてどこがすごい?先行研究には、下記3点の問題点があった、それを解決する。1感情報情報のついた、対話文を収集するのが難しい。それはとても主観的なものだから。同じ文章でも感じ方が違うように。2感情情報を自然に反映させるのが難しい。文法情婦や単語情報を壊さず。感情方法を反映させすぎて、不自然な応答になる。3???先を読みすすめる技術の肝はどこ?上記問題点を解決するため、3つの技術を合わせている肝は、クラスタリングで大規模な感情付対話の学習データを作成したことまた、感情表現を自然に加えるため、インターナルメモリー(感情状態。感情変わると困る)と感情表現をだすか、一般的な応答をだすのが正解か選択できるえくすたーなるメモリーとで調整。・対話文から、話題の推定。Models(2015)どんなもの?タスクは、応答の多様性が低い問題の解決に挑む。seq2seqの目的関数をいじり、モデルの学習の際、良く使われる応答を生成しようとすると、ペナルティを与えるような目的関数を設定した(MMI)。frameworkとの記述があるように、NN系の文章生成タスクにおいて、多様性と言う観点を導入した最初の研究であるということが肝である。先行研究と比べてどこがすごい?先行研究では、翻訳に適したような目的関数を利用していた。この研究では、多様性という観点から目的関数を対話システムに合わせて作り直した。(お〜!)技術や手法のキモはどこ?seq2seqの目的関数に、MMIを導入したこと。最大化することで生成される文がいわゆる典型的な表現であった場合にペナルティを加える、というもの。