BlogVRアプリ開発やAI技術研究をおこなっています。物語テキストから動画自動生成テストhttp://blog.vrai.jp/article/455977263.htmlこれの技術解説をしたいと思います。中身は単純で1日ちょっとで作れた簡単なものなんですけどね。■テキストの準備まず、元となるテキストを用意します。http://www.aozora.gr.jp/cards/000329/files/18376_12100.htmlを、使用しました。次に、テキストを1文単位に分割します。黒橋・河原研究室http://nlp.ist.i.kyoto-u.ac.jp/index.php?KNPを使って、述語項構造を解析します。とおばあさんは言いました。"代表表記:ます/ます"。NILEOSと、出力されます。このうち利用したいのは、<述語項構造:言う/いう:動8:ト/C/と/0;ガ/N/おばあさん/1>という部分です。述語=動詞「言う」が、この文章に含まれることが判明します。ヲ格やニ格という対象語(目的語)が含まれる場合もあります。対象語となるオブジェクトモデルも用意します。動詞に対応するモーションデータも用意します。それらはすべて今回はUnityアセットストアで無料のものを利用しました。テキストの最初から1文ずつ、新しいキャラが登場したら表示をおこない、モーションを再生し、カメラをそちらに向ける等の処理を実行していくだけです。島」などの場所に関しては、フィールドマップ作成時に位置を指定しています。いくつかの原因があるのですが、まず最初の形態素解析の段階で失敗している場合があります。「鬼が島」が1つの単語なのに、「鬼」「が」「島」と分割されてしまっています。桃太郎はこの話をきくと、その鬼が島へ行ってみたくって、もう居ても立ってもいられなくなりました。「鬼」が「島」へ「行く(行ってみたい)」と解析され、いきなり鬼が遠くの「鬼ヶ島」まで全速力で走って行く羽目になりました。このあたりは、「鬼が島」を単語登録すれば、ひとまず問題は解決できるかと思いますが、形態素解析の処理によっては単語登録されていても、うまく単語として分割されない場合もあります。日本語では主語が省略されることが多々あり、この『桃太郎』の文章も例外ではありません。直前の主語を利用することにしています。そのせいで、とおじいさんは言いました。「まあ、そんな遠方へ行くのでは、さぞおなかがおすきだろう」という文章が、(おじいさん)(言う)(?)(行く)(遠方へ)と解析され、おじいさんが遠方=鬼ヶ島まで全速力で走って行く羽目になりました。これに関しては、セリフ内の文章は実際の現象ではないとして無視するか、「~だろう」という文の構造から予測や想像と判定すれば回避できるかもしれません。桃太郎と、三にんの家来は、さっそく、この船に乗り込みました。この文における「家来」です。犬猿キジ達は「お供しましょう」と言ったり、桃太郎が「ついて来い」と言っているのですが、それによって犬猿キジ達が桃太郎の家来となり、「家来」という言葉は犬猿キジ達の属性であって、別の人物を表していないことをプログラムが理解していないため発生しています。人間の持つ常識から判断しないといけないのですが、その膨大な量の常識を、どのようなデータ構造で保持し利用すればいいのかや、そもそもどうやってその膨大なデータを入力すればいいかが最大の問題となっています。■まとめこのような動画自動生成によって、いわゆるAIが何を理解していないのか、何を教える必要があるのかが目で見て分かるため、研究には有用ではないかと考えています。上記の諸問題を解決したとしても、登場人物の内面の状態や変化を捉えるのは、さらにハードルが高い問題となるでしょう。そこを超えてようやく人工無脳ではない会話可能なAIの開発のスタートに立てると思います。|物語テキストから動画自動生成テスト人工知能研究の一分野である物語動画自動生成のプログラムを試しに作ってみたので、昔話の『桃太郎』を読み込ませて生成した動画をアップしました。実装技術の概略としましては、むかし、むかし、あるところに、おじいさんとおばあさんがありました。まいにち、おじいさんは山へしば刈りに、おばあさんは川へ洗濯に行きました。「ドンブラコッコ、スッコッコ。ドンブラコッコ、スッコッコ。このような物語テキストから、登場人物や動作を解析し、それに対応する3Dオブジェクトやモーションを表示することで動画を生成しています。http://www.aozora.gr.jp/cards/000329/files/18376_12100.htmlを、使用しました。"Mei"http://www.mmdagent.jp/を、使用しています。物語テキストから動画自動生成テストの技術的解説http://blog.vrai.jp/article/455988154.htmlこちらに書きました。2.0Seesaaブログ。