人が本を読むときは、頭の中に人物や情景・世界観などを想像しながら読み進めることが多いと思います。当然、イメージを膨らませるための情報は、現実世界を目で見て、触るなど、実際の経験で得られた知識によるものが大きいもの。しかし、「人工知能」はそういった前提となる知識を最初から持っているわけではなく、人と同じように考えられるようにするには、人工知能が持っていない情報を教える必要があります。しかし、人と人工知能の持っている情報のギャップを把握するのは大変。そこで、VRアプリの開発や人工知能の技術研究を行っている「Vrai」がテキストの内容を基にムービーを自動生成するプログラムを作成し、実際に「桃太郎」を読み込ませたものをYouTubeで公開しています。このムービーを見ることで人工知能がイメージする「桃太郎」の世界を知ることができ、何の情報が不足しているのかを理解できます。

物語テキストから動画自動生成テスト: Vrai Blog

http://blog.vrai.jp/article/455977263.html

物語動画自動生成サンプル『桃太郎』 - YouTube

「むかし、むかし、…」とおなじみのフレーズで始まるこの場面。「おじいさん」と「おばあさん」が出てきてほしところですが、若い見た目のおばあさんだけ登場。



おばあさんが川で洗濯していると、大きな桃が流れてくるシーンで……



桃はやって来ません。



「うちへ持って帰りましょう」に反応したのか、突然きびすを返し……



近くに桃が落ちてきて、おばあさんが手を伸ばしますが届きません。落ちてきたのは「桃」ではなく「りんご」のように見えますが、桃に近いオブジェクトが他になかったのかもしれません。



本来なら川を流れているはずの桃に向かって、歌をうたい、桃を近くに寄せる場面が、桃が近くに落ちているせいで、うまく表現できていないのがわかります。



桃を手にとって、「早くおじいさんと二人で分けて食べましょう」と独り言を言うシーンで、おじいさんが登場。



家で、おじいさんとおばあさんが桃を眺めていると、子どもの見た目をした赤ん坊が登場して……



「桃太郎」と名付けます。すると、青年の「桃太郎」が登場。本来「桃太郎」となるはずの赤ん坊はそのままなので、登場人物が4人になります。



成長した桃太郎が「鬼がすむ『鬼が島』」の存在を知る場面。なぜか「鬼」が登場。「鬼が島」という名詞ではなく、「『鬼』が『島』」と人工知能が解釈してしまったようです。



桃太郎が「鬼が島」に行ってみたくなる場面で、近くにいた「鬼」が島へ移動。



「鬼が島」に行くことを伝え、おじいさんの「行っておいで」との言葉を合図に、桃太郎も徒歩で「鬼が島」に移動します。



そして、おじいさんも「鬼が島」に向かって徒歩で移動。この前の文章で「おじいさんは言いました。」とあり、「おじいさん」が主語のままなので、「おじいさんが遠方へ行く」＝「おじいさんが『鬼が島』へ行く」と解釈されたのが原因かもしれません。



桃太郎とおじいさんが旅立ってしまったので、おばあさんが取り残されました。



場面が桃太郎に切替わり……



犬



猿



きじ……のような何かが家来になります。



船を見つけ……



桃太郎と、「犬」「猿」「きじ」の「三にんの家来」が船に乗り込むシーンになると、家来の代わりに謎の人物が乗り込みます。「三にんの家来」＝「犬」「猿」「きじ」ではなく、「『犬』『猿』『きじ』の『家来』」が乗り込むと解釈したのだと思われます。これは人工知能開発において技術的に厄介な部分のようで、人なら常識の範囲でカバーできる内容であっても、人工知能で判定するのは、かなり難しいとのこと。



犬が船をこぎますが、「犬が船に乗った」という明確な文章がないため、犬はその場で待機……



猿は「かじ」に座るため、きじは「へさき」に立つために、船に移動します。





鬼が島で見張りをしている兵士が、船を発見。あわてて逃げ出します。ここでは「兵士の鬼」ではなく、「鬼が召し抱える兵」として判断されたのか、モデルが人間の兵士です。



桃太郎と三にんの家来が「鬼が島」にのり込み、鬼をやっつけた後、宝物を船に積んで日本に帰ります。



しかし、犬は相変わらず待機。船に乗ることはありません。



家にいるおばあさんと、鬼が島にいるおじいさんが「もう桃太郎が帰りそうなものだが」と言うと、船に乗っていた桃太郎が、突然徒歩で家に移動します。



すると、大喜びする「鬼が島」にいるおじいさんと家にいるおばあさん。





最後は、ずっと待機している「犬」、船上にいる「猿」「きじ」が喜びの鳴き声をあげて、大団円。







人工知能が想像する「桃太郎」は話を知っている人から見ればカオスな内容に捉えられがちですが、不足している情報は何か、人間が無意識に補っている情報が何かが具体的にわかる内容にもなっています。今後、不足している部分を埋めていくことができれば、人工知能の想像する物語と人が想像する物語とが、完全に一致する未来はそう遠くないのかもしれません。