多様化により、そこで生み出される情報量が爆発的に増えている情報爆発の時代を、私たちは生きている。呼吸するように、インターネットから情報と知識を得ている。呼吸していることを自覚することが稀であるように、その情報や知識がなぜインターネットから得られるのか、考えたことがないのがほとんどだろう。Google検索の結果得られる情報や知識は、検索対象となるようあらかじめ準備されている。人間が目で活字や図画を追うことで「読める」のとは違う、「機械が読める」状態への加工が必要なのだ。文字にはひとつひとつコードが振られていなくてはならない。その文字列がその文章のタイトルなのであれば、タイトルであると機械がわかるようタグを付与しておかなければならない。日本語の抱えるハンディキャップこの、「機械が読める」に関して、日本語は英語と比べハンデを背負い込んでいる。列挙すると以下の四つとなる。イ.文字数が多いロ.単語の判別が難しいハ.文節の理解が難しいニ.本のデジタルデータが少ないアルファベット26文字の英語と、かなと漢字を足すと数千文字を普段から使っている日本語。日本語の場合同じ漢字でも、字体が異なる文字があり「万」の単位の文字コードが必要となる。英語と日本語とでは、用意しておかなければならない文字コードの数が断然異なるということになる。このイ.は、情報端末の記憶容量が各段に増強されたことでだいぶ状況は改善してきた。(たとえば以前は、「トウショウヘイ」は「とう小平」としか表現できなかったが、最近は「鄧小平」と表示できるようになった)難問はロ.ハ.だ。イ.文字数が多いロ.単語の判別が難しいハ.文節の理解が難しいニ.本のデジタルデータが少ない文字にひとつひとつコードを振ったように、単語にもコードを振って、そこへ属性(名詞か動詞か、単数か複数かなど)を記述しておけば文法と照らし合わせ、機械が、検索窓からの問い合わせ(クエリ)に対し、適切な解となりうる候補テキストをネット上の膨大なデータから探し出すのに、便利だろう。検索が効率的に、効果的に結果を表示するにはこの単語の判別、文節の理解といった、いわゆる形態素解析という工程が欠かせないのだ。この観点で英語が有利、日本語が不利だというのはテキスト(文章)の具体例を見たほうがわかりやすい。100words-essayより)英語は単語と単語の間に空間が挟まっていて、単語の認識が簡単だ。日本語はそうはいかない。単語の判別が難しいと文節の理解も進まない。文節の理解がないと、文章の内容の理解も、ひいてはクエリとそれへの回答との間の検索ユーザー満足にも支障が生じる。Google検索が、その仕組みを意識せず、呼吸と同じくらい自然に利用されている状況で、実は英語と日本語とで検索の精度をあげるうえでの障害の差が大きい。このことは日常生活での検索だけでなく、「知の生成と流通」における情報探索にも関わる重大問題だろう。「文章の内容の理解」といっても、検索窓からの問い合わせ(クエリ)とその応答は、原理的に当初はマッチングを基本としたうえで、高速処理ということに技術開発の努力が続けられていた。検索ユーザーに満足を与えるには、マッチングだけでは限界がある。Googleは1998年に検索事業をスタートさせたが、2005年から人工知能の機械学習機能を採用し始める。2015年、ディープラーニング研究の成果物である「RankBrain」導入を公表した。ディープラーニングは機械の自律的な学習に道をひらく技術だ。変数の設定など、人間がやってはじめて機械学習における演算が始まるのとは異なるのが特徴である。ナレッジグラフの工夫と組み合わせ、検索エンジンが賢くなるスピードが加速している。その技術の検索への採用結果、加速の現状は「検索ユーザーの真意を忖度することができるようになった」。正確には「ある単語を含まないクエリに対して、きちんと回答を出す」という現象として現れている。「文章の内容の理解」にロ.ハ.のハンデを背負う日本語にとってまずは「朗報!」と受け止めていいだろう。検索ユーザーの真意を忖度する様子は、具体例を見たほうがわかりやすい。英米のメディアが報じた例を紹介すると、こんな具合である。2015年10月27日)。(出典:上記記事)GoogleのRankBrainについては「RankBrain(ランク・ブレイン)。人工知能は、既に、Googleの検索結果を処理している。Japan、2015年10月27日)も参考になる。複雑な「(ロサンゼルス・)エンゼルスがワールドシリーズで優勝したときの米国大統領は誰?」という質問に対し、どういうメカニズムがGoogle検索の裏側で作動しているかを、グーグル自身が下記の図のように解説している。Graph)」と人工知能を連携させながら、質問文の各要素を単に理解するのではなく、質問の意味全体を理解できるようにしているのである(Wired.jpの記事「Google検索、英語版で「より長く、複雑な構文」のフレーズに対応」も参照のこと)。piece...(大意)われわれは、クエリを分解して、それぞれの単語の意味を理解できるようになりました。いまでは、質問全体の背景にある意図も解釈できます。)機械の自律的な学習のための材料は豊富か?ここで四番目の障害が登場する。イ.文字数が多いロ.単語の判別が難しいハ.文節の理解が難しいニ.本のデジタルデータが少ないGoogleが格納するデータを原資として人工知能は学習する。その際、「本」の文章は体系化、構造化されていて、検索エンジンを人工知能を使って、より賢くするのに有用なデータ群だ。その「本」のデータ数が、桁ふたつ、ひょっとすると三つくらい違う。英語圏には、とりわけ米国ではGoogleが米国著作権法に規定されている「フェアユース」条項のおかげで2000万冊以上の本のデータが格納されているからだ。Books検索プロジェクト集団訴訟の和解案をめぐる大騒ぎのときに比べ、2015年のGoogle勝訴は、日本であまり大きく報じられることも議論されることもなかったように思う。この勝訴がもたらすインパクトは、彼我の「知の生成と流通」にきわめて大きな影響を与えると考えた方がよい。Booksがフェアユース(権利制限の一般規定)にあたるとのGoogleの主張を認めるとの判断を下した。Booksプロジェクトは、「図書館プロジェクト」と、「パートナープログラム」のふたつで構成されている。)の蔵書をデジタル化するプロジェクトだ。デジタルデータは全文(パブリックドメインの場合)、あるいはスニペット(抜粋文)として検索結果に出てくる。このプロジェクトに賛同する図書館は、前提としてGoogleと提携契約を結ばなくてはならない。米国では多くの図書館が参加しているが、日本では慶応義塾大学のみである。Booksに書籍の情報を自分で登録・公開することができる。ここで、検索結果に出るか出ないかという問題に加え、人工知能がディープラーニング技術を使って検索エンジンを賢くすることに使われることに注意を向けたい。日本でGooglePlay(電子書籍などを販売するサイト)に提供されている有料コンテンツたる「本」の数は10万冊程度と推定される。これに慶応義塾大学から提供されたパブリックドメインの12万点が加わるが、とうてい百万冊を超えることはない。それに対して2013年11月14日決定の裁判資料にはすでに次のような記述がある。日米では「機会が読める」コンテンツの量、それも編集作業が施され体系化、構造化の観点でよりすぐれたコンテンツである「本」の量に、これだけの差があるのだ。被告(Google.Inc)は、2004年以来、複数の大学図書館等とその蔵書をスキャンすることに合意、2000万冊以上の書籍をスキャンした。そのうえで、書籍のデジタルコピーは参加した各図書館に配布、またデータベース化してオンライン上で検索するユーザーに対し、スニペット(ごく一部の抜粋)表示できるようにした。トレンドという検索ボリュームの推移を見るツールがあるのは有名だ(日本語にも対応)。Viewerは日本でほとんど知られていない(日本語未対応のためだろうか)。Viewerは、GoogleBooksプロジェクトでデジタル化されたデータ、大量の「本」を検索して、文学書やそのほかの本に現れる言葉の流行り廃りを、時系列の折れ線グラフで見ることができるサービスだ。デフォルトの画面では、1800年から2000年までが調べられるようになっている。これも具体例を提示しよう。