NetworkモデルGrid-LSTMモデルカーツワイル氏の公式ウェブページ4回目の記事に続く。Blogの記事は、カーツワイル氏の著書について、次のような問題提起も投げかけています。カーツワイル氏が主張するあらゆるテクノロジーの指数関数的成長は現在のところ実証的には観察できず、指数関数的に成長しているものは情報テクノロジーに限られています。小野寺もこの見方に賛同します。カーツワイルの著書は、単位時間あたりの演算回数や、演算に要するエネルギーの量や放熱量や、計算機が物理空間を占有する空間の大きさ(端的に言うと、計算機のサイズ)といった尺度で評価しうる「演算技術」としての「情報技術」(ハードウェアとしての計算機に関する技術)に、多くの紙幅(ページ数)を割いています。それと比べると、「記号」の配列(記号系列)が担っている「意味」を「読み解」いたり、意味を理解した記号の配列順序(配列構造)を並び替えることで、これまでになかった新しい「意味」を担う(新しい)記号列を生み出す「情報解析技術」が、「近未来論」として、今後、どのように技術進歩していくのか、という主題には、あまり多くのページ数を割いていないように思われます。以下、こうした点を丁寧に論じていきます。記憶メモリと(時間と金銭的コスト当たりの)演算量とデータ転送能力などを評価指標とする「コンピューティング」(計算ハードの技術)であり、データの解析・操作(改変)技術を、人工知能アルゴリズムによって行う「情報処理技術」ではありません。この「コンピューティング」としては、以下が取り上げられています。Technologyが中心です。Nearの邦訳書『ポスト・ヒューマン誕生』(NHK出版)も、たしかに言及してはいます。それも、327ページ目~378ページ目という、ある程度まとまったページ数を割り当てています。モデルの技術」が持つ、「記号」列の解読能力と組み替え能力が、今後、技術として、どのような軌跡をたどりながら向上・発展していくのかという技術論ではないのです。】マルコフ・モデルベイジアン・ネットワークニューラル・ネットワーク遺伝的アルゴリズム同書で述べられているのは、上記のAI手法が、同書出版当時(2005年)に「特化型AI」として、医療業界や人工衛星画像の解析業務、軍事用ロボットの開発現場などの個別の専門領域で、どのように用いられ、力を発揮しているのか、という事例です。自己意識をもつ「強いAI」が、近い将来、どのような形で出現しうるのかについて、展望が述べられています。上記で取り上げられている人工知能技術との関係で見た時、同書では、G・N・R、それぞれにおける「情報パターン」の解析・解読と操作・改変に、上記の各種の人工知能アルゴリズム(マルコフ・モデル等)が、具体的に、どのように活用されているのかという事柄については、主題的に取り組んでいないように見受けられます。(AIアルゴリズム)による「パターン情報」の「解読・解析」と「改変」技術については、主題的に論じていないのでしょうか。ベクトルがもつ「パターン情報」を解読して、操作・改変(編集)する技術(テクノロジー)の進歩に対して、どのような影響を与えているのか、という主題が、明示的に取り上げられていない理由は、この文献が出版された時期に求めることができると考えることができます。カーツワイルが「GNR」論を論じた『ポスト・ヒューマン誕生』の英語原書と日本語翻訳書が出版されたのは、2005年のことでした。いうことは、原稿の執筆が行われたのは、2005年か、2004年になされたことになります。「ディープ・ラーニング」技術の飛躍は、2012年に起きたところで、「ディープ・ラーニング」に世の脚光が集まるきっかとなった出来事が起きたのは、2012年と2013年でした。2012年に、画像認識(一般物体認識タスク)の世界で、「畳み込みニューラル・ネットワーク(CNNモデル)」が驚異的な能力を秘めていることが明らかとなり、世界を驚かせました。Processing)の世界で、個々の英単語が文書(document)の中でどのような意味合いで用いられているのかを、数学のベクトル形式でデータ表現で符号化することができることが認識されました。同時に、個々のベクトル(=個々の英単語)どうしの意味の足し算や引き算をすることができることも知られるようになりました。この2つの出来事は、A.I.人工知能技術を飛躍的に高めたことで、AIの世界で「歴史的な出来事」として位置づけられています。これらの出来事は、AI技術の産業界における利活用を一気に推し進めることになりました。両年のうち、前者の2012年に起きたのは、「ディープ・ラーニング」アルゴリズムを用いた「CNNモデル」が(画像認識のタスク領域において秘めていた)驚異的な能力の発見と、社会からの注目です。systems”)したのです。この「2012年」は、『ポスト・ヒューマン誕生』が出版された年(2005年)の7年後です。「2012年」には、「Googleの猫」として知られることになったGoogle社の技術ブログ(と論文)が掲載されるや否や、情報解析の研究者や、情報解析業界のエンジニアたちから、瞬時に注目されるという歴史的な出来事が起きた年でもあります。「Googleの猫」として知られるようになった出来事とは、以下のようなものです。Google社はこの年、公式技術ブログと発表論文を通じて、CNN(畳み込みニューラル・ネットワーク)モデルが、「猫の顔」の特長部位を、人間から明示的に教え込まれなくても、アルゴリズムの動きだけによって、自力で(自律的に)見つけ出すことができるた、という解釈に結実する研究成果を公表しました。具体的には、(「猫」の顔画像を学習させた)CNNモデルの「ある中間層」の「数値の並びパターン」を可視化(数値の値を色に変換した)した結果を、画像として公表したのです。その画像には、「鼻」や「目」や「耳」などの「猫」の顔の各部位(各パーツ)の「特徴」(輪郭、色合いの変化、など)をとらえた(と、人の目からみて解釈できる)画像が、写っていました。この「画像」は、CNNモデルが、人間から明示的に教え込まれることがなくとも、アルゴリズムの動きだけによって、自力で、(「猫」を、他の動物や、非生物の事物と見分ける上で手がかりとなる)「猫の顔」の各部位が持つ(複数の)特徴を見つけ出すことができるという「解釈」につながりました。した「自力」で特徴を導き出す能力は、画像認識の領域で提案されてきたそれまでの手法技術は持たない「能力」でした。(これまでの手法では、人間が識別モデルに対して、「猫を犬と見分けるときは、顔のこの部位に注目しなさい」、でも、「同じ猫どうしを見分けるときには、例えばアメリカン・ショートヘアとペルシャ猫を見分ける場合は、別のあそこの部位をみなさい」というように、識別すべき対象ごとに、注目すべき部位と、属性(色合いなのか、輪郭の形なのか、など)を、ひとつひとつ、人間が定義して、識別モデルに教え込ませなくてはなりませんでした)CNNモデルが持つこのような驚くべき能力が高く評価されて、CNNモデルは、画像認識タスクの世界で、これまで提案されてきた他の数々の統計的機械学習・パターン認識手法(アルゴリズム)の中でも、抜きん出た能力を持つモデル(手法)として、圧倒的な注目を集めることとなったのです。2013年:Word2Vecモデルの登場(単語の「分散表現」の時代の幕開け)さらに、翌年の2013年には、今度は、英語を扱う自然言語処理のタスク領域で、単語の「足し算」と「引き算」を(「特徴ベクトル空間」の中で、ベクトルの加算・減算演算として)行うことができる「Word2Vec」モデルが、Mikolov氏らによって、論文として提案されました。この「Word2vecモデル」は、2013年に発表された3本の論文の中で、提案されました。compositionality「Word2Vecモデル」の登場によって、画像データだけではなく、英語の文章(における各単語の持つ意味合い)データまでもが、(画像と文章は見た目が大きく異なるにもかかわらず)「特徴表現ベクトル」という、同じ「数値の並び」を持ったデータ形式(ベクトル)で表現できることが明らかになりました。encode)された2つの事柄(情報エンティティ)の中間にある意味をもつ事柄や、差分に相当する意味の事柄などを、人工的に、(高次元の)特徴空間ベクトル内で、(計算機上でデジタル計算される)数学演算によって、「生成」することが、高い精度で可能であるをも、明らかにしたのです。representation)による「特徴表現ベクトル」という同一のデータ形式によって、表現(encode)することができることが、明らかになりました。このようにして得られた「特徴表現ベクトル」どうしを、(符号化する前の)元データの属性が同じ(画像どうし、文章どうし、等)であっても、異なる場合(画像と文章、など)であっても、特徴表現ベクトル空間という「共通の土俵」で、相互に比較したり、演算しあうことができることが、人工知能研究者の間での共通了解になりました。Twitterにおける流行キーワードの頻度分布」といった、属性がまるで異なる(複数の)データどうしを、俯瞰的に(統合的に)解析することで、(属性の異なる複数の手がかりデータから)なんらかの「傾向」を検出・抽出するといった、いわゆる「マルチ・モーダル」タスクに、(「ディープ・ラーニング」以前の機械学習モデルによる手法よりもはるかに)高い精度で、取り組むことにも、道が開けたのです。この「マルチ・モーダル」タスクですが、一例として、「画像」データと「音声」データを、単一の「ディープ・ラーニングモデル」(深層学習モデル)に入力させて、単一のモデルの中で、統合的に取り扱うことができます。”この画像が得られたときには、この音声が流れている”という「画像と音声の対応パターン」を学習させることができます。そのような「対応パターン」を学習させた「ディープ・ラーニングモデル」(学習済みのモデル)に対して、新しい「画像」を入力することで、(学習済みモデルを用いた「推論」が自動的に行われて、)その画像に写っている場所では、画像が撮影された時点で、どのような音が流れていたのかの推定音が、(モデルから出力されて)得ることができます。上記のモデルについて、詳しくは、Ainowの記事「Googleなど各社は、画像から音響や材質質感・3次元立体映像を推定する技術をどう商用展開するか」を参照してください。このように、CNNモデルや、Word2Vecモデルなどの「ディープ・ラーニング」手法が、華々しく登場したことで、A.I.(人工知能)技術が一気に飛躍しはじめたのは、『ポスト・ヒューマン』が出版されてから、7年後の2012年(とその翌年の2013年)であったのです。Google社発のこの「出来事」は、「Googleの猫」として日本では知られており、米国では、その成果をまとめて発表された論文は、「キャット・ペーパー」と呼ばれています。4回」が参考になります。その後、画像認識以外の分野でも、「ディープ・ラーニング」の数々の「威力」を示す論文が次々に学会誌やArxiv.サイトに投稿・査読通過されることとなり、今日の「深層学習」の隆盛につながっています。makingな)深層学習モデルが、矢継ぎ早に論文として発表されて、AI業界がいまに至ることは、皆さま、ご周知の通りです。してのA.I.「人工知能」技術が、(これまで以上に)飛躍的に大きく影響を与えはじめたのも、カーツワイルが「GNR」論を世に唱えた2005年から数えて「7年後」からであった、ととらえることができそうです。どのように進展しているのかを、いくつか論文を取り上げながら、具体的に示していくことにしたいと思います。この著書は、2012年に出版されています。Amazonの書評によると、同書の主題は、「人間の脳の動作原理を理解するために、脳をリバース・エンジニアリングした結果、得られた知見を、人間よりもさらに知的なマシン(知能機械)を生み出すために活用する」ことと設定されているようです。machines.2012年は、画像認識の領域で、CNNモデルが従来手法を圧倒する正解率を叩き出した記念碑的な年でした(ILSVRCコンテストと「Googleの猫」という2つの出来事の発生)。同書は、人間と同等の知性(ある程度のパフォーマンスで、なんでもこなせる知性。相互連結して構成させる機構)を実現するための候補技術について、カーツワイル氏が『ポスト・ヒューマン誕生』を出版してから7年後の時点で、どのような認識に到達していたのかを知ることができる一次資料です。人間と同等の知性(ある程度のパフォーマンスで、なんでもこなせる知性。AGI.と表現されることが多いように見受けられます。AGI”の候補モデルについて、2012年時点のカーツワイル氏の認識を追うことができます。Mind”」があります。この記事では、同書を以下にように要約しています。(以下、上記ウェブページより転載)カーツワイルの主張で印象的だったのは以下の点だった。人間の脳は基本的なパターン認識モジュールがいくつも繰り返されたものである。人間の知能は階層的で、情報は低い階層から徐々に高い階層へと伝達される。基本的なモジュールの動作さえ解明すれば、そのモジュールを組み合わせることにより脳のような複雑なシステムを構成する事が出来る。脳が行っている計算は本質的にはコンピュータで再現できる。2020年代には人間の脳全体のコンピュータシミュレーションが可能になる。人間の意識は物質そのもの(ハードウェア)ではなく物質の動きのパターン(ソフトウェア)である。カーツワイルの、人間の知能がいくつもの基本的なパターン認識モジュールによって構成されるという主張は説得力がある。上に挙げられている各項目の中では、「人間の知能は階層的で、情報は低い階層から徐々に高い階層へと伝達される」という点が、一つ注目すべきポイントです。人間の大脳新皮質が6つの層(皮質)によって構成されていることは、脳の研究によって明らかにされた事実ですが、カーツワイル氏がこの点に着目していることがうかがわれます。memoryモデル)があります。このHTMモデルには、それぞれ機構の設計コンセプトが異なる複数のバージョンのモデルがあります。考えるコンピュータ』ランダムハウス講談社)を含めて、これら各バージョンのモデルについては、いずれも、断片的な情報しか公開されていません。提唱者であるHawkins氏が2002年に設立したNumenta社から、各バージョンのHTMモデルが提案されています。2011が公開されています。卓氏による以下の解説スライド(講演で発表されたもの)があります。上記のスライドで解説されているように、HTMモデルは、人間の大脳新皮質がもつ「6層構造」を、”Hierarchical”な数理モデル(=人工知能モデル)として表現しようとしているようです。人知能モデルの研究開発には、人間の思考の原理を忠実に再現しようとする動機をもつものと、人間の思考の原理とどれだけ近いのかには関心を払わず、とにかく工学モデルとして、定義された領域で高い知的パフォーマンスを示しさえすればそれでよいという考え方に立つものの2つがあります。以下のモデルは、上記のどちらに該当するのかは様々な捉え方がありますが、現在主流の深層ニューラル・ネットワークモデルとは異なり、ニューロン(ノード)間の結合関係を立体構造(3次元)に張らせたり、ニューロン間の結合関係に「カプセル」の包含関係を取り入れたりと、工夫を加えた例です。@hiyoko9t氏(最終更新日:2017年12月12日)「カプセルネットワークはニューラルネットワークを超えるか。Blog)では、同論文を以下のように要約しています。・従来のニューラルネットワークとの違いでは、何が従来のニューラルネットワークと違うのでしょうか?一言でいうと、従来のニューラルネットワークが全体をその大きさで見ていたのに対して、カプセルネットワークが特徴ごとに”ベクトル”で見ているという点です。それが目なのか、鼻なのか、口なのかにしか着目していませんでした。(画像左)(中略)しかし、今回のカプセルネットワークはそれらの特徴がどのような関係で配置されているのかまで認識します。(画像右)つまり、カプセルネットワークは個々の特徴を独立的に捉え、それぞれがどのような関係にあるのかということにまで着目します。カプセルネットワークの名前の由来がここにあります。ひとつひとつのカプセルに詰まったニューロンが個々の特徴に着目し、それぞれの関係に着目するのです。Memoryカーツワイル氏の公式ウェブページ2018年現在の同氏の認識・見解を知るためには、リアルタイムに掲載内容が更新されているウェブページがもっとも効果的です。このウェブページ(トップページ)には、2018年10月27日現在、以下の特設ページへのリンクが張られています。2018)上記は、「N」(ナノテクノロジー)技術の成果を取りまとめたレポート(2018年10月現在)のようです。その冒頭部分は、以下で始まります。ecology.また、このレポートの導入部分(Introduction)は、以下の書き出しで始まっています。plastics真っ先にあげられている成果として、次の2点が挙げられています。plastics「N」(ナノテクノロジー)については、先述のウェブページのトップページからは、以下へのリンクも張られています。2018)また、「R」(ロボット工学+人工知能技術)については、以下へのリンクが張られています。Near)では主題として語られたなかった、「情報パターン」の生成・解読・書き換え技術であるGとNとRの技術発展に対して、2012年以降に飛躍したディープ・ラーニング手法の各種技術(深層学習モデル関連技術)がどのように影響を与えているのかを、紹介します。主な情報源として、追いかけていきます。カーツワイル氏が言及していない技術論文の中で、関連する論文(膨大な本数の論文があります)のうち、ごく一部の論文をサンプリング的に取り出して、紹介していきます。敗戦の前年、長野県に3男として生を受ける。旧制一高の学生であった兄二人が、ロス五輪のバロン西に憧れ、馬術に熱を上げていたのを見て乗馬教練場に通い始めるも、落馬して腰を痛め、爾来、書斎と学校・職場を行き来する生活習慣に転じる。寄与」論考など、いわゆるハイデッゲルの中期思想と、西田幾多郎ら京都帝大の「場所の論理学」の思想の架橋を志すも、九鬼周造の「偶然性の哲学」の文章に触れて、己の非才を悟り、断念。大学は文科に進学するも、計算機科学と知能の計算論的再現に強く惹かれ、日米関係の職務に奉職する傍ら、理科に進学した兄達の人脈を頼り、今日でいう人工知能の研究に、在野の人間として、思索に励む日々を送る。AI領域についても、研究の方向性が、いま、本質論としてどちらの方角にむいたベクトルとして発展しているのか、本質を掘り下げた議論を喚起するきっかけとなる所論を書いてみたい思いに駆られ、Ainow誌上での連載の筆をとった次第です。AINOW編集部コラムAINOW編集部社会この記事が気に入ったらいいねしよう!最新記事をお届けします。週1回、注目のAIニュースやイベント情報を編集部がピックアップしてお届けしています。こちらの規約にご同意のうえチェックしてください。)が含まれていない理由を考える(2)RECOMMENDこちらの記事も人気です。対するイメージを聞いてみた!【vol.1】AINOW編集部2019.10.30今さら聞けない「チャットボット」とは?AINOW編集部2018.10.23AIに助けられた科学を用いて、余震の発生場所を予測するAINOW編集部2019.12.12小さいデータにもとづいてディープラーニングを使う方法AINOW編集部2019.9.6業務自動化はAI-OCRで終わらない。