〜この広告は、90日以上更新していないブログに表示しています。見る1日飛んでしまいましたが、引き続き青イルカ本を読む上で参考になりそうな資料を集めていきます。残り4章をスパッと紹介して切り上げようかとも思いましたが、いよいよ「深層学習」の入り口に入ってきたかな、という感もあるのでじっくりいきます。(オートエンコーダ、autoencoder)とは、入力データを再現するデータを出力するよう、自分自身をトレーニングするニューラルネットワークです。下図のように、入力層(Input)に対して、少ない数の中間層(Hidden)を経て、入力層と同じユニット数の出力層(Output)から構成されます。入力データを再現させるので、入力データと出力データは下記のようになります。これは、MNISTという0〜9の手書き数字の画像のデータセットで自己符号化器を動かした時の例です。上が入力データで、下が出力データ。ほとんど同じような手書き数字が出力されてますね。そんなことして何が嬉しいの?と思いました?。実は、入力層よりも少ないユニット数の中間層を使うことで、入力データをよく表す「特徴」を獲得できるのです。たとえるなら、習字でお手本通り書く練習をしているうちに、漢字のトメ、ハネ、ハライといった基本動作が身につき、ほかの字も上手に書くことができるようなイメージでしょうか。「永字八法」といって、何千種類もある漢字でも、「永」の字を構成する8つの技法(=特徴)で表現できてしまうというわけです。特殊なケースが主成分分析の結果とほぼ一致します。自己符号化器では、入力データの特徴はネットワークの「重み」として得られます。一つの中間層ユニットに接続する入力層からのネットワークの本数は、入力層のユニット数と等しいので、入力データが画像の場合、一つの中間層ユニットに接続するネットワークの重みは、入力画像と同じ画素数の画像として表現(例えば、重みが小さいほど暗く、大きいほど明るいピクセルで表現)できます。中間層を100個のユニットで構成している場合、入力画像と同じサイズの「重み画像」が100枚できることになります。784)を100個の中間層ユニットで自己符号化した際の100枚の「重み画像」の例です。ニューラルネットワークがどんな特徴を学習したのか、覗き見ているような気分になりますね。上の画像で見える特徴は、なんだか穴がポコポコあいているに見えるだけで、あまり「数字」の特徴をつかんでいるようには見えないですよね。「良い特徴」の定義は難しいですが、より少ない情報量で、より元のデータをうまく再現できるものほど、「良い特徴」であると言えそうです。そんな、より「良い特徴」を得るためのテクニックが、5.4節の「スパース正則化」と、5.5節の「データの白色化」、それから5.7.2節の「デノイジング自己符号化器」です。スパース正則化は、「より少ない中間層で表せる特徴ほど良い特徴のはずだ」という仮説のもと、出力誤差と一緒に活性化する中間層の数も最小化させるような手法です。データの白色化は、訓練データの偏りや、データ間の相関をなくすことによって、より一般的な特徴を得るための手法です。デノイジング自己符号化器は、入力にランダムなノイズをのせる一方、ノイズをのせる前のオリジナルなデータを再現するようトレーニングする事によって、ノイズに強い特徴を見いだすことができる手法です。MNISTのデータセットでスパース正則な自己符号化を行うと、下図のように、数字を書く時のストロークっぽいものが特徴として現れたりします。人工知能が自分で見つけた「永字八法」的な特徴といえるでしょうか。autoencoder)」とすることで、より抽象度の高い特徴を得ることもできます。数年前の「GoogleがニューラルネットワークにYouTubeの大量のインプットすると、猫を認識できるようになった」というニュースを覚えていらっしゃる方もいるでしょう。実はこれを実現したのが、9層の積層自己符号化器でした。自己符号化器の積み重ね方にもテクニックがあります。それを解説しているのが5.6節「ディープネットの事前学習」です。目標とする多層ネットワークに対し、1層ずつ自己符号化を進め、得られた重みを使って層同士をつなぎ合わせていきます。することによって、得られた多層ネットワークは、ネットワークの重みをすべてランダムに初期化した場合と比べ、勾配消失問題が起こる可能性がずっと小さく、学習がよりうまく進むそうです。このようにして作られた多層自己符号化器では、入力層に近いところでは線や点のような単純な形の特徴だけをとらえ、深い層にいくほど、「猫の顔」や「人の顔」など、より複雑で人間の感覚に近い特徴をとらえていることがわかります。以上が、だいたい5章でカバーされている内容になるかと思います。補足資料として、Googleの論文は下記にあります。Learning自己符号化器関連のプレゼン資料としては、下記が参考になりました。Matsuowww.slideshare.net[http://wbawakate.jp/wp-content/uploads/2015/10/Autoencoder.pdfhttp://wbawakate.jp/wp-content/uploads/2015/10/Autoencoder.pdf自己符号化をアニメーションで追っかけてみたい方は、下記が参考になります。・ランダムな重みがだんだんエッジの特徴に変化する様子www.youtube.com・ブレードランナーを自己符号化器で再現し、元の画像と比較www.youtube.com・元気なお兄ちゃんがAutoencoderを解説。この兄ちゃん好きやわ〜。www.youtube.com・自己符号化器が画像圧縮にも使えることに言及www.youtube.com自己符号化器を実装してみたい方は下記がオススメ。手を動かした人ならではの解説は分かりやすいです。qiita.comaidiary.hatenablog.comqiita.comqiita.comqiita.com自己符号化器をC++で書きました。ニートがプログラミングするブログqiita.com自己符号化器の適用領域や応用方法についても、いろいろ調べてみたいですが・・・今日はここまでにしておきます。各種分野で、他の手法を圧倒する高い性能を示すことが分かり、非常に高い注目を集めています。本書(青イルカ本)は、めまぐるしく変わる深層学習の研究の中でも、最新手法や応用事例ではなく、基本的な事項をなるべく広くおさえつつ、コンパクトなページ数(165ページ)にまとめられています。今日は、第1章〜第4章を理解する上で助けとなる動画やスライドなどの補助資料を集めてみました。これから本書を読んでみようと思っている方にご活用いただければと思います。はじめにニューラルネットワーク研究の歴史のおさらいしつつ、冬の時代を経ながらも、水面下で多層ネットワーク研究がどのようにブレークスルーしていったかの経緯が解説されています。ここでいくつかの重要なニューラルネットワークについてキーワードが言及され、2章以降で順次説明していく、といった構成をとっています。ニューラルネットワーク研究の歴史を年表的に追うなら、下記の「ニューラルネットワーク・深層学習研究の歴史」が参考になるでしょう。http://jsai-deeplearning.github.io/support/nnhistory.pdfニューラルネットワークの各流派というか、体系としての発展を追うなら、下記PDFの2ページ目が参考になると思います。http://jsai-deeplearning.github.io/support/20151031-index.pdf本書の著者の岡谷先生自身による研究動向紹介の資料も、ビジュアルが豊富で分かりやすいです。順伝播型ネットワークニューラルネットワークの最も基礎的かつ、最もよく使われている形態が順伝播型ネットワークです。ネットワークを構成するユニットがどのような関数で表現されるのかが説明されています。それを使った学習の枠組みと誤差の考え方、回帰や分類などの問題の解き方の枠組みが説明されています。ニューラルネットワークの基礎の解説はいろいろありますが、ディープラーニングとの関係を解説した資料として、2015年秋の「データサイエンス基礎講座」の資料が参考になると思います。http://www.impressbm.co.jp/event/datascientist2016spring/images/2015autumn_pdf5.pdf動画で見るなら、Udacityの下記シリーズが日本語字幕もついていて、長さも手頃なのでオススメです。誤差を最小化するためのネットワークの重みをどのように決定するかについて、誤差関数を微分して勾配を求め、勾配を下へ下へとくだっていくように重みを少しずつ変化させる方法です。実際に「誤差関数をくだっていく感じ」をつかむなら、下記のURLが参考になります。qiita.com東大・中川先生の「最適化と学習アルゴリズム」は、様々な勾配降下法についてまとめられているので参考になります。http://www.r.dl.itc.u-tokyo.ac.jp/~nakagawa/SML1/opt-algorithm1.pdf動画で見るなら、再びUdacityのコンテンツは日本語字幕もあります。した感はありますが・・・。必要になる誤差関数の微分は、入力層に近いユニットほど計算が大変になります。それを解決するのが誤差逆伝播法です。ある層の誤差を前の層へ順番に伝えていく、という計算方法になります。多層ネットワークでは入力層に近づくほど勾配がなくなって、学習がうまく進まなくなる「勾配消失問題」について触れられています。アルゴリズムの説明として、一番シンプルですっきりしているのは下記だと思います。式を順にたどっていくなら下記が参考になります。「誤差逆伝播法」がオススメです。https://cis.k.hosei.ac.jp/~rhuang/Miccl/ProjectA/L10-2016.pdf動画で見るなら下記がオススメです。回帰や分類ではないですが、0〜7までの数字を2進数でカウントするニューラルネットワークを、バックプロパゲーションで学習させる過程を例に説明しています。日本語字幕はないですが、数式を使わず直感的に説明してくれているので、英語の解説でもついていきやすいと思います。www.youtube.com4.5節の勾配消失問題を直感的に理解するには、下記がオススメです。hirotaka-hachiya.hatenablog.comakimacho.hatenablog.com勾配消失問題を、式も含めて追いかけたいなら、下記がオススメです。qiita.com勾配消失問題について説明した動画としては、下記がオススメです。画像認識を例に、勾配が消失するとどんな問題があるかを直感的に解説してくれています。www.youtube.com以上、4章までの補助資料のご紹介でした。先日、電通の新入社員だった女性の自殺が労災認定されました。月105時間という残業時間もさることながら、彼女の残したツイッターでのつぶやきから、過酷な労働環境により精神的に追い込まれ、うつ病と推定される状態にあったことが指摘されています。アメリカでもうつ病は大きな問題になっています。アメリカ疾病対策センターの調査によると、アメリカ人の13人に1人(約8%)がうつ病に悩まされている一方、その20%しかメンタルヘルスの専門家のケアを受けられていないそうです。このような状況に鑑み、X2AI社が開発した人工知能Tessは、誰でも、どこにいても、どんな収入の人でもメンタルヘルスケアを受けられることを目指しています。リマインダをオンデマンドで提供することができるそうです。Tessとの対話は1対1で、SMS、Facebookメッセンジャーなどのテキストメッセージが使えれば、誰でも使えます。Tessの活用方法としては、下記の8つが挙げられます。敷居低減X2AI社のCEOによるコンセプト説明動画が下記にあります。www.youtube.comX2AI社は「誰にでも心理ケアを」のミッションへのコミットメントの一例として、彼らの技術をアラビア語でも利用可能にした人工知能Karimを開発し、シリア難民への心理ケアを提供しています。100万人のシリア難民がレバノンに流れ込み、レバノンのメンタルヘルスサービスがパンク状態になっているのを緩和させるためです。彼らの技術とミッションに対する真剣さが現れているエピソードだと思います。日本では、昨年12月から職場でのストレスチェックが義務化されましたが、医師の6割が効果に懐疑的だったり、中小企業で実施されているのは2割だけといった報道もあり、まだまだ労働環境の改善への道のりは遠そうです。将来的にはTessのようなAIを使って、気軽にセラピーを受けられるようになることで、うつ病に悩む人をケアすると同時に、本当に重症な人を早期にすくいあげる仕組みができると良いですね。08:00うつ病による自殺をくい止める人工知能セラピストTessTweet広告を非表示にするもっと読むコメントを書く2016-10-10台所に鎮座する目玉オヤジ型人工知能。IoT昔も今も、主婦の忙しさは変わらないようで、象印が2016年に発表した「2016主婦の休日感に関する調査」によると、一日の内で主婦が自由になる時間は、平均約2時間22分、休日は「まったくない」と考える主婦が5割を超えているそうです。夫に対して不公平感をもつ主婦は約6割、仕事をしている共働きの主婦では約7割にものぼります。同様の実態は別の調査でも裏付けられています。オウチーノ総研が2015年12月に発表した「『家事』に関するアンケート調査」によると、共働き夫婦でも家事の7割以上を妻が担っていることが明らかになっています。家事の自動化に対するニーズも高く、オウチーノ総研の同調査によると、「自動化したい家事」の上位3位は、「風呂掃除」が最も多く54.5%、「トイレ掃除」が51.8%、「部屋の掃除」が40.3%と続きました。一方で、「自動化したくない家事」の上位3位は「料理」が31.4%で最も多く、次いで「買い物」が18.6%、「ペットの世話」が17.5%でした。「料理」は自動化したくない家事のトップだからこそ、せめて台所にいる時間は楽しく過ごしたいですよね。News黒々とした卵形で、一つ目の「目玉オヤジ」のような風貌のこの「キッチンアシスタント」は、音声認識のインターフェースを持ち、下記のよなタスクをこなしてくれます。・音楽の再生デモ動画は下記の通り。占い師が水晶玉をのぞくような感じで再生される料理の手順が面白いですね。合成にしか見えないところがちょっと気になりますが・・・。Egg!人生の意味って何?」という問いかけに対し「ヤバい。待って」と答えたところで打ち切られてますが、答えを知りたかったら2017年2月の販売開始まで待つ必要があるようです。販売開始時期のお知らせを希望する人は、こちらでメールアドレスを登録できますよ。Things)のデバイスに特化した企業で、マーケティング調査、デバイスの設計、開発、製造までの全プロセスを担当しています。Eggの他にも、ペットの見守り用カメラPetcubeなども製品化しています。RnD64社のマーケティング調査によると、平均的な人は年間400時間、人生のうち丸3年を台所で過ごしているらしいです。日本の主婦だと、もっとずっと長時間過ごしているでしょうね。Eggが日本展開する際には、日本語化は当然必要ですが、クックパッド等のレシピサイトの豊富なコンテンツとうまく連携できるといいですね。おかずの基本』と連動した動画コンテンツを作成するとか。いうか、クックパッドの技術力で国産キッチンアシスタントを作ったらいいじゃん!そうだそうだ。08:00台所に鎮座する目玉オヤジ型人工知能。人間の職業を奪う」という悲観的な予測が広がっていますね。野村総研とオックスフォード大学の予測によれば、「今後10年~20年間にかけて、現在日本国内で担われている職業の49%が人工知能などのロボットによって代替えできる可能性がある」ということで、大きな反響を呼んでいます。・人工知能が得意でないスキルを磨く・人工知能を作る側にまわる・人工知能を使う側にまわるの3通りのアプローチがあるわけですが、世界の名門ビジネススクールでも「人工知能を使う側にまわる」教育の必要性の認識が広がっているようです。今日は、下記の記事から抜粋して、各ビジネススクールでの取り組みをご紹介します。AIとロボティクスの授業を受講可能シンガポール国立大学IBMのワトソンを使ってアプリケーションのプロトタイプをつくり、テクノロジを活用したビジネスプランの立案方法を学ぶHEC経営大学院(パリ)IBMのワトソンを題材に、テクノロジーをいかに販売機会の向上に結びつけられるビジネスアプリケーションを開発するコースを開設ハルト・インターナショナル・ビジネススクールIBMのワトソンのコグニティブ・コンピューティングパワーを使ってビジネス機会を生み出しマネタイズする方法を学ぶ。ESCPヨーロッパ・ビジネススクールAI主導型の世界で複雑さをマネジメントできるよう、ビッグデータをうまく扱えるアルゴリズムについて学ぶスタンフォード大学コンピュータサイエンス学科と共同でのMS/MBAプログラムを提供。AIとデータサイエンスに関する大量の講座を提供。上記のビジネススクールが人工知能やロボティクスの教育に取り組むのは、これらの技術が、経済や雇用のあり方を変えていく可能性が大いにあるため、将来のビジネスリーダーは、その技術の仕組みと可能性を知っておく必要があるからです。intelligence(感情知能)や創造性を伸ばす教育が行われています。これは、冒頭で指摘した生き延びるための3つのアプローチのうち、「人工知能が得意でないスキルを磨く」に該当しそうですね。Innovation)という部局を創設しました。設立の目的は、サイバー上でのCIAの情報活動を統括することと、そのための専門家の育成やノウハウの蓄積です。彼らのミッションの一つに「予測インテリジェンス」があります。ついて、検知、予測し、警告すること」と定義されています。その成果の一部が、今月4日にワシントンDCで開かれた技術イベントで、報告されました。それによると、ディープラーニングを適用することで、膨大なオープン・データセットに含まれるビッグデータの中から、一見無関係に見える情報の間にパタンを発見し、抗議行動や暴動の発生を3~5日前に予測できるようになった、とのことです。オープン・データセットとは、インターネット上で誰でもアクセス可能な情報をさしており、SNSの投稿、ニュース記事、記事に残されたユーザのコメント、ユーザフォーラムやソーシャルブックマークなどのビッグデータです。同時に、CIAにアーカイブされたレポートに記載されている過去のデータも分析対象となります。分析の際には、社会科学における社会不安の増大や、クーデターや経済不安定性発生プロセスに関する知見や、CIAが60~70年間蓄積してきたノウハウが活用されています。実際、今年の夏に全米各地にひろがった警察官に対する暴動の際には、ディープラーニングの「驚異的なアドバンテージ」が発揮され、事態の収拾に一役買ったとのことです。古い映画ですが、「マイノリティ・レポート」で描かれていた「未来」に、また一歩近づいた感があります。劇中でプールの中に横たわっていたプリコグ(預言者)たちは、クラウドの中のディープ・ニューラル・ネットワーク(DNN)だったのかもしれませんね。Assistantについて。いくつか面白い記事があったので、ピックアップしてご紹介します。way(いつもそこにいるけど、決して邪魔にならない)」存在を目指しているそうです。そのため、単に人間の命令をこなす無機質な存在ではなく、「ユーモラスで暖かみのある女性」としての「人格」を与えられています。Coats氏の2人です。Doodlesのリーダーです。Coats氏はピクサー出身のフリーのアーティストで、「ストーリーテリングの22のルール」を書いて有名になった人です。Assistantをデモしているお兄さんが「エマにメッセージを送って」と言ってましたが、多分、そのエマさんでしょうね。Assistantとの会話に「人間性」や「信頼感」を感じてもらえるよう、「彼女」の「子供時代」や「生い立ち」まで考えながら、会話用のスクリプトを記述しています。人間が「彼女」を助けてあげたい、と感じるような「もろさ」も内包させているそうです。Assistantの中に息づいているというわけです。Assistantについて今日分かった6つのこと)」という記事も面白かったです。venturebeat.comその6つを、駆け足でご紹介します。Assistantを使ったソフトウェアやデバイスを開発できるようになります。Piの上で動かしてしゃべるぬいぐるみを作ったりする人たちが出てくることでしょう。Assistantが必要な検索を自動的に実行します。友達と夕食の話や週末のコンサートの話をしていると、会話を分析して、近くの店やコンサートのチケットを検索してくれるらしいです。Assistantにできることは山ほどある。Assistantへの質問の例です。カラオケしたり、クレジットカードのバランスをチェックしたり、今日の占いを聞いたり、40ドル以下で買えるベストの白ワインを聞いたりと、いろいろできそうですね。Assistantは今のところ「勝手に何かを買う」ことはできないようになっています。検索結果や選択肢を提示して、人間が判断を下すことになります。Messengerとはポリシーが違う点ですね。写真を音声で探せます。日付、場所、写っているものの名前などを使って。「ベルリンで撮った写真が見たい」などのリクエストが可能です。Homeからでも、Pixelからでも、同じように使えます。Assistantを呼び出せるようになるそうです。Googleの自動運転車に乗り込んで、「ナパの美味しいワイナリーに連れて行って」と言うと、自動走行で連れて行ってくれるデモとか見られるのかなあ。Coats氏へのストーリーテリングに関するインタビューです。「いかに観客を引きつけるか」という発想は、「いかにユーザを会話に引き込むか」に通ずるような気がします。Talkでの講演です。子供の頃からのコスチューム好きがこうじて、Googleロゴにもコスチュームを着せるようになったとか。zone)を破って、人と素晴らしい関係を築くきっかけになるそうです。理解を助ける補助資料(第1章〜第4章)うつ病による自殺をくい止める人工知能セラピストTess台所に鎮座する目玉オヤジ型人工知能。ブログを報告するスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。