—⁠—ニューラルネットワーク最大の謎』より転載ディープラーニングは,優れた直感と気力,勇気が必要な野心的な実験によって前進してきました。ほとんどの実験が失敗に終わっていった中,成功した実験結果はそれまでの統計や機械学習の常識を打ち破ってきました。うまくいくのか,またはいかないのかを多くの研究者が説明を試み,数年から長い場合は数十年もの時間をかけて謎解きを行っていきます。した発展の仕方は実験科学に近く,はじめになぜかうまくいく実験結果や,それまでの理論とは矛盾する実験結果が見つかり,それらを解明していく中で徐々に謎が解かれていきます。本書では,この中でもディープラーニングの大きな二つの謎の解明について紹介していきます。学習できるのか,なぜ汎化するのかという謎です。2010年頃はそれまでの経験から,大きなニューラルネットワークを学習することは不可能なくらい難しいと思われていました。ニューラルネットワークを学習させることすら難しかったためです。2012年のAlexNetをはじめとする多くの実験によって,大きなニューラルネットワークであっても学習は成功し,しかもどのような初期値からスタートしても同じような性能に達成することがわかり,現在は誰でも簡単に数百万から数億パラメータのモデルを学習させることができます。この謎の解明の過程で,大きなニューラルネットワークの学習問題が,非凸最適化問題でありながらも,任意の初期値から最適解に近い極小解まで到達できる性質を持っていることがわかってきています。ニューラルネットワークはパラメータ数が多いため,過学習しやすく汎化しにくいと思われていました。過学習を抑えるために,問題の複雑さにあわせてパラメータ数を必要最低限に少なくすることが必要であるということは,機械学習の教科書の最初に書いてあるような基本中の基本です。それにもかかわらず,ニューラルネットワークはパラメータ数が多くても汎化し,さらに条件を満たせば,むしろパラメータ数が多ければ多いほど,汎化し,学習効率も上がることが成り立つということが実験的にわかっていました。これらについては,ニューラルネットワークのモデルや学習手法が持つ,陰的正則化,フラットな解,宝くじ仮説などのしくみが重要な役割を果たしていることがわかってきています。これらの謎について,そもそも何が謎だったのか,これまでに何がわかっているのかをできるだけ正確かつ平易に説明するようにしました。今後のディープラーニングを中心とした人工知能の発展における重要な要素として,ディープラーニングを使った「生成モデル」と「強化学習」を紹介します。現在,ニューラルネットワークは予測タスク(分類,回帰)に多く使われていますが,今後は生成や最適制御といった部分でも活用され,その適用範囲が大きく広がっていくと考えられます。ディープラーニングを使った生成モデルである深層生成モデルは,これまで不可能だった画像,音声,化合物といった高次元データを,高忠実に生成できるようなモデルです。さまざまなデータを生成できるだけでなく,条件付け生成を利用することで,狙ったデータを設計して生成することができます。条件付け生成は,さまざまな予測問題も包含しており,非常に広い問題に応用することができます。生成モデルを学習することによる表現学習や事前学習(GPT-3など)は,多くの成功事例があります。Synthesisは,究極の解析手法として今後重要になると考えられます。あわせて,本書ではVAEやGANに加えて,他書ではまだ扱っていないような新しい生成モデル(自己回帰モデル,正規化フロー,拡散モデル)についても取り上げます。ディープラーニングを使った強化学習である深層強化学習は,現実世界の幅広い問題について解決可能な手法です。強化学習は,教師あり学習とは違って,学習データを真似るのではなく,それを超えるような最適制御を実現することができます。強化学習は予測問題よりも難しい,確率的要素を多く含み,非i.i.d.(非独立同分布)問題を扱う必要があり,独自の学習手法を発展させてきました。した強化学習とディープラーニングが持つ「表現学習」が組み合わさったことで,数々のタスクを解けるようになりました。本書では,強化学習の基本から紹介するとともに,DQNやAlphaGoファミリーなどの例を紹介します。本書の終盤には,今後のディープラーニングや人工知能で必要となると考えられる事項について書きました。教師あり学習に代わる学習手法,計算性能と人工知能の関係,幾何や対称性の導入,そしてシステム1やシステム2についてです。本書はおもに,ディープラーニングをすでに学んでいる人,使っている人,これからの発展の方向性を知りたい人に向けてまとめました。—⁠—「⁠正解」を導くメカニズム[技術基礎]』に引き続き,本書はさまざまな手法やアイディアをカタログのようにまとめるのではなく,それらの背後にある原理,原則,考え方を中心に解説をしていき,その中でさまざまな手法を位置づけて紹介していくように心がけました。本書が多くの方々にとって,ディープラーニングや人工知能に対する理解を助け,さらに関心を高めるきっかけにつながれば幸いです。Networksを創業。Chemistryの代表取締役社長を務める。初学者の方々に向け,ディープラーニングの発展技術をまとめた解説書。——「正解」を導くメカニズム[技術基礎]初学者の方々に向けた,ディープラーニングの技術解説書。――機械学習時代のソフトウェア開発[ゲームアプリ/インフラ/エッジ編]本書についてピックアップヒューマンリソシアのGITサービスが目指す,時代にアジャストするエンジニアチームの作り方アフターコロナにおけるエンジニアチームの作り方,グローバルな視点でのエンジニア獲得と開発とコミュニケーションの在り方について取り上げます。2020」より,注目すべきテクノロジー,エンジニアリングをピックアップし,詳説インタビューを実施しました。みてね」を支えるエンジニアリングについて,開発体制やプロダクトの開発・運用,これからのビジョンについて伺いました。一体型人材紹介から見える,これからの人材エコシステムに迫ります。APIゲートウェイとサービスメッシュの違いAPIゲートウェイとサービスメッシュの,それぞれの概要とユースケースを紹介し,いずれを使用するかの判断の指針となるチートシートを提供しています。2020」より,注目プロダクト,テクノロジー,エンジニアリングをピックアップし,インタビューを実施しました。MySQL道普請便り本連載では,MySQLを使ったアプリ開発・運用に関するノウハウをご紹介していきます。RecipeUbuntuの強力なデスクトップ機能を活用するための,いろいろなレシピをお届けします。PRESS特別編集部員,さわやか笑顔のスーパーハカーはまちちゃんとネット大好き14歳わかばちゃんが,毎号,読者の皆さんから寄せられたおたよりを紹介します。皆さんの日頃の悩みにも答えちゃいますよ。本連載では,いろいろな種類のOSSデータベースに関する各月の出来事をお伝えいたします。いま,見ておきたいウェブサイトこの連載では,国内外の最新のウェブサイトを隔週更新で取り上げ,これら最新サイトの特徴や素晴らしい部分を,さまざまな角度から解説していきます。Linuxのメンテナーを務める筆者が,Linuxやオープンソースソフトウェアと過ごす日々をエッセイ風味で綴った連載。100回を期に「続・玩式草子」として新たなスタートを切ることとなりました。漫画から学ぶマネジメント本連載では,筆者がいままで読んで気づきを得た漫画から,どういった場面をどうマネジメントに重ねて理解したかが伝わるような内容で執筆していきます。書店・販売店の皆様へメールでのお知らせメールで次の案内をお送りしております。メールの配信を希望する方は,利用したい項目をチェックしてメールアドレスを入力し,[登録]ボタンをクリックしてください。UPDATES[ほぼ週間に1回]新刊メールマガジン[ほぼ週間に1回]電脳会議の各号案内[ほぼ1ヵ月半に1回]※変更する場合や停止する場合は,登録情報変更ページをご覧ください。※登録いただいたメールアドレスには,そのお知らせ以外,配信いたしません。Ltd.ページ内容の全部あるいは一部を無断で利用することを禁止します。個別にライセンスが設定されている記事等はそのライセンスに従います。