物理学における情報量上の課題など。ブラックホールでは情報が失われる。KLdを(物理学では)相対エントロピーと呼ぶ物理と(KLdを使う)学習とは、情報でつながっているから、物理と学習もつながるのでは?パターン形成が起きたとすると、それは情報を使っていたと考えるべき(自発的にパターンが生じる現象は、(多分)別の話)学習において、微分は残差、積分は特徴量。物理において、運動方程式で速さが微分、位置が積分。深層学習のoverfitting回避性能のうまい説明はまだない深層学習では、データをランダムに分割することでoverfittingを避ける一助にしている情報幾何的な空間に反ド・シッター時空というものがあり、超弦理論で登場するという。いう項の係数が0ではないことを意味する学習では、何かと何かが関係しているかどうかを検出することが基本作業である。ハミルトニアンを立て、説明変数と被説明変数との積に関する項が0でない係数を持つかどうかを考える問題になる熱力学では、実現されうるすべての場合と、特定の場合との比が、生起確率となると考え、そのような分布がボルツマン分布そのような設定から、誤差関数が導出できて、学習においては、その誤差関数の最小化をアルゴリズム的に実行しているこの時に出てくる誤差関数が、シグモイド関数や、その拡張であるsoftmax関数となっているニューラルネットワークの各層では、非線形関数が適用され、出力として、統計力学的な意味での期待値が算出される逆誤差伝搬法は、誤差関数の値を小さくするための方向を算出するもの。発展的なニューラルネットワーク畳み込みは座標非依存にする学習結果を出力するときにも、畳み込みの逆を行うことがある。あるとネットワークがうまく機能しない。更新過程を記憶しておく仕組み、解消する仕組みの導入により回避されうる(これは量子もつれ、とか、確定による情報消失等に対応する?)注意機構という外部機構を入れることで性能が大幅に改善する場合もある(これは物理学で何に相当する?)ソートアルゴリズムとソリトン波は同じこと1次元セルオートマトンでチューリング完全な世界が構成できる、言い換えるとコンピュータを持ちうる世界を構成できる。決定、物理定数の決定などニューラルネットワーク構造になっている脳を持った人間が、自然を観測し、物理法則を見出したのだから、それよりある意味で高性能な深層学習はさらに物理法則を見出すのでは?(では、そこでの数学の役割とは、何だろう?ある設定の下での規則を見出すことが数学ならば、同様に深層学習が生み出す定理とか、予想とかがあるのでは。『新しい数学』という「うまくできている人工的な仕組み~ニューラルネットワークが説明可能な仕組み~』の創出も?)大事なのは「情報」が必要だということ。連立微分方程式を満足する系である。GWAS/GWASメタアナリシスとその周辺解析用のアプリケーションへのリンク複合遺伝性疾患とは----------News----------20万アクセス2008/07/2040万アクセス2010/09/12-------------------------はてなブログをはじめよう!ryamada22さんは、はてなブログを使っています。ブログを報告するスターをつけました引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。