「状態空間モデル入門」講義に出てきた明日総研大の大学院講義で「状態空間モデル入門」小山慎介(統計科学専攻)というのがあるので勉強してくる。パート1及びスライド。動画はパート2およびパート3まであり。「状態空間モデル入門」講義参加してきた。出席者が少なくて残念なかんじだったが、おかげでバンバン質問してマンツーマン的に教わることができた。講義としてはまず確率的因果推論とマルコフ過程の概論から。確率的因果推論っていうけど、以前ブログで「ラットの因果推論」について採り上げたときに、原因の確率を手計算していたけど、あれがまさに確率的因果推論であって、PRML8章の「グラフィカルモデル」というやつのこと。遺伝の話で言えば、メンデルの法則っていうforwardモデルがあるから、先祖から子孫で表現型がどのような確率で伝わるかわかる。ベイズの法則を使えば逆向きの推定ができて、ある子孫の表現型から先祖の表現型の確率を推定できる。マルコフ過程のほうはPRML13章の「系列データ」に出てくるあれ。状態量x(t)が直前のx(t-1)だけで決まる。隠れマルコフモデルでは、計測値y(t)と見えない状態値x(t)とに変換式P(y(t)|x(t))があって、x(t)がマルコフ過程になっている状態空間モデルの特殊例(取り扱いしやすい例)だということですっきりまとまった。ベイジアンのグラフィカルモデルでは有向でループのないツリー状構造が扱われるのに対して、マルコフ過程ではx(t-1)だけでx(t)が決まるという、枝のない特殊例であるということも理解した。カルマンフィルターも状態空間モデルの特殊例で、隠れマルコフモデルが離散的であるのに対して、カルマンフィルターは連続的であり、ノイズがガウシアンであるという仮定が入ってる。隠れマルコフモデルでは、いったん計測値y(1:t-1)が入手できれば、現在の状態値x(t)の確率密度分布p(x(t)|y(1:t-1))を計算するのにチャップマン=コルモゴロフ方程式を使ってやればよい。M1ニューロン活動から運動の方向をデコードするような例の場合、ニューロン活動も運動も自己相関が高いので運動の方向は急には変わらない、つまり自己相関が高いのでマルコフ過程の仮定を置くことができて、デコーディングがうまくいく。p(x(t)|y(1:t-1))でベイズの公式を使う。規格化するために分母を計算しないといけないのでパーティクルフィルタとか使ったりとかいろいろテクがある。講義では省略されてたけど、ここが難しいし、時間がかかる部分であることはわかる。けっきょく状態空間モデルでは見えない状態x(t)を計測値y(t)から推測するためにベイズ推定を使うので、x(t)からy(t)を生成するモデルがうまく作れないとダメな推定を行ってしまうことになる。controlを元にした話をしてた。Schwartzのデータを利用)にはどの拘束条件が効いているかを検討した話を聞いてきた。loopでは動物が学習してくれるのでこの縛りは重大でなくなる。loopでも変わらん、というものだった。これはモデル推定のパラダイムだから、たとえば状態空間のモデルとして複数のものを作って、それらからより良いモデルを選択するということも可能。このへんわかってきた。状態空間モデルでは、データの追加にともなってそのつどベイズ更新をしてゆくから、たとえば電極埋め込んで長期間デコーディングをしてゆくときとだんだん記録が悪くなっていくのだけど、そのときにデコーダーを逐次アップデートしてゆくことができるわけで、それはよさそう。いった推移を推定できるわけで、究極的にはそれがスパイキングネットワークモデルでの推移則を決めるための拘束条件にできればいい。すると力学系的アプローチにつながる。夢見過ぎだろうか?それはそれとして、時系列の解析で見えない過程から測定値への変換のモデルを作って、測定値から見えない過程を推定する、というのはまさに生理学者がやりたいことそのものなので、いろんなところに使えるということがわかる。ニューロン活動だけでなくって、サリエンシーに基づいた視覚探索の場面でも使えるだろう。apertureとかいくつかパラメータを作って、モデルを作ってパラメータフィッティングとか最近やってるんだけど、これってまさに状態空間じゃね?とか思ってふと考えてみたら、NTT木村さんがやってたのってまさにベイジアンな隠れマルコフモデルによるアプローチだった。研究関連20140630多重共線性が出たときの対処法って結局どうすればよいのだろう。X1とX2が相関高いときにX1もしくはX2だけに変数をdropしてregressするのは正しくないと思う。(X1+X2)と(X1-X2)という二つでregressするほうがよくないか?Kindle入りするまで待つつもりだったちくま新書の哲学入門(戸田山和久著)を買ってしまった。2章だけど、買って正解、ものすごく役に立つ。decisionの議論を思い出した。いうことを知りたかったんだった。あと、「意味を作るためには中国語の部屋だけではダメで行動が必要」って議論があって、分析哲学でも行動の意義は考慮されてるのであって、enaction説とそんなに断絶してるわけでもないなと思った。読み進めてみることにしよう。薬学部の頃に「プログラム学習シリーズ」の赤い本、たとえば「有機合成化学」とかがあって、あのシリーズにすごくお世話になったのだけれど、ああいうかんじで神経解剖学を大づかみなところから詳しいところまで教えることはできないもんだろうか。Anatomy」最初っから読めってのが正しいとは思わない。学部だったら薄めの教科書を一冊とにかく最後まで行くのが精一杯だと思うけど、どうしたものか。和訳本「カンデル神経科学」が出たタイミングなので考えてみた。Movements"だろうか。Neurosciences"からいくつか章を選んで輪読したのだけれども、合冊の新版を見たらけっこう内容が変わってる。一回新版でやってもいいのかも。人も入れ替わっているし。mindについてだけど、@fronoriさん、@kazuhisさんが言及しているとおり、これは「機能というものについての進化的な見方」というかなりgeneralな観点なのであって、私自身もこの概念を知ったとき、下條先生の「来歴」やVarelaの"lineage"を思い出した。couplingみたいな直接byproductっぽいものが機能を持ちうる」という気づきを得たことを記しておきたかった。これは計算論的脳科学におけるデビッド・マーの「脳活動と行動から計算論的原理を抽出する」という考えに対して、否定はしないけれども、機能とimplementationの関係が一対一のような関係ではなくてもっとmessyでありうることを示唆しているわけで、意義は大きいと思う。いろんな人に会って考えていたが、左右の脳で半視野ずつ分担しているのに、なんで左右が切れ目無く繋がっているかということは、連合線維と交連線維とが同等であるわけでもなかろうし、けっこう難問なのではないかと思った。「非線形な世界」の補足ページより。Bak氏はすでに亡くなっていることを知った。nytimesの記事:obiuaries「バクはデンマークのもっとも偉大なアメリカ人だった。...普通のデンマーク人は対立を避けるものなんだが、彼ときたら尊大で同僚と論争をすることを好んでいた。バクと合ったことのある人達ならみんなバクとの初対面のときに彼からどんなふうにひどい放言と侮辱をされたかを話すことができるよ。いろんな動物の脳のサイズを比較している図がツイートされていて興味をもったが、出典が書いてない。Google画像検索で調べてみたらFrontierジャーナルのレビューであることが判明した。いうのをストックしておくとトークの時とかに役に立つ。この図を見ると、ヒヒやマンドリルの脳が思ってた以上にマカクにそっくりだったので見方を新たにした。LunSとかほとんど同じだからブロードマンの領野とか即推測できそう。あと、イヌやネコに中心溝(ローランド溝)がないのってあらためて不思議なことな気がしてきた。それよりも外側溝(シルビウス溝)のほうがより深く、発達の段階でも一番最初に形成される脳溝らしい。胎生10-15週だそうな。Blockのoverflowって繋げることができるんではないかなとか考えた。vortex"にホヤの話があることを知った。動いているときは原始的な脳を持っているのだけれども、いったん定住してしまうとホヤは自分の脳を消化してしまうと。「動きが脳を作る」系の話でこのネタは使えるな。VSSの前で、ここは重なってない。ROVOツアー、京都と大阪が終わったから情報探してみたが、セットリストそのものはなかった。ROVO@今池Tokuzoに行ってきた。7時過ぎ開演で、9時半前くらいに終演。前情報で聞いてた二部構成は日比谷野音の話だったらしい。2時間くらいぶっ続けでMCもなし、ほとんど曲は繋がってる、ラストはEclipseで、アンコール2曲(といっても長い)で終了。最初っから飛ばしまくりで、途中サイケデリックなジャムっぽいところもあったが、つねにドラムがリズムを刻んでいて、ここは力抜くところってかんじの場面がなく、一挙にラストまで。Eclipseはもともとバイオリンの旋律が明確でキャッチーな曲だが、ライブではかなりイフェクトがかかっててすっごくヘビーにしてあった。ヘビーなかんじだった。記憶にある限りでは、CanvasとMelodiaはやってたと思う。Tokuzoは基本居酒屋なのでキャパは小さい。開演10分前くらいに数えたときに80人くらいだったろうか。おかげで前から5列くらいで見ることが出来た。オールスタンディングなので、途中で疲れたら後ろに引っ込んで見てるつもりだったが、2時間半ぶっ続けでも疲れなかった。内容がだれなかったのが最大の理由だろうけど、ジョギングした成果があったかも。いうわけでたいへん満足。ROVOでは山本精一氏のギターは録音ものではアンサンブル中心というかあんまり強い印象がなかったのだけど、ライブではストラトのいい音(羅針盤で聴けるあれ)がすごいよく聞こえて、それがスペーシーというよりジャムバンド感を出してて、すごくよかった。勝井氏のMCでは、月曜日という来にくい日を名古屋公演にしてすいません、みたいなのと、日比谷野音にも来て、ROVOの野音は雨が降ったことがありません、って断言してた。(<-ラーメン二郎風)昨日のRovo@Tokuzoのライブ写真がFBにアップされてた。右手前の赤チェックシャツ。ROVO日比谷野音のセットリスト見つけた。Agoraはやってた。もって、ラストがEclipseで、アンコールがKNM!というのはたしか。REOMはやってない。DUBあたりはやった気がするが記憶がたしかでない。これで8曲だからたぶんこのくらい。駒場講義の準備メモ(2014年版)毎年6月恒例となってきた、駒場講義について少し考える。neuroscienceの総説原稿を元にして再構成する。概念が使えることがわかったのが去年からの進歩だけど、いきなり現象学入門ができるほどこなれているわけでもないので、ダマジオの中核自己みたいなもの、いやそれでもまだ抽象的すぎるので、「自己」概念についての経験的な知見に言及する方向か。大きくは変わらないがいろいろこなれた流れを目指したい。来月の駒場オムニバス講義では、先日書いた日本語総説のストーリーに沿って、これまで作ったスライドを再構成しようと思う。methodで強い表象主義なのだけれども、内的な意味を持ったカテゴリーを作るためには行動をして、その主観にとっての意味を作らなければならなくて、ゆえに知覚と行動ととのループがどう作られるかを力学系的に捉える必要がある。そのような意味での表象ができてしまえば、その脳の活動はふたたび同じ知覚刺激が与えられたときだけでなく、夢や想像でその神経ネットワークが活動した時にも知覚経験に対応した夢、想像の経験を作ることができるだろう。Clarkの穏当な表象主義あたりに落ち着くだろう。(2001)"あたりでまとめるということになると、まあ池上さんはみんな知ってることだろうから面白みはないかも。alのPFCの仕事のように、多数のニューロンの活動から状態空間を作ってその中で軌道を描く、みたいな仕事が実験側からも出てきたことを紹介するとかか。methodを拡張して、isomorphismからhomeomorphismになる。controlをしている内部モデルの一部として捉えればよいということで統一された。これは知覚での予想コーディングへの流れと似ているというか先取りしている。(というか川人先生の説ってのは知覚も運動も両方それで説明する。3.0"をぴらぴらとめくってた。IITがver.3になってて、現在と過去だけでなく未来への影響まで考慮するようになった。あと、大泉さんから教えてもらったブログ記事も読んでる。これはあまり意味のないネットワークでもphiが大きくなってしまうという問題を指摘している。これ自体は前から議論になっていることで、indexの作り方しだいで対処できそう。Consciousness"という言い方をしていて、これはIITの目指していることを端的に示していてわかりやすい。あるシステムがconsciousであるかをシステムのある時点(+直前直後)の状態だけから決めるという試みだというわけだ。行動とか来歴とか力学系的な軌道とかそういうものをprojectして、ある時点でのスナップショット的に捉えるという点ではNCCと発想は近い。Kochがこれに肩入れするのかなとか思った。京都のシンポジウムの時にも話したことだけど、IITに行動と環境との相互作用は明示的には入ってないんだけれども、高いphiを持つネットワークを作るためには進化と発達とをやり直すような経験が必要になるであろうという意味では全く入っていないわけではないはず。Animats"があった。phiを挙げてゆくためには、そんなかんじでagentを鍛えてゆく必要があって、ある時点でそのまま与えて作れるようではないはず。いうか作れたらたぶん間違ってる。consciousness”と同様であるとコメントしている。あと、Chalmersがコメントしている。(PHP)をPHP1,2,3,4に分類している。consciousであるかどうかに関する我々の直感(石には意識はないだろう)に合致しているかどうか(PHP1)とあるシステムに意識があるかどうかを教えることができる(PHP2)。この違いは機能的なものからだけでは意識があるかどうか決められないから直感を使うよって話で、それではまたまたハードプロブレムに逆戻りなんだと思うんだけど。stateの人のように、直感的には意識があるとは思えないが、呼びかけに対してfMRIで反応が見られる例(「テニスをしているところを思い浮かべてください」)のことを想定しているのかと思った。Tononiが反論(後述ブログ記事内のリンクのwordドキュメント)を書いてて、さらにそれへの応答が書かれてる。Kochも応答している。取り入れて再構成、それなら今日中に作れる。それをバックアップとしておいて、日本語総説で作った流れで再構成する。これを火曜の夜まで時間が許すかぎりで、レジメをアップする。