三段階のモデルの議論ブログに書いたネタの続き。theoryについて。聞かれたことがあります。modelはあるけど、Marrがいうような計算論的モデルはない、という趣旨のことをもっとしどろもどろになりながら答えた憶えがあります。それ以来のその質問は私の中で宿題として残っていました。modelの議論をしていましたが、これはかなり計算論的モデルに近いところの議論です。errorか、という論争がありましたが、これもサッカードをする際にどのようなアルゴリズムの実装で行っているかという議論と考えることができるでしょう。pointのvarianceの最小化とか、軌道のなめらかさを最大化するとか、そういう意味での計算論的な価値関数みたいな議論は見ない気がします。varianceの最小化とかはいかにもやってそうですけど。カード単体での最適化を考えるのはあまりエコロジカルに意義のある問題が出てこないので、たとえばウォーリーを探せ課題みたいな条件で、いかに探索を効率よくやるか、みたいな問題設定をした上で計算論的な価値関数を見つけるということをやった方がいいんじゃないかと思います。overt-covert両方のattentionまで併せたくらいの大きさの問題を考える方がよいような。図式はある単体の問題ごとに作られる図式だから、どうやってより複雑な問題に当てはめるかということ自体がひとつのチャレンジになるのではないかと思います。(まとまらないのでこのままアップ。Marrのrepresentationとprocessをベイトソン流に解釈する(2)前回からの続きです。process/representation)を、弁証法的にメタに上っていけるような構造として捉え直すことができるんではないか、なんてことをわたしは考えた。生煮えなアイデアなのだけれど、書いてみましょう。書いてると整理できてくる。taskをやっているときのLIP-FEF-SCニューロンの活動をrise-to-thresholdモデルを使ってモデル化する状況を考えてみる。われわれはLIP-FEF-SCニューロンの活動を記録する。単一ニューロンかもしれないし、集団かもしれないし、LFPかもしれない。発火頻度を扱ってるかもしれないし、correlationやcoherenceをあつかっているかもしれない。あれ、これらは観察者の我々から見た情報表現だ。ShadlenやSchallの仕事とかで、LIPやFEFのニューロンはdecisionが済んでサッカードをする直前にある一定の発火頻度まで上がることがわかっている。timeが短いときはその発火頻度まで上がってくるのにかかる時間が短かったりする。decisionだ、みたいな主張をする。どこでサッカードが始まるかの発火頻度の値のことだから、やっぱりFEF/LIPニューロンの活動でしょ、というのが大方の意見だと思うのだけど、なんか変だとずっと思ってた。これがいまの図式だともっとうまく説明できる。thresholdの変化というのは、(たとえば)LIPニューロンからの入力がFEFニューロンで統合されて発火として出力されるときの変換関数(=process)の形の変化のことだ。(representation)を直接ニューロン活動(representation)で説明しようとするのはクラスからクラスのクラスへ飛ぶような誤りをしているのであって、かならずやprocessを介して考えないと見誤る。変換関数(process)じたいはもちろん実体(representation)を持っていて、膜電位レベルとかそういうものによって決まっている。stateでも)というようなprocessとして説明しないと、充分な説明にならない。thresholdがパラメータとなっているrise-to-thresholdモデルというアルゴリズムがあって、それは計算論レベルでは何らかの評価関数を最適化している。時間あたりの労力を加味した上での)だろう。tradeoffによって拘束されている。拘束されているという表現からもわかるように、ここはエコロジカルな意義によって決定づけられている。Marrの三つのレベルではあくまで工学的な捉え方からこのレベルを「計算論のレベル」と読んだけど、我々生き物がembodiedしたcognitionを行うときの階層として捉え直すならば、「エコロジカルな意義のレベル」と呼んでもいいんじゃないかと思う。この階段はさらに上に上ることができて、社会的な意義とかのところまで行ける。actionでここまで考える必要がある機会は少ないかもしれない。actionが協調した上でなにかを最適化するという場面(複数の行動の連携、他者の行動との協調など)ではこのメタなレベルの出番が出てくるのではないか。上の階層に行くほどにそんなにバリエーションは多くなくなる。MarrのVisionでの計算論レベルでの目標というのも「外界の画像から、不適切な情報によって乱されない、観察者にとって有用な記述を作り出す」というところに収束する。「観察者にとって有用な記述」ってのはMarrの表現だけど、もろにエコロジカルな意義そのものだ。いまの図では実験データから抽象する側に矢印が書いてあるけど、もちろん実際の作業ではこのレベルを上ったり降りたりしながらモデルがrefineされてゆく。modelはこっち)などがある。これらを選択するときには、これらのモデルで使われるパラメータのどっち(差なのか絶対値なのか)が脳内のプロセス作り出されているか、という風に決めてやるのが一番強い。(生理学的データに整合性のある挙動を示すように作った神経回路モデル)の重要性がある。心理物理だけで、つまり、行動とモデルとの対応付けだけでは脳での実装が考えられていないから、充分な拘束条件を与えないままに問題を解いていることになる。それでも解けてしまう問題もあるのだろうけど。(そもそも元の図式にも「行動」がないというのが変な話だ。正確に言うと、中間のレベルは心理物理によって明らかにすることができる、という言い方で取り込まれてはいるのだけれど。hypothesisとかは計算論的視点がないので(なにを最適化しているかということに対する答えを持っていない)、Marrが言う意味での計算論モデルにはなっていない。modelというのはある意味、ハードウェア実装レベルでのprocessについての記述となっていると言えるかもしれない。(たとえそんなに精密なものではなかったとしても。あ、いま書いてて気づいたことだけど、これは意義深いかもしれない。ハードウェア実装レベルのprocessを記述するというのは難しいことであるけれど、プリミティブなものはすでにある。connectiityだって、脳間のinteractionを見ているものはみんなそういう方向を目指している。この図式はほかの場面でも使える。correlateを考えるためにはどんなニューロン間の相互作用を考えるべきなのか、というふうに考えていけばよい。あと、「ニューロン間相互作用」というのはもちろん、シナプス伝達によるdendriteでの統合だけを考える必要はなくて、LFPレベルの電場が揺れて同期発火するとかそのあたりも併せて考えればよい。ニューロン活動のレベルと、もっとglobalなstateと、計算論的問題とをどうつなげればよいかを考える際にも、いまの図式は役立つはずだ。correlate探しの博物学(representation)から計算論的アルゴリズム解明のためのモデル化(process)へ移行させよう、ということになる。いう言い方ならたぶん多くの人が同意してくれると思う。いま作った図式はそのムーブメントを進めていく上でのフレームワークとなりうるのではないだろうか。じっさい、これまでの多くのシステムニューロサイエンスの仕事はこのステップをいくつか飛ばしているように思う。そのときにはいろんなimplicitな過程をおいて飛ばしている。そこにはtrivialなものもあれば、見逃せないものもあるだろう。なんにしろ、具体例を持ってきて考えることができそうだ。correlateとかはどちらかというと確信犯的に途中のステップを飛ばしている。model的に言えば中間表現に過ぎない(注)。decisionの結果と一致するかを「相関」ではなくて操作可能な「精密科学」として解明してゆくためにはこの図式にあるようなステップを上り下りする必要があるのではないだろうか。Opinion論文を作るときには喧嘩を売ることが重要なので、ここを研ぎ澄ませる意義はある。)(注:そこにexplicitなrepresentationがある必然性はない。codingの機能的意義として考える必要がある。)たぶん、process-representationの分け方はハードウェアによる実装のレベルではより重要だ、というのも、測定系の限界ゆえに、representationを調べられるのはほんの一部分だけだし、それを使ってprocessを明らかにするということはまだ方法論的に非常に難しい。いまのBMIやoptogeneticsが切り開こうとしているのはこの領域だ。一方で、計算論のレベルや計算論モデルの実装のレベルなどではこのprocess-representationを分けて取り扱うということ自体はそんなにcriticalではない。両者は同時に行うことができる。tradeoffを考えずにpayoffを評価してもあまり意味がない。1998でそれを計算モデルとして実装してそれぞれのパラメータを決めて動くようにするまでには10年以上の時間が必要だった。trivialな問題なわけではない。(ちなみにそれをさらに脳損傷モデルによって、そのモデルパラメータの挙動を調べることで、このアルゴリズムをrefineする、つまりハードウェア実装レベルと繋げようというのがまさにいま私がやっていることだったりする。)Marrの表現では二番目のレベルは「表象とアルゴリズム」のレベルだが、表象自体はほかのレベルにもあるので、言い方を変えてみた。計算論的なレベルをより具体的にどういうアルゴリズムでimplementeするか、というのが本質だと思う。大学院講義で話すべきネタではなくなっている。こんなことが頭の中をぐるぐる回っていて、宿題はどんどん拡散してゆく。いうときがいちばん面白いこと考えつくんで、こうやって書き付けておく。加筆していったので、前提とかの順番はひっくり返ってるかも。あとはいくつか文脈的につなげられなかったメモを落ち穂拾い。assemblyが再評価されたように、Marrも三つのレベルの話だけでなく、process-representationの軸の方も見直したらいいのではないかと考えてる。ベイトソンは数学を使えなかったけど、いろんなところに構造とその相互関係を見いだした構造主義者としてとらえることができる。レヴィ・ストロースの構造主義的人類学の先駆者と言えるわけだし。「構造と力」でメルロ・ポンティが予定調和と批判されるからには、たぶんわたしの誤読なんだろうけど。awarenessはrepresentationであるという話をもっとrefineして、大学院講義に使えないかと考えてたらいろいろ話が広がってきたのでそれについて書きます。これまでにこれまでにどんなことを書いてたかまとめておきます。attentionとawarenessは説明のレベルが別だから、同じものか別のものかを議論するのはそもそもカテゴリーエラーである。rivalryでのITの応答はほぼ100%のcellで見えと一致しているが(見えたときに活動する)、V4では逆向きのもの(見えたときに活動が抑制される)も同じくらいある。ITの活動は内的なrepresentationを反映していて、V4の活動はselectionのprocessにおける中間表現を反映しているのではないか。MarrのVisionに書いてあるrepresentationとprocessの関係についてまとめて、脳内の活動にもrepresentationとしての活動とprocessとしての活動があるのではないか、さらに[順モデル-逆モデル]とを[process-representation]と対応づけることができるのではないか。processと書いたけど、あれは間違いだった。どっちともコードとして読みとる限りはrepresentationであって、processはニューロンとニューロンの間での変換過程にしかない。格好つけて表現すれば、processは不可視である。そこで、計算機科学に興味がわく。Eval-applyによってprocess-representationの違いを飛び越すということの意味をもっと知りたい。Processは不可視だけれど、それはすぐに名前が与えられ、representationになる。Evalによってrepresentationがprocessに変換される。(スピード感出すために、expression-procedureをrepresentation-processと同一視しました。正しいかどうかはあとで確認。余談だけど、SICP読んでると(<-読むな)、フレーズがかっこよすぎて震える。Evaluator"とか。アクセル!!!!みたいな。それで、ここからが本題なのだけれど、20071213でほんのすこしベイトソンに言及した。ここをもう少し先に進めてみる。ベイトソンは「精神と自然」において、process-representaionがブーツストラップしてどんどんメタになってゆく図式を示している。「相互作用の分類」(form)というふうにprocessとformとが互い違いに関連していく図式を書いている。名付けることによってprocessからformに論理レベルを一つ上るところがrepresentationであって、processとnameとのmapping(=ベイトソンの表現で言うとトートロジー)のことだ。(図式を書いている時間はないので省略。)さらにこの図式を使ってMittelstadtのcalibration-feedbackの弁証法的関係も説明している。copyの概念をはじめて導入した人ですからね。dischargeがあり、概念そのものはHelmholtzのときからあった。いっぽうで、ベイトソンはメイシー会議にも出席した、サイバネティクスの時代の人だし。HolstとMittelstadtが別人であることをわかってない節がある。)興奮してないで説明を続けると、targetへのreachingを例に取ります。手を伸ばしながら、targetとのずれをオンラインで補正しながら正確にtargetにたどり着く。これはfeedback。(feedforward)。よって、feedbackで行っていることと比べて、calibrationで行っていることはよりメタなものを取り扱っている。ここでのfeedback-calibrationがprocess-formの関係と同義であるとベイトソンは主張している。ここはとてもエキサイティングだ。このようなジグザグの階段の関係がperceptionにも当てはまるとして、エアコンのサーモスタットによる温度調節(物理的コントロール)からその部屋にいる人間の地位(社会性)までつなげた図式を書いている(「精神と自然」図11)。process/representation)を、弁証法的にメタに上っていけるような構造として捉え直すことができるんではないか、なんてことをわたしは考えた。生煮えなアイデアなのだけれど、書いてみましょう。書いてると整理できてくる。長くなったのでここでいったん切ります。専門だったので、コメントいたします。(プログラミング一般の用語で言えば「データ構造」と「アルゴリズム」)に相当する、というのは私もそう思います。ベイトソンとの関係はよく理解できなかったです。帰ってくる、というものです。別にたいそうなものではありません。使って定義したものです。これも別に大したものではありません。深淵な意味があるものではありません。(プログラミング一般の用語で言えば「データ構造」と「アルゴリズム」)に相当する、というのは私もそう思います。言っていただけると、もうすこしこのへんを掘り進めてもよいかなという気がしてきました。ありがとうございます。Evaluatorはフレーズがかっこいいって言ってるだけで、それ自体についてはとくになにか言っているわけではありません。岡崎に住むようになって10年以上経つんですけど、ものすごく好きなわけではないのだけれど、たまに行きたくなるインド料理屋があります。東岡崎の駅前にあって、正直言って流行ってない。グルメ特集で取り上げられたりすることもない。特色は、経営者の方針でしょうか、お店をやってる人(インド/パキスタン系)が定期的にどんどん入れ替わってくんです。行った頃はまだわたしが独身のときで、外食ばかりしていたんで、そのローテーションのひとつだったのですけど、明らかに店員にやる気がない。それでもインド料理屋がほかになかったので、我慢して通ってました。あるときなんか、レジ打ちの女の人がなんかレジ場で私的な電話をしてて、そっちがなんかこじれたらしくて電話相手と激高して話をしてて、こっちがいつまで待ってても会計ができない。こりゃひどいと思って、さすがに通うのを止めました。なんかそのあとくらいでしばらく店じまいしてた気がする。もってもうすっかり店の存在を忘れていたのですが、久しぶりにその前を通ったら店が営業してる。期待せずに店に入ってみたら、あいかわらずおいしくない。こんどは店の人がやたらとフレンドリーで、どんどん話しかけてくる。いつのまにか店の人と身の上話とかしたりしてて、土曜日の午後とかはなんかサロンみたいになって、外国人客が集まってなんか2時間とかだらだら話をするような場所になった。日本ぽくないところが気に入ってた。インド料理屋と書いてあるけど、お店の人はネパールの人だって言ってたような。もってそのときはけっこう通っていたのだけれど、またなんとなく忘れていて、ひさしぶりに店に入ってみたら、また違う人になってる。こんどの人はまじめでおとなしいかんじの人で、バイトを雇わずにひとりで切り盛りしてる。今度の人は確かバングラディシュの人だったかで、前の人は国に帰ったって言ってた。もって前の人のときの緩い空気が店からなくなってたんで、まあ、これはもう行かないかなと最初は思ったんだけど、じつは料理がうまくなってることに気づいた。昼は基本ランチバイキングだけで、3種類のカレーが並べてあって、セルフサービスで好きに取ってよくて750円ってかんじなのだけれど、ローテーションの一つでたまに出てくるバターチキンマサラがすばらしい。クリーミーかつスパイシー。うまくなったと思ったのは私だけではなかったようで、明らかに客層が変わった。OLとか、レストラン通いが好きそうなおばさんグループとか、そういった人たちが増えた。この店が満席になってるのをはじめて見た。850円に値上げされたけど、それでも充分行く価値があると思った。いうわけで私も通っていたのだけれど、やっぱカレーはカロリー高いんで、ダイエット始めてからはちょっと控えるようにしてた。今日のところは様子見だ。お昼どきなのにお客が私しかいないという時点で危険信号。あとは、バターチキンマサラが出る日を見て判断するしかない。いまでは岡崎中心部にも「スバカマナ」という良い店ができて、いつもスイーツな人たちで満員なんで、うまいものを食べたかったらそちらに行けばいい。俺もここのチーズナン大好き。クソオタの俺にとっては、なんかこっちの、東岡崎駅前の、寂れた店のほうが気持ちが落ち着くんだ。(さいごまで店の名前を書くつもりはない)さて、君たちはどう生きるか。(<-へんな終わり方。エチオピア談義で、もしかしたらそうなのかなと推察しておりましたが・・・。pooneilどうも。pooneilさんってインド料理(厳密にはインド亜大陸料理)お好きなんですか?いやぜんぜん、ってところが笑いのポイントです。おやかたよー元気?久しぶり。そのインド料理屋のうらぶれ感が好きなのか?インドじゃないけどさ、下北にシーシャのカフェみたいなのがあるよ。アラビアンなおじさん達が虚ろな表情で座り込んで、シーシャ吸ってる。Facebook更新してないじゃん。下北沢一番街店なるほど、なんちゃって系じゃなくて本物のアラブの人が集まってるんなら興味あるなあ。タバコは10年以上前に止めたけどね。私たちの実験で非常に重要だけど体系化されていないものに、被験者のトレーニングがあります。基本的にオペラント条件で教えてゆくので、スキナーの行動分析について知っておく必要があるのだけれど、トレーニングに特化したものというのがないんです。それで、みんな試行錯誤でそれぞれにやり方を確立してゆくというところがあって、体系化されていません。一時期いい教科書がないか論文などをあさってみたことがあるのだけれど、ほぼ皆無です。Reinhardtの仕事などはありますが、システム神経科学でcognitiveな課題遂行中のニューロン活動を記録するためのトレーニングというのはほとんど見たことがありません。カレン・プライアはイルカのトレーニングにオペラント心理学に基づいた方法を導入し、犬でのクリッカートレーニングなどでも本を出してます。たしかに、犬のしつけ法とかのあたりも参考になりそうだ。もって、この本あんまり見かけないんで(わたしはbookoffで100円で買った)、このなかにある「シェイピングの十の法則」というのをメモっておくことにしましょう。十分な数の強化が得られるように、基準を少しずつ上げよ。一時に一つのことだけを訓練せよ。基準を上げる前に、現在の段階の行動を変動強化で強化せよ。新しい基準を導入するときには、古い基準を一時的にゆるめよ。相手をたえず観察せよ。一つの行動は一つのトレーナーが教えよ。一つのシェイピング手続きをやっていて進歩しないときには、べつにやり方を見つけよ。訓練をむやみに中断してはいけない。一度できた行動でも、またできなくなることがある。そのときは、前の基準に戻れ。一回の訓練は、できれば調子が出ているときに止めよ。これはどれも自分の経験と照らし合わせて、だいたい納得がいきます。基本はなにより「相手をたえず観察せよ。このくらいであっさり終了とします。追記:神経科学者SNSのほうにもpostしておきました。僕もサルを使っているので最近ですが読んでみました。飼い犬から配偶者まで、っていう副題がなんともたまらないなと思いました。REWARDをあげるとしばらく頑張って正答率も上がるのは感じますが、長期的に見てどうなのかはまだまだ経験が浅くて分からないところです。pooneilどうもありがとうございます。イルカに芸を教えるような状況だとどんどん新しいことをやっていく必要があるけど、我々のトレーニングの場合、fixationの時間をじりじり延ばしてゆくとか、かなり漸次的にやってかなければならないところが多いのが違いかと思います。taskへの移行)とタスクのパラメータの漸次的に変化させてゆくこと(recordingのためにtrial数を多くできるようにするとか、fixationの時間を伸ばしてゆくとか)とは別ものですが、ここでのシェイピングの法則は新しい課題をできるようにする状況で特に重要なこととなるかと思います。3での変動強化はFRではなくてVRにするということですから、われわれの課題のようにtrialごとにrewardをあげる条件でrewardの上げ下げをするのとは別ものだと思います。10に関してですが、たとえば、セッションの後半では新しいことをやらせずに同じパラメータで回数こなすことに専念すべき、というようなことに繋がるかと思います。ありがとうございました。VRを使いこなせるトレーナーは数少ないともありましたし、我々の状況ではあまり使えないようですね。pooneilVRとかVIのような変動強化スケジュールはもっと活用する価値があると思ってます。これまで使われてきたのは、もっぱら強化学習関連に直結した仕事(設楽先生のとか、鮫島さんのとか)だったわけですけど、たぶんもっと普通のトレーニングでも活用できるんじゃない買って思ってます。われわれはだいたいtrialごとにrewardをあげてますけど、被験者はそんなにtrialごとのフィードバックを使ってるわけでもなさそうです。私たちトレーナーの方が、大人の人間にものを教えるときの方法に縛られているだけなのかもしれません。pooneil以下は神経科学者SNSに書いたことの転載:子供のしつけでも共通性を感じることがあります。5に関して言えば、相手をよく見ておくことは重要だけど、おもねってしまうのはよくない。こちらの基準がふらつくのは良くないので、どのタイミングで基準をいじるか、ここが腕の見せ所だったり、個人差が出るところだったりすると思ってます。BlogこれまではmimeTeXをレンタルサーバに入れてそこから動かしていたのだけれど、なんかの拍子に動かなくなっていました。GoogleのAPIを呼べば、画像が返ってくる。