responseも入っているので、なんかものすごく関連高いし。なんか出来ることはないかなと思う。JackInにおけるBodyとGhostの関係は、[サッカードをすることで視線を移しながら獲得している複数の狭い映像]から[あるひとつのシーンを再構成して自分は経験している]という関係と対応している。感覚と知覚の関係、もしくは現象学で言う現出と意識、と対応している。工学的にはSLAMを使って画像を縫い合わせて、頭の動きに依存しないひとつの大きなシーンを作ることはできるだろうけど、脳はそのようなひとつのシーンを表象してはいるのではなくて、探索で形成した空間マップと今見ている視野との関係として持っているのだろう。cellとかあのへんで進んでいると思うけれども、目を動かしてシーンをマップするという方についてはそんなにないように思う。どちらにしても、どうやってその中からinvariantな構造を取り出すのかというのが共通の問題になっている。いえば自分の体という制限を越えた自分の体という制限を越えた不変項の抽出という意味では、物体認識についても同様だ。空間、シーン、形、くらいまではつながった。いう全体像でいったい自分には何ができるだろう?ふたたび話をJackInに戻すならば、これはSLAMと画像のスティッチがなければ、BODYに付けたたくさんのカメラからの映像を流しっぱなしにして、それをGHOSTが見て操作するみたいな人力方式(株とかやってるヒトのディスプレーみたいに)になるわけで、骨格はそれと同じなんだけど、GHOSTが人力で頭の中にひとつの空間マップを作るのではなくって、SLAMと画像縫い合わせで明示的に作ってあることによって、それは一人のGHOSTだけに専有されずに複数の人間が共有できることになる。生存する知」は体験談的な記述だったけど、こちらの本では半側空間無視における経験についての記述(p.85-93)がわかりやすい。「たとえば左の壁際を歩いてみなさいと言われると、左のことがわからない人にとっては、わかっていない部分で何かしてくれと言われるのに等しく、それがものすごく怖くなるのです。...そこへ寄り過ぎると壁にぶつかるという予想もできる...何もわかっていないから右へ寄っていくのではないのです。規畝子氏の場合には脳内出血を三度経験していて、記憶障害や失認もあるとのことだ。以前失語症についての一般書を読んでいて、失語症について「いきなり外国に行った状態」と例えていて(しかも英語ではなくドイツ語にしてあるところが絶妙だった)、音は聞こえているが意味は為さない、反応が遅れるから会話に加わることが億劫になる、など自分の意識経験と地続きで深く納得した。いうこととまさに同じような理由によって、自分がLAに行ったときには日本にいるときよりも「コミュ障」になってしまうという経験について書こうとしたのだけれども、「コミュ障」という言葉が政治的に正しくないので使わなかった。三題噺を考えられないだろうか。重要そうなの全部入ってるので読みたい。criticalityにあることを考えるならば、脳の活動パターンの場合の数は組み合わせ爆発などはしなくてずっと小さいはずなので、そういう範囲の中で探索したほうがいい。IITはそんな、元からあり得ないような状態を排除することにじつのところ機能しているのであって、拘束条件が緩すぎるのではないかと想像する。N個のニューロンがあって、発火するかしないかの二つの状態だけがあったとして、ある時点での状態は2^Nあるということになっているけれども、それは過大評価であって、実際にはニューロン全体での発火頻度の周りでしか分布していないし、状態空間のなかで歴史に強く拘束されている。それって統計力学だよな。脳と行動」でほとんど用が足りることを知った。だいたい必要なところにカラーのわかりやすい図があって本当に素晴らしい。rostral-caudalの位置関係について、ヒトだと神経管が脊髄から脳に入ったところで曲がっているため直感に反した表現になるのだけれども、この教科書ではワニとヒトとを並べて両方表示している。なんかファニーでよい。gyriを表示している図も探していたのだが、外側溝を開かないと見えないので、脳解剖の実際の図とかになってしまってかえってわかりにくい。gyriが見えるような図がある。operculumって言葉は知らなかった。「弁蓋」とかいうくらいなので、とにかくペロっとめくったらその下にべつの脳表が見えるような構造が弁蓋で、マカクのV1の表面と折りたたまれて盲点に対応する部分も弁蓋。regionみたいな言い方するところはないんではないだろうか。tonnetz(三和音のトーラス構造)についていろいろやってみた(2)前回の続き。以前考えたように、tonnetzをちょっといじるとダイアトニックコードは図のように並べることが出来る。赤の部分を繋ぐとメビウスの輪になる。いうんで、ほんとうにメビウスの輪の上に乗っけてみた。2周(4pi)を7等分してやるとたしかにそれぞれの音が置くことができるのだけれども、点の間の距離がばらばらになってしまう。正三角形の形は崩さずにメビウスの輪のように繋げないのだろうか。折り紙で自作していたのだけれども、どうにもうまくいかない。家にジオマグがあることに気がついた。するとどうやっても繋がらないことが判明。右端のD音と左上のD音が繋がれば完成なのだが、どうやってもうまくいかない。そもそもうまくいく保証はなかったのだけれど。ここまできたら無理矢理繋げばいいんではないかと思い立った。B-Fだけ音幅が違うので、そこだけ長い。なんか対称性が出てきて良くなったんではないだろうか。そこまで考えるんだったら、そもそもC-E-Gを半音の数で3-4-5の直角三角形と捉えた方がいいかもと思った。C-E-G-B)のだけど、閉じられていない菱形が気になる。E-A-B-DとかC-D-F-Gとか。もってそのまま次男とジオマグで遊んだり、ジェンガで遊んだりというそういう一日となった。Touch買いに行って設定してやったりとか。tonnetz(三和音のトーラス構造)についていろいろやってみた(1)以前tonnetz(三和音のトーラス構造)についていろいろ考えてブログに書いたことがあるんだけど、ふと思い立って、三和音を三次元の一点で表現するようにして24個の和音を並べたらなんか構造でも見えてくるのだろうかと思って図を作ってみた。24和音を低い方から並べて、たとえばCmajorだったらc,e,g音をc=0を基準に半音の数を数えるとc=0,e=4,g=7となるので、3次元空間の(0,4,7)にplotする。z軸は7-11に全てのコードが並ぶ。眺めてみたけれども、たとえば高さ9のところにはa音を含むコードが集まるので、xy平面上でD-Dm-A-Am-F-F#mという六角形が見える。縦方向に見てやると、Dmの縦線(黄色)の流れが上に進むとマゼンダの縦線の流れに繋がる。こっこにはなんか構造が見える。色で言うとmajのg-c-rとminのm-b-yの二つの系列。いえ、c音から積み上げていくというところが無意味なので、もっと幅広くplotしてみたらなんか違ったものが見えただろうか?けっきょくcircularであることを無視するとよくないので、Cmajorだったら輪っかでc-e-gに印をつけて、あとはおなじように24個作って、二音共有しているコード、一音共有しているコードって感じで近接度からグラフ構造を作る。すると...ってそれがtonnetsじゃん。今度の10月の一般公開の出しものについて考えていたのだけれど、せっかくアイトラッカーがあるのだからそれを活用したい。カードの反応時間を測ってランキングをつければ小中学生はめちゃ頑張るはず。これまでも伊佐研では「マッスルセンサー」(簡易筋電計測装置)を活用してたし。それはそれとして、もうすこしなんかインタラクティブなことしたい。今考えているのは、アイトラッカーから視点計測して、視線の位置を使ってsupercolliderでなんか音を出させる。tonnetz上での視線の位置によって出る音を決める。位置によって出る和音がカテゴリカルに変わるだけだとつまんないので、Chordataで見た図みたいに、使う音に重みをかけてやる。c-g-eの三角形のど真ん中だとCメジャーコードだけど、c-g-eとc-a-eの三角形の間だとAm7になる。画面描画はprocessingにやらせる。tribeからマウス代わりの入力を取って、それをprocessingで描画して、oscで通信してスパコラで音鳴らす。手間はかかるがプログラミングを覚えれば可能だろう。c-e-gとc-ds-gの間だとどうなるのだろう?CメジャーとCマイナーがなると不協和音なのでそれを避けるとしたら、tonnetzを斜めに切り取ってCメジャーダイアトニックコードだけにしたバージョン、つまりこれのfig2cか。C-Amの中間系だけでは面白くなくって、C-Fの中間系(=Cmaj7)とかAm-Dmの中間系(=Dm9)とかも作れると面白い。そのときはどのようにこの三角形を貼りあわせたらよいのだろう?3次元にすればいいのか。そっち方面から詰めてゆくと、アイトラッカーよりはKinectかLeapMotion使ったほうがよいということになってしまう。アイトラッキングだったらなにが効果的な出力かという方向から考えたほうがよさそうだ。使える情報は位置だけではなくてサッカードの向き、速度もある。課題の最初の画面の中心では7音全部が鳴ってるんだけれど、音のフィードバックだけを頼りにして探索していくといい和音のところが出てくる。これをウォーリーを探せ課題をやっているときに重ねてやって、音で強化して視覚探索をコントロールしてやる。(<-もはや一般公開と関係ないし)サッカードの特徴から考える。留まるのではなくて、アチラコチラに動くのがサッカード。いつ目が動いているかはほとんど意識しない。動いている瞬間はサッカード抑制で視覚が使われない。blindnessが誘導できる。SuperColliderでTonnetz上の平面をクリックしたら音が鳴る、というのをじっさいに作ってみた。ここまでならSCなくてもできるが、もうちょっと音を工夫してみようと思う。TribeがMacに対応するのを待って、アイトラッカーからの入力で音を出せるようにする。