Shibuya」にお邪魔させていただきました。Virtualに招待された作品「TeleSight」「PINOSE」を作り上げた皆さんに、じっくりとお話を伺うためです。2018」にまでさかのぼります。本日VRonは取材でお邪魔させて頂きました(3年連続3回目)。筆者はこの出展会場にて初めて「TeleSight」「PINOSE」を拝見させていただきました。Virtual賞」が発表されたとき、彼らが誰よりも早く驚きの声を上げていたのが印象に残っています。Virtualに挑戦する学生のチカラと「Vケット2」の真の魅力に触れてきました!その日。#2」を開催しました。Virtualへと旅立つ前の3月、グリーさんの「VRSionUp!」にて初めてご挨拶をし、その場で取材をお願いさせて頂いたのです。今回、皆さんのお話を伺うことが出来ました。2019の書類審査応募が5月28日から始まりました。彼らはIVRCから見事フランスへと旅立ち、そしてさらに遠い海外の地へ招かれ、自分たちの作品を届けようとしています。稀有で貴重な体験と叡智の数々を、まさに全身で感じ取っている最中の彼らには、一体どんな思いが去来しているのでしょうか。そんな思いを馳せながら、じっくりとお話を伺ってまいりました。12,000字に渡るロングインタビューです。メディアデザイン研究科(以降「KMD」)の古川と申します。MEDIA』)に属しています。最近ではVRのインタラクションをより現実空間の人とシェアする体験を実現するシステムとして「TeleSight」を開発しました。僕はどちらかと言うと体験というよりは技術方面の比重が大きくて、触覚関連を(中心に)やっています。いったことを研究しています。鵜重と同じ「PINOSE」というプロジェクトに参加しています。僕は出身が高専(サレジオ高専)で、7年間プログラミングやアルゴリズムなどの情報分野を学んできました。その後大学に進学してからは「この技術を用いて,実際に体験できるなにかを作りたい」と考えたことで、メディアについて学んでいくようになったんですね。MEDIA』に)ある、ということをその時に知ったんです。自分が元々ゲームが好きなこともあって、こういうところを研究したいな、と考えてこの世界に飛び込みました。僕も同じく高専出身(木更津高専)で、自分は情報工学をやっていたんですけど、高専の3年目に「IVRC」のユース部門で入賞しまして。その期間を含めて、最初の5年間はロボットとVRについて研究していました。あとの2年間は「植物工場とIoT」について研究していてVRとは一旦距離を置いていました。当初は大学院ではもっとネットワークやハードウェア寄りの研究をしようと思っていたんですが、自分が「面白いな」と思ったものを見つけたということもあって、研究チームを変えて現在こちらに所属しています。MEDIA』では、修士1年のときの恒例として、国内のコンペティションである「IVRC」に出ることを通して「VRというものが何なのか」ということを考えていくのですが、この流れで考えたのが「TeleSight」の一番最初、ですね。VRというものをやっていく中で、個人的にはVRってすごく孤独な体験だな、って思ったんです。VRの世界に没入していって、現実にはできないことを体験していくところに対して「でもVR体験って、一人でしか体験できないじゃん」、と。VRChatですら、現実のコミュニケーションがVRに置き換わっただけで、現実のパーティーで感じるような孤独感に襲われることすらあります。なくて、VRの中で「二人で協力」したりとか、「安心感を感じる」ような設計ができないかな、というところが「TeleSight」というものを企画書としてIVRCに書いたきっかけですね。Virtualにつながっていくと......。IVRCの予選が東北でありました。僕の「TeleSight」は国内の先生方や研究者の皆さんへのウケは比較的良くなかったんですが、ギリギリの10位で決勝大会へ進むことができまして......。Virtualのチェアの方から「これはおもろい!」と(笑)。「TeleSight」は、VRHMDとマネキン型の現実拡張デバイスを用いたデモンストレーション。HMDを使ったVRコンテンツ体験における弱点の一つとして、HMDを装着していない第三者に体験を伝えられない、という観点があります。複数のHMDを同期させたりすることで体験者数を増やしたり、VRで表示されている2D映像を外部ディスプレイに公開することなどはできますが、VRコンテンツそのものを同時に共有し体験できる、という点では根本的な解決手段にはなりません。そこで「TeleSight」では、HMDを用いたVR体験で最も重要である「視界」に着目しています。HMDをかぶった体験者が見ているコンテンツは後方にある半円状のスクリーンに投影されていて、その中央にあるマネキンがHMD体験者の視界に同期する形で可動します。このマネキンの目の部分を、別の体験者が視線を遮るようにして隠すと、HMD体験者の視界も手のCGで覆われる、という仕組みです。僕の場合は若干経緯が違いまして......、「PINOSE」のアイデアは代田が考えたんです。代田曰く「......思いついちゃった」と(笑)。思いついちゃったんです(笑)。考えると、当時僕の中で「匂い」を使ってなにかしらの体験がつくれないかと、ずっと考えていたんです。その中で、IVRCの過去作品を見てみると、匂いを提示する作品は近年ではまったくなかった。嗅覚へのアプローチを企画の中に入れようと考えたのです。嗅覚提示するのであれば鼻にフォーカスしたアイデアがいいなと考え、世界的に知られている童話のストーリーを加えました。なってくると、テーマはピノキオだし、とにかく「まずは鼻を伸ばしてみよう」となって。テープを鼻につけて、引っ張ってみたのです。したら「伸びた感」のインパクトが強かったので、「あ、これいけるかも」と思い、この体験を中心に、匂い提示を加えていくことに決めたのです。基本的にはVRのコンテストなので、普通に考えたら出来ないことができるようになれば、エンターテインメントとして楽しいんじゃないかなぁと思っていました。「嘘をつくと鼻が伸びる」というピノキオの童話のエピソードにフォーカスして、じゃあ、そのあと鼻が伸びたら何ができるんだろう、って考えていきました。伸びた鼻の先に例えばリンゴがあったら、コツンという衝撃が鼻にフィードバックがあったりとか、あるいは伸びた鼻の先にコーヒーカップがあったら、その上を通った時にコーヒーの匂いを出したらいいんじゃないかとか。「PINOSE」は世界的に有名な童話「ピノキオ」を題材にしています。ピノキオが嘘をつくと鼻がビュイーンと伸びてしまいますが、この「鼻が伸び縮みする体験」をVRコンテンツと併せて擬似的に体験できるデモンストレーションです。Goをベースにしたシステムを使っている他......目の前にはディフューザーを使用。ここから香りを出すことで「伸びた鼻で嗅いでいる香り」を体験できるようになっています。その他に振動子なども仕込まれていて、鼻が物にぶつかる、といった体験も表現しています。5.0」というテーマの中で、「いわゆるHMDだけではなく、匂いやいろいろの感覚を併せて体験できる作品」というのがいいよね、という風には言っていただきました。Virtualに招待されてフランスで発表をされたわけですが、まずは率直に伺います。Virtual自体がとてもいいイベントだなと思いました。Virtualだ!』という感じでお祭りになっていて、日本人のグループが歩いているだけで、『今度見に行くからな』と声をかけていただいたり、とても暖かい感じの街でした。リサーチ関係のブースが研究系の近辺にあったりして、かなり面白いアイディアにたくさん触れることが出来て良かったです。Virtualに)持って来ているのかが同時にわかる、というのがとても印象に残りましたね。それに、その多面性のバランスがすごく良かったです。Virtualには「ビジネスデー」と「一般デー」があって、結構そこに差はありますね。ビジネスデーに関してはやっぱりというか、『(この研究は)ビジネス的にどうするんだ?』『ビジネスにどう売るんだ』という質問が多くて(笑)。彼らってコンテクストの理解が早いんですよ。研究という前提の元だったら『あ、こういうものなんだ』とか、『新しい体験なんだ』というところを受け入れてくれる一方で、そういう(ビジネス的な)温度差みたいなものも感じました。逆に「一般デー」は全然違いました。Virtualって20年以上やってるイベントなので、(地元からくるお客さんが)子供のころからやってるんですよね。VRというものをよく知ってて、平然とVRヘッドセットを付けて「なんだこれ!」とか言いながら、もうダイレクトに楽しんでました。それこそ普通の東京の人よりもVRをやってる感じ(笑)。感度が高かったんですね。「PINOSE」での「鼻を伸ばす」という体験に対しても、受け入れ感のスピードは早いな、と見ていて感じました。「PINOSE」自体がカテゴリーが「子供向け」に分類された関係もあって、一般公開の日とかすごい小さい子から体験して頂きました。Virtual側の方で「小さい子が体験する時のフロー」というのがどうやらあるらしくて、ちゃんとスタッフの方が事前に説明をしたうえで、体験をしていただいたので、こちらとしてもとても安心しました。あとは(来場者の客層が)普段、日本じゃ体験されない(ような年齢層)の方々なので、例えば小学生入るかどうかな?ぐらいのお子さん(の体験)なんていうのは(日本では)まったくなかったことなので、すごく新しいフィードバックでしたね。Virtual」って、VRで個人の世界からより開かれた、みんなで体験するみたいなことが全体のテーマになっているのかな......っていう中で、PINOSEは「鼻は伸ばす」わ「匂いは出す」わで。週末とかはお子さんとかがよく来て、意外と「痛がるかなぁ?」「怖がるかなぁ?」...って思ったんですけど、意外とすんなりと皆さん楽しんでいたので、とっても良かったですね。「TeleSight」が「#RESEARCH」の最優秀賞を頂くことができたんですけど、実際に予想は全くしてませんでした。5.0」というテーマを持っていました。PRIX」という金色のトロフィーがありまして、それを取ったのは、「4人で「アポロ11号」の体験をバーチャルでできる発表」だったんです。参加者のうち二人がVRプレイヤーで、二人がインカムをつけてディスプレイで色々情報を見ながら(VRプレイヤーに)指示をするという風になっていたんですよ。VRの人たちと現実の人たちが協力するという感じ。Wonderland』の世界を体験して、外の人が物語を選んでいく......という内容だったんですよね。それも「現実」と「バーチャル」を同時につないでインタラクションを作る、っていう点では共通していました。「TeleSight」もかなりそういった部分をやっていて、「現実」と「バーチャル」で非対称なインタラクションをつくるかって所を試みた結果ああいう形になったわけですけど、全体としてそういったところを評価されているような気がしています。「VRがこういう風に行くべきなんだ、VRをよりソーシャルなものとか、シェアできるエクスペリエンスにするべきなんだ」という、方向性を彼らが持っていたんですよね。それがたまたま、僕らが考えている事と一致して結果こういう形になれたのかなあ、と思っています。「リアルとバーチャルの結びつきや連動性」を目指した作品は全体のどれくらいだったんでしょうか。数として多くはないですけど、賞を貰ってるのは確かにそういう(テーマを持っている研究の)ものが多かったですね。Virtual」というか、VRの市場としても技術的にはもうある程度成熟しているような印象を持っていて、例えば、数年前とかには多かった「新しいHMDとか新しいトラッキングシステム」的なものがほとんど(出展が)なかったんですよ。研究でも企業側でも「どう遊ぶか」「どういうアプリケーションがあるか」とかしかなくて、さらに先の未来を見据えてるのが例えば研究系だったりするんですよね。Virtualとしての全体の印象ですね。正直に言うと「いいなぁ」でした(笑)。確かに受賞した作品の一覧を聞いたときに、「あぁやっぱりそういう傾向を重視しているんだな」と感じました。5.0」をやればいいかな、と思っています。Virtualの後はSIGGRAPH本家ですね。Virtual」ってどちらも展示会なんです。僕らは「TeleSight」をリアルとバーチャルのインタラクションを作る、それを体験できる「作品」として作ってきたわけですが、SIGGRAPHは国際学会なので、研究としてコンテクストを持たなきゃいけないという風には感じています。「TeleSight」が単なる作品ではなくて、研究として「TeleSight」というものを位置づけようと考えたときに、今の状態が最適な形なのかどうかは、まだまだ議論の余地はあるかと思いまして、そのへん考えながら改良というか......再構築をしているのに近いというか。「TeleSight」が研究の文脈に向かっていい部分と、これは別にどうでもよかった、というような部分ももちろんあるはずで、良いところと悪いところのエッセンスみたいなものを抽出して、それらを再構成しよう、とは思っています。いずれにせよ、僕らが出すイマージングテクノロジー(E-tech)という部門は論文とかも必要になってくるので、そこに研究としての形を持たなきゃいけないと思っています。Virtualまで行った、この先についてお伺いできれば。研究面では「PINOSE」の方で別個に進んでいたものがあるので、研究部分の肉付けは結構済んでいる状態にはなっていますね。どちらかというと、展示中に凄く説明が必要になってしまったり、「体験者の側が自発的に動かさなくてはならない」っていうところが課題なので、そこはどうにかしたいなぁっていう点と、今後SIGGRAPHから先の話にはなるんですけど、(今取り組んでいる)「鼻」以外(の身体器官)にもそういう効果は出るんじゃないかなという風に目論んでいたりはします。「E-Tech」での採択ということで、基本的には技術や体験の新しさをアピールする場と捉えています。「鼻がのびる」「のびた鼻が重くなる」「のびた鼻で匂いを嗅ぎ分ける」など、それぞれの体験を一つひとつ丁寧に見せていこうと考えています。「鼻が伸びる」というだけで驚いてくださる体験ではあるので、その部分をもっと強調してもいいのかな、っていうのもありますね。長期的なことをお伺いします。MEDIAさんで、今後こういう事やりたいなど、その先どういう活動したいか、今思い描いているものを教えてください。「TeleSight」に関していうと、「VRの体験ををソーシャルなものにしていく」とか「現実とリアルで非対称のインタラクションを作る」っていうのは、トップの研究者達の間でも議論、評価がされつつあるんですね。いった流れの中で、僕らがSIGGRAPHまで行けたということであれば、僕ら自身もその議論にコミットメントするべきだ、と思っています。「人とコンピューターをどう繋ぐか」をアカデミックに議論するHCIの分野に対して「TeleSight」を提案していく,といのが今後やりたいことの一つだと思っています。MEDIAとして作れるようにはなったので、「その先をどうしようか」というところを模索している状態ではあります。その中で僕たちの方ではもっと「心理学」であったりとか、そっちの方向に持っていくことは出来ないかなと考えていまして、その起爆剤になるのが「PINOSE」かな、と。できるようになったらどうなるんだろう?」っていうところを進めていく、という段階になるのではないかな、と思います。僕の興味の方向としては「クロスモーダル現象(視覚と味覚、視覚と聴覚など、本来別々とされる知覚が互いに影響を及ぼし合う現象)を使って、人間の知覚をハッキングしてみようよ」っていう大きなテーマがあるんですが、その中に一つ大きなプロジェクトとして「PINOSE」があります。「PINOSE」は「鼻が伸びる映像情報」と「鼻をひっぱるという力触覚提示(力を使って触覚フィードバックを与えること)」を組み合わせることによって、知覚を変化させ「(鼻が)伸びるという錯覚をもたらしています。他のプロジェクトでいうと「実際にシャワーに浴びてないのに浴びたような錯覚」を映像情報と触覚提示を組み合わせてつくりました。「耳を開閉することを通して、音が聞こえてくる方向の知覚を変える」というようなことなどにも取り組んでいます。「今後も、体の部位にテクノロジーを使って変化を与えることで、知覚を変化させる」といったことに興味を持ってやって行こうと思っています。就職とか、進路とか、もっと未来のことについて考えていることがあったら、ぜひ教えてください。僕は昔からゲームが好きで、そのこともあって「体験」をどう作るか、というのが好きなんですよね、「TeleSight」を含めた「VR」というものは、あくまでこれまでに技術が成熟して今この形をしているわけで、これから技術が変わっていけば、VRとかMRっていう単語や定義もどんどん変わっていくと思います。その中で、「体験」をどうデザインするかっていうところ......僕が身につけたり議論している事というもの自体は廃れることはないというか、不変的な要素だと思うので、きちんと今取り組んでいる研究を通して、そういった経験を僕自身が積んでいって、新しい「体験」というのを作り続けれるようになるのが一番いいのかなと思っています。僕の夢は......テーマパークを開発している会社に行きたくて、最終目標はそこなのでそこに向けての動きをしています。「PINOSE」の方も割とそういう文脈に近くて、凄くいい物語だったり、発想だったり、じゃあこれをどうやって機械やプログラムで生み出したらいいんだろう、と言うところを考えることが凄くすきなので、最終的にはその会社のそういうことをする人になりたいですね。自分は社会人をやりながら大学院生をやっていまして。会社では新しい事業を開発する部署でクリエイティブディレクターをやらせていただいています。僕の場合は、特に今後の進路を決めているわけではなくて、いま目の前にある研究がめちゃ楽しいので、それに全力で取り組んでいます。研究生活を通して、普段の仕事にもアカデミックな視点やリサーチ的な視点が加わることで、自分の関わるプロジェクトにより厚みやユニークさが出てくるといいなあと思っています。今って、VRで没入しようとか、現実にも情報を置きたいからMRにしようとか、携帯でAR使おう、という感じで、今は使うデバイスとか使う技術とかによって単語が分かれていると思うんですけど、そこで技術ベースで培ってきた理解みたいなのがどんどんと浸透してきて、じきに「人工現実感」が当たり前のように生活に混在しているようになっているのではないか、と思っています。それは多分、今のVRでいうところの「ヘッドマウントディスプレイ」的なものを超えるような状況があと5年後にはきてるんじゃないか、今はみんなこれ(HMD)がVRって言ってるけど、実は他の「これ」がVRだったんじゃないか、みたいなものが、5年後にはプロダクトだったり生活空間だったりにあるんじゃないかな......と思いますね。それこそ、VRってものが「VR」という単語じゃないものにとらえられていて、その上で生活の中にある......みたいな。あとは仰々しくないというか、「スマホ」まではいかないですけど、そういったレベルで(VRに)普段から触れて生活しているというレベルにまでは一般化されるんじゃないのかな、って思います。僕らは今「研究者」として「E-Tech」みたいなものを見ていますけど、今の僕らとかがVRという分野で議論をしていたことが、まったく別の分野で実現し始めるのが、多分それぐらいなのかな......と。VR関連の領域って今かなり流行ってきていますよね。皆が注目しているし、若い人たちもわぁっと入ってきている状況です。似たような事例として「AI」とかもそうですけど、こういった分野に入って勉強して活躍するのはすごくいいことだと思いますし、比較的やりやすいとも思います。いうことと同時に、「自分が本当に好きなもの」、本質的に「俺はこれ、言葉をしゃべり始めたときから好きなんだ!」っていうようなものを絶対捨てないことっていうのは重要だな、とも思っていて。そこが繋がったときに、周りにいる流行りを追っかけてる人達よりも、1段も2段上の方に行けるじゃないかと思うんですよね。絶対に自分が本当に好きなものをちゃんと自分の中で持って、その上で「VR」の分野に来ることは凄くいいことだと僕自身は思っています。凄く言いたいこと言われちゃったんですけど......(笑)。ホントに、僕も好きなものをできないであきらめないでほしいなと。その道をつき進めていけば、そのうちにいろんな人が近づいてくる、力になってくれて、結局凄く自分のなりたい姿になっていくので、その心は忘れないでほしいなぁと思います。三人のお話を伺っていて感じたことは、これまで皆さんがなされてきたことへの「自信」と、その先に繋がっている「未来」への視点・観点の高さ、でした。Virtualで結果を出し、そしていよいよ「SIGGRAPH」という国際学会の檜舞台へと向かっていく皆さんの言葉一つ一つの大きな重みがあるのと同時に、その芯の太さを感じました。最先端技術の最前線に彼らは乗り込んでいきます。...212月8日、にじさんじの未来は今ここに約束された。両国国技館」を開催しました。MATE」、メジャーデビューアルバム「MZM」をリリース。【続報3・21:40時点】iTunesアルバムランキング(総合)、Jポップ部門、共に[第2位]にランクイン!あと少し。「東京ゲームショウ2019」に行って、XRゲームの最前線を目の当たりにしてきました!(2・出展社ダイジェスト)9月12日から15日まで、千葉県は幕張メッセにて開催されました「東京ゲームショウ2019」。PLUS」の国内発売を発表。2020」を「バーチャルイベント」としての開催に変更。...212月8日、にじさんじの未来は今ここに約束された。両国国技館」を開催しました。MATE」、メジャーデビューアルバム「MZM」をリリース。【続報3・21:40時点】iTunesアルバムランキング(総合)、Jポップ部門、共に[第2位]にランクイン!あと少し。運営会社はこちら「VRon」を運営しております株式会社81plusは、VR映像、Webデザインなどのデジタルコンテンツを制作しています。ご関心をお持ちになりましたら、ぜひ下の丸いロゴをクリックして公式サイトへお越しください。