robots立命館大学創発システム研究室の准教授ガルシア・グスタボです。2021年3月末に閉室となったロボティクス研究室(教授:小笠原司副学長)のOBで元スタッフでもあります。数年前からは「NAIST-RITS-Panasonic」のキャプテンも務めています。2018-2022」に積極的に参加しています。2018-2022).今回は、私のチームが提案するロボットを活用した未来のコンビニエンスストアを紹介します。未来と言ってもそう遠くないことを願っていますが、私たちが構想しているコンビニエンスストアではお察し通り、ロボットの店員がいます。そこでは、人間とロボットが自然で、直感的で、円滑なやりとりをしています。ロボットは店舗スタッフの面倒な仕事を助け、客はロボットが作業している間でも自由に欲しい商品を選ぶことができます。タスク」と「トイレ清掃タスク」で1位を獲得し、総合優勝を飾りました。年、2020(2021)年に続き連覇を果たしました。Hubのメンバーで構成されています。これまで6代にわたり、多くの研究者や学生、エンジニアが自身のスキルを活かし、熱い思いをもって、数多くのロボット製作に貢献してきました。私たちが製作したロボットは様々な国際ロボット競技会で評価されています。Summit(WRS)の日本開催を決定しました。WRSは、ロボット活用の現在と未来の姿を発信する展示会(WRE)と世界中から集結したチームがロボット技術やアイデアを競う競技会(以下WRC)とで構成されています。Challenge(以下FCSC)」がスタートしました。競技の課題は以下の3つのタスクです。Task“心は目に従う”といわれます。コンビニエンスストアでは、商品を美しく並べることが、店内を見て回る客へのアピールになります。その一方で、常に鮮度の高い商品を陳列することがリピーターの獲得につながります。この「美しい陳列」と「鮮度管理」は、コンビニエンスストアのスタッフが抱える課題です。いうのも、店内を見て回っていた客が意図せずに商品を棚に戻して入れ替えする可能性があったり、賞味期限切れの商品を棚から取り除く必要があったりするからです。店内ではこういったことが日々起きています。day.そこで私たちは、棚にある商品を自律的に整頓し、賞味期限切れの商品を取り除き、新しい商品を補充するロボットシステムを構築しました。ロボットは、アームの付いた可動式のベースと、特注のロボットハンドで構成されています。ロボットはカメラで商品を見て、どのような行動を取るべきかを判断し、起こりうるエラーと復旧策を常に検討します。客がロボットに近づくと、ロボットは動作を停止して後退し、客に商品を選択できるようにします。客が立ち去ると、ロボットは人間のスタッフと同様に作業を続けます。Taskトイレ掃除が好きな人はいるでしょうか?もしかしたらいるかもしれませんが、好きだという人以外は、コンビニのレジ仕事の方が良いかもしれません。いえ、掃除は日常的に必要な仕事です。task.そこで、液体を拭き取り、紙片を吸引し、空のトイレットペーパーの芯や使い捨てのコーヒーカップを自律的に掃除するロボットを作りました。液体が入っている場合は、中の液体をこぼすことなく作業ができます。このロボットは、アーム付きの移動ベースと、特注の3つのロボットハンドで構成されています。ロボットはディープラーニングとカメラの画像からゴミの種類を検出し、最適な道具を選択します。客がトイレを利用したい場合、ロボットは道具を残すことなくトイレから離れます。客が立ち去ると、ロボットは清掃を継続します。Taskニューノーマルが叫ばれる昨今、ロボットによる遠隔操作への期待が高まっています。スタッフと客、客と商品を非接触で橋渡しすることで、ニューノーマルという制約の下でもロボットは重要な役割を果たすことができるのです。私たちは、店内を案内したり、最新の商品を紹介したり、自然な言葉で対話できるロボットを提案しています。アプリで選んだ商品をロボットが遠隔で取り、入口で客が受け取れるようにしました。伝染病対策として広く利用されているアクリル壁越しでも、レーザーマイクを通してスタッフが客の声を聞き取れるようにしました。複合現実感のあるゴーグルを使用することで、スタッフはロボットの状態を観察でき、直感的に素早く情報を共有することができます。ドラッグ&ドロップ操作により、プログラミングやロボットの知識がなくても、ロボットの動作をつくったり、カスタマイズしたりできます。して究極のコンビニエンスストア体験が実現します。work私たちのチームはFCSCでロボットをベンチマークし、その過程で複数の優勝を獲得しましたが、自らのビジョンを実現するための追求は、まだまだ続いています。今後は、未知の環境、未知の商品であっても、パッケージやフィデューシャルマーカー(物の位置や向き・大きさを測定するためのマーカー)のない商品を操作し、自然な形で客と対話し、自律的にタスクを計画するプロジェクトを進めていく予定です。products.AIという光が差し込むとともに、スマートでインタラクティブなロボットが活躍するコンビニエンスストアの未来はかつてないほど明るくなっています。(NAIST)にて博士前期課程を修了。2016年に同大学にて博士後期課程を修了。Hubのロボティクスコンペティション研究の顧問を務める。大学や企業で研究に従事するかたわら、数多くの研究プロジェクトや国際的なロボット競技会でチームの指揮をとる。専門は、人間にとって安全で効率的なロボット制御、人間とロボットのインタラクション、モバイルマニピュレーション、タスクプランニングなど。2022年4月からスタートした本研究室では、人間を理解するために、脳の情報処理機構に基づく行動モデルの構築と、実験的手法やデータ駆動的手法による検証によって、人間行動の原理探求を目指しています。Webサイト:https://xsaori.github.io日本神経科学学会による市民公開講座シリーズ「脳科学の達人」Youtubeチャンネル:https://www.youtube.com/watch?v=HFonDMjcGp4本研究室の研究テーマの一つに、人の行動を数理モデルによって記述するという取り組みがあります。その人の行動を説明できる数理モデルのパラメータなどの特徴と、脳や心理指標といった観測可能な個人特性の間の関係を明らかにすることで、脳やこころの状態を定量的に評価することが可能になります。psychiatry)行動や脳の神経活動の背景にある仕組みを数理モデルによって明らかにしようとする研究方法は、「計算論的アプローチ」と呼ばれます。このアプローチでは、私たちが何かを知覚し行動する際に脳が行っている脳神経の信号処理を、ある種の「計算」と捉えて、そのプロセスの計算論モデルを作成します。psychiatry)」が注目を集めています。私たちは、この計算論的アプローチを用いることで、強迫症(強迫性障害)の症状・治療のメカニズム解明を目指しました。強迫症は、生涯有病率約2%とよくみられる精神疾患で、強迫観念と強迫行為によって特徴づけられます。強迫観念は繰り返される持続的な思考で、強い不安を伴います。強迫行為は強迫観念によって起こった不安を一時的に軽減するための過剰な繰り返し行動です。代表的な症状としては、「鍵がしっかり閉まっていないことでなにか起こるのではないかと不安に思い(強迫観念)、何回もドアノブを確認する(強迫行為)」などが知られています。SRI)」による薬物療法があり、これらは治療ガイドラインで第一選択の治療法とされています。強迫観念と強迫行為が悪循環する強迫症状がなぜ生じてくるのか、行動療法やSRIの投与がどのようにして治療効果を発揮しているのかのメカニズムはよく分かっていませんでした。強迫症の数理モデル:強迫症状を生み出す強化学習パラメータの同定そこで、私たちはこのメカニズムを解明するために、なぜ強迫症患者の脳がこの悪循環を「学習」してしまうのかについて、計算論モデルを使って調べました。私たちは、脳が行なっているとされる学習の一つである「強化学習」に着目し、計算論モデルを作成しました。ある個人がどのような行動を身につけやすいかといった特性を表す学習パラメータを、パソコンで実施可能な、簡単な選択課題で計測することができます(下図)。様々な学習パラメータの組み合わせを用いたコンピューター・シミュレーションや理論的解析を行った結果、どれぐらい過去の行動まで学習に関連付けるかを調整する学習パラメータについて、現在の結果が予想より悪かった場合のパラメータ(ν-)が、予想より良かった場合のパラメータ(ν+)よりも極端に小さい(“アンバランス”、下図の右下の領域)場合、強迫症状(強迫観念と強迫行為の繰り返し)がいつのまにか学習されてしまうことを見い出しました。この学習してしまった強迫症状は、「強迫観念があっても強迫行為をしない」といった行動療法を行うことによって改善できることも、シミュレーションで見い出すことができました。次に、計算論モデルから予測された学習パラメータの性質が、実際の強迫症患者において観察されるのかどうかを検証しました。強迫症患者と健常者において選択課題のデータ収集を行い、個々人の学習パラメータを推定したところ、計算論モデルから予測された通り、強迫症患者は健常者と比較してアンバランスな学習パラメータを示すことが分かりました(下図)。これまで治療薬であるSRIがどのようにして強迫症への治療効果を発揮しているのかは解明されていませんでした。そこで、SRIの投与量と学習パラメータのアンバランスさの関係性を調べたところ、治療薬であるSRIの投与量を増やすほど、アンバランスを解消できていることが分かりました。行動レベルのメカニズムとしては、学習パラメータのアンバランスを解消することによって、治療効果を発揮しているというメカニズムが示唆されました。臨床的な意義:治療最適化へこれらの成果は、強迫症状やその治療の根本的なメカニズムの理解において、大きな進展と言えます。臨床的なエビデンスとして、一部の強迫症患者は行動療法での治療がうまくいかないこと(治療抵抗性)が知られています。私たちの研究では、学習パラメータを計測・推定して、より極端なアンバランスが存在する場合、行動療法のみでは治療ができないということも、理論的に導き出すことができました。現状の臨床では、強迫症を治療する際にどの治療法が効果を発揮するかを事前に予測することはできません。今後、私たちの計算論的アプローチを適用し、治療前に学習パラメータを評価することで、行動療法のみでの治療が可能かどうかといった、治療の最適化ができる可能性があります。研究の広がり:疾患から人間全体へまた今回の研究において得られた興味深い結果として、健常群にもパラメータのばらつきが観測されたという点があります。健常者でもアンバランスなパラメータのクラスタと、バランスが取れたパラメータのクラスタでは、異なる個人特性を持つことがわかりました。このことから、私たちの研究アプローチにより、疾患患者のみならず、人間全体における個人特性のばらつきとその脳機構を検証することができると期待しています。そこで最近では、思春期の行動の数理モデル構築と大規模コホートデータでの検証、また日常生活における行動特性と学習パラメータの関係を調べています。今回紹介した強迫症の数理モデルの研究は、NAISTのプレスリリースでも紹介されていますので、興味のある方はぜひこちらもチェックしてみてください。さおり)博士(理学)。(https://bicr.atr.jp/ncd/)。数理モデルと実験的手法を組み合わせた研究アプローチにより、人間の行動原理の探究を続けている。生体やそのインタラクションをシステムとしてとらえ、数理モデルを通してその基本原理を解明し応用する研究をしています。これは、計算学(機械学習)、理学(生命数理)、工学(信号処理)を広くカバーする境界領域研究です。その研究室の中で私は感情を持つロボットの開発に取り組んでいます。これは感情を実装することを通して、感情のメカニズムを解明するという構成論的アプローチでもあります。本記事では、私の取り組みについて紹介します。感情とは何なのか?感情は自身の中にあるモノなのに、何かと言われると説明しがたいものです。実際研究においてもその定義は様々です。私は神経科学者のアントニオ・ダマシオの定義に従い、刺激に対して起こる身体反応を情動、それを認知したものを感情とする定義を用いています。この定義にもあるように、身体は感情においてコア的な重要な役割を持っていると考えられています。近年では、5感などの身体の外からの情報である外受容感覚と内臓などの身体内部からの情報である内受容感覚が統合されることによって感情が作り出されるという考えが有力視されています。感情において重要な側面としては、学習と個体差です。ブリッジスは幼児は興奮を持って生まれ、そこから徐々に感情を分化させていくという感情分化を提案しています。リサ・フェルドマン・バレットが感情に指紋はないというように、何かの感情を特定できるような決まった反応はないのだという考えも広まってきています。文化差に関係なく共通であるとしたエクマンの基本6感情はいくつかの反証がなされ、文化差があることが主張されています。このように、感情の学習は、文化を初めとした、様々な環境いわゆる学習データに依存して行われると考えられ、決まった正解のようなモノが存在するわけではないと考えられます。前述したように、感情は徐々に文化し、学習されるものだと考えられます。Emotionという感情モデルを開発しました。この感情モデルでは前述した感情分化をシミュレーションすることを目的としています。モデルは既存の概念的な感情モデルから構築されています。外受容感覚と内受容感覚を統合し、行動を出力するモデルとなっています。具体的には外受容感覚として画像を入力として、行動として表情を出力するモデルとなっていて、自身の身体の一定化を報酬として、最適行動を学習していきます。自身の身体を一定化する働きは人間にも備わっており、ホメオスタシスと呼ばれています。モデルは各モジュールを深層学習モデルで実装しています。詳しくは論文を参照してください。本モデルで感情分化のシミュレーションを行った結果、喜び・怒り・悲しみ・ニュートラルの4つが徐々に分化していく様子が観測されました。これはブリッジスの主張する感情分化の快がわかれ、不快が細分化する様子と同様のものでした。本研究はまだ発展途上ですので、今後様々な方向から改善していきます。学術変革領域研究(B)にて「ロボットの嫉妬:嫉妬生成モジュールを用いた統合モデルの構築」などに取り組んでいます。前者はより身体に注目して、人の生体信号を計測し、そのモデル化を実施するプロジェクトです。これによって、ロボットにはない内臓の感覚についての情報を得ることができ、より人に近い感情構造を持つロボットの開発に寄与できます。後者は感情の中でも他者や文化など高次な情報が必要といわれる社会的感情に着目し、マウスやサルの研究者の方とコラボレーションしながら、社会的感情の中でも嫉妬のメカニズムの解明を目指す研究です。感情発達ロボティクスの研究に従事。本研究室の研究分野のひとつには、コンピュータビジョン(CV)という分野があります。これは、コンピュータがカメラ画像をいかに「理解」するかという研究分野です。スマホカメラの顔認識や、アプリでの文字認識は、まさにCV研究の賜物ですね。ところで、CV研究の着眼点は以下のように3つに分けることができます。撮影した画像に対していかに有効な情報処理を施せるかは、CVにおいて重要なトピックとなります。どんな風にシーンを撮影して画像を生成するかによって、その後の画像処理も変わってきます。一般的な画像は、3次元の現実空間を2次元に射影したものです。画像が持つ情報は、現実空間の情報をある程度削ぎ落としたものになります。そこで、画像だけではなく、画像が生成されるまでのシーン中の光の物理現象も考慮することで、よりリッチなパラメータから画像を理解できます。CVの研究は1のみで行われるイメージが強いかもしれませんが、実際は2や3の知識も重要です。今回は「2光学機器の動作原理」に着目した研究を紹介したいと思います。プロジェクタの投影画面を指先で操作できるタッチセンシング技術を開発~直接触れずに空中で指示する応用も実現可能~どこでもタッチディスプレイ化に期待http://www.naist.jp/pressrelease/2021/08/008181.html今回紹介するのは、壁や床に投影したプロジェクタ映像に対してタッチ操作ができるように、タッチセンシングを実装した研究です。当然ながら、壁や床にはセンシング機能はありません。そのため、本研究ではカメラで撮影した画像を使って、コンピュータに指のタッチ位置を「理解」してもらいます。具体的な流れは以下の通りです。指がどの部分にタッチしているかを判別するCV研究では、画像から手を検出する技術がすでに存在します。google社のmediapipeなどが有名です。用途がプロジェクタ映像へのタッチセンシングとなると一筋縄ではいきません。1枚の画像では、指が実際にタッチしているのか、それとも空中に浮いているのか、判別が困難であるなどといった課題があります。そのため、今回の問題設定だと、実物の手を検出するのは非常に難しいタスクとなります。これを近年のトレンドで解決しようとすると、深層学習など複雑なアルゴリズムを駆使してコンピュータに画像処理を頑張ってもらうなどが挙げられます。一方で本研究では、撮影システムを工夫してシンプルな画像を生成することで、コンピュータに簡単な問題を渡すというアプローチを取りました。以下の画像をご覧ください。左側2つはカメラで普通に撮影した画像、右側2つは本研究で撮影した画像です。(d)は同じシーンを撮影しています。見ての通り、本研究のアプローチでは指だけが撮影されており、投影映像や周囲の背景は撮影されません。左側2つでは指がタッチしているかしていないかを判別するのは難しいですが、右側2つでは容易に判別することができます。これは撮影システムの設計を工夫することで実現されました。本研究では、カメラの撮影システムを工夫することで、上の図における赤いエリアだけを撮影します。撮影エリアを赤いエリアに限定することで、指が面にタッチすると指の一部が写り、指がタッチしていなければ指は写らない、という撮影をすることができます。指がタッチしているときには指の一部だけが撮影され、それ以外は何も写らないという画像を撮影することで、指を検出するための画像処理がとても簡単になりました。今回は概念的な説明に留めましたが、具体的にどうやって赤いエリアだけを撮影するのか詳しく知りたい方は、本研究に関する論文をご覧ください。https://ieeexplore.ieee.org/abstract/document/9495800また、最初に説明したように、CV研究は画像処理だけでなく、物理学やハードウェア設計からのアプローチも存在します。光メディアインタフェース研究室では、いずれのアプローチでも研究を行っています。