Sensingに関するリサーチャーをしております荒川です。2019/7/26-8/1にロサンゼルスで開かれたSIGGRAPH2019に参加してきましたので、本記事ではそのレポートをします。Techniques”の通称。wikipediaより2019年はロサンゼルスのコンベンションセンターで開催されました。Technologyに出したデモのお手伝いで参加し、展示をメインで行いつつ休憩時間などにセッションを聞きました。Theaterなどがあり、お祭り気分でした。PaperはCG系が多め、デモ展示はロボやVR体験などもありました。スケジュール以下の日程で参加しました。して参加した私たちの展示内容は、PickHitsという、投げた物体が目標の位置に正しく到達するようなデバイスでした。原理はシンプルで、アンダースローの腕の動きをモデル化し、最適なリリースタイミングを計算し、そのタイミングでストッパーが外れ物体が射出される機構になっています。モーションキャプチャで300Hz、ジャイロセンサで2000Hzでサンプリングします。システム全体で遅延が50msほどあるので、そこも含めた軌道推定を行う必要があします。体感としては7割くらいの人が正しく目標の場所へボールを飛ばせていました。Charactersどんなアバターの様子に人がどう感じるのかという心理学的なお話でした。一概に言えませんが、面白いと思った発見は以下の2つです。アバターがリアルな見た目かキャラっぽい見た目かは、相手ユーザーの意思決定に影響を及ぼさず、挙動や様子がその因子となる。boneだけでジェンダーがわかる(女性っぽい歩き方とか)。見た目が男性で歩き方が女性みたいなアバターでは女性っぽさは気づかれない。前者に関する発見は挙動解析の知見にも活かせそうですね。Computationalにいろんなアバターを作れて実験ができるのが面白いなと感じました。RealityMRが広まっていく世界でどのような倫理的な問題が生じるかについての話。考えたことのないテーマだったので新鮮でした。焦点は、スキャンする空間は誰のものなのか、何をプライバシーとするのかというところです。エッジコンピューティングでサーバーに映像をあげないための工夫というのも言及されていました。mapからphotorealisticな画像を生成するGauGANのデモで、とても綺麗な絵を簡単に描いていて感動しました。ちなみにこちらから体験できます。IllusionVRや光学技術を使った錯覚。歩いていると錯覚させるやつはだんだんとその半径が縮んでいるというのが定量的に出ており、面白いと思いました。Plateを使った透明錯視は、スケーラブルでいいなと感じました。Paper385本中111本が採択(28.8%)されました。Forwarding(30s/paper)を聴いて気になった論文のメモ+いくつか論文を読んだものを以下に簡単にまとめています。CG系少なめ、問題設計が面白かったり、インタラクション系が多めです。Reportが詳しいので興味がある方はそちらも合わせてご覧いただければと思います。Arrays肘などの3D形状変化を計測するための柔らかく装着可能なデバイスを安価に作るハードからソフトまでのパイプラインを提案。センサは複数層の静電容量レイヤ、アルゴリズムはDNNによるregression。Glove上の論文と同様なことを手の形状に限って行なっている。5層の静電容量シリコンセンサから得られるデータに対してDNNによるregression。UAV(固定された羽のペアにマルチコプターをつけたもの)をデザインすると、シミュレーター上で強化学習を行い、作成した飛翔体が飛行できるフレームワークを提案。Integralなるものを導入したのがユニークで、効果的な学習を行なった。Video初となる、単眼カメラによるリアルタイム(服の変形などを含んだ)3Dパフォーマンス推定を提案。前処理時にビデオ(約70フレーム)からアクターRigを生成し、持っておく。推論時は、まず画像からポーズ推定をし、そのポーズとアクターRigを元に非剛体変形の推定を行う。後者の最適化はGauss-Newton。パイプライン処理で25fps。Programming3Dメッシュ構造を入力すると、自動で編み物マシーンが作成してくれるためのビジュアルプログラミングインターフェースを提案。自動生成するところがコア。Design理想の形状に柑橘類の皮をむくための方法を提案。3D球を展開するのではなく、2Dをたたみ込んで3D球にするという流れのアルゴリズム。たたみ込めないような形状は適宜修正されるがユーザーの意図と違った展開になる場合もある。インタラクティブ性などは今後。Video字幕を変更するだけでビデオ中の人の顔を自然に変形するツールの提案。音素と頭モデルの対応からパラメトリックモデルを構成し、変更後の音素に近いシーンの頭モデルをブレンドする手法。Considerationになっているのは興味深い。Imagesマルチビューの2D画像から3Dオブジェクトを復元するencoder-decoderモデルと微分可能なレイマーチング手法を組み合わせることで、end-to-endで学習可能なダイナミックレンダリング手法の提案。encoder-decoderモデル採用は、潜在空間を動くことで、多彩なビューを実現するため。Network屋外の画像に対し、光の当たり方を操作できる手法を提案。マルチビューの2D画像から大雑把な地理形状を復元する。shadow画像が地理形状から抽出され、NNがそれをrefineし、その出力やreference画像をさらにNNに通すという多段構造。リアルな学習データはシミュレーター内で合成。Devicesスマホに装着可能で、インタラクションを拡張するボタンやダイアルになるwidgetを提案。装着したwidgetを触った際のスマホの加速度センサーの値を機械学習で分類。ボタンつくって加速度を機械学習したのではなく、物理モデルに基づいて生じる力をシミュレートし、widgetのデザインプロセスに組み込んだ。スマホに対し8箇所装着可能な場所を作り、高い精度で分類できることを示した。Marionettes組み合わせ振り子という複雑なシステムである人形劇をロボットがコントロールするための手法を提案。マリオネットのダイナミクスと、ロボットの運動を考慮した予測モデルを考案、複数の人形とターゲット動作で評価した。モデリングの部分は読めてないけど、とにかくアウトプットの印象が強い。再生する際に、もっとも注目を集めそうなシーンや、インタラクティブにユーザーの嗜好を反映したカメラパスを生成する手法を提案。前処理ではまずオプティカルフロー計算、それに基づきサリエンシー推定、オンライン処理でパス生成。パス生成は3段階で、サリエンシー最適化、FoV-aware適応、スムージングの順番。ユーザースタディで効果検証。動画サリエンシーのアプリケーションとしてうまい。Migrationカメラの視野の外にある物体をイメージングする波動画像形成モデルを提案。レーザー光を壁に当て、散乱した光が反射して帰ってくるまでの時間を計測する。ガルバノミラーで角度調節する。RF-basedで壁の奥を透視する手法を思い出した。Learningを用いた画像認識技術を中心に、APIによるアルゴリズムパッケージの提供や、共同研究開発を行なっています。Inc.ACES(エーシーズ)は、AIアルゴリズムの力でシンプルな社会を実現する会社です。人の行動や感情の認識、物体の検知などを実現する画像認識のアルゴリズムAPISHARON(シャロン)は、人の行動や感情の認識、物体の検知などを実現する画像認識のアルゴリズムAPIです。最先端のAIアsharon.jp◆画像認識アルゴリズム「SHARON」についてヒトの行動や感情の認識、モノの検知などを実現する画像認識アルゴリズムを開発しています。スポーツにおけるパフォーマンス分析やマーケティングにおけるヒトの心の動きの可視化、ストレスなどの可視化による健康状態の管理を始めとするAIアルゴリズムを提供しています。ダウンロード#SIGGRAPHこの記事が気に入ったら、サポートをしてみませんか?気軽にクリエイターを支援できます。)のNoteアカウントです。