Achievements本研究の目的は,手術動画を自動で文章化するプログラムの開発,および映像データと言語データが相互に検索可能な新しい手術記録データベースの構築である。手術動画内の解剖,器具,動作,事象を言語で意味付けし,機械学習によりパターン化させることで,手術動画から手術記録を自動作成するプログラムを開発する。映像と言語が互いに関連付けられた手術記録データベースを構築することで,膨大な手術データが客観性の高い均質化された手術記録として保存管理し,データベースから必要な映像データを言語で検索することを可能とする。データベース構築の根幹を担うものとして,手術映像から選別した特定の場面を用いて,解剖,手術器具,動作,事象を認識しテキスト化する手術認識アルゴリズムの作成,アルゴリズムを基にした手術動画を自動で文章化するプログラムの開発を目標とした。認識する手術認識アルゴリズム作成のため,研究期間を通じて画像認識手法の確立を進めた。用いて,機械学習による手術器具(鉗子)と膵臓の自動認識を行った。現時点で本研究の手術認識アルゴリズムは,手術動画の文章化に至る精度まで達してはいない。臓器認識において,症例ごとの形状の違いや可塑性により精度向上に難渋したことが要因として挙げられる。サンプルデータ収集および認識対象のセグメンテーション(クラス分け)は増加し,手術器具の自動認識については比較的高い精度を達成している。今後,精度の高い手術器具の自動認識を基に,手術動画の文章化のアプローチ法を検討することで,本研究の発展が期待できるものと考える。