NVIDIA!リアルな肺結節画像の生成方法を提案。新たな医用画像の可能性を示す。GAN(敵対的学習)ロボティクスTOPGAN(敵対的生成ネットワーク)NVIDIA!リアルな肺結節画像の生成方法を提案。新たな医用画像の可能性を示す。論文2019.07.16医療NVIDIA!リアルな肺結節画像の生成方法を提案。新たな医用画像の可能性を示す。networkAIの学習には沢山のデータが必要になります。医療おいては沢山のデータを集めることは簡単ではありません。医療データは個人情報を含んでいるため、取り扱いが難しいとされています。病院との密接な連携も必要になってきます。現在、このような課題に対し、医用画像をGANによって生成する研究が多く行われています。この記事では新しくNVIDIAが発表したリアルな肺結節画像を生成するモデルを紹介します。単純なGANによる医用画像の生成では生成された画像が本当に有益な特徴を持っているかは不明なことが多いです。GAN(多条件の制約付きGAN)を提案しています。それは、つまり?遺伝子情報に合った画像を生成するようにGANの生成にルールを設けたということです。※肺結節:本研究では非小細胞癌を示します。※遺伝子発現プロファイル:遺伝子が体のどの組織?どんな発生時期?どんな状態で発現?という情報を持つ。data)のエンコーダー3それぞれの情報を統合しつつ、生成画像(Image)とそのマスク(Segmentation)を生成するデコーダーで構造されています。提案されたモデルは2つの課題を解決するモデルとして作られています。1つ目は結節と背景画像の分離と融合です。背景画像からは何も除去することはせずに、各解像度で少しずつ結節と背景画像を融合していきます。分離を容易にするためのマスク(Segmentation)の生成も行なっています。2つ目は画像と遺伝子情報の融合です。◾️そんなことできるのか?犬の画像を見たときにこれは何?と聞かれたら皆さん“犬”の写真って答えませんか?つまり、画像と単語(犬)が皆さん頭の中ではくっついていますよね?ただ、遺伝子情報は単純に融合することは難しいです。“犬”と犬の写真は密接に関係がありますが、遺伝子情報と結節画像には密接に関係するものもあれば、密接な関係がないものもあるので単純に融合させることはできません。著者らは単純に融合させるのではなく、ひと工夫を加え、画像の1つの抽象的なスタイルとして遺伝子情報を融合させることで解決させています。スタイルとは?人の顔写真を例にすると...人の顔写真でのスタイルは髪型や肌の色や目の位置などです。人の肌の色を黒から白に変えれば顔写真も変わります。髪型が違えば顔写真は変わります。著者らは画像の1つの抽象的なスタイルとして遺伝子情報もあるとモデル化することで、画像と遺伝子情報を融合させています。生成結果1行目は学習に用いた画像です。注意していただきたいのはこの画像の肺結節を除いた背景画像と遺伝子情報を用いて学習が行われていきます。2行目が画像生成するための背景画像になります。この画像上に肺結節が合成されます。GANの生成結果です。4行目が提案手法による生成画像の結果です。わかりにくいですが従来手法では背景画像の変化や画像がボケたり、学習画像にはない特徴が現れており、不自然な画像となっています。提案手法での生成画像はよりリアルであり、学習画像の特徴を有していることがわかります。新たな可能性さらに注目すべきは、著者らの研究にはリアルな肺結節画像の生成以外に真の目的があります。それは、遺伝子情報によって画像の生成を制御できるのであれば、遺伝子と画像に何らかの関係があるのではないか!?すなわち、著者らは遺伝子情報と医用画像の関係解明を真の目的としています。図は生成した画像の遺伝子に関するt-SNEを示しています。従来手法(Baseline)では元データ(Raw)にもない分布を示しており、遺伝子分布をグループ分けし、画像との関係を観察することができません。提案手法(Proposed)でのt-SNE分布を見ると、グループ分けをすることが可能です。グループに分けられている分布の1,2,3を画像化すると明らかに結節の形状や結節境界と何らかの関係があることがわかります。医用画像の関係が解明されると...皆さんが病院でレントゲンやCTやMRIを撮影し、病気が見つかった場合、その遺伝子情報もわかることになります。なるとその患者1人1人に遺伝子レベルで合った治療方法を提案することが可能になるかもしれません。病気が見つからなくても、画像から病気になりそうな遺伝子が推測できるかもしれません。発病する前に病気を予防できる可能性を秘めているということです。この研究は遺伝子検査が安価になり、解析の高速化が進んでいる今だからこそ発展していくと考えられます。今後も注目していきましょう。この記事をシェアするLINE記事の内容等について改善箇所などございましたら、お問い合わせフォームよりAI-SCHOLAR編集部の方にご連絡を頂けますと幸いです。NVIDIA!リアルな肺結節画像の生成方法を提案。新たな医用画像の可能性を示す。06:20医用画像から疾患を引き起こすであろう遺伝子情報を推測するという研究。NVIDIA!リアルな肺結節画像の生成方法を提案。新たな医用画像の可能性を示す。04:37ものすごく簡単ですが、NVIDIAの記事を書きました。NVIDIAの肺結節生成手法の提案ですが、これは遺伝子と医用画像の関係解明の鍵になると考え記事にいたしました。近年医用画像分野で注目されている内容なので、この分野の方は一度読んでおいても良いでしょう。2芸術的な画像と文字の自動合成を可能にする新たなGANGANは著しい発展を遂げています。お取り扱いについて株式会社wevnal(以下「当社」といいます。)は、AI-SCHOLAR(以下「本サイト」といいます。)をご利用になる方(以下「ユーザー」といいます。)を遵守すると共に、以下のプライバシーポリシー(以下「本プライバシーポリシー」といいます。)に従い、適切に取り扱うものとします。本プライバシーポリシーにおいて、個人情報とは、生存する個人に関する情報であって、当該情報に含まれる氏名、生年月日その他の記述等により特定の個人を識別することができるもの(他の情報と容易に照合することができ、それにより特定の個人を識別することができることとなるものを含みます。)を意味するものとします。当社は、ユーザーの個人情報を、以下の目的で利用いたします。当社は、ユーザーの同意を得て、以下の提供先に、以下の提供情報内容を以下の手段又は方法で提供することがあります。(1)提供先について登録ユーザーが本サイトにおいて資料の請求、閲覧もしくはダウンロードする場合、その資料の提供元である本サイト掲載企業(当該提供元企業から委託を受けた者を含みます。所属企業ではなく、企業に所属する個人が提供元である場合もあります。)に、以下の情報が提供されます。電磁的な方法による送信また、次に掲げる場合は、関係法令に反しない範囲で、ユーザーの同意なく個人情報を第三者に提供することがあります。一部または全部を外部委託することがあります。委託先における個人情報の取扱いについては当社が責任を負います。当社は、個人を特定できないよう加工した統計データを作成することがあります。当社は、統計データを何ら制限なく利用することができるものとします。して、ユーザーご本人に限り、個人情報の開示、訂正、追加または削除、利用停止、ならびに第三者への提供の停止(以下「個人情報の開示等」といいます)を求めることができるものとします。以下の場合は個人情報の変更等に応じないことがあります。他の法令に違反することとなる場合また、当該個人情報の変更等に多額の費用を要する場合、その他の、個人情報の開示等を行うことが困難な場合であって、ユーザーの権利・利益を保護するため必要なこれに代わるべき措置をとるときは、個人情報の変更等に応じないことがあります。当社サービスは、Cookie及びこれに類する技術を利用することがあります。これらの技術は、当社による当社サービスの利用状況等の把握に役立ち、サービス向上に資するものです。Cookieを無効化されたいユーザーは、ウェブブラウザの設定を変更することによりCookieを無効化することができます。Cookieを無効化すると、当社サービスの一部の機能をご利用いただけなくなる場合があります。当社は、法令等の定めがある場合を除き、必要に応じて、本プライバシーポリシーを変更することができるものとします。プライバシーマークに関して当社は、プライバシーマークの認証を取得しています。パスワードをお忘れの。