analytica2023年5月19日ShareFacebookTwitterEmailPrint過去5年間、LLMの指数関数的な成長が観察され、多様なタスクの実行が可能となっている。2017年以前は、ほとんどの自然言語モデルが1つの特定タスクのために訓練されていた。この限界は、Transformerとして知られる「自己注意ネットワークアーキテクチャ」の開発によって克服された。Transformers(BERT)」の開発につながる。GPTとBERTの汎化能力を実現するため、教師ありの微調整と教師なしの事前学習の組み合わせが用いられた。このアプローチにより、事前に訓練された言語表現を下流タスクの実行に適用することが可能となった。GPTモデルは急速に進化し、多くのバージョンが発表された。改良バージョンは、大規模なテキストデータとパラメータを含んでおり、例えばGPTの第3バージョン(GPT-3)は、GPT-2の100倍の大きさであり、1750億のパラメータを含んでいる。GPT-3は、幅広い領域をカバーするテキストを生成することができるが、真実ではないものを含め、偏ったテキストを提供することが頻繁に観察される。これは、GPT-3を含む多くのLLMが、インターネット上で入手可能なデータに基づいて次のテキスト要素を予測するように設計されているため、偏りや誤りを再現してしまうことに起因する。人間の価値観や倫理観に沿ったLLMを設計することが大きな課題となっていた。この問題に対処するため、OpenAIは、人間のフィードバックに基づく強化学習(RLHF)を用いて学習させた13億のパラメータを組み込んだChatGPTを開発した。2021年段階のChatGPTでは、事実確認ができないために誤った文章が高頻度に生成されていたが、GPT-4(総パラメータ数は非公開)をChatGPTに統合することで有意な改善が確認されている。最新のChatGPTは比較的信頼性の高いデータを生成しているが、特に医学研究への応用においては、このツールのあらゆる限界を考慮する必要があることには変わりない。ChatGPTは、研究者が科学論文を作成するための現実的な実務に活用することができる。科学的概念をシンプルで文法的に正しい英語で表現する、などだ。科学界におけるChatGPTへの関心の高さは、このツールに関する研究論文の数が急速に増加している事実からもうかがい知ることができる。2023年の機械学習国際会議(ICML)では、投稿原稿にLLMを使用することを禁止した。このルールへの遵守を検証するツールは存在しない。Natureでは、LLMを著者として記載することは許さず、その使用は方法または謝辞のセクションで言及しなければならないとする。これらの新しいガイドラインは、Elsevierでも同様に実施されている。コミュニティの強い倫理観、が求められている。analyticaはデータサイエンスと臨床医学に強力なバックグラウンドを有し、健康増進の追求を目的とした技術開発と科学的エビデンス構築を主導するソーシャルベンチャーです。現役医師およびライフサイエンス研究者らが中心となって行い、下記2名の医師が監修しています。distinction)。専門はメディカルデータサイエンス。大学病院、米メリーランド州対テロ救助部隊を経て、現在は都内市中病院に勤務。USAI(人工知能)を活用した医療・医学に特化した専門ニュースサイト。現役の医師や研究者が執筆および監修し、海外での医療分野のAI活用事例についての最新情報を提供しています。