Model:大規模言語モデル)を開発し、自然な日本語の文章生成を実現したと発表しました。リリースされて以降、生成AI・LLMが世界的に注目を集めており、あらゆる業界において急速に活用が進んでいます。サイバーエージェント社の開発した独自LLMは、それらとどう違うのでしょうか。これまでのLLMと比べ、サイバーエージェント社の日本語LLMの特徴を紹介します。Modelの略で、大量のテキストデータを基に学習された、自然言語処理の人工知能(AI)のことです。LLMとは簡単に言うと、入力の文字列に対し、過去のテキストデータから出力の文字列を予測する仕組みのことです。LLM(大規模言語モデル)の代表的な例としては、2018年にGoogleが発表した「BERT」や、2020年にOpenAIが発表した「GPT-3」などが挙げられるでしょう。現在Googleは自身の検索エンジンに組み込んだり、OpenAIは従量課金制のサービスを開始したりするなど、広範囲での活用がはじまっています。LLM(大規模言語モデル)をベースに微調整(ファインチューニング※2)することで、単に検索対応するだけでなく、文章の要約や抽出、質問への応答から作文まで、より自然な言語処理タスクに適用させての利用を可能にします。「ChatGPT」は、2022年リリースの「GPT-3.5シリーズ」を基にチャットに特化させてファインチューニングしたものであり、LLM(大規模言語モデル)の応用例の一つと言えます。※2:ファインチューニング:あるデータセットを使って事前学習した訓練済みモデルの一部もしくは全体を、別のデータセットを使って再学習(トレーニング)することサイバーエージェント社の日本語LLM(大規模言語モデル)の特徴サイバーエージェント社は国内有数のネット広告会社であり、同社に蓄積された情報を基に今回の独自LLMを開発しました。その特徴は以下の3つです。国内最大級のLLM開発を予定それぞれを詳しくみていきましょう。既存のLLMのほとんどは英語を中心に学習されており、現状では日本語および日本文化に強いLLMは少ない状況です。このため、サイバーエージェント社は日本語に特化した独自の大規模モデルを開発。サイバーエージェント社が保有する大規模な日本語データを活かした独自モデルを開発したことで、従来よりも自然な日本語の文章生成が可能となったとしています。業界特化型からビジネス開発まで対応サイバーエージェント社がこれまでAI技術の社会実装のために行ってきたノウハウや知見を生かし、広告制作だけでなくチャットボットやRPAをはじめとする業界特化型のLLMの構築に成功しています。今後は各企業と連携し、LLMを活用したビジネス開発の推進等も予定していると発表しました。H100」を活用し国内最大級のLLM開発を予定しており、本モデルはすでに130億パラメータまでの開発が完了したと公表しました。これにより、サイバーエージェント社が提供する「極予測AI」「極予測TD」「極予測LP」など、AIを活用した広告クリエイティブ制作領域のサービスにおいて活用が始まっているようです。今後より性能の高いモデルの開発もすすめているとリリースしました。サイバーエージェント社の今回発表した独自LLMは、これまでの海外発LLMよりも、より自然な日本語生成が可能なLLMだということだけではなく、サイバーエージェント社の持つ広告展開へのノウハウや、ビジネスへの応用まで見据えられたLLMといえそうです。この記事を書いた人BeMARKE編集部BeMARKE(ビーマーケ)は、BtoBマーケティングの課題解決メディアです。BtoBマーケティングのあらゆる局面に新しい気づきを提供し、リアルで使える「ノウハウ」を発信します。【事例付き】メールで「インラインにて失礼いたします。新着記事2023-05-30Webコンテンツとは?特徴や求められるもの・種類・注意点をわかりやすく2023-05-302023-05-29ホワイトペーパーのデザイン作成のポイントを具体例で解説!【テンプレート・作成ツール紹介】2023-05-292023-05-29限られた社内リソースで失敗なくSFAを導入するには?2023-05-292023-05-26Webサイト運営とは?業務内容や求められるスキル・成果を出すための注意点までプロが解説!2023-05-262023-05-25ChatGPTをBtoBマーケにどう生かすのか?活用の3つの具体例と今後の展望2023-05-25BeMARKEナビゲーターが無料で相談にのります。利用規約お問い合わせ。