無料GPT-4アプリの公開とクリーンデータセットの作成について|kun1emonアプリ画面データ収集後は以下の2つの案でOutputを作成したいと考えています。案1:Output部分を人手で補完する前述の通り、OpenAIサービスでの出力結果は競合モデルの開発用途で使用することはできません。そこで今回はデータ収集後に、収集した「Instruct」に対する「Output」の部分を、外部発注により人手で補完したいと思っています。これによりクリーンなデータセットを作ることができると考えています(RLHFのような強化学習のアドバンテージは受けれないですが)。以下の図のようなイメージです。案2:Output部分を他の商用可能なLLMに生成させるOpenAIサービスのように出力結果の競合モデル作成への利用を禁止しておらず、かつ商用利用可能なモデルを用いてInstructに対するOutputを自動生成する。そもそもこのようなSelf-Instructができる商用可能な日本語モデルが現時点でないため、私は本記事の取り組みをやっているわけなのでこちらの案は見込みは薄いと考えています。データ収集目標とりあえずAlpacaデータのレコード数の52K以上はデータを収集したいと思っています。ShareGPTの出力結果を学習データに使用しているVicunaが日本語の性能も割と良い言われているのでこのVicunaを超えるモデルを作りたいという思いはあります。商用モデルの作成および公開クリーンデータセットが作成できたあとは、商用可能なBLOOMなどをベースに、作成したデータセットを用いて日本語モデルの作成を実施したいと思います。モデルが作成できたら商用可能なモデルとしてHuggingface上に公開したいと思います。ちなみに自分はChatGPTを超えるモデルの作成を目指しているわけではなく、「特定ドメインにおいて高い性能を出すモデル」の、ベースとなるモデルの作成、公開を目指しています。以下のツイートを参考にして下さい。今回はGPT-4を無料で利用できるアプリを活用してデータを収集し、クリーンなデータセットの作成を試みていますが正直上手くいくかは分からないですし、もっと効率的なやり方もあるとは思います。そのため、取り組みとしては失敗する可能性もありますが、とりあえずチャレンジ!ということでやってみたいと思います。様にもスポンサーとして資金面でご協力いただいております。@_kaiinui様には前回の記事で作成したJapanese-Alpaca-LoRAのデモページの継続稼働のためにご自身のGPUマシンのリソースも提供してもらっております。ご協力誠にありがとうございます。機械学習の話が好きです。クリエイターへのお問い合わせフィードバッククリエイターの。