2023localYouserディープラーニング-技術のお話し参考にしたサイトはこちらです。Qiitahttps://qiita.com/gensal/items/e1c4a34dbfd0d7449099はじめにCNNやRNNと並んで重要なニューラルネットワークの仕組みとして、アテンション機構が挙げられます。アテンション機構は入力データのどこに注目するべきかを学習することが可能です。従来、アテンション機構はRNNやCNNなどと...ちょうどTwitterでぼけーっと眺めているところに、こんなサイトを見つけまして、凄く綺麗にコードが書かれていて非常に読みやすく、原理を理解するのに良い教材じゃないかなと思ってこれ見て学んでみることにしたのです。トークナイザの動きトークナイザというのは、NLPモデルに対して、特定のID体系に基づいて文字あるいは単語を数値へ変換する処理です。Faceを使っていると、たくさんのトークナイザを見ることが出来ます。GPTに関しては、トークナイザのエンコーディング方式について述べたお仕事用ブログ記事が別途あります。トークナイズされた後のトークンが収容出来る量は、モデル仕様の中で(n-ctx)ト表現されることが多いです。GPT-3.5だと4096、GPT-4通常モデルであれば8192ですね。GPTにおいて、モデルごとにトークン量が変動するのはなぜ?お仕事先で執筆してた記事さて、このトークナイザですけども、Transformerではこれが扱われる入出力経路は3つありまして。いうのは、本来の文字とは異なっていて、それ自体がその文章内で何かを意味するトークンを指します。不明なトークンであることを示す。長さを揃えるために、文章超が足りない場合に補填するべく使用されるトークン。