パッケージを使ってトークンをカウントする方法を紹介しました。使ってトークンをカウントする方法を紹介します。クラスを使って数えることが出来ます。静的メソッドを呼び出すと文字列をトークンに分割してくれるので、その数を数えるだけです。GPT3Tokenizer.Encode("春は曙やうやう白くなりゆく山際少し明かりて紫立ちたる雲の細くたなびきたる。"祇園精舍の鐘の声、諸行無常の響きあり。娑羅双樹の花の色、盛者必衰の理をあらはす。驕れる人も久しからず、ただ春の夜の夢のごとし。猛き者もつひにはほろびぬ、ひとへに風の前の塵に同じ。").Count;Console.WriteLine(tokenCount2);実行結果は以下のようになります。使った記事の時とトークンの数が異なりますが、これは想定しているモデルが違うためです。使用すると同じ結果になります。以下のようなコードで確認してみました。Microsoft.SemanticKernel.Connectors.AI.OpenAI.Tokenizers;CountToken("春は曙やうやう白くなりゆく山際少し明かりて紫立ちたる雲の細くたなびきたる。");CountToken("祇園精舍の鐘の声、諸行無常の響きあり。娑羅双樹の花の色、盛者必衰の理をあらはす。驕れる人も久しからず、ただ春の夜の夢のごとし。猛き者もつひにはほろびぬ、ひとへに風の前の塵に同じ。{tokenCount2}");}実行すると以下のようになります。カウントされたトークン数が同じになっていることが確認できます。140まとめトークン数をカウントするときは、対象にするモデルにあわせたものを選びましょう。Ota日本マイクロソフトで働いています。ここに書いているのは個人の見解で働いている組織を代表するものではありません。使ってるクラウドサービスはAzure。CoreやWindowsアプリやMAUIも好きなので、そこらへんを書いていこうと思います。Azureをはじめとする最新技術情報をお届けします。※このPublicationは日本マイクロソフト社員による個人の見解であり、所属する組織の公式見解ではありません。バッジを贈って著者を応援しようバッジを受け取った著者にはZennから現金やAmazonギフト券が還元されます。Ota日本マイクロソフトで働いています。ここに書いているのは個人の見解で働いている組織を代表するものではありません。使ってるクラウドサービスはAzure。CoreやWindowsアプリやMAUIも好きなので、そこらへんを書いていこうと思います。バッジを贈るバッジを贈るとは?Zennエンジニアのための情報共有コミュニティAboutZennについて運営会社お知らせ・リリースGuides使い方Publicationよくある質問LinksTwitterGitHubメディアキットLegal利用規約プライバシーポリシ。