はじめに

OpenAIのAPIに触れるなかでTokenという単語がでてくることがあります。そのTokenについて知らなかったので調べてみました。

Tokenとは

一言でいうとテキストの最小単位です。文章を処理する際、単語や句読点、数字などの要素に分割するプロセスを「トークナイゼーション」と呼び、分割された要素1つ1つがTokenです。TokenはLLM等言語処理でも使用されます。

例1
9つに分けられるので9トークンと数えることができます。

例2
日本語だと区切られる単位が多いためトークン数が増えます。
下記文章で13トークンです。

例3
下記コードだと35トークンです。

tokneizerを使用してカウントしました。

ChatGPTなどのAPIを使用する場合、使用するトークン数に基づいて料金が発生します。送信された入力トークンの数と、API によって返された出力内のトークンの数に基づいて計算されます。

使用方法にもよりますがChatGPT4oの場合は 5.00ドル/100万入力トークンとなるようです。

Tokenが何者か知らずOpenAIのAPIを使用していましが正体を知ることができました。
初歩的な知識ですが理解できよかったです。

私の働いている会社で経験の有無を問わず採用を行っています。
興味のある方は是非カジュアル面談から応募してみてください！