はじめに
OpenAI APIを使用する際、トークン数の管理は避けて通れない重要な要素です。
APIの料金はトークン数に基づいて計算され、また各モデルには最大トークン数の制限があります。
この記事では、OpenAIが公式に提供しているtiktokenライブラリを使って、
効率的にトークンを管理する方法を解説します。
tiktokenとは？
tiktokenは、OpenAIが開発したBPE（Byte Pair Encoding）トークナイザーのPython実装です。GPTモデルが実際に使用しているトークナイザーと同じアルゴリズムを使用しているため、正確なトークン数を計算できます。
主な特徴
- 🚀 高速: Rustで実装されており、純粋なPython実装より50倍以上高速
- 🎯 正確: OpenAI APIが実際に使用するトークン数と完全に一致
- 🔧 簡単: シンプルなAPIで直感的に使用可能
- 🌍 多言語対応: 日本語を含む多言語のトークン化に対応
インストール
pip install tiktoken
基本的な使い方
1. トークン数をカウントする
import tiktoken
# モデルに対応したエンコーディングを取得
encoding = tiktoken.encoding_for_model("gpt-4")
# テキストをトークン化してカウント
text = "こんにちは、世界！今日はいい天気ですね。"
tokens = encoding.encode(text)
token_count = len(tokens)
print(f"テキスト: {text}")
print(f"トークン数: {token_count}")
print(f"トークン: {tokens}")
出力:
テキスト: こんにちは、世界！今日はいい天気ですね。
トークン数: 17
トークン: [44293, 3574, 244, 85642, 3574, 244, 162, 97, 222, 9458, 29107, 3574, 227, 29295, 38641, 16616, 3574, 227, 16556, 3574, 223, 1811]
2. トークンをテキストに戻す
# トークンをデコードしてテキストに戻す
decoded_text = encoding.decode(tokens)
print(f"デコード結果: {decoded_text}")
3. 部分的なデコード
# 特定のトークンだけをデコード
single_token_text = encoding.decode([44293]) # "こんにちは"の最初のトークン
print(f"単一トークン: {single_token_text}")
実践的な使用例
1. API料金の事前計算
def calculate_api_cost(text, model="gpt-4"):
"""
テキストのAPI使用料金を計算する
Args:
text: 入力テキスト
model: 使用するモデル
Returns:
推定料金（USD）
"""
# 料金設定（2024年1月時点の例）
pricing = {
"gpt-4": {"input": 0.03, "output": 0.06}, # per 1K tokens
"gpt-3.5-turbo": {"input": 0.001, "output": 0.002}
}
encoding = tiktoken.encoding_for_model(model)
token_count = len(encoding.encode(text))
# 入力コストを計算（出力は入力の約1.5倍と仮定）
input_cost = (token_count / 1000) * pricing[model]["input"]
output_cost = (token_count * 1.5 / 1000) * pricing[model]["output"]
total_cost = input_cost + output_cost
return {
"input_tokens": token_count,
"estimated_output_tokens": int(token_count * 1.5),
"input_cost": input_cost,
"output_cost": output_cost,
"total_cost": total_cost
}
# 使用例
long_text = "あなたのプロジェクトの説明..." * 100
cost_estimate = calculate_api_cost(long_text, "gpt-4")
print(f"推定コスト: ${cost_estimate['total_cost']:.4f}")
2. トークン制限に合わせたテキストの切り詰め
def truncate_text_to_token_limit(text, max_tokens=4000, model="gpt-4"):
"""
テキストを指定したトークン数以内に切り詰める
Args:
text: 入力テキスト
max_tokens: 最大トークン数
model: 使用するモデル
Returns:
切り詰められたテキスト
"""
encoding = tiktoken.encoding_for_model(model)
tokens = encoding.encode(text)
if len(tokens) <= max_tokens:
return text
# トークン制限に収まるように切り詰め
truncated_tokens = tokens[:max_tokens]
truncated_text = encoding.decode(truncated_tokens)
return truncated_text
# 使用例
long_article = "とても長い記事の内容..." * 1000
truncated = truncate_text_to_token_limit(long_article, max_tokens=1000)
print(f"切り詰め後の長さ: {len(truncated)}")
3. チャット履歴のトークン管理
def manage_chat_history(messages, max_tokens=4000, model="gpt-4"):
"""
チャット履歴を管理し、トークン制限内に収める
Args:
messages: チャットメッセージのリスト
max_tokens: 最大トークン数
model: 使用するモデル
Returns:
トークン制限内のメッセージリスト
"""
encoding = tiktoken.encoding_for_model(model)
# 各メッセージのトークン数を計算
message_tokens = []
for msg in messages:
# roleとcontentの両方をカウント
token_count = len(encoding.encode(f"{msg['role']}: {msg['content']}"))
message_tokens.append((msg, token_count))
# 最新のメッセージから順に、制限内に収まるメッセージを選択
selected_messages = []
total_tokens = 0
for msg, tokens in reversed(message_tokens):
if total_tokens + tokens <= max_tokens:
selected_messages.insert(0, msg)
total_tokens += tokens
else:
break
return selected_messages, total_tokens
# 使用例
chat_history = [
{"role": "user", "content": "こんにちは"},
{"role": "assistant", "content": "こんにちは！何かお手伝いできることはありますか？"},
{"role": "user", "content": "Pythonについて教えてください"},
# ... 多くのメッセージ
]
managed_history, token_count = manage_chat_history(chat_history, max_tokens=1000)
print(f"管理後のメッセージ数: {len(managed_history)}")
print(f"合計トークン数: {token_count}")
4. 日本語と英語のトークン効率比較
def compare_language_efficiency(japanese_text, english_text, model="gpt-4"):
"""
日本語と英語のトークン効率を比較
"""
encoding = tiktoken.encoding_for_model(model)
jp_tokens = encoding.encode(japanese_text)
en_tokens = encoding.encode(english_text)
jp_chars_per_token = len(japanese_text) / len(jp_tokens)
en_chars_per_token = len(english_text) / len(en_tokens)
print(f"日本語テキスト:")
print(f" 文字数: {len(japanese_text)}")
print(f" トークン数: {len(jp_tokens)}")
print(f" 文字/トークン: {jp_chars_per_token:.2f}")
print(f"\n英語テキスト:")
print(f" 文字数: {len(english_text)}")
print(f" トークン数: {len(en_tokens)}")
print(f" 文字/トークン: {en_chars_per_token:.2f}")
# 使用例
jp_text = "人工知能は私たちの生活を大きく変えています。"
en_text = "Artificial intelligence is significantly changing our lives."
compare_language_efficiency(jp_text, en_text)
応用例：RAGシステムでの活用
class TokenAwareRAG:
"""トークン数を考慮したRAGシステム"""
def __init__(self, model="gpt-4", context_token_limit=3000):
self.model = model
self.encoding = tiktoken.encoding_for_model(model)
self.context_token_limit = context_token_limit
def create_context(self, query, retrieved_documents):
"""
検索結果からトークン制限内でコンテキストを作成
"""
query_tokens = len(self.encoding.encode(query))
remaining_tokens = self.context_token_limit - query_tokens - 100 # 余裕を持たせる
context_parts = []
current_tokens = 0
for doc in retrieved_documents:
doc_text = f"[文書]: {doc['content']}\n"
doc_tokens = len(self.encoding.encode(doc_text))
if current_tokens + doc_tokens <= remaining_tokens:
context_parts.append(doc_text)
current_tokens += doc_tokens
else:
# 部分的に追加できる場合
available_tokens = remaining_tokens - current_tokens
if available_tokens > 50: # 最低50トークンは確保
truncated = self._truncate_to_tokens(doc_text, available_tokens)
context_parts.append(truncated)
break
return "\n".join(context_parts), current_tokens
def _truncate_to_tokens(self, text, max_tokens):
"""テキストを指定トークン数に切り詰め"""
tokens = self.encoding.encode(text)
if len(tokens) <= max_tokens:
return text
return self.encoding.decode(tokens[:max_tokens])
# 使用例
rag = TokenAwareRAG()
documents = [
{"content": "長い文書1の内容..."},
{"content": "長い文書2の内容..."},
{"content": "長い文書3の内容..."},
]
context, token_count = rag.create_context("質問テキスト", documents)
print(f"コンテキストのトークン数: {token_count}")
各モデルのエンコーディング
# 利用可能なエンコーディング一覧
print("利用可能なエンコーディング:")
for encoding_name in tiktoken.list_encoding_names():
print(f" - {encoding_name}")
# モデルごとの対応
model_encodings = {
"gpt-4": "cl100k_base",
"gpt-3.5-turbo": "cl100k_base",
"text-embedding-ada-002": "cl100k_base",
"gpt-2": "gpt2",
}
# 特定のエンコーディングを直接使用
encoding = tiktoken.get_encoding("cl100k_base")
パフォーマンスのヒント
1. エンコーディングの再利用
# ❌ 非効率：毎回エンコーディングを作成
def count_tokens_slow(texts):
counts = []
for text in texts:
encoding = tiktoken.encoding_for_model("gpt-4") # 毎回作成
counts.append(len(encoding.encode(text)))
return counts
# ✅ 効率的：エンコーディングを再利用
def count_tokens_fast(texts):
encoding = tiktoken.encoding_for_model("gpt-4") # 一度だけ作成
counts = []
for text in texts:
counts.append(len(encoding.encode(text)))
return counts
2. バッチ処理
# 複数のテキストを効率的に処理
def batch_tokenize(texts, model="gpt-4"):
encoding = tiktoken.encoding_for_model(model)
results = []
for text in texts:
tokens = encoding.encode(text)
results.append({
"text": text[:50] + "..." if len(text) > 50 else text,
"token_count": len(tokens),
"estimated_cost": (len(tokens) / 1000) * 0.03 # GPT-4の例
})
return results
まとめ
tiktokenは、OpenAI APIを使用する際のトークン管理に欠かせないツールです。主な活用場面：
- コスト管理: API使用前に料金を正確に見積もり
- 制限対応: モデルのトークン制限に合わせてテキストを調整
- 最適化: トークン効率を考慮したプロンプト設計
- 監視: トークン使用量の追跡とレポート
特にRAGシステムやチャットボットなど、大量のテキストを扱うアプリケーションでは、tiktokenを活用することで、パフォーマンスとコストの両面で大きな改善が期待できます。