はじめに
LLMを用いた業務システム開発において、モデルの出力を構造化データ(JSONやXML)として受け取る設計は広く定着しています。しかし、JSONなどのフォーマットは元来人間や厳格なプログラミング言語のパーサー向けに設計されたものであり、LLMのトークン生成効率やコンテキストウィンドウの消費という観点においては必ずしも最適とは言えません。
この課題に対して提案されたのが、LLMの生成特性に特化した構造化表記法「LLMON(LLM-Native Markup Language)」です。IBMの「Granite 4.1(3B / 8B)」などのモデルで採用が進められており、生成トークン数の削減と構文崩れの軽減が期待されています。
本記事では、LLMONの基本概念と構造的特徴を整理した上で、transformersライブラリを用いてGranite 4.1からLLMON形式でデータを出力させ、Python環境で安全にパースする最小コード実装を解説します。
LLMONの設計思想とJSON/XMLとの比較
JSONが抱えるLLM生成上のボトルネック
LLMにJSON形式でデータを出力させる場合、以下のような制約と非効率が発生します。
-
トークン冗長性: 鍵名のダブルクォーテーション
"や構造を示すブラケット{}、カンマ,などの構文記号が大量のトークンを消費します。 - コンテキストの拘束: 大括弧や鍵のネストが深くなると、モデルが文脈を見失い構文エラー(閉じたタグの不一致やカンマの打ち忘れなど)を発生させやすくなります。
- エスケープ処理のオーバーヘッド: 文字列内の改行や特殊文字に対するエスケープが正しく生成されないリスクが常につきまといます。
LLMONによるアプローチ
LLMONは、LLMが解釈しやすく生成トークンを最小限に抑えることを目的に設計されたマークアップ記法です。
- 最小限のメタ記号: エスケープ処理や冗長な引用符を排し、構造を定義するためのメタ文字を最小化。
- トポロジカルなパース容易性: キー・バリューおよびネスト構造を少数記号(インデントや軽量セパレータ)で表現し、LLMが次のトークンを予測しやすいトークン列を形成。
- 単一トークン化の効率: トークナイザの語彙集(Vocabulary)において単一トークンとして処理されやすい表現パターンを採用。
Granite 4.1(3Bおよび8Bモデル)では、事前学習やファインチューニングの段階からこの表現形式が考慮されており、比較的小規模なパラメータモデルでありながら高い構造化出力能力を発揮します。
実装チュートリアル:Granite 4.1とLLMONによる構造化データ抽出
ここでは、Hugging Faceのtransformersを用いてGranite 4.1モデルをロードし、LLMON形式の出力を生成させてPython辞書型に変換する一連の実装を示します。
※ 前提ライブラリのセットアップ:
pip install transformers torch
1. プロンプト構成と出力生成
LLMON形式での出力をシステム指示で指定し、テキストから要素を抽出します。
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
# モデルとトークナイザーの準備
# 注: IBM Granite 4.1 シリーズの利用を想定
model_id = "ibm-granite/granite-4.1-8b-instruct"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
model_id,
torch_dtype=torch.bfloat16,
device_map="auto"
)
# 抽出対象テキスト
input_text = """
株式会社テックイノベーションは、2026年10月にAI事業部を設立しました。
事業部長には山田太郎氏が就任し、年間予算として2億5000万円が割り当てられています。
主なプロジェクトは「検索拡張生成システムの最適化」および「オンデバイスモデルの開発」です。
"""
# LLMON形式を指定するプロンプト構成
system_prompt = "You are a precise data extraction assistant. Output the result in LLMON format."
user_prompt = f"Extract company, division, head, budget, and projects from the following text:\n{input_text}"
messages = [
{"role": "system", "content": system_prompt},
{"role": "user", "content": user_prompt}
]
prompt = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
outputs = model.generate(
**inputs,
max_new_tokens=256,
temperature=0.1, # 構造の崩れを防ぐため低めで設定
do_sample=False
)
generated_text = tokenizer.decode(outputs[0][inputs.input_ids.shape[1]:], skip_special_tokens=True)
print("--- Raw LLMON Output ---")
print(generated_text)
2. LLMON出力のパース処理
生成されたLLMON表記を解釈し、Pythonのオブジェクト(dict)へ変換する簡易パーサーを実装します。
def parse_llmon(llmon_str: str) -> dict:
"""
LLMON形式のテキストをPython辞書に変換する処理例。
キー・バリューおよびリスト構文の解釈を行う。
"""
result = {}
lines = llmon_str.strip().split('\n')
current_key = None
for line in lines:
line_str = line.strip()
if not line_str or line_str.startswith('#'):
continue
# キー: 値 の記法をハンドリング
if ':' in line_str and not line_str.startswith('-'):
key, val = line_str.split(':', 1)
key = key.strip()
val = val.strip()
if val == '' or val.startswith('['):
current_key = key
result[current_key] = [] if val.startswith('[') else {}
else:
result[key] = val
current_key = key
elif line_str.startswith('- ') and current_key:
# リスト要素の追加
item = line_str[2:].strip()
if isinstance(result.get(current_key), list):
result[current_key].append(item)
return result
# パースの実行
try:
parsed_data = parse_llmon(generated_text)
print("\n--- Parsed Python Dict ---")
print(parsed_data)
except Exception as e:
print(f"Parsing failed: {e}")
システム組み込みにおけるトレードオフと運用設計
プロダクション環境でLLMONを採用する場合、従来のJSON形式と比較して以下のトレードオフを評価する必要があります。
1. トークン効率とレイテンシの向上
JSON構文で消費されていた固定メタトークンが削減されるため、出力トークン数が削減されます。生成トークン数の減少は、ファーストトークン以降の生成時間(Time Per Output Token)の短縮に直結し、API呼び出しコストや推論サーバーの負荷を直接的に軽減します。
2. 既存エコシステムとの互換性
-
スキーマ検証の独立性:
PydanticやJSON Schemaを用いた直接的な入力バリデーションは利用できません。LLMONを受け取った後、一度アプリケーション層で中間オブジェクトまたはJSONへ変換した上でバリデーションを行う必要があります。 -
汎用パーサー依存: 標準ライブラリ(
json.loadsなど)で即座に処理できないため、パーサーの堅牢性がシステム全体の信頼性に影響を与えます。
3. ガードレールおよびリトライ戦略
LLMONの出力精度を高めるためには、以下のいずれかの対策を組み合わせることが推奨されます。
- Structured Outputs / Grammar-based Decoding: vLLMやOutlinesなどの推論エンジンを用い、LLMONの文法定義(EBNF)に沿って生成トークンを制約する。
- フォールバック処理: パーサーが構文エラーを出力した場合に、プロンプトにエラー内容を含めて再生成(Retry)を行う自己修正ループを組む。
まとめ
IBM Granite 4.1でサポートされたLLMONは、人間向けのデータ表現から「LLMの計算効率に特化した表現」へのシフトを示す事例の一つです。
- 適用に適した用途: 大規模な抽出処理を短遅延・低コストで行いたいバックエンド処理や、軽量モデル(3B/8Bクラス)をエッジ環境で運用するケース。
- 慎重な検討が必要な用途: 既存のJSON Schemaパイプラインに依存しており、変換層の追加コストを許容できないシステム。
モデルの物理的な特性に合わせたフォーマット選定を行うことで、LLMアプリケーションのパフォーマンスとコスト効率をさらに引き上げることが可能になります。詳細な仕様や最新のアップデートについては、Hugging Face公式ブログの解説記事( https://huggingface.co/blog/ibm-granite/llmon-an-llm-native-markup-language-now-in-granite )を参照してください。
参考リンク
この記事は生成AI(Gemini)の支援を受けて自動生成しています。コード例は実行確認していない場合があります。誤りにお気づきの際はコメントでお知らせください。