[watsonx.ai] Granite-3.1-8B-Instructのご紹介

2024年12月にリリースされた、IBMのGraniteファミリー最新モデル「Granite-3.1-8B-Instruct」がIBM watsonx.ai上で利用可能になりました。本記事では、本モデルの概要や特徴、導入手順、前バージョンである「Granite-3-8b-instruct」との比較などをまとめます。

高い長文処理能力や多言語対応、強化された命令(インストラクション)応答など、ビジネスでの活用範囲がさらに広がった本モデルの魅力をお伝えします。

---

Granite-3.1-8B-Instructの主な特徴

• 8Bパラメータ規模: 前バージョンと同程度のモデル規模ながら、データやチューニング手法を強化
• 長文コンテキスト処理対応: 最大128Kトークンを扱え、長大なドキュメントや会議記録の一括解析に最適
• 多言語対応の高度化: 英語・日本語を含む12言語サポートで、国際的なビジネスや研究環境でも活用可能
• 命令追従性能の向上: インストラクションチューニングや強化学習を用いたモデルアライメントにより、より的確な応答が期待
• RAG・関数呼び出しタスクへの対応: 情報検索強化や外部ツール呼び出しなど、高度な業務フロー統合が可能
• オープンライセンス（Apache 2.0）: 商用利用にも適したライセンス形態

---

前バージョン(Granite-3-8b-instruct)からの進化点

「Granite-3-8b-instruct」は既に4,096トークン程度のコンテキストや多言語対応を提供していましたが、「Granite-3.1-8B-Instruct」では128Kトークン対応や命令追従性能の強化など、より実用的でスケーラブルなモデルとなりました。

これにより、長文資料の要約や複雑な指示への応答精度が大幅に向上し、ビジネス・研究開発・コンサルティングなど、さまざまな場面で効率的な作業支援が可能です。

---

導入方法

watsonx.ai上での利用

watsonx.aiユーザーは、以下のリンクから「Granite-3.1-8B-Instruct」をご利用いただけます。

Granite-3-8b-instruct on watsonx.ai
※ 上記リンクは既存「Granite-3-8b-instruct」のサンプルですが、watsonx.aiプラットフォーム上では「Granite-3.1-8B-Instruct」も同様に利用開始となります。

モデル一覧から最新モデルを選択し、UI上またはAPI経由での推論・アプリケーション統合が可能です。

Python環境での利用例

ローカルまたはクラウド上のPython実行環境で、Hugging Face Transformersを用いて推論する場合のサンプルです。

pip install torch torchvision torchaudio
pip install accelerate
pip install transformers

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

device = "auto"
model_path = "ibm-granite/granite-3.1-8b-instruct"
tokenizer = AutoTokenizer.from_pretrained(model_path)
model = AutoModelForCausalLM.from_pretrained(model_path, device_map=device)
model.eval()

chat = [
    { "role": "user", "content": "Please list one IBM Research laboratory located in the United States. You should only output its name and location." },
]

chat = tokenizer.apply_chat_template(chat, tokenize=False, add_generation_prompt=True)
input_tokens = tokenizer(chat, return_tensors="pt").to(device)

output = model.generate(**input_tokens, max_new_tokens=100)
result = tokenizer.batch_decode(output)
print(result)

これにより、IBM Researchの米国内ラボについての簡潔な回答が得られます。ユーザーのドメイン固有の指示や、RAGとの組み合わせにより、ドキュメント検索・要約・翻訳・関数呼び出しなどのユースケースに展開可能です。

---

まとめ

Granite-3.1-8B-Instructは、前身のGranite-3-8b-instructよりも長文対応能力や命令追従精度、RAG・関数呼び出し機能などが強化されており、より実用的な大規模言語モデルへと進化しています。

多言語対応や128Kトークンのコンテキスト処理により、巨大なテキスト資源を扱うビジネス上の課題解決に貢献します。
watsonx.aiプラットフォーム上で今すぐ利用可能です。