オープンモデル最強のLLM、Llama 3.1が登場！ AWSのBedrockから使ってみた

日本時間のけさ7/24未明、Meta社からオープンな生成AIモデルLlamaの最新版3.1シリーズがリリースされました。

Llama 3.1の特徴まとめ

• Llama 3に無かった405B（4,050億）という巨大なパラメーターのラインナップがある
• 対応言語は英語を含む8言語（日本語は含まれず）
• コンテキストウィンドウは128K
• ライセンス規約が変更され、条件付きで他社モデルの学習用途にも利用可能となった

Claude 3.5 SonnetやGPT-4oなど最先端の商用LLMと互角のベンチマーク結果を出しているとのこと。

詳細な評価を紹介した論文も同時に公開されています。

AWSからも利用可能！

AWSで生成AIモデルをサーバーレスに利用できるサービス「Amazon Bedrock」でも早速、Llama 3.1シリーズが利用可能となりました。

• オレゴンリージョンのみ対応
• 405Bモデルはプレビューの扱い（利用するにはサポートへ申請が必要）

これで、バージニア北部リージョン以外でのみ利用可能なモデルがClaude 3 Opus以外にも増えた形になりますね。Bedrockで利用可能なモデルは合計で35種類となりました 🎉

なお、405BモデルはSageMaker JumpStartであればすぐに試すことができます。

実際に触ってみた

いつの間にか、Meta公式からもWebチャットアプリが提供されていたようですが、まだ日本からは使えないようでした。

よって日本からLlama 3.1 405Bモデルをサクッと試したい場合はHuggingChatを利用するのが早そうです。スマホアプリもあり。

Llama 3と比べてすぐ分かる進化点として、プロンプトを頑張らなくても日本語で安定して回答してくれるようになっています。

Amazon Bedrockから使ってみる

まずはオレゴンリージョンでモデルを有効化します。

プレイグラウンドからすぐ利用できます。比較モードでLlama 3と並べてみると面白いです。

APIをPythonからも叩いてみましょう。色んなモデルを同じフォーマットで呼べるConverse APIのストリーミングモードを利用します。

converse.py

import boto3

client = boto3.client("bedrock-runtime", region_name="us-west-2")

streaming_response = client.converse_stream(
    modelId="meta.llama3-1-70b-instruct-v1:0",
    messages=[{"role": "user", "content": [{"text": "夏の俳句を詠んで"}]}],
)

for chunk in streaming_response["stream"]:
    if "contentBlockDelta" in chunk:
        text = chunk["contentBlockDelta"]["delta"]["text"]
        print(text, end="")

※LangChainの ChatBedrockConverse からは、まだ利用不可のようでした。

出力例

❯ python converse.py
夏の夜の月は
静かに輝く星
夜の涼しさ

宣伝

Amazon Bedrockの入門書を出版しました。買ってね✌️