Claude 3.5 Sonnetが出現!?
Anthropic社の生成AIモデル「Claude」の最新版、Claude 3.5 Sonnetが登場しました。
有名なOpenAI社の最新モデル「GPT-4o」を上回る性能が計測されているようです。
Claude 3.5の特徴
もともと旧世代のClaude 3には性能順に、Opus > Sonnet > Haikuの3つのモデルラインナップがありました。今回はバージョンアップ版のClaude 3.5のうち、中位モデルのSonnetのみが先行リリースされています。
（画像：Anthropic公式サイトより引用）
旧世代の最高性能だったClaude 3 Opusや、他社の最新LLMとの比較が以下です。
- Claude 3 Opusと比べてスピードが2倍に
- 料金はClaude 3 Sonnetと同等（つまりOpusの5分の１）
- 複数のベンチマークで競合LLMと同等か上回る高いスコア
（画像：Anthropic公式サイトより引用）
マルチモーダルの入力に対応している点は変わらず、画像認識のベンチマークでも概ね業界トップのスコアです。
（画像：Anthropic公式サイトより引用）
また、これだけ性能が向上しても、Anthropicのウリである「安全性」についてもClaude 3の水準を保っているとのこと。
新機能「アーティファクト」
モデルのバージョンとは別に、Claudeの公式Webアプリ「Claude.ai」の新機能としてアーティファクトなるものが登場しました。
Experimental Feature（実験的な機能）の設定としてアーティファクトを有効にすると、Claudeに生成を依頼したコンテンツを画面の右側に表示してくれます。
これまでのチャットのUIから変貌し、まるでClaudeと一緒に成果物を作成するような体験を実現しています。
どうやって使えるの？
Claudeの公式Webアプリ「Claude.ai」から今すぐ無料で利用可能です。チャット送信時にモデルから「Claude 3.5 Sonnet」を選択します。前述のアーティファクトも有効にすることが可能です。
iOS版アプリでも使えます。
また、Claude 3.5 SonnetのClaude公式API経由で利用することもできます。
クラウド経由では、AWS（Amazon Bedrock）とGoogle Cloud（Vertex AI）から利用可能とのこと。
AWSのBedrockで試したところ、バージニア北部リージョンでモデルアクセスから有効化して利用できます。（リリース直後はエラーでしたが、日本時間6/21 1:30頃に利用可能となっていました）
Amazon Bedrockで使ってみる
GUI（AWSマネジメントコンソール）
API（Python SDK）
Claude 3.5 SonnetのモデルIDは anthropic.claude-3-5-sonnet-20240620-v1:0 です。
サンプルコードは以下。
# Python外部ライブラリをインポート
import json
import boto3
# Bedrockクライアントを作成
bedrock = boto3.client("bedrock-runtime")
# リクエストボディを定義
body = json.dumps(
{
"anthropic_version": "bedrock-2023-05-31",
"max_tokens": 1000,
"messages": [
{
"role": "user",
"content": "Bedrockってどういう意味？",
}
],
}
)
# モデルを定義（Claude 3.5 Sonnet）
modelId = "anthropic.claude-3-5-sonnet-20240620-v1:0"
# HTTPヘッダーを定義
accept = "application/json"
contentType = "application/json"
# レスポンスを定義
response = bedrock.invoke_model(
body=body, modelId=modelId, accept=accept, contentType=contentType
)
response_body = json.loads(response.get("body").read())
answer = response_body["content"][0]["text"]
# 生成されたテキストをコンソールに表示
print(answer)
出力例
なお、LangChainのAWS専用パッケージを使うと、ストリーミング出力も簡単に書けます。
サンプルコードは以下。
from langchain_aws import ChatBedrock
from langchain_core.messages import HumanMessage
chat = ChatBedrock(model_id="anthropic.claude-3-5-sonnet-20240620-v1:0")
messages = [HumanMessage(content="春の俳句を詠んで")]
for chunk in chat.stream(messages):
print(chunk.content, end="", flush=True)
print()
日本語の賢さをテスト
LLMの日本語性能を計る際、SNSの一部で人気の手法として「ﾌｫｶﾇﾎﾟｩ1テスト」があります。Claude 3 Opusはこれをクリアしていましたが、3.5 SonnetはNGでした。日本語のテキスト生成品質は慎重に検証していく必要がありそうです。
Coming soon...
今回はSonnetのリリースでしたが、上位モデル「Opus」と高速安価モデル「Haiku」も近日提供とのことです。最上位のClaude 3.5 Opusは一体どんな高性能を見せてくれるのか、今からワクワクしますね！
おまけ
AWSの生成AIサービス「Amazon Bedrock」の入門書を6/26（水）に出版します。Claudeの基本的な使い方はもちろん、RAGやエージェントなどの便利な機能を使いこなせるよう、やさしいハンズオン付きで分かりやすく解説しています！