初めに

こんばんは
Akira_0809です、
ぼんやりと過ごしていたらAnthropicが発表していたので寝ないで書きます、

時間が無い人向け

Claude 3 Opusと競合モデルを幅広い評価で凌駕し、Opusよりも2倍速く、ビジョン機能でも大幅に進化したモデル

また、Artifactsという機能が追加された
コードスニペット、テキストドキュメント、ウェブサイトデザインなどのコンテンツを表示するウィンドウ

今年の後半にOpusとHaikuの3.5が出る予定

評価

テキスト

上から

GPQA （大学院レベルの推論能力）
MMLU （学部レベルの知識）
HumanEval （Pythonコーディングタスク）
MGSM （多言語数学問題解決）
DROP （テキストの推論）
BIG-Bench-Hard （複雑な推論タスク）
MATH （数学的問題解決）
GSM8K （小学校レベルの数学）

GPQAにおいては5-shot CoT GPQA maj@32において67.2%のスコアを記録しています。

maj@32は32の結果を集計して最終評価を行ってます

MMLUにおいては5-shotでの評価でGPT-4oに並んでいます

MATHにおいてはGPT-4oに敗北しています

ビジョン

上から

Math Vista （視覚的数学推論）
AI2D （科学図の理解）
MMMU （視覚的質問応答）
Relaxed accuracy （チャートに関する質問応答）
ANLS （文書の質問応答）

MMMUの評価は僅差でGPT-4oの勝利となっています

コスト

Claude.aiとiOSアプリで無料で利用できます（割と制限早いかも）
課金していると高いレート制限になります

API

Anthropic API
Amazon Bedrock
Google Cloud Vertex AI

Bedrockはなんかエラー出たけど、、

値段

Claude 3 Sonnetと同じ値段ですね

入力トークン	出力トークン
100万個	100万個
$3	$15

安全とプライバシー

レッドチームによる評価ではASL-2となっています

ASL-2とは現在のClaudeモデルと同じ
詳しく知りたい方は下を読んでね

ASL-1 refers to systems which pose no meaningful catastrophic risk, for example a 2018 LLM or an AI system that only plays chess.

ASL-2 refers to systems that show early signs of dangerous capabilities – for example ability to give instructions on how to build bioweapons – but where the information is not yet useful due to insufficient reliability or not providing information that e.g. a search engine couldn’t. Current LLMs, including Claude, appear to be ASL-2.

ASL-3 refers to systems that substantially increase the risk of catastrophic misuse compared to non-AI baselines (e.g. search engines or textbooks) OR that show low-level autonomous capabilities.

ASL-4 and higher (ASL-5+) is not yet defined as it is too far from present systems, but will likely involve qualitative escalations in catastrophic misuse potential and autonomy.

また、外部の専門家であるイギリスの人工知能安全研究所(UKAISI)での評価もされています

Artfacts

少し本題とはずれますが今回追加された新機能です

コードスニペット、テキストドキュメント、ウェブサイトデザインなどのコンテストを提供するウィンドウです
リアルタイムでの表示によりClaudeの生成物を確認、編集、構築することが出来ます

オンにするには

右上の自分のアイコンをクリック
Feature Previewをクリック
オンにする

他のモデルについて

Claude 3 OpusとClaude 3 Haikuについては今年の後半にリリース予定です
また、ChatGPTのメモリー機能のようなものも開発しているようです

最後に

同じ値段で使えるのヤバ過ぎOpusの存在価値が消えた、、
OpusとHaikuも楽しみです！
GPT-5も早く出ないかなー