はじめに
8月23日より、AWSでAnthropicの最新のAIであるclaude2が利用できる様になりました。
ちょっと触ってみた感じだと、レスポンスの性能もGPT4と比べても大きく性能が劣るということはなさそうな感触です。
Claude v2の特徴はなんといっても他のAIと桁違いのトークンサイズが読み込めること！です。（最大100k)
GPT4の場合、最大でも32kとなっており、GPT3.5のトークンは4kということを考えると32kでも十分大きいですが文書の要約や議事録の作成などのユースケースの場合、それでも足りないことがあります。この記事では、GPT4とClaude v2の比較をしてみたいと思います。
表でまとめてみた
GPT4の8k, 32k, Claude v2の3つを表にまとめてみました。
| モデル | GPT4(8k) | GPT4(32k) | Claude v2 |
|---|---|---|---|
| 最大トークン数（Input） | 8k(in/out合計） | 32k(in/out合計） | 100k |
| 最大トークン数（Output） | 8k(in/out合計） | 32k(in/out合計） | 4k |
| TPM | 40k,80k(in/out合計） | 40k,80k(in/out合計） | 10K(outのみ) |
| 料金(in) | $0.03 | $0.06 | $0.01102 |
| 料金(out) | $0.06 | $0.12 | $0.03268 |
| ストリームレスポンス | 可能 | 可能 | 可能 |
| 指定できる値 | Temperature,MaxLength,Top P | Temperature,MaxLength,Top P | GPTで指定できる項目＋Top K |
| APIからの利用など | 可能 | 可能 | 可能 |
| いつまでのデータを利用 | 2021年9月 | 2021年9月 | 2022年12月 |
| 占有インスタンスの構築 | 不可 | 不可 | 可能（ただし高額） |
主な違いについて解説
Claude v2とGPT4の大きな違いについて、以下で見ていきたいと思います。
トークンサイズ
- これが1番大きな違いだとも言えるのですが、GPT4は最大8kまたは32kのトークンであるのに対し、Claude v2は100kトークンのインプットを受け付けることができます。(アウトプットの最大トークンサイズは4k)これだと、例えば大きめのPDFや2時間程度の文字起こし情報などをまるっとインプットして、要約をしたり議事録作ったりといったことが比較的簡単にできます。
料金
- GPT4が扱えるGPT4-32kは、料金も高額です。inputのトークン料金はGPT4-32kと比べるとClaudeはなんと1/6程度の費用で利用できます。outputに関しても、1/4の金額となっており、同じトークン量であれば大体1/5の費用で利用ができるということになります。
TPM（1分あたりの利用可能トークン数）
- トークンは、GPT4のほうは2系の方でも80kが最大です。Claude v2のInputトークンの最大量について明示は無いのですが、アウトプットのトークンは1分間に10kが最大と言うように書かれていました。ただし、これはオンデマンドのインスタンスを利用した場合の制約になりますが、自分専用のインスタンスを立てておくもしであればこの上限を撤廃することができそうです。(ただしものすごく高額)
参考：https://www-files.anthropic.com/production/images/Model-Card-Claude-2.pdf?ref=maginative.com
指定できる値
- Claudeでは、GPTで指定できるtop PやTemperatureの値は全て指定できます。それに加えて、Top Kという値の指定が可能です。これは出力をするときにレスポンスがループしてしまうことに対するペナルティの重みづけという位置付けとなっており、この値を大きくすればするほどループしづらくなる様です。
Top K - Can be used to reduce repetitiveness of generated tokens. The higher the value, the stronger a penalty is applied to previously present tokens, proportional to how many times they have already appeared in the prompt or prior generation.
占有インスタンス
- Claudeでは、占有インスタンスを起動することも可能です。これを使うことで、他者の利用状況によってレスポンスが遅くなったりすることなくAIを利用することが可能となります。
以下が公開されている料金となっており、1ヶ月コミットをした場合でも1時間あたりの利用料が$63となります。
バッチ処理などでガンガン回したい場合は別ですが、通常の利用ケースだとあまりこれを利用することはなさそうです。。（$63ドルは1ヶ月あたりの料金ではないので注意してください）
どうやって使う？
利用にはAWSのアカウントが必要です。ログイン後、以下のURLにアクセスすることでAWS Bedrockというサービスにアクセスすることができます。BedrockはClaudeをはじめとするLLMを利用することができるサービスで、この中からClaude V2を選択することで利用開始することができます。
https://us-east-1.console.aws.amazon.com/bedrock/home?region=us-east-1#/
現在はまだ選ぶことができないのですが、Amazonの作ったTitanというLLMがあり、将来的にはこちらから選ぶことができる様になりそうです。Modelによって最大トークン数や性能、料金などが異なるため、いくつもの候補の中から用途にあったものを選択できるのは良いですね。（ここでOpenAIのモデルが選べたら・・・でもきっとそれはないですね）
Claude v2を利用するにはAnthropic > Claude v2の順にモデルを選択します。
UIはこの様になっていて、簡単に選択したモデルに対してリクエストを投げてそのレスポンスを確認することができます。
まとめ
ここまでみてきた通り、Claude v2はGPT4に比べて安価であり、また、トークンの最大数も大幅に強化されている点が大きく違うかと思います。もちろん性能についてみていく必要はあるかと思っていますが、文字起こし情報からの議事録の作成など一部のタスクは、GPT4を利用した時よりも良い結果が返って来る場合もありました。この辺りは別途検証結果をまとめた記事を書きたいと考えています。