Meta Llama 3の登場！業界をリードする最新AIモデル

Metaから「Meta Llama 3」がリリースされました。
なかなか凄そうなのですが、まとまった情報が日本語で無さそうなのでまとめてみます。

とりあえず試したい方用

特徴

利用可能なプラットフォーム

Llama 3は、AWS、Google Cloud、Microsoft Azure、NVIDIA NIMなどの主要なクラウドプラットフォームに加え、Hugging FaceやKaggleなどのプラットフォームで利用可能になる予定。

Claude 3 Sonnet・Gemini Pro 1.5を上回るスコア

出典

ほとんどの部分でClaude 3 Sonnet・Gemini Pro 1.5を上回るスコアを出しています。
ただ、Claude 3にはSonnetより上のOpusもおり、こちらのスコアよりは低め。
改めてClaude 3 Opus凄いな・・・。

出典

パラメータサイズ

Llama 3は、8B（80億パラメータ）と70B（700億パラメータ）のモデルを提供し、非常に幅広いユースケースに対応しているとのこと。

推論とコード生成の改善

Llama 3は、推論能力とコード生成能力を大幅に向上させており、より複雑な指示に応じて動作する能力がある。

多言語・マルチモーダル対応の計画

将来的には、多言語対応や画像とテキストを組み合わせたマルチモーダルなモデルを提供予定とのこと。

モデルアーキテクチャ

標準的なデコーダのみのトランスフォーマーアーキテクチャを使用し、新しいトークナイザーやself-attentionを採用して効率と性能を向上させている。
デコーダのみにすることで、入力データから直接的にテキストを生成する際の効率が向上するようです。

トレーニングデータ

公開されているソースから集められた15T（15兆トークン）以上のデータセットで訓練されており、その規模と質は前世代のモデルを大きく上回っている。

スケーリングと効率性

新しいスケーリング法則に基づいて訓練が行われ、大規模なGPUクラスタを使用することで訓練効率が大幅に向上。
カスタムビルドされた24K GPUクラスタを使用して訓練しているとのことで、想像できないようなリソースの投資が行われていることがわかります。

Building with Llama 3: 開発者向けのフレームワークとツール

Llama Guard 2

最新のセキュリティ要件に対応したモデルのセーフティを強化するツールで、プロンプトとレスポンスの安全性を向上。

Code Shield

コード生成の際に不安全なコードをフィルタリングすることで、より安全な使用が可能になるガードレール機能。

CyberSec Eval 2

セキュリティ評価ツールを使用して、モデルのセキュリティリスクを評価し、適切な対策を講じることができる。

torchtune

PyTorchネイティブのライブラリで、LLMのファインチューニングや実験が容易になります。このライブラリはメモリ効率が高く、様々なプラットフォームと統合されている。

まとめ

広範なプラットフォームへの対応や、推論性能の向上、セキュリティと安全性を考慮した新しいツールの提供は、大きなメリットになりそう。
Meta AIで利用できるとのことですが、日本ではまだMeta AIが利用できないので、Meta AIが早く利用できるようになるといいのですが・・・。
AWS Bedrockで利用できるようになったら色々と試してみたいですね。