こちらのブログで発表しています。
冒頭を翻訳します。
DatabricksでLlama 3.1シリーズのモデルをリリースし、パワフルなオープンモデルの標準を前進させるためのMetaとのパートナーシップに興奮しています。Llama 3.1によって、企業は品質に対するオーナーシップやカスタマイズ性を犠牲にすることなしに、最高品質の生成AIアプリを構築することができます。Databricksにおいては、オープンな言語モデルによるイノベーションの加速とより安全なシステムの構築に対するコミットメントをMetaと共有しており、Day1から新たなモデルのスイートを企業の皆様が利用できるようにすることに興奮を覚えています。
DatabricksにLlama 3.1をインテグレーションしており、お客様がそれを用いて自身のアプリケーションを容易に構築できるようにしています。本日からDatabricksのお客様は、Llama 3.1モデルをサービング、ファインチューニングし、Retrieval Augmented Generation (RAG)やエージェントシステムに接続し、自身のユースケースのための合成データを容易に生成し、スケーラブルな評価のためにモデルを活用するためにMosaic AIを活用することができます。これらに機能によって、企業はプロダクション規模の生成AIアプリケーションを構築するために、最高品質のオープンソースモデルと、自身のユニークな企業データを完全に活用できるようになります。
こちらにあるように、いくつかの方法でLlama 3.1ファミリーのモデルを利用できますが、AWS日本リージョンでは、現時点ではFoundation Models APIが利用できないため、Unity Catalogで公開されているモデルを使う形になります。
カタログエクスプローラでsystem.aiを確認すると、Llama 3.1ファミリーのモデルを確認できます。
こちらをGPUのモデルサービングエンドポイントにデプロイします。
しばらく待つとエンドポイントがreadyになります。
エンドポイントにクエリーしてみます。
繰り返しが発生していますが、とりあえず動きました。
AWS東京リージョンでは利用できますので、いろいろ試してみてください！