Gemmaについて
Gemma は Google が開発した軽量なオープンモデルファミリーです。
Gemini との違い
Gemini は Google が開発したマルチモーダルな生成AIモデルです。
大きくは、 Gemini がマルチモーダルなのに対し、Gemma は基本としてはテキストに対応しています。その代わり Gemma は軽量でオープンソースとして使えるため、研究開発には向いています。
2024年12月時点の両者の比較になります。
| 特徴 | Gemma | Gemini |
|---|---|---|
| モデル | 軽量、オープンソース | 大規模、商用 |
| 利用用途 | 開発や研究など | 高度な研究やアプリケーション向け |
| サイズ | 2～27B | 1.56T |
| アクセス | 改変、再配布可能 | Google APIやGoogle Cloudで利用 |
| 互換性 | TensorFlow、PyTorch、JAXなど | Google独自のインフラ、ツールに対応 |
| チューニング | インストラクション・チューニング | 多くのリソースが必要 |
※"B"は10億(Billion)、"T"は1兆(trillion)
Llamaへの対抗
これはオープンソースな LLM として Mata 社の Llama と比較されることがあります。
パラメータ数や MMLU というベンチマークで Llama や Mistral を超えることが示されています。
ファミリーとは
Gemma にはファミリーモデルと呼ばれる派生モデルがあります。
1. PaliGemma：
視覚言語モデル(VML)。オートセグメンテーションなどができる
2. RecurrentGemma：
長い文章に対応したモデル。Griffin をベースにしている
3. DataGemma：
ハルシネーション対策を目的としたLLM。ナレッジとしてData Commons と連携している
4. CodeGemma：
コード生成に特化したLLM
日本語モデルを使うには
日本語のモデルは "jpn" が付いています。他にも韓国語などがあります。
リソースは HuggingFace が充実しています。
デプロイ方法は現在4パターンです。今回は Inference Endpoints について説明します。
Inference Endpoints
まずは HuggingFace の Access Token を取得しておきます。
先ほどモデルのページからdeploy→Inference Endpoint(dedicated)へと進みます。
このような画面からエンドポイントを使うのに必要な設定していきます。
- 決済情報：クレジットカード情報を入れます
- マシンの選択：AWSやAzureなどの計算リソースを選びます
他にもこまごました設定がありますが初めての場合はいじらなくて大丈夫です。
設定が終わると、Endpointの準備をします。
完了したら早速エンドポイントを使うことができます。
サンプルコード
# 取得したエンドポイント
API_URL = "https://XXXXXXXXXXXXXXXX.aws.endpoints.huggingface.cloud"
headers = {
"Accept" : "application/json",
"Authorization": "Bearer hf_XXXXXXXXXXXXXXXX", # HuggingFaceのアクセストークン
"Content-Type": "application/json"
}
def query(payload):
response = requests.post(API_URL, headers=headers, json=payload,verify=False )
return response.json()
おまけ： Kaggler は kaggle アカウントがあれば使える！
こちらの指示に従ってライセンスを取得します。
登録できると自由に Notebook で使うことができます。
Kaggle上に限らず、Google Colaboratory でも Kaggle のシークレットキーを設定すれば扱うことができます。
import os
from google.colab import userdata, drive
# vars as appropriate for your system.
os.environ["KAGGLE_USERNAME"] = userdata.get("KAGGLE_USERNAME")
os.environ["KAGGLE_KEY"] = userdata.get("KAGGLE_KEY")
