google/gemma-2-2b-jpn-it

2024年10月3日に発表された日本語版Gemma 2 2B

日本語版 Gemma 2 2Bは、自社評価において、 GPT-3.5 を上回るパフォーマンスを発揮し、モバイル端末での高速でスムーズな処理能力や日英両言語における高い品質を維持しています。この結果は、モデルのサイズを考慮すると、Gemma モデルが英語以外の言語でも高い性能を発揮できる可能性を示しています。

Google Colabにて実行

今回はGoogle Colabの環境を使用しGemmaを動かしてみます。

Hugging Faceのアカウントが必要です。
アカウントをお持ちでない場合は、事前に登録してください。

最初にTransformers libraryをインストールします。

!pip install -U transformers

そしてhuggingfaceの設定を忘れずにしましょう。

!huggingface-cli login

あとはサンプルコードにあるpythonのコードをコピペして実行するだけ

Running with the pipeline API

import torch
from transformers import pipeline

pipe = pipeline(
    "text-generation",
    model="google/gemma-2-2b-jpn-it",
    model_kwargs={"torch_dtype": torch.bfloat16},
    device="cuda",  # replace with "mps" to run on a Mac device
)

messages = [
    {"role": "user", "content": "UEFAチャンピオンズリーグについて教えてください"},
]

outputs = pipe(messages, return_full_text=False, max_new_tokens=256)
assistant_response = outputs[0]["generated_text"].strip()
print(assistant_response)

そして実行します。

結果はこちら

## UEFAチャンピオンズリーグについて

UEFAチャンピオンズリーグ（**UCL**）は、ヨーロッパのサッカーリーグの頂点である、ヨーロッパのクラブチームによるサッカー大会です。

**特徴:**

* **世界的な注目度:**  世界中のサッカーファンから高い人気を誇り、テレビ視聴者数や試合のチケット販売数など、様々な指標で世界的な規模を誇ります。
* **強豪クラブの舞台:**  世界トップレベルのクラブチームが参加し、高いレベルの試合が展開されます。
* **歴史と伝統:**  1955年に始まり、長年続く歴史と伝統を持つ大会です。
* **賞金とタイトル:**  優勝チームには大きな賞金が贈られ、チームや選手のキャリアに大きな影響を与えるタイトルです。

**大会概要:**

* **参加チーム:**  ヨーロッパのクラブチームが参加します。
* **試合形式:**  グループリーグ、 knockout形式で試合が行われます。
* **優勝チーム:**  大会を通して勝ち進むチームが優勝者となり、UEFAチャンピオンズリーグのタイトルを獲得します。
* **大会期間:**  毎年夏に開催されます。

**魅力:**

* **世界トップレベルの試合:**  世界

とても簡単に実行して試すことができました。
ただ回答結果が途中で切れている気も...

max_new_tokens の値を倍の512に変更して再度実行してみます。

## UEFAチャンピオンズリーグについて

UEFAチャンピオンズリーグ（**UCL**）は、ヨーロッパのサッカーリーグの頂点である、ヨーロッパのクラブチームによるサッカー大会です。

**特徴:**

* **世界的な注目度:**  世界中のサッカーファンから高い人気を誇り、テレビ視聴者数や試合のチケット販売数など、様々な指標で世界的な規模を誇ります。
* **強豪クラブの舞台:**  世界トップレベルのクラブチームが参加し、高いレベルの試合が展開されます。
* **歴史と伝統:**  1955年に始まり、長年、ヨーロッパのサッカー界を牽引してきました。
* **賞金とタイトル:**  優勝チームには大きな賞金が贈られ、チームや選手のキャリアに大きな影響を与えるタイトルです。

**大会概要:**

* **参加チーム:**  ヨーロッパのクラブチームが参加し、グループリーグ、 knockoutステージを経て優勝チームが決まります。
* **開催地:**  毎年、異なるヨーロッパの都市で開催されます。
* **期間:**  毎年、9月から11月にかけて開催されます。
* **優勝チーム:**  UEFAチャンピオンズリーグの優勝チームは、UEFAヨーロッパリーグの優勝チームと同様に、ヨーロッパのサッカー界の頂点に位置します。

**魅力:**

* **世界トップレベルの試合:**  世界中のトップレベルの選手が参加し、高いレベルの試合が展開されます。
* **歴史と伝統:**  長年、ヨーロッパのサッカー界を牽引してきた大会であり、歴史と伝統を感じることができます。
* **賞金とタイトル:**  優勝チームには大きな賞金が贈られ、チームや選手のキャリアに大きな影響を与えるタイトルです。

無事に最後まで出力されました。

最後に

今回実行したのはこちらに記載があるサンプルコードをほぼそのままです。

非常に簡単に試すことができたGemma 2 2Bですが、
GPUが利用できない環境では、device="cuda" を device="cpu"、macの場合はdevice="mps"に変更すれば動作します。MacBook Proなどで仮想環境を構築し試してみるのもよいかもです。

関連書籍

大規模言語モデル入門