OpenELM を簡単に動作させてみる

目的

apple の言語モデルが公開された.
ただ sample を動作させ雰囲気を見る.

machine spec

• mac
  • m1
  • mem: 16GB
• mac
  • i9
  • mem: 32GB
• linux
  • ryzen 1700
  • gpu: gtx 1080, 8GB

動作所管

• m1 mac での処理時間はそこそこかかる.
  • OpenELM-270M-Instruct: 約10秒
  • OpenELM-450M-Instruct: 約20秒
• intel mac
  • 上記の倍の処理時間
• linux with 1080
  • 約4~7秒
  • 270, 450M, 1B model とも数秒で返る
    • 文章量と所要時間を鑑みると十分な速度と思える
  • 3B model では memory 不足で動作しない

m3, nvidia の高容量memory を積んでいれば高速かつ, 大規模モデルも快適に動かせそう

動作結果 sample SS

使い所

• 現状では, open AI などの api は料金や情報の精査が必用となる
• local や closed で動作できるなら, 上記の制約から開放されるので嬉しい

setup

hugging face アカウントを作成， token 作成

以下, アカウント作成の流れがわかる記事
https://zenn.dev/protoout/articles/73-hugging-face-setup

llama の使用申請

• 末尾の申請フォームより
• 1~2時間程度で許可された

install git lfs

brew install git-lfs

clone repo

git clone https://huggingface.co/apple/OpenELM
cd OpenELM

setup

https://huggingface.co/apple/OpenELM#setup
上記内容を実行し、各種 install を行う

動作確認

prompt='Write a story about Richard Phillips Feynman'


python generate_openelm.py \
    --model apple/OpenELM-270M-Instruct \
    --hf_access_token hf_xxxxxx \
    --prompt "${prompt}" \
    --generate_kwargs repetition_penalty=3.2


python generate_openelm.py \
    --model apple/OpenELM-450M-Instruct \
    --hf_access_token hf_xxxxxxxxxxxx \
    --prompt "${prompt}" \
    --generate_kwargs repetition_penalty=3.2


python generate_openelm.py \
    --model apple/OpenELM-1_1B \
    --hf_access_token hf_xxxxxxxxxxxxx \
    --prompt "${prompt}" \
    --generate_kwargs repetition_penalty=3.2


python generate_openelm.py \
    --model apple/OpenELM-3B-Instruct \
    --hf_access_token hf_xxxxxxxxxxxxxxxxx \
    --prompt "${prompt}" \
    --generate_kwargs repetition_penalty=3.2

• access token を書き換える
• 動作すると、何らかの文章が出力される
• model size を変更すると、精度が上がるが処理能力がだいぶ必要となる
  • 線形に増加するだけなら良いが, 実メモリが必要になる