MLX で OpenELM を試してみる

目的

mlx を用いて OpenELM で text generation を動作させてみる

node

• mac
  • m1
  • mem: 16GB

mlx とは

apple シリコン上での機械学習研究のためのフレームワーク

• 参考記事
  • https://gigazine.net/news/20231207-apple-silicon-mlx-machine-learning/
• 公式 github
  • https://github.com/ml-explore/mlx
  • https://github.com/ml-explore/mlx-examples
    • ここを参考に色々試せる
• 要は
  • apple シリコンに最適化されていると解釈する
  • よくわからん

所管

• m1 macbook air, nvidia gpu 無しでの速度としては十分
  • 1B model も memory 16GB で動作した
• text 内容は判断を見送る
  • 使い方の問題もありそう
  • 素の1Bの状態では微妙に思えた
• mac studio 64G~128G などで, 高容量モデルを試してみたい所
  • 会社でも小規模なら耐えうるかもしれない

1B 8bit model の参考動作

使用できるモデルと how to use

install

注
環境が汚れているので, 以下だけでは setup が完成しない可能性もあります

pip install mlx-lm

sample code

test.py

from mlx_lm import load, generate

model, tokenizer = load("mlx-community/OpenELM-1_1B-8bit")

response = generate(
    model,
    tokenizer,
    prompt='please tell me about programming language ruby',
    verbose=True,
    max_tokens=512,
    temp=0.0,
    repetition_penalty=3.2,
)

run. 以下で上述の gif のように動作するはず

python test.py

余談: 3b model の壊れた出力

unk