flexGenをGoogle Colaboratoryで動かしてみる

FlexGenをGoogle Colaboratoryで動かして、ChatGPTライクな大規模言語モデルで遊ぶ
FlexGen GitHub

インストール手順

Googleドライブのマウント

from google.colab import drive
drive.mount("/content/drive")

作業ディレクトリの作成と移動

import os
os.makedirs("/content/drive/MyDrive/work/FlexGen", exist_ok=True)

%cd /content/drive/MyDrive/work/FlexGen/FlexGen/
%pwd

Githubからレポジトリのクローンとインストール

!git clone https://github.com/FMInference/FlexGen.git
!pip install -e .

さぁ、チャットの開始だ・・・と思ったらchatbot.pyが無い。
色々な人の記事を見ると２月中旬くらいまでは存在していたらしい。
実際に2月22のGithubを確認すると存在する。
これを自前で今の環境に合うように設定するのか・・・

上のファイルを（LicenceやReadmeが置いてある）FlexGenフォルダに置いて
chatbot.pyの5行目と14行目のEnvをExecutionEnvに変えれば実行できました。

めも

pip installした時のWARNING

WARNING: Running pip as the 'root' user can result in broken permissions and conflicting behaviour with the system package manager. It is recommended to use a virtual environment instead: https://pip.pypa.io/warnings/venv