まずは公開されているgithubからソースをcloneする
git clone https://github.com/openai/gpt-2.git
次にgiutilをインストール(すでにインストールされている人は次へ進む
https://cloud.google.com/storage/docs/gsutil_install?hl=ja
ここからダウンロードしインストールする
※だいたい10分くらい？
gsutilで対象のモデルなどをダウンロード
download_model.shを実行
※gitに公開されているデータはbashで記載されているがwindowsでも可能
＜Windowsの場合＞
まずディレクトリの作成
mkdir models
mkdir models\117M
各ファイルをダウンロード
・checkpoint
gsutil cp gs://gpt-2/models/117M/checkpoint models/117M/checkpoint
・encoder.json
gsutil cp gs://gpt-2/models/117M/encoder.json models/117M/encoder.json
・hparams.json
gsutil cp gs://gpt-2/models/117M/hparams.json models/117M/hparams.json
・model.ckpt.data-00000-of-00001
gsutil cp gs://gpt-2/models/117M/model.ckpt.data-00000-of-00001 models/117M/model.ckpt.data-00000-of-00001
・model.ckpt.index
gsutil cp gs://gpt-2/models/117M/model.ckpt.index models/117M/model.ckpt.index
・model.ckpt.meta
gsutil cp gs://gpt-2/models/117M/model.ckpt.meta models/117M/model.ckpt.meta
・vocab.bpe
gsutil cp gs://gpt-2/models/117M/vocab.bpe models/117M/vocab.bpe
pipで必要なモジュールをダウンロード
pip install -r requirements.txt
※tensorflowのバージョンによってはエラーが生じる(v1.8.0ではエラーが発生した)
重要
これ以降の処理はまだ確認できていないため、各自gitを参考にしながら進めていただきたい。
参考サイト
まるで本当みたいな フェイクニュース を書き出すAI「GPT-2」MITが開発。簡易版と論文を公開
・https://japanese.engadget.com/2019/02/15/ai-gpt-2-mit/
Code
・https://github.com/openai/gpt-2