非エンジニア向けChat GPTを一気に大量に回すバッチ処理を行う方法

正確には「Chat GPT」ではなく、「OpenAI APIのGPTモデル」です。

はじめに

アノテーション、テキストラベリング、その他同じようなタスクで大量にGPTの処理が必要なとき、 バッチ処理 を使うと使用料が約半額になり、手間なくできます。

この手順を、僕の自作アプリの使い方を含めてまとめます。

手順

1. プロンプトを用意する。

SystemプロンプトとUserプロンプトを用意します。

この役割分担は個々に任されていますが、僕は

• SystemプロンプトにGPTへの指示を
• Userプロンプトに処理対象を

書いています。

例えば、論文のアブストラクトを与えてフィルタリングしたいというとき、僕は

Systemプロンプト

The user will send you an abstract of an academic paper. Answer to these questions:
1. Is the paper an interview research?
2. Does the interview focus on game developers?
 
<example>
Title:<title />

Reason:
1. <reason-for-1 />
2. <reason-for-2 />
  
Answer:
1. <true-or-false />
2. <true-or-false />
</example>

どのようにプロンプトを作るかは各々のプロンプトセンスに任せます。この通りではなくともいいです。

Userプロンプト

Title:
TITLE

Abstract: 
ABS

のようにしています。TITLEとABSは後々使うアプリで置換されます。

2. 置換用CSVファイルを作成する。

CSVファイルは、まあ、エクセルのようなものです。

エクセルやGoogle Spread Sheetを使い、このように、一行目に置換する文字列、二行目以降に何に置換するかを書きます。

（著作権保護のため内容を黒塗りにしています）

そして、CSVに保存します

3. バッチファイルを作成する

僕のアプリをぜひお使いください: https://konbraphat51.github.io/OpenAiBatchCreator/

SystemプロンプトとUserプロンプトを入力したら、 UPLOAD CSVで2で作ったcsvをアップロード（といっても外部に送信されるわけではなく、皆様のPC上で完結する処理を行っています）

下のパラメーターにこだわりがなければそのままにしておいて大丈夫です。

モデルはここから選択できます: https://platform.openai.com/docs/models

そしてCREATE

このような内容のopenai_batch.jsonlがダウンロードされるはずです。

4. OpenAI APIにバッチ処理させる

OpenAI APIのアカウントを作成していない方は作成してください

OpenAI ダッシュボードのBatchにアクセス: https://platform.openai.com/batches

右上の緑のCREATEボタンからCreate a batchパネルが出てくるので、3で作成したopenai_batch.jsonlをアップロードして、CREATE（パネル下側）

完成したら Download output

このように結果ファイルが得られます

5. 結果をエクセルで表示する

結果は4で得られた.jsonlファイルにもありますが、これをエクセルで表示したい場合は

再び僕のアプリにアクセス: https://konbraphat51.github.io/OpenAiBatchCreator/

上のREAD RESULTを選択

UPLOAD RESULT .JSONLで4で得られたファイルをアップロード（実際には、他所のサーバーに送信されることはなく、皆様のPC内で完結する処理が開始します）

完成。