作ったもの
Windows版
https://github.com/7tsuno/dev.to-summarizer/releases/tag/1.0
dev.to-summerizer-1.0.0-setup.exe
をダウンロードしてセットアップできます
Mac版
ADPへの登録が必要で手続きが煩雑なため、現在提供していません。
Macで動かしてみたい人は
https://github.com/7tsuno/dev.to-summarizer
をCloneして使ってみてください
どんなアプリ？
-
dev.toの記事をまとめて要約してくれるアプリです
- tagと取得件数と期間を指定して、トレンド記事を取得することができます
- 取得したトレンド記事の中で興味があるものをまとめて要約することができます
なんでつくったの？
- OpenAIのBatch APIを使ってみたかった
- Electronのアプリを作ってみたかった
本当はTauriが使いたかったけど諦めた - 海外の最新トレンドを追いたかった
対象読者
- OpenAIのBatch APIって実際どうなの？って人
- Batchの動くサンプルが欲しい人
書かないこと
- 詳細な実装のはなし
- バッチ処理以外の話 (特筆すべき点がないのでカットしました)
OpenAIのBatch API
Batch APIは、大量のリクエストを非同期に処理できるAPIです。これを使用すると、リアルタイムで答えを得られる普通のAPIとは違い、リクエストを一括で送信し、24時間以内に結果をまとめて取得できます。
今回のアプリでは、複数の記事を一気に要約させるためにBatch APIを利用しています。
ここではアプリに取り込む場合のOpenAIのSDKを使ったAPIの使い方を紹介したいと思います。
Batch APIのメリット
- トークンあたりの金額が普通のAPIの半額
- 大量のリクエストを一度に送信し、結果をまとめて取得できる
Batch APIのデメリット
- リアルタイムに結果を取得することはできない
Batch APIの大まかな流れ
- プロンプトをまとめたファイルをアップロードする
- ファイルに対して処理を実行する
- 実行結果を確認する
- 実行結果のファイルをダウンロードする
これを一つずつ見ていきます。
プロンプトをまとめたファイルをアップロードする
Batch APIのInputはファイルである必要があります。jsonlという形式のファイルに1行1プロンプトを入れていきます。この形式は、JSONを行単位で構造したファイルです。
イメージとしては↓のような感じです。他にも必要なパラメータはありますが、ここでは省略しています
{"messages": [{"role": "user", "content": "1 + 1は？"}]}
{"messages": [{"role": "user", "content": "日本の首都は？"}]}
{"messages": [{"role": "user", "content": "株式会社CureAppの社長の名前は？"}]}
この形式のファイルを作成して、ファイルをアップロードします。
await openai.files.create({
file: fs.createReadStream(batchInputFilePath),
purpose: 'batch'
})
また、アップロードに成功すると、OpenAIのコンソール上でStorageにファイルがアップロードされていることが分かります。
ファイルに対して処理を実行する
先ほどのファイルアップロードのレスポンスとしてファイルIDが取得できます。このIDに対してバッチ処理を実行するAPIを叩きます。
await openai.batches.create({
input_file_id: inputFile.id,
endpoint: '/v1/chat/completions',
completion_window: '24h'
})
この処理は非同期なので、この時点では結果を取得することはできません。
実行結果を確認する
先ほどのBatch処理実行のレスポンスとしてBatch IDが取得できます。このIDに対して実行結果を確認するAPIを叩きます。
await openAI.batches.retrieve(batchId)
このような返却値が返ってきます。
{
"id": "batch_abc123",
"object": "batch",
"endpoint": "/v1/completions",
"status": "completed",
"output_file_id": "file-cvaTdG",
...
}
status はin_progress , failed , completedなどがあり、completedの場合はoutput_file_idがあるので、これを取得することができます。
実行結果のファイルをダウンロードする
status がcompletedの場合はファイルをダウンロードする処理を行うことができます。取得したoutput_file_idを利用してファイルをダウンロードします。
await openAI.files.content(fileId)
取得した内容もまたjsonl形式なので、良い感じにparseして使用しましょう。
コード
おわりに
Batch API、使ってみると正直使いづらいです。ファイル作るのもparseするのもしんどいです。
ただ、非同期で問題ない処理の場合はコストを抑えるために積極的に使っていったほうが良さそうだなと思っています。
どこかの天才の人がいい感じのラッパーを作ってくれたら嬉しいですね。