はじめに
この記事は、とりあえず Node.js実装でシンプルに試してみた「GPT Live Transcribe」と「GPT-Realtime-2.1 mini」について、公式情報を見てみたという話です。
簡単に試してみた時の様子など
Node.js実装でシンプルに試してみたものが動作している様子は、以下のポストのとおりです。
GPT Live Transcribe
GPT-Realtime-2.1 mini
上記のお試しは、どちらもシンプルに実装したものですが、それぞれのお試しをしていた際には、それら API に関する情報の詳細は見られていない状態でした。それで今回、少し関連する公式情報などを見てみようかと思って、この記事を書きました。
呼ばれているモデルの確認
今回のメインの話に入っていく前に、上記のお試しに関する念のための確認をしてみました。具体的には、それぞれで呼ばれていた API が意図通りだったかを、以下のページで確認してみました。
●Usage - OpenAI API
https://platform.openai.com/usage
確認した結果は以下の通りで、問題はなさそうでした。
GPT Live Transcribe
GPT-Realtime-2.1 mini
モデルや APIの情報
ここから、モデルや APIの情報を見てみます。
モデルの情報
以下は、それぞれのモデルに関する情報が書かれた公式のページです。
GPT Live Transcribe
●GPT Live Transcribe Model | OpenAI API
https://developers.openai.com/api/docs/models/gpt-live-transcribe
GPT-Realtime-2.1 mini
●GPT-Realtime-2.1 mini Model | OpenAI API
https://developers.openai.com/api/docs/models/gpt-realtime-2.1-mini
以下を見ると、GPT-Realtime-2.1 mini は Function calling に対応しているようです。
関連する技術系情報
ここで、今回の API の関連ページで気になったところを、2つほどピックアップしてみました。
Voice activity detection (VAD)
1つ目は以下の VAD です。
●Voice activity detection (VAD) | OpenAI API
https://developers.openai.com/api/docs/guides/realtime-vad
以下を見ると、「server_vad（こちらがデフォルト）」と「semantic_vad」の 2種類があるようです。
server_vad: Automatically chunks the audio based on periods of silence.
semantic_vad: Chunks the audio when the model believes based on the words said by the user that they have completed their utterance.
server_vad は音の途切れたところで区切られる形で、一方で semantic_vad はユーザーが話している内容ベースで区切りを入れるようです。
リアルタイム処理
もう1つは、以下の Realtime and audio のページです。
●Realtime and audio | OpenAI API
https://developers.openai.com/api/docs/guides/realtime
こちらは、音声を使ったリアルタイム処理関連の様々な情報がまとまった、いろいろあるページをまとめたトップページになるようでした。
今回、自分が使った API 関連では、以下のページへのリンクが掲載されていました。
●Voice agents | OpenAI API
https://developers.openai.com/api/docs/guides/voice-agents
●Realtime transcription | OpenAI API
https://developers.openai.com/api/docs/guides/realtime-transcription
またページの下へ進んでいくと、例えば接続に用いる方法について記載された部分もあります。
自分が冒頭に動画を掲載していたものについてはブラウザベースで処理している部分があるので、接続部分は WebRTC を使っています。
おわりに
とりあえず、今回は OpenAI の「GPT Live Transcribe」と「GPT-Realtime-2.1 mini」の公式情報を少し見てみました。
後でまた詳細は見てみようと思っており、上記はその際の導線になりそうなページのメモでした。