背景

Whisperによる電話の音声データの文字起こしを試してみたかったのですが、自由に使えそうな電話のデータは見つかりませんでした。
そこでOpenAIのTTS (text-to-speech) modelを活用して、電話の音声データを自分で作成することにしました。

手順

下記手順で音声データを作成しました。

ChatGPTで電話の応対のやりとりを生成
生成したやりとりをOpenAIのTTS (text-to-speech) modelで音声化

ChatGPTで電話の応対のやりとりを生成

下記プロンプトで会話の履歴を生成してもらいました

あなたは、Tokoroteenという文房具を販売しているECサイトのヘルプデスクで働いているオペレーターの佐藤さんです。
ヘルプデスクに着信する問い合わせの中で、「返品・交換」カテゴリに属する問い合わせの、電話の書き起こしスクリプトを[# 出力]に沿って教えて

# 出力
|role|script|
|--|--|
|operator|（コミュニケータの発話内容）|
|customer|（コミュニケータの発話内容）|

生成結果は下記のとおりです。これをconversation.csvとして保存しました。

role	script
operator	佐藤でございます。Tokoroteenカスタマーサポートにお電話いただき、ありがとうございます。本日はどのようなご用件でしょうか？
customer	こんにちは、先日購入した万年筆が壊れていたので、返品か交換をお願いしたいです。
operator	大変申し訳ございません。商品が壊れていたということで、ご不便をおかけしました。まずはご注文内容を確認させていただきますので、お名前とご注文時の生年月日をお伺いできますでしょうか？
customer	名前は山田太郎、1990年5月1日です。
operator	ありがとうございます。少々お待ちください…ご注文の確認が取れました。壊れていたとのことですが、具体的にどのような状態でしたでしょうか？
customer	到着したときにペン先が折れていて、インクも漏れていました。
operator	それは大変申し訳ございません。新品交換か、返品対応のどちらかをお選びいただけますが、どちらをご希望されますか？
customer	交換をお願いしたいです。
operator	承知いたしました。それでは、新品の万年筆と交換させていただきます。まず、壊れた商品をご返送いただき、その後交換品を発送いたします。返品用のラベルをメールでお送りいたしますので、商品を元の箱に戻し、ラベルを貼っていただき、最寄りの配送業者にお渡しください。
customer	わかりました。
operator	交換品は返品商品を確認後、3～5営業日以内に発送いたします。返品が確認され次第、追ってメールでご連絡いたしますのでご安心ください。その他ご不明な点はございますでしょうか？
customer	特にありません。ありがとうございました。
operator	こちらこそ、迅速に対応させていただきますので、ご迷惑をおかけして申し訳ございませんでした。何かございましたらいつでもご連絡くださいませ。失礼いたします。

生成したやりとりをOpenAIのTTSで音声化

conversation.csvを読み込み、音声化します。声のオプションとして、alloy, echo, fable, onyx, nova, shimmerの6名を選ぶことができ、今回はオペレーターをalloy、顧客をonyxとすることにしました。
一行ずつ音源を生成し、最後にそれらを結合することで一つの音声ファイルとしました。

import pandas as pd
from openai import OpenAI
from pydub import AudioSegment
from pathlib import Path

# OpenAIクライアントの初期化
client = OpenAI()

# CSVファイルを読み込む
csv_file_path = "conversation.csv"
df = pd.read_csv(csv_file_path)

# 音声ファイルの保存先
output_dir = Path("audio_files")
output_dir.mkdir(exist_ok=True)

# 各行ごとに音声を生成
audio_files = []
for index, row in df.iterrows():
    role = row["role"]
    text = row["text"]

    # 音声を選択
    if role == "operator":
        voice = "alloy"
    elif role == "customer":
        voice = "onyx"
    else:
        continue

    # 音声を生成
    response = client.audio.speech.create(
        model="tts-1",
        voice=voice,
        input=text,
    )

    # 音声ファイルを保存
    speech_file_path = output_dir / f"speech_{index}.mp3"
    response.stream_to_file(speech_file_path)
    audio_files.append(speech_file_path)

# 音声ファイルを結合
combined = AudioSegment.empty()
for audio_file in audio_files:
    segment = AudioSegment.from_mp3(audio_file)
    combined += segment

# 最終的なMP3ファイルとして保存
final_output_path = "conversation.mp3"
combined.export(final_output_path, format="mp3")

結果

想像以上に自然な会話を生成することができて大満足です。
適切な実データがなくとも、生成されたデータで問題なく検証できそうだと感じました。

参考資料