AzureのSpeech ServiceでTTS（Text to speech）のAPIを使用して、受け取ったデータを逐次的にStreamで処理をする方法が判明したので紹介します。（なぜ、こんな書き方をするのかというと、MSが詳細なドキュメントを公開していないからです。MS仕事しろ！）
前提
AzureのSpeech Serviceを使える環境を用意してください。
Speech Serviceで合成音声(Speech Synthesis)の始め方はこちらをご覧ください。（C＃ですが・・・）
結論
SpeechSynthesizer.speakTextAsyncの引数にPushAudioOutputStreamCallbackを継承したクラスを用意します。また、SpeechSynthesizerの引数にはAudioConfigを設定してはいけません。
詳細は後からします。
コード全体
import * as MsTtsSdk from "microsoft-cognitiveservices-speech-sdk";
async TTS(text){
// APIの設定。毎回行う必要はありません。使いまわせます。
//var audioFileName = "temp_tts_" + uuidv4() + '.wav';;
const speechConfig = MsTtsSdk.SpeechConfig.fromSubscription(process.env.SPEECH_KEY, process.env.SPEECH_REGION);
//const audioConfig = MsTtsSdk.AudioConfig.fromAudioFileOutput(audioFileName);
// 言語やスピーカーの声、アウトプットのフォーマットの設定
speechConfig.speechSynthesisLanguage = "ja-JP";
speechConfig.speechSynthesisVoiceName = "ja-JP-NanamiNeural";
speechConfig.speechSynthesisOutputFormat = MsTtsSdk.SpeechSynthesisOutputFormat.Riff8Khz8BitMonoMULaw;
// speech synthesizerクラスのインスタンス化
var synthesizer = new MsTtsSdk.SpeechSynthesizer(speechConfig);
// Streamしたデータを処理するコールバッククラスのインスタンス化
let callback = new SamplePushAudioOutputStreamCallback(this.array);
await synthesizer.speakTextAsync(
text,
function (result) {
if (result.reason === MsTtsSdk.ResultReason.SynthesizingAudioCompleted) {
console.log("synthesis finished.");
} else {
console.error("Speech synthesis canceled, " + result.errorDetails +
"\nDid you set the speech resource key and region values?");
}
synthesizer.close();
synthesizer = null;
},
function (err) {
console.trace("err - " + err);
synthesizer.close();
synthesizer = null;
},
callback);
}
class SamplePushAudioOutputStreamCallback extends MsTtsSdk.PushAudioOutputStreamCallback{
constructor(array) {
super();
this.array = array;
}
write(data){
// ここでストリーム化したデータを処理
console.log(`Received ${data.byteLength} bytes of audio data.`);
// encode to base64
let buffer = Buffer.from(data);
let base64 = buffer.toString('base64');
this.array.add(base64);
}
close(){
console.log('Stream closed.');
}
}
解説
APIの設定
今回は、SPEECH_KEYとSPEECH_REGIONでAPIをConfigを設定します。
スピーカの声の種類は日本語だと、複数あります。公式リファレンスを参照してください
//var audioFileName = "temp_tts_" + uuidv4() + '.wav';;
const speechConfig = MsTtsSdk.SpeechConfig.fromSubscription(process.env.SPEECH_KEY, process.env.SPEECH_REGION);
//const audioConfig = MsTtsSdk.AudioConfig.fromAudioFileOutput(audioFileName);
// 言語やスピーカーの声、アウトプットのフォーマットの設定
speechConfig.speechSynthesisLanguage = "ja-JP";
speechConfig.speechSynthesisVoiceName = "ja-JP-NanamiNeural";
speechConfig.speechSynthesisOutputFormat = MsTtsSdk.SpeechSynthesisOutputFormat.Riff8Khz8BitMonoMULaw;
クラスのインスタンス化
SpeechSynthesizerクラスとPushAudioOutputStreamCallbackを継承したクラスをインスタンス化します。
ここでファイルで保存する時は、ファイルの名前を指定したAudioConfigクラスをSpeechSynthesizerの引数に含めますが、ストリームで処理をする場合は含めてはいけません。
// speech synthesizerクラスのインスタンス化
var synthesizer = new MsTtsSdk.SpeechSynthesizer(speechConfig);
// Streamしたデータを処理するコールバッククラスのインスタンス化
let callback = new SamplePushAudioOutputStreamCallback(this.array);
PushAudioOutputStreamCallbackを継承したクラス。
write()はArrayBufferクラスを引数にとり、音声データのバイナリーの配列をここで受け取ることができます。今回は、base64に変換して、用意していた配列に追加する操作をしました。
close()はストリームが終わった時に呼び出されます。
class SamplePushAudioOutputStreamCallback extends MsTtsSdk.PushAudioOutputStreamCallback{
constructor(array) {
super();
this.array = array;
}
write(data){
// ここでストリーム化したデータを処理
console.log(`Received ${data.byteLength} bytes of audio data.`);
// encode to base64
let buffer = Buffer.from(data);
let base64 = buffer.toString('base64');
this.array.add(base64);
}
close(){
console.log('Stream closed.');
}
}
PushAudioOutputStreamCallbackはwrite()とclose()を必要とするアブストラクトクラスです。
export declare abstract class PushAudioOutputStreamCallback {
/**
* Writes audio data into the data buffer.
* @member PushAudioOutputStreamCallback.prototype.write
* @function
* @public
* @param {ArrayBuffer} dataBuffer - The byte array that stores the audio data to write.
*/
abstract write(dataBuffer: ArrayBuffer): void;
/**
* Closes the audio output stream.
* @member PushAudioOutputStreamCallback.prototype.close
* @function
* @public
*/
abstract close(): void;
}
コールバックを引数に
SpeechSynthesizer.SpeechSynthesizerは以下のような引数をとります。
第一：合成音声にするテキスト
第二：API通信成功時に呼び出される。ただ、何かしらの理由でエラーとなる可能性があるので、上のコードのようにエラーハンドリングが必要
第三：API通信がそもそもできなかった時に呼び出される。
第四：PushAudioOutputStreamCallbackクラスを継承したクラスのインスタンス
await synthesizer.speakTextAsync(text, SuccessCallback, ErrorCallback, StreamCallback);
ライブラリによれば、AudioOutputStream PathLikeもいけそうです。
/**
* Executes speech synthesis on plain text.
* The task returns the synthesis result.
* @member SpeechSynthesizer.prototype.speakTextAsync
* @function
* @public
* @param text - Text to be synthesized.
* @param cb - Callback that received the SpeechSynthesisResult.
* @param err - Callback invoked in case of an error.
* @param stream - AudioOutputStream to receive the synthesized audio.
*/
speakTextAsync(text: string, cb?: (e: SpeechSynthesisResult) => void, err?: (e: string) => void, stream?: AudioOutputStream | PushAudioOutputStreamCallback | PathLike): void;
リファレンス
公式リファレンス
公式Github
AudioOutputStreamを用いた方法の記事ではうまくいかず
弊社Passinate Geniusでは一緒に働く仲間を募集しています！興味をお持ちいただける方は、ホームページまで！