Google Cloud Speech APIと、Google Cloud Translation APIと google-home-notifierでリアルタイム翻訳を作る

Google Cloud Speech APIと、Google Cloud Translation APIと google-home-notifierを使ってリアルタイム翻訳を作ります。

Google Cloud にプロジェクトを作成してキーの発行などは事前に行い、認証可能な状態にしておいてください。
勿論、Google Cloud SDKなども用意しておいてください。
今回はNodejsで作成します。

#入力

Google Speech APIにテキスト化してもらうために、マイクで入力できる環境を用意します。
私はMacで開発を行なっています。
node-record-lpcm16をインストールします。
https://www.npmjs.com/package/node-record-lpcm16

録音された音声をGoogle Speech APIに渡すと、テキストになって返ってきます。
今回、リアルタイムで行いたいので、ストリーミング音声認識を行います。
https://github.com/googleapis/nodejs-speech

音声を、Google Speech APIのrecognizeStreamに渡します。

#翻訳

テキスト化された内容を、Google Translation APIに渡して翻訳します。
https://github.com/googleapis/nodejs-translate

#出力

翻訳された内容をGoogle Homeに喋らせるために、google-home-notifierに内容を通知します。
https://github.com/noelportugal/google-home-notifier

#プログラム
これらをまとめると、以下の通りになります。

stream.js

// 認証キー
const authKey = 'キーのパス名'
// 入力する言語 https://cloud.google.com/speech/docs/languages?hl=ja
var inputLanguageCode = 'ja-JP';
// 出力する言語　https://cloud.google.com/translate/docs/languages?hl=ja
var outputLanguageCode = process.argv[2];
if ( outputLanguageCode == null ) {
	console.log('ERROR: Translate language code is required.');
	process.exit();
}
var googleHomeIp = 'Google HomeのIPアドレス';

// Sox
const Record = require('node-record-lpcm16');

// Speech
const Speech = require('@google-cloud/speech');

// Translate
const Translate = require('@google-cloud/translate');

// GoogleHome Notifier
const GoogleHome = require('google-home-notifier');

// Creates a client
const SpeechClient = new Speech.SpeechClient({
  keyFilename: authKey
});
const TranslateClient = new Translate({
  keyFilename: authKey
});

// The encoding of the audio file, e.g. 'LINEAR16'
const encoding = 'LINEAR16';
// The sample rate of the audio file in hertz, e.g. 16000
const sampleRateHertz = 16000;

// Google Speech - Create a recognize stream
const recognizeStream = SpeechClient
	.streamingRecognize({
		config: {
			encoding: encoding,
			sampleRateHertz: sampleRateHertz,
			languageCode: inputLanguageCode
		},
		interimResults: false // If you want interim results, set this to true - 途中経過を出力する
	})
	.on('data', function(response) {

		let texts = [];
		texts.push(response.results[0].alternatives[0].transcript);

		// Translate
		TranslateClient
		.translate(texts[texts.length-1], outputLanguageCode)
		.then(results => {
			const translation = results[0];
		    console.log('Text:'+texts[texts.length-1]);
		    console.log('Translation:'+translation);

			// GoogleHome 
			GoogleHome.ip(googleHomeIp, outputLanguageCode);
			GoogleHome.notify(translation, function(res) {
			  console.log(res);
			});

		})
		.catch(err => {
			console.error('ERROR:', err);
		});
});

// Start recording and send the microphone input to the Speech API
Record
.start({
	sampleRateHertz: sampleRateHertz,
	threshold: 0.5,
	silence: '1.0', // 終了させる無音間隔(sec)
	verbose: true,
	recordProgram: 'rec'
})
.pipe(recognizeStream)
.on('error', function() {
	console.log(error);
});

#実行
以下で実行すると、Macが入力待ちになるので、適当に話しかけてください。
録音が終わると翻訳が終わった後、Google Homeに翻訳内容が送られて、話してくれるはずです。

node 実行するプログラムファイル名 翻訳する言語

エスペラント語もラテン語も、ロシア語もなんだって話せます。
女性を口説くために、１０ヶ国語を話せるようになった知り合いがいました。
これで大丈夫です、頑張ってくださいね！