Video Translation API

Azure AI SeriveのSpeech Serviceにおいて、ビデオ翻訳が試せるようになっています。

ビデオ翻訳は、世界中の言語のビデオを対象の言語に翻訳して生成できるサービスです。
「なんだこれ！面白そう！」ということで使ってみましたが、先日のビリビリの登壇動画も見事に翻訳されました！

動画では私（正しくは事前構築済みモデルの音声）が英語で流暢に登壇している様子が見られます！

Azure AIのVideo Translation API凄すぎないか・・・
内容の正しさは多少異なるものの、私が英語でしゃべっている感があるぞ・・・
これは震える・・・

I was struck by Speech Serive's Video Translation API in Azure AI Serive.
Here is a translation of my speech.
I am shocked.#Azure… pic.twitter.com/1btwt9jW19
— 出戻りガツオ🐟 Microsoft MVP (@DemodoriGatsuo) June 19, 2024

この機能はすさまじすぎます！！！
興奮を抑えきれず、記事にしてみました！

是非記事を見ていただいた方はAzureにログインし、試してみてください。

記事は2024.06.19時点の情報

はじめ方

現在ビデオ翻訳はプレビュー段階の機能です。
サポートされているリージョン (East US)のリソースを作成する必要があります。

現在、Azure AI 音声でのビデオ翻訳は、米国東部リージョンでのみサポートされています。

サポートされているリージョンと言語

East USのリソースの場合、ビデオ翻訳がクリックできるので早速クリックしてみましょう。

Mp4ファイルが挙げられますので、コチラからMp4ファイルをアップロードしてみます。

制限は500MB以下で長さが60分未満の動画です。

こちらでファイル名(プロジェクト名称)と翻訳元の言語と翻訳先の言語を指定します。
あとは各種規約ですね。

実際に30分ほどの役380MBの動画をアップロードして実験しました。
アップロード次第、すぐに処理が開始されますが、待ち時間 120分と当初は出てきます。

しなしながら60分もかからず完了しました。
開始21:43 完了22:17のため30分ほどです。

完了後

翻訳された言語で登壇動画が出ました！！すごい！！！

凄すぎる！！！！！
ダウンロードもできる！！！

凄すぎる！！！！！
私が英語話しているっぽい！！！！

話者をAIが識別し、音声を割り振っています。
私はAndrewのモデルが適用されていますね。

もとの話し言葉が整っているせいか、Yesが非常に多い。
ええ、ええ、はいといった言葉遣い、本当にやめたいですね。

しかしながら一定水準以上のクオリティで評価されていることがわかります。

編集

スピーカー
音声の設定
タイムラインの調整
翻訳/吹き替えの結果

上記の修正が実施できます。しかしながら、更新にかなりの時間を要してしまいますね・・・。

とても先進的な機能なのでやむなしですが、私にとっては少し長い・・・。
実際もう少し早い可能性があるといえど二の足を踏んでしまう時間です。

完全に文面を整えたうえで編集することがベターです。

編集には全体的にモッサリ感があります。
話している時間が重複していると変更の適用が実施できません。

Video Translation API は近日公開予定

プログラミング言語を介したアクセスは、まだできない状態です。

プライベートプレビューへの早期アクセスの許可を得るためには、フォームの入力が必要です。

Azure AI | Speech Studioにアクセスして、直接アクセスしてみてください。

現段階ではSpeech Studioで自身の動画を持ち込み、画面上でビデオ翻訳を実施できます。
いつでもGlobal YouTuberにデビューできますね！

非常に凄まじい時代が到来しました。
今後のアップデートが楽しみです。

Microsoftの発表を心待ちにしていましょう！
皆様、素晴らしきAI lifeを！