LoginSignup
2
1

Video Translation API

Azure AI SeriveSpeech Serviceにおいて、ビデオ翻訳が試せるようになっています。

ビデオ翻訳は、世界中の言語のビデオを対象の言語に翻訳して生成できるサービスです。
「なんだこれ!面白そう!」ということで使ってみましたが、先日のビリビリの登壇動画も見事に翻訳されました!

動画では私(正しくは事前構築済みモデルの音声)が英語で流暢に登壇している様子が見られます!

この機能はすさまじすぎます!!!
興奮を抑えきれず、記事にしてみました!

是非記事を見ていただいた方はAzureにログインし、試してみてください。

記事は2024.06.19時点の情報

はじめ方

現在ビデオ翻訳はプレビュー段階の機能です。
サポートされているリージョン (East US)のリソースを作成する必要があります。

現在、Azure AI 音声でのビデオ翻訳は、米国東部リージョンでのみサポートされています。

サポートされているリージョンと言語

East USのリソースの場合、ビデオ翻訳がクリックできるので早速クリックしてみましょう。

image.png

Mp4ファイルが挙げられますので、コチラからMp4ファイルをアップロードしてみます。

スクリーンショット 2024-06-19 212416.png

制限は500MB以下で長さが60分未満の動画です。

スクリーンショット 2024-06-19 213845.png

こちらでファイル名(プロジェクト名称)と翻訳元の言語と翻訳先の言語を指定します。
あとは各種規約ですね。

実際に30分ほどの役380MBの動画をアップロードして実験しました。
アップロード次第、すぐに処理が開始されますが、待ち時間 120分と当初は出てきます。

image.png

しなしながら60分もかからず完了しました。
開始21:43 完了22:17のため30分ほどです。

スクリーンショット 2024-06-19 222911.png

完了後

翻訳された言語で登壇動画が出ました!!すごい!!!

スクリーンショット 2024-06-19 233403.png

凄すぎる!!!!!
ダウンロードもできる!!!

image.png

凄すぎる!!!!!
私が英語話しているっぽい!!!!

話者をAIが識別し、音声を割り振っています。
私はAndrewのモデルが適用されていますね。

image.png

もとの話し言葉が整っているせいか、Yesが非常に多い。
ええ、ええ、はいといった言葉遣い、本当にやめたいですね。

しかしながら一定水準以上のクオリティで評価されていることがわかります。

編集

  • スピーカー
  • 音声の設定
  • タイムラインの調整
  • 翻訳/吹き替えの結果

上記の修正が実施できます。しかしながら、更新にかなりの時間を要してしまいますね・・・。

スクリーンショット 2024-06-19 233742.png

とても先進的な機能なのでやむなしですが、私にとっては少し長い・・・。
実際もう少し早い可能性があるといえど二の足を踏んでしまう時間です。

完全に文面を整えたうえで編集することがベターです。

編集には全体的にモッサリ感があります。
話している時間が重複していると変更の適用が実施できません。

image.png

Video Translation API は近日公開予定

プログラミング言語を介したアクセスは、まだできない状態です。

image.png

プライベート プレビューへの早期アクセスの許可を得るためには、フォームの入力が必要です。

Azure AI | Speech Studioにアクセスして、直接アクセスしてみてください。

現段階ではSpeech Studioで自身の動画を持ち込み、画面上でビデオ翻訳を実施できます。
いつでもGlobal YouTuberにデビューできますね!

非常に凄まじい時代が到来しました。
今後のアップデートが楽しみです。

Microsoftの発表を心待ちにしていましょう!
皆様、素晴らしきAI lifeを!

2
1
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
2
1