日本語の動画を見ていると、「今、何と言ったんだろう？」と確認したくなることがあります。

「今、何と言った？」を解決したくて、日本語学習用のリアルタイム字幕・翻訳ツールを個人開発してみた

はじめに

日本語を勉強していると、動画やニュース、ドラマを見ているときに、

「今、何と言ったんだろう？」

と思うことがよくあります。

特に、聞き取れなかった部分をもう一度確認したいとき、

動画を一度止める
もう一度再生する
聞き取れなかった言葉を検索する
読み方が分からない漢字を調べる

といった作業が必要になります。

そこで、

「動画を見ながら、日本語・ふりがな・翻訳をその場で確認できたら便利なのでは？」

と思い、自分で日本語学習用のリアルタイム字幕・翻訳ツールを作ってみました。

作ったもの

現在公開しているWebアプリはこちらです。

Live Transcript

ブラウザ上で動作する、日本語学習を目的としたリアルタイム文字起こし・翻訳ツールです。

主な機能は以下の通りです。

リアルタイム文字起こし
日本語のふりがな表示
中国語翻訳
英語翻訳
音声の録音
文字起こし結果の確認
字幕データの出力

実際に使ってみる

例えば、日本語のニュースや動画を見ながら使うと、

日本語
↓
ふりがな
↓
中国語
↓
English

という形で、内容を確認することができます。

日本語の文章だけでは意味が分からない場合でも、中国語や英語の翻訳を同時に確認できます。

また、漢字の読み方が分からない場合は、ふりがなを表示することで、読み方もその場で確認できます。

こんな使い方を想定しています

1. 日本語のニュースを見る

ニュースを見ながら、日本語の字幕をリアルタイムで確認します。

聞き取れなかった場合は、字幕を見て確認できます。

2. ふりがなを確認する

漢字の読み方が分からない場合は、ふりがなを表示します。

日本語学習者にとって、漢字の読み方をその場で確認できるのは便利だと思っています。

3. 中国語・英語の翻訳を確認する

日本語の意味がすぐに分からない場合は、中国語や英語の翻訳を確認できます。

例えば、

日本語
本日はお忙しいところ、お時間をいただきありがとうございます。

ふりがな
ほんじつは おいそがしいところ、おじかんを いただき ありがとうございます。

中文
感谢您在百忙之中抽出时间。

English
Thank you very much for taking the time to meet with me today.

のように、複数の言語を比較しながら学習できます。

分からない言葉は、その場で確認

もう一つ意識したのが、

「分からないところで、すぐに確認できること」

です。

動画を見ていて分からない単語があった場合は、一度動画を止めて、その言葉を調べることができます。

「後で調べよう」と思って、そのまま忘れてしまうこともあるので、できるだけその場で確認できるようにしたいと考えています。

なぜ作ったのか

私自身、日本語を勉強している中で、

「今、何と言ったんだろう？」

ということがよくありました。

特にニュースやドラマなどでは、話すスピードが速かったり、知らない表現が出てきたりして、何度も聞き直すことがあります。

そこで、

「日本語を聞く → 文字で確認する → ふりがなを見る → 翻訳を見る」

という流れを一つの画面でできるようにしたいと思いました。

そのアイデアから、今回のツールを開発しました。

技術について

現在はWebブラウザ上で動作するアプリとして開発しています。

基本的な流れは、

音声
 ↓
リアルタイム文字起こし
 ↓
日本語テキスト
 ↓
ふりがな
 ↓
翻訳
 ↓
画面に表示

という構成です。

ブラウザで利用できるため、専用ソフトをインストールしなくても利用できることを目指しています。

今後追加したい機能

まだ開発途中なので、今後も改善していく予定です。

例えば、

より正確な音声認識
日本語学習に適した字幕表示
単語をクリックして意味を確認する機能
学習履歴
単語帳
シャドーイング練習
AIを利用した日本語表現の解説
会話練習機能

などを考えています。

まとめ

日本語を勉強している方が、

「動画を見ること」と「日本語を勉強すること」を別々にするのではなく、動画を見ながら自然に日本語を学習できる

ようなツールにしたいと思っています。

まだ改善すべきところはたくさんありますが、実際に使っていただいて、率直なご意見をいただけるとうれしいです。

よかったら使ってみてください

Live Transcript

「ここが便利だった」

「ここを改善してほしい」

「こんな機能が欲しい」

など、ご意見・ご感想があれば、ぜひコメントで教えてください。

最後まで読んでいただき、ありがとうございました。