動画マニュアルや広告動画を自動で作るアプリとAPIを開発しています。その中で毎回いちばん手こずるのが字幕です。文字起こし自体は自動でできるようになりましたが、出てきた字幕はこんな行になりがちです。
今日はこの製品の初期設定を説明しま
す。
文字数だけを数えて折り返しているので、語の途中で切れます。英語には空白があるので、空白で切ればそれなりに見えます。日本語・中国語・韓国語にはその手がかりがなく、読みやすい字幕と読みにくい字幕の差は「切れ目が文節の間にあるか、中にあるか」で決まります。
見た目だけの問題ではありません。視聴者は字幕を一瞬で読みます。助詞が名詞から切り離された行は読み直しを強い、ショート動画ではその 1 秒が致命的です。字幕編集ソフトで 1 行ずつ手直しすれば直りますが、本数が増えると手作業では追いつきません。
この記事では、数千行の日本語字幕を折り返しながら落ち着いた改行の規則と、それを形態素解析ライブラリ Janome で実装した Python コード(約 90 行、そのまま動きます)を紹介します。
1. 問題: 空白がなく、手がかりがない
字幕の描画に必要なのは「1 行に何文字入るか」と「どこで切ってよいか」の 2 つです。英語では後者はほぼ自明で、空白で切って 1 語だけ残る行を避ければ済みます。日本語では全ての文字境界が候補なので、素朴な実装は文字数の上限にたまたま当たった位置で切ります。
先ほどのアカウントとインポートの名前の
ところの設定ですね。
これは「の」と「ところ」の間で切れていて、まだ許容範囲です。次はそうではありません。
先ほどのアカウントとインポートの名前
のところの設定ですね。
行頭の「の」は、上の行の語に属する助詞です。読者は毎回ここでつまずきます。
2. 文節とは何か
文節は、日本語話者が自然に区切る最小単位で、内容語にそれに付く助詞・助動詞をまとめたものです。先ほどの | アカウントと | インポートの | 名前の | ところの | 設定ですね。 文節の間で切れば自然に読め、文節の中で切ると読みにくくなります。
境界の大半は、完全な構文解析なしに見つかります。形態素辞書があれば語頭が分かり、助詞の短い一覧(は、が、を、に、へ、と、で、も、や、から、まで、より…)があればどの語頭が前の語に付くかが分かり、句読点は最も強い境界を与えます。
3. 改行の規則
これをコスト関数にしました。文中の各位置について、そこで改行するコストを次のように置きます。
| 位置 | コスト |
|---|---|
| 。!? や閉じ括弧の直後 | 0 |
| 、や中黒の直後 | 2 |
| 助詞の直後 | 6(名詞どうしをつなぐ「の」は 9) |
| 接続詞(そして、しかし、また…)の直前 | 8 |
| 辞書上の語頭 | 10 |
| 語の内部、付属語(助詞・助動詞・接尾辞)の直前 | 100 |
これに均衡の項 0.6 × |位置 − 理想位置| を足します。理想位置は 2 行字幕なら中点です。これで 1 行目が満杯、2 行目が 2 文字、のような不均衡を避けられます。
実務で効く規則があと 2 つあります。
- 禁則はコストではなく制約にする。 。、」)ー っゃゅょ で行を始めない、開き括弧で行を終えない。英数字の語は分割しない。
- 1 行の文字数は向きで変える。 横型 16:9 は 24 字、縦型 9:16 は 13 字。字幕向けの太めのゴシック体を、スマートフォンでも読める大きさにしたときの目安です。使う書体と画面に合わせて調整してください。
これで冒頭の文は、縦型の 13 字予算でこうなります。
今日はこの製品の初期設定を
説明します。
長い方の例は、横型の 24 字予算でこうです。
先ほどのアカウントと
インポートの名前のところの設定ですね。
どちらも助詞(を、と)の直後で切れ、語の内部では切れず、行頭禁則の文字で始まる行もありません。手で直した例ではなく、次の章のコードの実際の出力です。
4. Python で実装する
形態素解析には、pip だけで入る Janome(純 Python、辞書同梱)を使います。
pip install janome
"""日本語字幕を文節の切れ目で 2 行に折り返す(Janome 使用)。
pip install janome
python wrap_ja.py
"""
from janome.tokenizer import Tokenizer
INF = float("inf")
NO_LINE_START = set("。、,.・!?」』)】ーっゃゅょァィゥェォッャュョ") # 行頭に来てはいけない文字
NO_LINE_END = set("「『(【") # 行末に来てはいけない文字
_tokenizer = Tokenizer()
def boundary_costs(text: str) -> list[float]:
"""costs[i] = text[i] の直前で改行するコスト(i = 1 .. len-1)。"""
costs = [INF] + [100.0] * (len(text) - 1) # 既定は「語の内部」
tokens = list(_tokenizer.tokenize(text))
pos = 0
for prev, tok in zip(tokens, tokens[1:]):
pos += len(prev.surface)
p = prev.part_of_speech.split(",")
n = tok.part_of_speech.split(",")
if n[0] in ("助詞", "助動詞") or n[1] in ("接尾", "非自立"):
cost = 100.0 # 付属語の前で切ると、文節の途中で切れる
elif prev.surface[-1] in "。!?」』)":
cost = 0.0
elif prev.surface[-1] in "、・":
cost = 2.0
elif p[0] == "助詞":
cost = 9.0 if p[1] == "連体化" else 6.0 # 「の」は後ろの名詞と結び付くので少し高く
elif n[0] == "接続詞":
cost = 8.0
else:
cost = 10.0 # 文節の頭(内容語の前)
costs[pos] = cost
for i in range(1, len(text)): # 禁則と英数字の分割禁止は「制約」
if text[i] in NO_LINE_START or text[i - 1] in NO_LINE_END:
costs[i] = INF
if text[i - 1].isascii() and text[i].isascii() and text[i - 1].isalnum() and text[i].isalnum():
costs[i] = INF
return costs
def wrap_two_lines(text: str, max_chars: int) -> list[str]:
"""1 行に収まればそのまま。収まらなければ、コスト + 0.6 × |位置 − 中点| が最小の位置で 2 行に分ける。"""
if len(text) <= max_chars:
return [text]
costs = boundary_costs(text)
middle = len(text) / 2
best, best_score = None, INF
for i in range(1, len(text)):
if i > max_chars or len(text) - i > max_chars:
continue # どちらかの行が予算を超える位置は使わない
score = costs[i] + 0.6 * abs(i - middle)
if score < best_score:
best, best_score = i, score
if best is None:
raise ValueError(f"{len(text)} 文字は 2 行 × {max_chars} 字に収まりません。先にキューを分けてください")
return [text[:best].rstrip(), text[best:].lstrip()]
def split_cues(text: str, max_chars: int) -> list[list[str]]:
"""2 行に収まらない文を、文節の切れ目で複数のキュー(1 画面分)に分けてから折り返す。"""
cues, rest = [], text
while len(rest) > 2 * max_chars:
costs = boundary_costs(rest)
# 2 行分に近いほど良いが、切れ目の自然さを優先する(キューが細切れになりすぎないよう 0.3 / 字の罰則)
candidates = sorted(range(1, 2 * max_chars + 1), key=lambda i: costs[i] + 0.3 * (2 * max_chars - i))
for i in candidates:
try:
cues.append(wrap_two_lines(rest[:i], max_chars))
rest = rest[i:]
break
except ValueError:
continue
cues.append(wrap_two_lines(rest, max_chars))
return cues
if __name__ == "__main__":
for text, width in [
("今日はこの製品の初期設定を説明します。", 13),
("先ほどのアカウントとインポートの名前のところの設定ですね。", 24),
("まず管理画面の右上にある設定ボタンを押して、通知の欄を開きます。", 24),
("次に「API キー」の欄に、発行されたキーを貼り付けて保存します。", 16),
]:
print(f"[{width} 字]")
for cue in split_cues(text, width):
for line in cue:
print(" " + line)
print(" ---")
実行結果です。
[13 字]
今日はこの製品の初期設定を
説明します。
---
[24 字]
先ほどのアカウントと
インポートの名前のところの設定ですね。
---
[24 字]
まず管理画面の右上にある設定ボタンを押して、
通知の欄を開きます。
---
[16 字]
次に「API キー」の欄に、
---
発行されたキーを
貼り付けて保存します。
---
ポイントは 3 つです。
- コストは「どこで切ってよいか」だけを表す。 形態素の品詞から、付属語(助詞・助動詞・接尾辞・非自立語)の直前を 100 にしておくと、それだけで文節の途中では切れなくなります。助詞の一覧を手で持つ必要もありません。
- 禁則と英数字はコストではなく制約(∞)にする。 コストにすると、均衡の項との兼ね合いで「たまに破られる」ことがあり、それが一番目立ちます。
-
2 行に収まらない文は、先にキュー(1 画面分)を分ける。
split_cuesは同じコストを使い、2 行分の長さに近く、かつ切れ目の自然な位置で文を区切ってから、各キューを 2 行に折り返します。
5. 実際の字幕にするときに残る課題
上のコードは「文字列をどう折り返すか」だけを扱っています。動画の字幕にするには、まだいくつか課題があります。
- 時刻の割り当て。 キューを分けたら、それぞれに開始・終了時刻が要ります。音声認識の単語時刻があれば、キューの最初と最後の語の時刻を使えます。なければ文字数で按分するしかなく、話す速さが変わるとずれます。
- 短すぎる表示。 0.5 秒で消えるキューは読めません。前後のキューと結合するか、表示時間の下限を設けます。
- 歌。 音声認識は話し声向けです。歌では歌詞を取りこぼしたり、単語の時刻が数秒ずれたりするので、改行をどれだけ工夫しても字幕の出る位置がずれます。
焼き込み(動画に字幕を描き込む)まで行う場合、SRT が持つのは文字と時刻だけなので、ffmpeg と libass で描くときに気をつけないと壊れる点があと 3 つあります。
- フォント。 見出し向けの書体の多くは日本語の字形を持ちません。Anton や Montserrat は英語字幕には映えますが、日本語は豆腐になります。表示書体はその文字体系を覆う範囲でだけ使い、それ以外は字形を持つ書体(Noto Sans JP、BIZ UDPGothic)に落とす対応表が要ります。
- 解像度と余白。 ASS のスタイルは基準解像度に対して定義されます。1920×1080 で作ったものを 1080×1920 に焼くと全部ずれます。字幕のスタイルには縦型用の定義が別に必要です。
-
話している単語の強調。 カラオケ風に、いま話している単語を目立たせるには、重ならず、クリップの終端を越えない単語時刻が要ります。音声認識エンジンはときどきその両方を返すので、
\kタグを組む前にクランプ(チャンク末尾に丸め、語長に上限)します。
おわりに
自分の開発では、この規則を文字起こし・時刻の補正・焼き込みまで含めた API にまとめて使っています。RapidAPI で「Video Subtitle & Transcript API」として公開しているので、まとめて任せたい場合は使ってみてください(話し声向けで、歌は対象外です)。改行だけなら、上のコードで十分です。