口パク動画とは
下のアニメーションは、9VAeきゅうべえでSVGイラストから作成したものです。
作り方はこちら
この記事では、口パク動画を生成する仕組みを解説します。
9VAe（きゅうべえ）とは
-
AfterEffects のようなモーショングラフィックスができる無料のベクトルアニメーションエディタ
-
キーフレーム補間機能があり、絵を描かずにアニメGIF、APNG, SVGアニメが作れます。
-
マルチプラットフォームで、Windows / Mac / Linux / Android / iPhone / iPad / Chromebook で動きます。
-
Win/Mac/Linux版はリンク先右上の
をクリックしてダウンロード
| インストール方法＞ | windows | Mac | Pi | Linux |
|---|---|---|---|---|
| ●アニメの作り方 | ボタン説明 | メニュー キー |
9VAe質問 | だんグラ |
| 動画出力 | ffmpeg | 〇 | → | ffmpeg |
| しゃべる | SofTalk | 〇 | → | OpenJTalk |
元になる口の形
9VAeは、口パク動画を生成するために「.aiueo」の６つの口の形をもっています。
| . | a | i | u | e | o |
|---|---|---|---|---|---|
 |
 |
 |
 |
 |
 |
６つの口は、１枚のSVGイラストを9VAe上で複製し、口の形を変形して作成します。すべて同じ数の座標点の図形で作成されており、点と点の対応関係が記録されているため、座標値の補間計算により正確に中間の形を作ることができます。作り方はこちら
口の動きはローマ字で指定
口の動きはつぎのような「時間：ローマ字」で指定します。
上の口パク動画は、次のように設定されています。
| 4:kyuubee de twitter douga ga kantan ni tukureruyo |
|---|
ローマ字を順番に解釈して口の動きをつくります。
（下の説明で＊は、Ver.0.7.6(201002）以降で改善た処理です）
母音から母音
母音から母音への変化は、口の形をキーフレーム補間して作成します。
- 前半：前の母音から後ろの母音に変化
- 後半：後ろの母音
| 文字 | 口 | 文字 | 口 | 文字 | 口 | 文字 | 口 | 文字 | 口 |
|---|---|---|---|---|---|---|---|---|---|
| aa | |
ia |  |
ua |  |
ea |  |
oa |  |
| ai |  |
ii | |
ui |  |
ei |  |
oi |  |
| au |  |
iu |  |
uu | |
eu |  |
ou |  |
| ae |  |
ie |  |
ue |  |
ee | |
oe |  |
| ao |  |
io |  |
uo |  |
eo |  |
oo | |
口を閉じる子音
次の文字は口を閉じる「.」の形を間にはさみます。
| . | n | m | b | p |
|---|
| 文字 | 口 | 文字 | 口 | 文字 | 口 | 文字 | 口 | 文字 | 口 |
|---|---|---|---|---|---|---|---|---|---|
| ana |  |
ami |  |
abu |  |
ape |  |
ano |  |
「i」の形をとる子音
次の文字は「i」の形を間にはさみます。
| i | y |
|---|
| 文字 | 口 | 文字 | 口 | 文字 | 口 | 文字 | 口 | 文字 | 口 |
|---|---|---|---|---|---|---|---|---|---|
| aya |  |
aji |  |
ayu |  |
aze |  |
ayo |  |
「u」の形をとる子音
次の文字は「u」の形を間にはさみます。
| u | w | v | f | j* |
|---|
| 文字 | 口 | 文字 | 口 | 文字 | 口 | 文字 | 口 | 文字 | 口 |
|---|---|---|---|---|---|---|---|---|---|
| awa |  |
avi |  |
afu |  |
aje |  |
avo |  |
＊「j」はフランス語向けに「じゅ」という形にしました。「ざじずぜぞ」は「zazizuzezo」としてください。
後ろの母音によって処理を変える子音
| d* | t* | l* | r* | s* | z* |
|---|
後ろの母音が「a,o」のとき「e」をはさみます。
| 文字 | 口 | 文字 | 口 | 文字 | 口 | 文字 | 口 | 文字 | 口 |
|---|---|---|---|---|---|---|---|---|---|
| ada |  |
ita |  |
ula |  |
era |  |
osa |  |
| azo |  |
ido |  |
uto |  |
elo |  |
oro |  |
それ以外の子音は無視する
上の子音以外は無視しています。
| c | g | h | k | q | x | 空白 |
|---|
| 文字 | 口 | 文字 | 口 | 文字 | 口 | 文字 | 口 | 文字 | 口 |
|---|---|---|---|---|---|---|---|---|---|
| aca | |
iga | |
uha | |
eka | |
ola | |
| ari | |
ishi | |
uchi | |
eti | |
osi | |
口の形をつくるルールとして、かなりいいかげんですが、発音は関係なく、また、実際は高速に動いて、目ではなかなか追えないので、とりあえずこのルールを第一版としています。今後改良していきます。
ローマ字口パクの意義
口パク動画を作る方法として、音声データを認識して、音にあわせて口の形を作るというのが本命の処理だと思います。
しかし、Twitter投稿のように、音声がなくてもよい場合、簡単に口パク動画を作る方法があってもよいでしょう。
9VAeの方法は６つの口の形をつくればよいだけなので、Openclipart のSVGイラストから簡単に口パクキャラクタを作ることができます。次のような無料の口パク素材が、Openclipart に投稿されています。
■ 無料口パク素材
フランス語の口の形
9VAeには、英語版、フランス語版があります。ローマ字口パクをフランス語に適用できるのでしょうか。
フランス語の口の形を調べました。
参考：東京外国語大学言語モジュール
フランス語の発音記号（IPA symbol）
| 発音記号 | よくあるつづり | 口の形 | ローマ字 |
|---|---|---|---|
| 狭母音 /i/ | y,i | i | |
| 狭母音 /y/ | u | i | |
| 狭母音 /u/ | ou | u | |
| 半狭母音 /e/ | é , -er, -ez, -es, -et | e | |
| 半狭母音 /ø/ | eu , œu | e | |
| 半狭母音 /o/ | o, au, eau | o | |
| 半広母音 /ɛ/ | è,ê,ë,e, ai,ay , ei,ey | e | |
| 半広母音 /œ/ | eu, œu | e | |
| 半広母音 /ɔ/ | o | o | |
| 広母音 /a/ | a | a | |
| 広母音 /ɑ/ | a | a | |
| 鼻母音 /ɑ̃/ | am/an、em/en | o? | |
| 鼻母音 /ɔ̃/ | on/om | u? | |
| 鼻母音 /ɛ̃/ | im/in、yn/ ym、aim/ain、eim/ein | e | |
| 鼻母音 /œ̃/ | un/um | e | |
| 半母音 /j/ | y,il,ill | i | |
| 半母音 /w/ | ou, oi/oy, oin | u | |
| 半母音 /ɥ/ | ui. uy. ue.ua | i | |
| 両唇破裂音 /p/ | p, pp | p | |
| 両唇破裂音 /b/ | b, bb | b | |
| 歯茎破裂音 /t/ | t, tt, th | t | |
| 歯茎破裂音 /d/ | d, dd | d | |
| 軟口蓋破裂音 /k/ | ca, cu, co, qu, q, cc, ch, k, cq | k | |
| 軟口蓋破裂音 /g/ | gue, gui, guy, ga, go, gg | g | |
| 軟口蓋破裂音 /c/ | k | ||
| 軟口蓋破裂音 /ɟ/ | g | ||
| 鼻音 /m/ | m | m | |
| 鼻音 /n/ | n, nn | n | |
| 鼻音 /ɲ/ | gn | n | |
| 唇歯摩擦音 /f/ | f, ff, ph | f | |
| 唇歯摩擦音 /v/ | v | v | |
| 歯茎摩擦音 /s/ | se, si, sy, ce, ci, cy, ço, ça, çu | s | |
| 歯茎摩擦音 /z/ | s, -se, z, -z, -zz | z | |
| 後部歯茎摩擦音 /ʃ/ | ch | j* | |
| 後部歯茎摩擦音 /ʒ/ | ge, gi, gy, gea, geo, geu | j* | |
| 口蓋垂摩擦音 /ʁ/ | r, rr | r | |
| 歯茎側面接近音 /l/ | l, ll | l |
- j* 日本語ローマ字では「i」の口にしていたが、「u」にすれば、フランス語につかえそう
フランス語発音記号（IPA）をローマ字に変換すれば使えそうです。
- IPA is from Collins French Dictionary
| spelling | IPA | 9VAe Romaji | Mouth shape |
|---|---|---|---|
| peinture | /pɛ̃tyʀ/ | [2:petir] |  |
| rare | /ʀɑʀ/ | [1:rar] |  |
| pendant | /pɑ̃dɑ̃/ | [2:pandan] |  |
| pétard | /petaʀ/ | [2:petar] |  |
| créateur | /kʀeatœʀ/ | [2:kreater] |  |
| crapaud | /kʀapo/ | [2:krapo] |  |
| donjon | /dɔ̃ʒɔ̃/ | [2:donjon] |  |
| clémence | /klemɑ̃s/ | [2:klemans] |  |
| trente | /tʀɑ̃t/ | [2:trant] |  |
| plan | /plɑ̃ / | [1:plan] |  |
| palette | /palɛt/ | [2:palet] |  |
| facile | /fasil/ | [2:fasil] |  |
| tutu | /tyty/ | [2:titi] |  |
| clan | /klɑ̃/ | [1:klan] |  |
| charitable | /ʃaʀitabl/ | [2:aritabl] |  |
| effacer | /efase/ | [2:efase] |  |
| élève | /elɛv/ | [2:elev] |  |
今後の課題
- しゃべる速さが途中で変わるときの記述方法