目次

目次
使用させて頂いたもの
UTAU 手順
- 原音を変更する
- 連続音*1を単独音に変更する
- 母音(ローマ字)に変更する
- 音階を調整する
- 使用している音源に合わせた調整を行う
  - 全体的なエンベロープの修正を行う (必須)
  - 一部のエンベロープ及びピッチの修正を行う (任意)
    - 修正した時の聴こえ方の比較 (比較動画有り)
    - 声量に違和感がある場合=>エンベロープの調整
    - 音が単調・薄く聴こえてしまう場合=>ピッチの調整
    - 発声する文字数を増やす
- 音声を出力する
音声をAviUtlで合成する
補足
- 連続音について
- 口パク動作
  - 口パク動作の設定 (AviUtlで行う操作)
  - PSDアニメーション効果の設定
参考

はじめに

この記事では、UTAUとAviUtlを使用し、配布されている連続音用USTを、別の単独音に変換し更に母音化して、自分の持っている別の音源に歌わせ、最終的にキャラクターを口パクさせるまでの一連の流れを、具体的な手順に沿って詳しく解説します。

こんな方におすすめ

配布USTを、自分の持っている別の音源で歌わせてみたい方
特に、FNF（フライデーナイトファンキン）というゲームのmodで使用されている、「Sans」や「Murder!Sans」のような音源を使って歌わせてみたい方

UTAUで作成した音声に合わせて、AviUtlのPSDToolKitでキャラクターを口パク（リップシンク）させたい方

「連続音」で構成されたUSTを「単独音」で構成されたUSTに変換する方法や、「母音化」の具体的な手順を知りたい方

使用させて頂いたもの

使用ソフト

使用ソフト_UTAU関連

moresampler.exe (UTAU Engine)
- https://bowlroll.net/file/139123
doppeltler64.exe (UTAU Engine)
- https://utau2008.xrea.jp/2020/engine/

使用ソフト_動画作成関連

AviUtl version1.10
- https://spring-fragrance.mints.ne.jp/aviutl/ (配布ページ)
- https://seiga.nicovideo.jp/seiga/im1696493?rf=nvpc&rp=watch&ra=content_tree&rd=content_tree_parents (niconico動画親作品登録用リンク)

使用プラグイン

使用プラグイン_UTAU関連

歌詞を母音化
- https://w.atwiki.jp/utaou/pages/36.html (プラグイン紹介記事)
- https://ux.getuploader.com/yuuboku/download/11/vowelize.zip
僕の考えた最強のry_Ver2
- https://note.com/hidakayofuke/n/n1dc0ac607843 (プラグイン紹介記事)
- https://uu.getuploader.com/bizz_v/download/141
HE_エンベロープ正規化0.4用
- https://www.nicovideo.jp/watch/sm19656111 (紹介動画)
- https://u9.getuploader.com/utaou/download/307/HE_EnvFix_v001.zip
拡張エンベロープエディタ
- http://z-server.game.coocan.jp/utau/utautop.html
拡張ピッチエディタ
- http://z-server.game.coocan.jp/utau/utautop.html

使用プラグイン_動画作成関連

拡張編集プラグイン version 0.92
- https://spring-fragrance.mints.ne.jp/aviutl/
PSDToolKit
- https://github.com/oov/aviutl_psdtoolkit/releases (配布ページ)
- https://oov.github.io/aviutl_psdtoolkit/index.html (チュートリアル)
- https://www.nicovideo.jp/watch/sm32904901 (niconico動画親作品登録用リンク & 解説)
ごちゃまぜドロップス
- https://github.com/oov/aviutl_gcmzdrops/releases (配布ページ)
  - PSDToolKitに同梱されています
- https://www.nicovideo.jp/watch/sm33020019 (niconico動画親作品登録用リンク & 解説)

音源

Sans Assets by Draco
- https://x.com/Draco1225/status/1417394922534096896
【波音リツ】シャルル【ust配布・UTAUカバー】
- https://www.nicovideo.jp/watch/sm29840667
- https://commons.nicovideo.jp/works/sm29840667 (nicommons)

UTAU 手順

原音を変更する

設定されている原音の名前を押し、プロジェクトの設定を開く
使用したい原音ファイルをセットする

連続音*1を単独音に変更する

下記プラグインが導入されている前提です
- 僕の考えた最強のry_Ver2
導入されていない場合は使用プラグイン_UTAU関連を確認して下さい

Ctrl + A を押し、歌詞をすべて選択する
Nキーを押し 僕の考えた最強のry_Ver2 を押す
連続音→単独音 を実行する
Ctrl + E を押して、複数選択のプロパティを表示する
先行発声とオーバーラップのクリアを実行する
STP*2 を 0 に設定する

母音(ローマ字)に変更する

下記プラグインが導入されている前提です
- 歌詞を母音化
- 僕の考えた最強のry_Ver2
導入されていない場合は使用プラグイン_UTAU関連を確認して下さい

Ctrl + A を押し、歌詞をすべて選択する
Nキーを押す
歌詞を母音化 を実行する
Nキーを押し 僕の考えた最強のry_Ver2 を押す
ひらがな→ローマ字 を押す
実行 を押す
- ん → nn が赤文字になっている場合があるが、音源にnn.wav(エイリアスnn)が存在しているなら、このまま変換してよい
実行 を押す
歌詞がすべてローマ字の母音に変換される

音階を調整する

Ctrl + A を押し、歌詞をすべて選択する
選択部分を再生 を押し、高低がおかしくないかを確認する
高さの調整が必要な場合、Alt + E を押し、[編集]を開く
Nキーを押し、[選択部分を数値で移動]を開く
数値を入力し、音階を調整する
- - 1オクターブあげる場合は、+12 と入力する
  - 1オクターブ下げる場合は、-12 と入力する
音階が下がる

使用している音源に合わせた調整を行う

全体的なエンベロープの修正を行うのみでも十分な場合が多いですが、気になる部分を手動で調整する事もできます。

全体的なエンベロープの修正を行う

下記プラグインが導入されている前提です
- HE_エンベロープ正規化0.4用
導入されていない場合は使用プラグイン_UTAU関連を確認して下さい

Ctrl + A を押し、歌詞をすべて選択する
左下のPを押す(やらなくともよい)
Ctrl + E を押して、複数選択のプロパティを表示する
音量を100%、モジュレーション を 0% に設定する
クロスフェードのエンベロープをp1とp4で設定 を実行する
Nキーを押し、HE_エンベロープ正規化0.4用を実行する
選択部分を再生 を実行し、音を確認する

一部のエンベロープ及びピッチの修正を行う

下記プラグインが導入されている前提です
- 拡張エンベロープエディタ
- 拡張ピッチエディタ
導入されていない場合は使用プラグイン_UTAU関連を確認して下さい

修正した時の聴こえ方の比較

声量に違和感がある場合=>エンベロープの調整と音が単調・薄く聴こえてしまう場合=>ピッチの調整、発声する文字数を増やすを合わせて行った物
比較動画
実際のエンベロープとピッチの表示
- Before
  - 拡張ピッチエディタ
  - 拡張エンベロープエディタ
- After
  - 拡張ピッチエディタ
  - 拡張エンベロープエディタ

声量に違和感がある場合=>エンベロープの調整

状態
- 「ええ」の、最初の『え』が弱く、最後の『え』が強い事に違和感がある為修正する
- 元々一つながりだった音をパート分けしてしまった為に、声量に違和感を覚えるようになってしまった部分の調整

違和感のある部分を選択する
Nキーを押し、拡張エンベロープエディタを起動する
フリーハンドを選択し、エンベロープを調整する
- 線がある場所をクリックし、音量の波をかくイメージでドラッグする
- 点をドラッグし、波を微調整する
調声が完了したらOKを押す
選択部分を再生 を実行し、音を確認する

音が単調・薄く聴こえてしまう場合=>ピッチの調整

状態
- 元は無声歯茎摩擦音であるそを、母音のみの歌詞に変えている為に、単調に聞こえるようになってしまっている
- ピッチを調整する事で、母音のみでも単調に聞こえないようにする

違和感のある部分を選択する
Nキーを押し、拡張ピッチエディタを起動する。
点の移動を選択し、ピッチを調整する
- 発声の山、谷を増やしたい場合は、線の部分をドラッグする
- 音素同士の点を合わせると音のつながりが滑らかになる
調声が完了したらOKを押す
選択部分を再生を実行し音を確認する

発声する文字数を増やす

分割して、発音する文字数を増やしたい音符の右端をCtrl + Shiftを押しながら押す
分割したい位置までドラッグする
分割した音符を選択する
Nキーを押し、拡張ピッチエディタを起動する
音を滑らかにしたい場合はピッチ線をつなげる
編集したら OK を押し、音を確認する

音声を出力する

プロジェクト から wavファイルを生成 を押す
表示されたエクスプローラーを操作し、保存する

音声をAviUtlで合成する

複数のパートを合成する

メインメロディとハモリの音量比率は7:3くらいが良い

合成した音声をwavとして出力する

編集 から wav出力を押す
ファイル名を入力して保存する

歌詞に合わせて口パクするように設定する

下記プラグインが導入されている前提です
- PSDToolKit
- ごちゃまぜドロップス
導入されていない場合は使用プラグイン_動画作成関連を確認して下さい

使用する立ち絵のアニメーション効果(*.anmファイル)を、AviUtlのscriptフォルダに追加している前提です
追加されていない場合は、口パク動作及びPSD アニメーション効果の設定を確認して下さい

使用したいPSD形式の立ち絵を拡張編集にドロップする
立ち絵用のアニメーション効果を描写@PSDの上に追加する
- 一連の動作
スライダーで口パクオブジェクトが指定されている番号を選択する
立ち絵のlipsyncオプションで、口パク準備オブジェクトを置くレイヤー番号を指定する
メディアオブジェクトの追加 > PSDToolKit > 口パク準備 から、口パク準備オブジェクトを追加する
口パクさせたいパート以外の音声が存在するレイヤーを全て非表示にする
ファイルからwav出力する
- 手順6 及び手順7は、再生位置を移動している(AviUtil側で頭出ししている)場合、口パク動作がずれてしまう為に必要な物
- 再生位置をずらしていない場合は、手順6 及び手順7 は必要ない
口パク準備オブジェクトの参照で、口パクさせて歌わせたい音声データを指定する
- 手順6 及び手順7を行っていない場合は、口パク準備オブジェクトの開始位置を音声データの開始位置とそろえる
  - これを行わない場合、口パク動作がずれてしまう
歌詞に合わせて口パクするようになる

補足

連続音について

連続音とは

単独の音韻ではなく、音韻のつながりを有し音素として構成されている原音の事
- 前の母音が付属した状態で、構成されている原音
  - (前の言葉の) 母音 + 子音 + 母音 の組み合わせ
- 前に音が存在する場合は、前の母音に合わせて選択する
  - 前が そ の場合は o れ の様になる
- 前に音が存在しない場合は、単独音と同じ
  - -そ等で表現されている

STPとは

原音をどの位置から再生するかを設定する為の値
- 先行発生と異なり、音符のシフトは行われない
  - 発生の終わりは元と同じ
- 先行発声と異なり、元の波形と異なる波形になる
  - 発生開始位置より左側の音は削られる
- 図解

連続音が使われている場合の表示例

[【シャルル配布ust】 sm29840667] より
- -そ o れ のように音韻に記号等が付いている

単独音に直さず母音の歌詞にした場合どうなるか

比較
- 以下のどちらも、エンベロープの設定及び正規化は行っている
- 連続音を全く直さずに、又は連続音→単独音以外の単独音変換処理を行わずに歌わせた場合
- 連続音をプロパティの部分まで直して、歌わせた場合
- 完全に連続音を修正しないまま歌わせている方は、発音できない音が発生している
  - 1秒未満の単独音を原音として使用している為、STPが設定されている事が影響して、音が出なくなってしまっている

口パク動作

口パク動作の設定 (AviUtlで行う操作)

詳細は以下の記事を確認して下さい
- PSDToolKit チュートリアル口パク（リップシンク）

PSDアニメーション効果の設定

詳細は以下の記事を確認して下さい
- PSDアニメーション効果
- *.anm ファイルを作成する (スライダーの有効化)
- 他のスライダーを有効化する (*.anmファイルの構成例)
- 口パク開閉のみ@PSD (口パクオブジェクトの出力)
口パクオブジェクト設定時の注意点
- フォームから作成した口パクオブジェクトを*.anmファイルに追記する際、, の追加を忘れないようにする
- 口パクオブジェクトを追加した分、スライダーの範囲を増加する事を忘れないようにする

参考