参考にしたサイト

みんな大好き凹みTipsからリップシンク関連の記事を大いに参考、利用させていただいております。

リップシンク実装　初期時

最初はフォルマントから母音推定してリップシンクを目指してみるとUnity でリアルタイムにリップシンクする MMD4Mecanim LipSync Plugin を作ってみた参考に、UE4でボイスデータを解析し、フォルマントからの母音抽出を行ってリアルタイムにモーフターゲットに反映する実装検証をしてました。

ソースはMMD4Mecanim-LipSync-Pluginソースを参考にBluePrintで処理を実装、UE4はデフォルトでは音の周波数が取れないため、公式プラグインのSound Visualizations Pluginを使用しました。

ところがこのプラグイン、どうやらエディタ－でしか周波数が取れないらしく、パッケージングするとエラーとなってしまうようです。

ならば周波数解析のライブラリを利用してUE4プラグインを作ろうとしましたが、そもそもc++ライブラリを一回も使用したことがなかったために実装が思うようにいかず、最終的にプラグイン作成をあきらめました。

リップシンク実装　実際にどうしたか

今回の実装目的を改めて見直しました。

実装するにあたり欲しいのは、「ユニティちゃん（グレイちゃん）ボイスデータのリップシンクに必要な、各モーフターゲットに入れる値のデータ」です。

リアルタイムで入力する合成音声を使用していない以上「ボイスファイルの解析データ」、極論を言えば「モーフターゲットに入れる値のリストデータ」さえあれば、別にリアルタイムで音を解析する必要が無いと思い当たりました。

そこで考えた結果、ある結論に至りました。

MMD4Mecanim-LipSync-PluginソースをいじってUnityから解析データをCSVで吐き出せばいいじゃん、と。

Unityからリップシンクに必要なボイスの解析データを取得

今回はユニティちゃんのボイスを解析し、データを取得するためにUnityChanLipSync.csを触ります。
※MMD4M_LipSync.csでも同じように実装できます。

そもそもMMD4Mecanim LipSync Pluginの使い方はUnity でリアルタイムにリップシンクする MMD4Mecanim LipSync Plugin を作ってみたとユニティちゃんが声に合わせて口パクしてくれるリップシンクアセットを作ってみたに掲載されています。
上記記事を見ながら、まず音声解析に必要なデータをセットしてください。

ユニティちゃんの場合、UnityChanLipSync.csを使用すれば大半の設定が完了しています。
エディタでいじったのはMorph SpeedとMax Morph Weightだけです。

まず、CSVを生成する処理です。

UnityChanLipSync.cs

    /**
     * CSVファイル作成
     * 
     * @param txt CSVに書き込む内容
     * @param fileName ファイル名
     */
    void CreateCSV(string txt, string fileName)
    {
        StreamWriter streamWriter;
        FileInfo fileInfo;
        fileInfo = new FileInfo(Application.dataPath + "/Lips" + fileName + ".csv");
        streamWriter = fileInfo.AppendText();
        streamWriter.WriteLine(txt);
        streamWriter.Flush();
        streamWriter.Close();
    }

続いてボイス解析後リアルタイムで反映されるモーフターゲットの値を、上記メソッドに渡すようにUpdateMouthメソッドを修正します。

UnityChanLipSync.cs


    // リップシンク対象モーフターゲット名リスト
    public string[] morphList = { "MTH_A", "MTH_I", "MTH_U", "MTH_E", "MTH_O" };

    void UpdateMouth(string vowel, float volume)
    {
        for (int i = 0; i < morphNames.Length; ++i) {
            if (vowel == morphNames[i] && volume > minVolume) {
                float weight = volume / normalizedVolume;
                if (weight > maxMorphWeight) {
                    weight = maxMorphWeight;
                }
                morphs_[i].morphWeight = weight;

            } else {
                morphs_[i].morphWeight *= morphDampingRate;
            }

            // CSV吐き出し
            CreateCSV(playTotalTime + "," + morphs_[i].morphWeight, morphList[i]);
        }

        if (outputter != null) {
            outputter.text = "";
            for (int i = 0; i < morphNames.Length; ++i) {
                outputter.text += "[" + morphNames[i] + "] " + morphs_[i].morphWeight + "\n";
                print("[" + morphNames[i] + "] " + morphs_[i].morphWeight + "\n");
            }
        }
    }