前書き

タグにUEとかつけていますが、内容はUEはあまり関係なくシェーダ/マテリアルの話です。検証環境としてUEを使ったのでタグ付けしました。

概要

軽量に高品質のライティングを再現するために、Matcapという手法が良く使われています。

詳しくはこのサイトを参照してもらった方が早いですが、ざっくり説明すると事前にレンダリングした画像を使用してライト表現を行う手法です。

カメラから見たライティング結果を画像に保存して、法線の方向に応じてその画像を参照する事で、疑似的なライティングが行えます。複雑なライティング計算をせずとも高品質なライトの結果（疑似的ではありますが）を得られるので、UnityやVRChat界隈でよく使われているようです。

今回は、使い慣れている環境の都合からUnrealEngine(UE-5.0.0)で検証しましたが、やっていることはエンジンに依存していないので、Unityなどどんな環境でも使えます。

また、記事内で使っているColorGridは

で配布されている物を使わせてもらいました。

matcapの問題点

早速ですが、標準的なMatcapの計算では画面端にオブジェクトがあるとUVが歪む問題があります。

画面中央に置いた時は以下のように奇麗にテクスチャが貼られています。

しかし、対象のオブジェクトが画面端にあると以下のようにUVが歪み、思ったようなライティング結果が得られなくなります。

この時のマテリアルはこんな状態です。

twitterでこの問題に対する修正方法を提案している人がいて、そこからヒントを得てさらに改善しました。

Twitterで提案された手法を試してみる

UE標準の画角90度で提案されていた手法を試してみた結果がこちら

標準的な手法	Twitterの手法

確かにいい感じに補正されています。しかし、Twitterの手法でも画角を広げてみると…

このように歪みが出てきます。そこで、私の方で調整を加えてみたところ

このような結果になりました。これでも歪みは残っているので解決策ではなく、回避策というレベルですが。

そもそもの問題点

標準的なMatcapの手法に立ち返って、なぜUVの回り込みが発生するのかについて少し説明します。

ここだけ手書き資料ベースになります（口頭説明したときの資料を再利用）
まずUV展開は、左上図のようにビュー空間での法線方向によって求められています。
対象オブジェクトが正面にある時は良いのですが、右上図のように画面端に行くと 見える範囲 と UV展開している範囲 がずれてしまい、UVが回り込んでいる先が見えてしまします。

それを補正するために、画面端ほど傾く視線方向ベクトルを使って補正してあげましょう。というのが今回の手法です。画角が広い場合、画面端の視線方向ベクトルの傾きは大きくなります。そのため、画角が広いと補正が効きすぎて歪みが目立つ結果になっていました。

今回の改善手法

まず、Twitterの手法で使われている、ShaderForgeのNormalBlendの式はおそらく

の最後の方にある blend_rnm()の関数です。

また、上記のサイトに書かれている式は、法線マップのテクスチャに格納されている状態から、同じくテクスチャに格納されている状態に戻すところまでやっていて、シェーダ内で行うには無駄があります。
それらを省いた関数が以下の関数です。

Reoriented Norml Map

half3 blend_rnm(half3 n1, half3 n2)
{
  half3 t = n1 * half3(-1, -1, 1) + half3(0, 0, 1);
  half3 u = n2 * half3(-1, -1, 1);
  half3 r = normalize(t*dot(t, u) - u*t.z);
  return r;
}

このうち補間係数となり得るのが、関数内1行目の + half3(0, 0, 1); の部分で、これを 1.25 に変更したのが私が行った改善策です。

切り替え機能などを盛り込んで、最終的なマテリアルは以下のような形になりました。

まとめ

ビュー空間のXYでUVを作っているために起きている回りこみの問題を、視線方向を使って補正する。というのがこの対応の肝です。
その為、視線方向以外に何かいい補正基準があればそれを使ってもいいですし、ブレンド方法もRNMでなく他の方法を用いても良いかもしれません。

何か他に良い補正方法を思いついた人がいたら、教えてください！