Main mapsのNomal mapと、Secondary MapsのAlbedoはいけてたので、
なんでSecondary MapsのNomal mapだけ反映されないんだろう、ってしばらく悩んでました。（エラーもでない）
ビルドするプラットフォームをAndroidにしてたらこの問題に直面
⇓
スマホ向けビルドにしてるから、
グラフィック周りの設定が自動的に低品質に変えられてる気がした
⇓
プラットフォームをWindowsにしてみる
⇓
ノーマルマップもどった！
最終的な解決方法
Project Settings > Graphics で
Low,Mediam High それぞれの Use Defaultsのチェックを外し、
Detail Normal Map に３つともチェックを入れる
