今の所の最適解。
日本語とそれ以外でフォントを分ける設定。
init.el
;; Basic font
(custom-set-faces
'(default ((t (
:foundry "Source Code Pro" :family "Source Code Pro")))))
;; Japanese font
(set-fontset-font t 'japanese-jisx0208 (font-spec :family "IPAExGothic"))
もともと日本語も良い感じに表示されていたのに、
OS再インストールしたら日本語が明朝体で表示されるように変わってしまった。
そのため上記設定を適用したら、いい感じになった。