TL;DR
掲題のとおりですが、検索して出てくる記事では手元環境とパスが違っていたので改めてメモしておきます。誰かの助けになりますように。
JupyterLab 0.35.3
ファイルの場所
IPAexフォントファイル( ipaexg.ttf
)の置き場所
C:\Users\[ユーザー名]\AppData\Local\Continuum\anaconda3\Lib\site-packages\matplotlib\mpl-data\fonts\ttf\
font.family : IPAexGothic
を追記するべき設定ファイル
C:\Users\[ユーザー名]\AppData\Local\Continuum\anaconda3\Lib\site-packages\matplotlib\mpl-data\matplotlibrc
参考
全体的な手順としてはこちらが参考になるかと。