やり方

Windowsの場合です。Pandocを使います。

C:\path\to\pandoc.exe markdown.md
-f markdown+emoji
-t html5
-s 
--katex=https://cdn.jsdelivr.net/npm/katex@0.10.0-beta/dist/ 
-o output.html

なんかこうやるとうまくいきます。--katexはその時々の最新版にすると良いと思います。
(katex@latestとかにしてくれたらいちいち書き換えなくて良いのに)

オプションの意味

--from。元ファイルのフォーマット。markdown+emojiは、markdownにその拡張のemojiを+したものという意味。
（markdown+emojiという文字列をどこのサイトから拾ってきたのか忘れました…
）

--to。出力ファイルのフォーマット。
どんなフォーマットがあるかは→http://pandoc.org/MANUAL.html#general-options

--standalone。<head>とかを含んだ、ファイル全体を出力する。

--output。出力先のファイル名。指定しないとSTDOUTに出る。

KatexのJSとかCSSをとってくる元のCDNのURL。詳しくは→http://pandoc.org/MANUAL.html#math-rendering-in-html

なんでわざわざKatexを使っているかというと、VSCodeのプラグインがKatexを使っているからです。
実際Mathjaxとかよりレンダリングがとても早く感じます。ただ、検索するときにlatexと混ざるのでググラビリティが低いですね。