あらかじめ json に変換したい csv ファイルの文字コードをShift-JISまたはUTF-8 with BOMにしておくこと。
2021-06-17 追記:入力ファイルの文字コードを指定することで文字化けを回避できるようになりました。
CSVファイルがShift_JISの場合
gc .\input.csv | ConvertFrom-Csv | ConvertTo-Json > output.json
CSVファイルがUTF8の場合
gc -Encoding UTF8 .\input.csv | ConvertFrom-Csv | ConvertTo-Json > output.json