csvファイルを変換する必要があったため，備忘録的に書きました。
with文を使ったjsonへの変換もできますが，結論としてはpandasが一番楽だと思います。

環境

OS:macOS Montery 12.6
python:3.10.6
scikit-learn:1.1.2
pandas:1.4.0
pyarrow:10.0.1
fastparquet:2022.12.0
parquet-cli:1.12.3

　また，vscodeの拡張機能を使用して，Jupyterで実験しました。

データセットの用意

scikit-learnに入っているカリフォルニアの住宅価格のデータセットを使用しました。

from sklearn.datasets import fetch_california_housing
import pandas as pd
housing_data = fetch_california_housing()
df_data = pd.DataFrame(housing_data.data, columns=housing_data.feature_names)
df_data.head()

このデータをcsvで保存します。

#DataFrameをcsvとして保存する
csv_file = df_data.to_csv("./data.csv", index=0)

csv->json

import pandas as pd
df_data = pd.read_csv("./data.csv")

#json形式で出力する
df_data.to_json("./data_pd.json", orient="records")

csv->jsonl

import pandas as pd
df_data = pd.read_csv("./data.csv")

#jsonl形式で出力する
df_data.to_json("./data_pd.jsonl", orient="records",lines=True)

csv->parquet

pyarrowとfastparquetのinstallが必要です。

import pandas as pd
df_data = pd.read_csv("./data.csv")
#parquet形式で出力する
df_data.to_parquet(path="./data.parquet")

正しく出力されたか確認してみましょう。
今回はparquet-cliを使いました。

brewからインストールできます。

# parquet-cliのインストール
brew install parquet-cli

$ parquet head data.parquet

正しく出力できているようです。

おまけ：pyarrowとfastparquetのインストール

※pyarrowとfastparquetがinstallされていない場合，to_parquet（）を実行すると以下のエラーが表示されます。

   　 ImportError: Unable to find a usable engine; tried using: 'pyarrow', 'fastparquet'.
     A suitable version of pyarrow or fastparquet is required for parquet support.
     Trying to import the above resulted in these errors:
      - Missing optional dependency 'pyarrow'. pyarrow is required for parquet support. Use pip or conda to install pyarrow.
      - Missing optional dependency 'fastparquet'. fastparquet is required for parquet support. Use pip or conda to install fastparquet.

指示に従って，pipもしくはcondaでインストールしましょう。
私はminiforgeを使用していたので，condaでインストールしました。

conda install pyarrow fastparquet -y

まとめ

pandasめっちゃ便利。
コマンド2，3行でデータの変換ができちゃいます。

書いた後に気づいたのですが，厳密には全てpd.DataFrameを経由しています。csv->pd.DataFrame->jsonが正確な表現ですね。
大きなファイルを変換する場合はread_csv()でOut of Memoryのエラーが出る場合があります。
他の方法も探してみます。

参考