Julia早引きノート［24］CSVFiles(DataFrameとの連携) #Julia

CSVFiles(DataFrameとの連携)(書き方例)

note24

◆パッケージ読み込み
　using CSVFiles, DataFrames


◆DataFrameの読み込み

　# CSVファイルの読み込み、DataFrameに格納
　df = DataFrame(load("data.csv"))

　# gzipファイルを読み込み、DataFrameに格納
　df = DataFrame(load(File(format"CSV", "iris_data.csv.gz")))


◆読み込み時オプション設定

　・区切り記号(delim)
　・クォート文字(quotechar)　(デフォルトはダブルクォーテーション)
　・ヘッダー有無(header_exists)　(デフォルトはheader_exists=true)

　# オプション設定例
　df = DataFrame(load(File(format"CSV", "data2.csv"); delim=';', quotechar='"', header_exists=false))


◆DataFrameの書き込み

　# DataFrameをCSVファイルへ書き出し
　save("df_output.csv", df)

　# gzipで圧縮されたCSVファイルを書き出す
　save(File(format"CSV", "output2.csv.gz"), df)


◆書き込み時オプション設定

　・区切り記号(delim)
　・クォート文字(quotechar)　(デフォルトはダブルクォーテーション)
　・ヘッダー有無(header_exists)　(デフォルトはheader_exists=true)
　・欠損値の設定(nastring)　(デフォルトは"NA")

　# オプション設定例
　save(File(format"CSV", "output3.csv"), df; delim=',', quotechar='"', nastring="NA", header=true)


◆pipe記法による読み込み、書き込み

　# 読み込みの記載方法
　df = load("data2.csv") |> DataFrame

　# 書き込みの記載方法
　df |> save("output.csv")


◆Matrix型への変換

　# DataFrameをMatrixへ変換
　data_matrix = Matrix(df)


◆配列からのDataFrame作成

　# 配列(Vector型)をDataFrameに変換する
　# [1, 2, 3, 4, 5]
　# 方法(1)
　df = DataFrame()
　df.a = [1, 2, 3, 4, 5]
　# 方法(2)
　df = DataFrame(b = [1, 2, 3, 4, 5])

解説

Juliaでは、CSVファイルを読み込み、DataFrameにデータをセットすることができます。
これを行う際には、CSVFilesパッケージをインストールします。
CSVファイルからの読み込みだけでなく、CSVファイルへの出力もできます。

(1)CSVFiles.jl及びDataFrames.jlのインストール

以下の手順でCSVFiles及びDataFramesパッケージをインストールします。
パッケージ管理モードでインストールを行います。

Juliaの対話型実行環境で角括弧文字の ] を押下してパッケージモードにします。
add "CSVFiles"
と入力してCSVFilesパッケージをインストールします。
(ダブルクォーテーションは無くても良いです)

以下のようにインストールが実行されます。

もしDataFramesパッケージをインストールしていない場合は、合わせてインストールを行います。
add "DataFrames"
と入力してDataFramesパッケージをインストールして下さい。

(2)CSVFilesの使い方

CSVFilesで使用できる機能や使い方を説明します。

①CSVファイルを読み取り、DataFrameに格納する

CSVファイルの読み込みを行い、取得データをDataFrameに格納します。
以下のようにloadメソッドで実行します。

note24

using CSVFiles, DataFrames

# CSVファイルの読み込み、DataFrameに格納
df = DataFrame(load("data.csv"))

実行結果です(ここではiris_data.csvを読み込みました)。

②gzipファイルを読み込み、DataFrameに格納する

CSVファイルが.gzに圧縮されたファイルの場合、以下のメソッドで読み込みを実行できます。format属性でCSV形式であることを指定しています。

note24

using CSVFiles, DataFrames

# gzipファイルを読み込み、DataFrameに格納
df = DataFrame(load(File(format"CSV", "iris_data.csv.gz")))

実行結果

③読み込み時オプション設定

様々なオプションを設定することができます。

拡張子指定
拡張子が.csvでないCSVファイルを読み込む場合は、その拡張子を含むファイル名を指定できます。
load(File(format"CSV", "csv_file.txt"))

区切り記号(delim)
区切り記号を指定する場合は、delimを使用して指定します。

note24

df = DataFrame(load(File(format"CSV", "data2.csv"); delim=';'))

クォート文字(quotechar)
CSVデータのクォート文字を指定することができます。
クォート文字とは、各データの前後を括っている記号です。
デフォルトでは["]ダブルクォーテーションです。

note24

df = DataFrame(load(File(format"CSV", "data2.csv"); quotechar='"'))

CSVデータ

実行例

CSVデータがシングルクォーテーションの場合は、以下のように設定します。

note24

df = DataFrame(load(File(format"CSV", "data3.csv"); quotechar='''))

CSVデータ

実行例

ヘッダー有無(header_exists)
CSVデータの先頭行がヘッダー行であるか、そうでないかを指定します。
ヘッダー行である場合は、header_exists=trueです。デフォルトではこちらが採用されます。
ヘッダー行のない場合は、header_exists=falseと指定します。

note24

df = DataFrame(load(File(format"CSV", "data4.csv"); header_exists=false))

CSVデータ

実行例

④DataFrameをCSVファイルに書き出す(保存する)

DataFrameをファイルに保存する場合は、以下のように実行します。

note24

using CSVFiles, DataFrames

# DataFrameのデータ
df = DataFrame(num = [1, 2, 3], fruit = ["apple","orange","lemmon"], price = [100, 200, 150])

# DataFrameをCSVファイルへ書き出し
save("df_output.csv", df)

⑤gzipで圧縮されたCSVファイルを書き出す

DataFrameを書き出したCSVファイルをgzip形式で圧縮し生成するには、以下のように実行します。

note24

using CSVFiles, DataFrames

df = DataFrame(num = [1, 2, 3], fruit = ["apple","orange","lemmon"], price = [100, 200, 150])

# gzipで圧縮されたCSVファイルを書き出す
save(File(format"CSV", "output2.csv.gz"), df)

⑥書き込み時オプション設定

読み込みと同様に、書き込み処理でも様々なオプションを設定することができます。
以下はオプションを同時に設定した際のコーティング例です。

note24

save(File(format"CSV", "output3.csv"), df; delim=',', quotechar='"', nastring="NA", header=true)

欠損値の設定(nastring)

欠損値取り扱いについて、これをどのような文字列で保持するかを設定します。
デフォルトでは"NA"です。

上記以外の設定項目は、読み込みの説明項目をご参照下さい。

(3)pipe記法による読み込み、書き込みの記載方法

pipe(パイプ)記法(記号：[|>])により、より簡潔な記述ができます。
読み込み、書き込みそれぞれで以下のように記述します。

①読み込みの記載方法

CSVファイルからデータを読み込み、DataFrameに変換します。

note24

using CSVFiles, DataFrames

df = load("data2.csv") |> DataFrame

実行結果例

②書き込みの記載方法

DataFrameのデータをファイルに書き出すには、以下のように実行します。

note24

using CSVFiles, DataFrames

df = DataFrame(num = [1, 2, 3], fruit = ["apple","orange","lemmon"], price = [100, 200, 150])

df |> save("output.csv")

実行結果例

(4)Matrix型への変換

取得したDataFrame型のデータをMatrix型へ変換する場合は、Matrix関数を使用できます。

note24

df = DataFrame(load(File(format"CSV", "test.csv"); delim=',', header_exists=false))

data_matrix = Matrix(df)

実行例

(5)配列からのDataFrame作成

配列(Vector型)の配列をDataFrameに変換する方法は以下のような例がありますが、その他にも方法がありますので、詳細は下記のJuliaのDataFrames.jlドキュメントをご参照頂ければと思います。

方法(1)

note24

# DataFrameを宣言
df = DataFrame()
# dfの列名"a"に配列をセットする
df.a = [1, 2, 3, 4, 5]

方法(2)

note24

# DataFrame宣言と列"b"のセットを同時に実行する
df = DaraFrame(b = [1, 2, 3, 4, 5])

以上、CSVFilesを使用したCSVファイルの取扱方法を解説しました。
JuliaのCSVFiles及びDataFrameパッケージの機能はこれ以外にもありますので、さらなる詳細は以下のマニュアルなどをご参照下さい。

　 CSVFiles.jlのドキュメント(Github)
　https://github.com/queryverse/CSVFiles.jl

　 DataFrames.jlのドキュメント
　https://dataframes.juliadata.org/stable/

ご意見など

ご意見、間違い訂正などございましたらお寄せ下さい。

Julia早引きノート［24］CSVFiles(DataFrameとの連携)

CSVFiles(DataFrameとの連携)(書き方例)

解説

(1)CSVFiles.jl及びDataFrames.jlのインストール

(2)CSVFilesの使い方

(3)pipe記法による読み込み、書き込みの記載方法

(4)Matrix型への変換

(5)配列からのDataFrame作成

もくじ

関連情報

ご意見など