More than 1 year has passed since last update.

Julia早引きノート［24］CSVFiles(DataFrameとの連携)

Julia

Last updated at 2021-11-15Posted at 2021-02-04

CSVFiles(DataFrameとの連携)(書き方例)

note24

◆パッケージ読み込み
　using CSVFiles, DataFrames


◆DataFrameの読み込み

　# CSVファイルの読み込み、DataFrameに格納
　df = DataFrame(load("data.csv"))

　# gzipファイルを読み込み、DataFrameに格納
　df = DataFrame(load(File(format"CSV", "iris_data.csv.gz")))


◆読み込み時オプション設定

　・区切り記号(delim)
　・クォート文字(quotechar)　(デフォルトはダブルクォーテーション)
　・ヘッダー有無(header_exists)　(デフォルトはheader_exists=true)

　# オプション設定例
　df = DataFrame(load(File(format"CSV", "data2.csv"); delim=';', quotechar='"', header_exists=false))


◆DataFrameの書き込み

　# DataFrameをCSVファイルへ書き出し
　save("df_output.csv", df)

　# gzipで圧縮されたCSVファイルを書き出す
　save(File(format"CSV", "output2.csv.gz"), df)


◆書き込み時オプション設定

　・区切り記号(delim)
　・クォート文字(quotechar)　(デフォルトはダブルクォーテーション)
　・ヘッダー有無(header_exists)　(デフォルトはheader_exists=true)
　・欠損値の設定(nastring)　(デフォルトは"NA")

　# オプション設定例
　save(File(format"CSV", "output3.csv"), df; delim=',', quotechar='"', nastring="NA", header=true)


◆pipe記法による読み込み、書き込み

　# 読み込みの記載方法
　df = load("data2.csv") |> DataFrame

　# 書き込みの記載方法
　df |> save("output.csv")


◆Matrix型への変換

　# DataFrameをMatrixへ変換
　data_matrix = Matrix(df)


◆配列からのDataFrame作成

　# 配列(Vector型)をDataFrameに変換する
　# [1, 2, 3, 4, 5]
　# 方法(1)
　df = DataFrame()
　df.a = [1, 2, 3, 4, 5]
　# 方法(2)
　df = DataFrame(b = [1, 2, 3, 4, 5])

解説

Juliaでは、CSVファイルを読み込み、DataFrameにデータをセットすることができます。
これを行う際には、CSVFilesパッケージをインストールします。
CSVファイルからの読み込みだけでなく、CSVファイルへの出力もできます。

(1)CSVFiles.jl及びDataFrames.jlのインストール

以下の手順でCSVFiles及びDataFramesパッケージをインストールします。
パッケージ管理モードでインストールを行います。

Juliaの対話型実行環境で角括弧文字の ] を押下してパッケージモードにします。
add "CSVFiles"
と入力してCSVFilesパッケージをインストールします。
(ダブルクォーテーションは無くても良いです)

以下のようにインストールが実行されます。

もしDataFramesパッケージをインストールしていない場合は、合わせてインストールを行います。
add "DataFrames"
と入力してDataFramesパッケージをインストールして下さい。

(2)CSVFilesの使い方

CSVFilesで使用できる機能や使い方を説明します。

①CSVファイルを読み取り、DataFrameに格納する

CSVファイルの読み込みを行い、取得データをDataFrameに格納します。
以下のようにloadメソッドで実行します。

note24

using CSVFiles, DataFrames

# CSVファイルの読み込み、DataFrameに格納
df = DataFrame(load("data.csv"))

実行結果です(ここではiris_data.csvを読み込みました)。

②gzipファイルを読み込み、DataFrameに格納する

CSVファイルが.gzに圧縮されたファイルの場合、以下のメソッドで読み込みを実行できます。format属性でCSV形式であることを指定しています。

note24

using CSVFiles, DataFrames

# gzipファイルを読み込み、DataFrameに格納
df = DataFrame(load(File(format"CSV", "iris_data.csv.gz")))

実行結果

③読み込み時オプション設定

様々なオプションを設定することができます。

拡張子指定
拡張子が.csvでないCSVファイルを読み込む場合は、その拡張子を含むファイル名を指定できます。
load(File(format"CSV", "csv_file.txt"))

区切り記号(delim)
区切り記号を指定する場合は、delimを使用して指定します。

note24

df = DataFrame(load(File(format"CSV", "data2.csv"); delim=';'))

クォート文字(quotechar)
CSVデータのクォート文字を指定することができます。
クォート文字とは、各データの前後を括っている記号です。
デフォルトでは["]ダブルクォーテーションです。

note24

df = DataFrame(load(File(format"CSV", "data2.csv"); quotechar='"'))

CSVデータ

実行例

CSVデータがシングルクォーテーションの場合は、以下のように設定します。

note24

df = DataFrame(load(File(format"CSV", "data3.csv"); quotechar='''))

CSVデータ

実行例

ヘッダー有無(header_exists)
CSVデータの先頭行がヘッダー行であるか、そうでないかを指定します。
ヘッダー行である場合は、header_exists=trueです。デフォルトではこちらが採用されます。
ヘッダー行のない場合は、header_exists=falseと指定します。

note24

df = DataFrame(load(File(format"CSV", "data4.csv"); header_exists=false))

CSVデータ

実行例

④DataFrameをCSVファイルに書き出す(保存する)

DataFrameをファイルに保存する場合は、以下のように実行します。

note24

using CSVFiles, DataFrames

# DataFrameのデータ
df = DataFrame(num = [1, 2, 3], fruit = ["apple","orange","lemmon"], price = [100, 200, 150])

# DataFrameをCSVファイルへ書き出し
save("df_output.csv", df)

⑤gzipで圧縮されたCSVファイルを書き出す

DataFrameを書き出したCSVファイルをgzip形式で圧縮し生成するには、以下のように実行します。

note24

using CSVFiles, DataFrames

df = DataFrame(num = [1, 2, 3], fruit = ["apple","orange","lemmon"], price = [100, 200, 150])

# gzipで圧縮されたCSVファイルを書き出す
save(File(format"CSV", "output2.csv.gz"), df)

⑥書き込み時オプション設定

読み込みと同様に、書き込み処理でも様々なオプションを設定することができます。
以下はオプションを同時に設定した際のコーティング例です。

note24

save(File(format"CSV", "output3.csv"), df; delim=',', quotechar='"', nastring="NA", header=true)

欠損値の設定(nastring)

欠損値取り扱いについて、これをどのような文字列で保持するかを設定します。
デフォルトでは"NA"です。

上記以外の設定項目は、読み込みの説明項目をご参照下さい。

(3)pipe記法による読み込み、書き込みの記載方法

pipe(パイプ)記法(記号：[|>])により、より簡潔な記述ができます。
読み込み、書き込みそれぞれで以下のように記述します。

①読み込みの記載方法

CSVファイルからデータを読み込み、DataFrameに変換します。

note24

using CSVFiles, DataFrames

df = load("data2.csv") |> DataFrame

実行結果例

②書き込みの記載方法

DataFrameのデータをファイルに書き出すには、以下のように実行します。

note24

using CSVFiles, DataFrames

df = DataFrame(num = [1, 2, 3], fruit = ["apple","orange","lemmon"], price = [100, 200, 150])

df |> save("output.csv")

実行結果例

(4)Matrix型への変換

取得したDataFrame型のデータをMatrix型へ変換する場合は、Matrix関数を使用できます。

note24

df = DataFrame(load(File(format"CSV", "test.csv"); delim=',', header_exists=false))

data_matrix = Matrix(df)

実行例

(5)配列からのDataFrame作成

配列(Vector型)の配列をDataFrameに変換する方法は以下のような例がありますが、その他にも方法がありますので、詳細は下記のJuliaのDataFrames.jlドキュメントをご参照頂ければと思います。

方法(1)

note24

# DataFrameを宣言
df = DataFrame()
# dfの列名"a"に配列をセットする
df.a = [1, 2, 3, 4, 5]

方法(2)

note24

# DataFrame宣言と列"b"のセットを同時に実行する
df = DaraFrame(b = [1, 2, 3, 4, 5])

以上、CSVFilesを使用したCSVファイルの取扱方法を解説しました。
JuliaのCSVFiles及びDataFrameパッケージの機能はこれ以外にもありますので、さらなる詳細は以下のマニュアルなどをご参照下さい。

　 CSVFiles.jlのドキュメント(Github)
　https://github.com/queryverse/CSVFiles.jl

　 DataFrames.jlのドキュメント
　https://dataframes.juliadata.org/stable/

ご意見など

ご意見、間違い訂正などございましたらお寄せ下さい。

You get articles that match your needs
You can efficiently read back useful information
You can use dark theme

What you can do with signing up

Julia早引きノート［24］CSVFiles(DataFrameとの連携)

CSVFiles(DataFrameとの連携)(書き方例)

解説

(1)CSVFiles.jl及びDataFrames.jlのインストール

(2)CSVFilesの使い方

(3)pipe記法による読み込み、書き込みの記載方法

(4)Matrix型への変換

(5)配列からのDataFrame作成

もくじ

関連情報

ご意見など