この記事について

Pandasの使い方を死ぬほどわかりやすく解説していきます。
この記事をちゃんと読めばもうOKです。

Pandasを始める前にCSVファイルについての理解

全くの初心者の方は、Pandasの勉強を始める前にちょっとCSVファイルの話を聞いてください。

CSVファイルとは

CSV(comma separated value)は、読んで字の如く「値（value）をコンマ(,)で分けた(separated)」ファイルのこと。
具体例を見ていきます。
下記のようなファイルがあったとします。

使用言語,経験年数,年収
Python,10,"¥60,000,000.00"
Ruby,2,"¥3,500,000.00"
Swift,4,"¥5,000,000.00"

これをexcelやgoogleスプレットシートで開くと以下のように表示されます。

結論頭に入れてほしいことは、excelのファイルの「,」区切り版ぐらいでいいかもしれません。

・Pandasとは
・インストール手順
・基本的なデータ型
・データの取り出し方(loc、iloc、head、tailとか色々)
・データ読み込み、出力
・データのソート
・欠損値の処理
データを操作する
　　・Series編
　　・DataFrame編
・統計処理

Pandasとは

Pandasとは、Pythonでデータ分析を効率的に行うためのライブラリ。なんか抽象的でなんだかわからないので、具体的な話をします。
機械学習やデータ分析を行う時その学習のためのデータがちゃんと学習するために整理されていないことが多いです。
そこでこのPandasを用いると便利にデータを成形することができます。
この機械学習を行う前のこの工程をデータの前処理(Data Preprocessing)と言います。
データの前処理といえばPandasを使う！！！！！！！！！
と頭に入れておいてください。

インストール手順

Anacondaを使ってPythonをインストールした方は、もうインストールは済んでいると思われます。
もしインストールされていなかったら

pip install pandas

Pandasを使う

Pandasを使うときはPandasのライブラリを読み込ます必要があります。

import pandas as pd

いちいち毎回pandasで呼び出すのはめんどくさいので一般的にはpdとしちゃいます。

データ型(SeriesとDataFrame)

Series

Seriesは1列のみのデータ型です。
難しく言うと、1次元データ構造。

import pandas as pd

l = [1,2,3,4,5]
series = pd.Series(l)
print(series)
==========>
0    1
1    2
2    3
3    4
4    5
dtype: int64

左側の数字はindex(行ラベル)、右側はシリーズのデータです。

DataFrame(データフレーム)

データフレームは、2次元のラベル付きデータ構造で、Pandasで一番使われるデータ構造です。
excelやスプレットシートのデータを想像するとわかりやすいと思います。


import pandas as pd
df = pd.DataFrame({
    'プログラム言語' :['Python', 'Ruby', 'Go'],
    '経験年数' : [1, 1, 2],
    '年収' : [3000000, 2800000, 16900000]
    })
print(df)
===========>
  プログラム言語  経験年数        年収
0  Python     1   3000000
1    Ruby     1   2800000
2      Go     2  16900000

こんなイメージ

ちなみにデータフレーム型では、行ラベル(index)で自動的にソートされますので、並びが変わってしまう場合があります。

データの取り出し方

シリーズ

シリーズに関してはそのまま行ラベルでアクセスすればOKです。


import pandas as pd

l = [1,2,3,4,5]
series = pd.Series(l)
print(series[1])
==========>
2

データフレーム型

問題はこちらです。色々取り出し方があるので、順番に見ていきましょう。
前提として以下のようなデータがあるとします。

import pandas as pd
df = pd.DataFrame({
    'プログラム言語' :['Python', 'Python','Ruby', 'Go','C#','C#'],
    '経験年数' : [1, 1, 2, 3, 1,3],
    '年収' : [3000000, 2800000, 16900000,1230000,2000000,500000],
    '年齢' : [21,22,34,55,11,8]
    })
print(df)
============>
  プログラム言語  経験年数        年収  年齢
0  Python     1   3000000  21
1  Python     1   2800000  22
2    Ruby     2  16900000  34
3      Go     3   1230000  55
4      C＃     1   2000000  11
5      C＃     3    500000   8

特定の列を取得

print(df['プログラム言語'])
#またはdf.'プログラム言語'でも同様の結果が得られる。
=================>
0    Python
1    Python
2      Ruby
3        Go
4        C#
5        C#
Name: プログラム言語, dtype: object

特定の行を取得

print(df[0:2])
===============>
  プログラム言語  経験年数       年収  年齢
0  Python     1  3000000  21
1  Python     1  2800000  22

列の取得とわけわからなくなりそうなので、細かい説明をします。
df[]で普通にキーを入れると、pandasはこれは列名であると判断します。
df[スライス]で入力するとPandasはこれを行ラベルであると判断します。

特定の「列と行」の取得(locとiloc)

今回は行と列両方を指定します。

loc

locの基本的な使い方
loc[行の指定,列の指定]
locでは行の名前、列の名前を指定します。

iloc

ilocの基本的な使い方
iloc[行の番号、列の番号]
ilocでは行の番号、列の番号で指定します。

実際に動かす

import pandas as pd
df = pd.DataFrame({
    'プログラム言語' :['Python', 'Python','Ruby', 'Go','C#','C#'],
    '経験年数' : [1, 1, 2, 3, 1,3],
    '年収' : [3000000, 2800000, 16900000,1230000,2000000,500000],
    '年齢' : [21,22,34,55,11,8]
    })

print(df.loc[0:2,'プログラム言語'])#こちらはスライスの最後の値も含まれます。あくまで行の名前しているからです。
print(df.iloc[0:2,0])#こっちではスライスの最後の値は含まれません！
=================>
0    Python
1    Python
2      Ruby
Name: プログラム言語, dtype: object
0    Python
1    Python
Name: プログラム言語, dtype: object

一応コメントを読んでください。出力結果に若干の違いがあります。
ちなみに存在していない列にアクセスするとNaNが返ってきます。

head()とtail()

head()を使うと先頭の5件
tail()を使うと後ろの5件にアクセスすることができます。

print(df.head())
==================>
  プログラム言語  経験年数        年収  年齢
0  Python     1   3000000  21
1  Python     1   2800000  22
2    Ruby     2  16900000  34
3      Go     3   1230000  55
4      C#     1   2000000  11

print(df.tail())
==================>
  プログラム言語  経験年数        年収  年齢
1  Python     1   2800000  22
2    Ruby     2  16900000  34
3      Go     3   1230000  55
4      C#     1   2000000  11
5      C#     3    500000   8
#何件にアクセスするかを引数で指定できる。
print(head(2))
====================>
  プログラム言語  経験年数       年収  年齢
0  Python     1  3000000  21
1  Python     1  2800000  22
print(tail(2))
=====================>
  プログラム言語  経験年数       年収  年齢
4      C#     1  2000000  11
5      C#     3   500000   8

条件を指定して行を抽出する(query)

query()を使うことで、データフレームの値を指定して、それを含む行を抽出することが可能です。
普通に比較演算子を用いて指定します。

import pandas as pd
df = pd.DataFrame({
    'プログラム言語' :['Python', 'Python','Ruby', 'Go','C#','C#'],
    '経験年数' : [1, 1, 2, 3, 1,3],
    '年収' : [3000000, 2800000, 16900000,1230000,2000000,500000],
    '年齢' : [21,22,34,55,11,8]
    })
print(df.query('経験年数 <= 2'))
========================>
  プログラム言語  経験年数        年収  年齢
0  Python     1   3000000  21
1  Python     1   2800000  22
2    Ruby     2  16900000  34
4      C#     1   2000000  11

データの入出力

Pandasには、データ入力そして操作後にデータをファイルとして出力する機能がある。
ここでは、関数の紹介だけをします。

import pandas as pd

pd.read_CSV('ファイル名', header, sep,...)#read_CSVではデフォルトの区切り文字は「,」
pd.read_table('ファイル名', header, sep....)# read_tableではデフォルトの区切り文字は「\t」

#出力としては、
pd.to_csv('ファイル名')
pd.to_excel('ファイル名')
pd.to_html('ファイル名')
#等がある。

データのソート

大きく分けて2つ方法がある。
1.インデックス(行名・列名)を使う方法と値に基づいてソートする方法...sort_index()
2.列の値の大きさでソートする方法...sort_values()

import pandas as pd
df = pd.DataFrame({
    'プログラム言語' :['Python', 'Python','Ruby', 'Go','C#','C#'],
    '経験年数' : [1, 1, 2, 3, 1,3],
    '年収' : [3000000, 2800000, 16900000,1230000,2000000,500000],
    '年齢' : [21,22,34,55,11,8]
    })

print(df.sort_index(ascending=False))
===============================>
  プログラム言語  経験年数        年収  年齢
5      C#     3    500000   8
4      C#     1   2000000  11
3      Go     3   1230000  55
2    Ruby     2  16900000  34
1  Python     1   2800000  22
0  Python     1   3000000  21

print(df.sort_values(by="年収") )
=================================>
  プログラム言語  経験年数        年収  年齢
5      C#     3    500000   8
3      Go     3   1230000  55
4      C#     1   2000000  11
1  Python     1   2800000  22
0  Python     1   3000000  21
2    Ruby     2  16900000  34

欠損値の処理

データ解析や機械学習を行う上で多くの欠損値で出くわすことになる。
欠損値とはデータのうち欠けている部分のことである。(アンケートの未回答の欄とか)
coming soon....