元記事

Python学習記録_プログラミングガチ初心者がKaggle参加を目指す日記
8日目です。
今日はPandasの応用ということでここでも実用的なものがありそうで楽しみですね。
…というか気づけば残すところ今日と明日で最低限必要な知識が全て身につく(はず)みたいですが本当にこのレベルでKaggle参加できるのかちょっと不安ではあります。
まあ結局のところ実際にやってみないと分からないことだらけだと思うのでとりあえずはデータに触ってみる、というのができるようになることを目標に今日も頑張っていきましょう。

関数中級(zip,map,filter) 25m

名前付き引数の指定

Pythonは引数を指定する時に、引数の名前を指定して関数を呼び出すことが出来ます。
このことを、名前付き引数やキーワード引数と呼んだりします。

def sample(weight, height):
    print("体重は"+str(weight) + "kg")
    print("身長は"+str(height) + "cm")

sample(50, 170) 
sample(170,50)

体重は50kg
身長は170cm
体重は170kg
身長は50cm

こんな形で本来第1引数には体重を渡さないといけないのに身長を渡してしまう、みたいなミスが起きるけど
名前付きで引数を指定してあげることでそういうミスを防ぐことができるとのこと。

def sample(weight, height):
    print("体重は"+str(weight) + "kg")
    print("身長は"+str(height) + "cm")

sample(weight=50, height=170) 
sample(height=170,weight=50)

体重は50kg
身長は170cm
体重は50kg
身長は170cm

zip()

zip()関数を使うことで、2つ以上(3つや4つでも可)のリストやタプルを、要素がタプルのリストにまとめることが出来る組み込み関数です。

a = [1, 2, 3]
b = [4, 5, 6]
z = zip(a, b)
print(list(z))

[(1, 4), (2, 5), (3, 6)]

これはなぜprint(z)じゃだめなんだ…？
zipでまとめるだけだとリスト型になってない、みたいな理由かな。

forを用いることで、ループ中に複数のリストの要素を取得することが出来ます。
リストやタプルなどの要素を同時に取得したい場合に、forとzip()を用いる事で可能です。

questions = ["name", "favorite food"]
answers   = ["Tani", "pasta"]
for q, a in zip(questions, answers):
    print("What is your {0}? It is {1}.".format(q,a))

What is your name? It is Tani.
What is your favorite food? It is pasta.

なるほど…タプルの形で2つのリストを1つにまとめることで良い感じにfor文に組み込むことができると…
引数は2つだけでなく3つ、4つも可能で

a = [1, 2, 3]
b = [2, 4, 6]
c = [3, 4, 5]
for x, y, z in zip(a, b, c):
    print(x, y, z)

1 2 3
2 4 4
3 6 5

こんな使い方もできると。
うーむ…難しい…

map()

map()関数を使うことで、リストの要素に演算を適用してくれます。
第一引数に関数を渡し、第2引数にシーケンスと呼ばれる、複数ある値をひとかたまりとして格納した値を渡します。

def square(x):
    return x * x

li = list(map(square, range(1, 10)))
print(li)

[1, 4, 9, 16, 25, 36, 49, 64, 81]

コレはfor文でも代替できそうな気がしますね。

li=[]
for i in range(1,10):
  li.append(i**2)
print(li)

[1, 4, 9, 16, 25, 36, 49, 64, 81]

うーん…便利な気もするけど今のところはforでやることに比べてのメリットが思いつかないな…
関数が複雑になってきたらこっちの方が良いのかな、くらいのイメージですが
きっとこれも実際に使っていくと利便性に気づけるものなんでしょう、うん。

filter()

filter関数は、引数を2つ受け取り、第一引数には関数を、第二引数に渡したデータを渡し、Trueとなる要素だけからなるデータを返します。
filter関数は、ある値より大きい値だけを取り出したい場合や、特定の文字列を含む要素を取り出したい場合に利用します。

def is_mod(x):
    return x % 3 == 1

li = list(filter(is_mod, range(1 ,10)))
print(li)

[1, 4, 7]

これもforとifを使えば代用できそうな…

li = []
for i in range(1,10):
  if i % 3==1:
    li.append(i)
print(li)

[1, 4, 7]

mapと同じ気配を感じます。

再帰関数

再帰関数とは、自分自身を呼び出す関数のことです。

def factrial(i):
    if i == 0:
        return 1
    else:
        return i*factrial(i-1)

print(factrial(6))

factrialという関数の中でfactrialの関数が使われているという不思議な感じですね。
これはどこかで制限かけないと無限ループになりそうです。

Pandas応用 45m

データのイテレーション

Pandasではデータを列や表形式のデータフレームなどを使いますが、これらを何らかの法則で値を取得し、操作をすることが求められます。
Pandasで扱えるデータ構造としては、Series（1列のみのデータ型）、DataFrame（2次元のラベル付きデータ）について、「Pandas入門」の章で取り上げました。
さらに、イテレーション方法の一つにGroupByというデータ構造があります。
GroupByは指定したカラムの値によって、DataFrameに入ったデータをグループ分けすることで実現します。

イテレーション　とは　検索←ﾎﾟﾁｯ
Python pandas データのイテレーションと関数適用、pipe

pandas ではデータを列や表形式のデータ構造として扱うが、これらのデータから順番に値を取得 (イテレーション) して何か操作をしたい / また何らかの関数を適用したい、ということがよくある。

複数のデータに対して順番に値を取得すること=イテレーションという認識で良いのかな…？

そしてGROUP BYがでてきました。
SQL初めてやった時はグループ化の概念が全然理解できなくてハゲあがりましたが
pythonでも考え方は同じ感じなんでしょうか

import pandas as pd
import numpy as np
df = pd.DataFrame({
        '苗字' : ['田中','田中','山田', '高橋'],
        '名前' : ['太郎','花子','次郎','三郎'],
        '役割' : ['営業部長', '広報部', '技術責任者','平社員'],
        '身長' : [178,173,169,180]
    })
print(df)

grouped = df.groupby('苗字')
for name, group in grouped:
    print(name)
    print(group)

   苗字  名前     役割   身長
0  田中  太郎   営業部長  178
1  田中  花子    広報部  173
2  山田  次郎  技術責任者  169
3  高橋  三郎    平社員  180
山田
   苗字  名前     役割   身長
2  山田  次郎  技術責任者  169
田中
   苗字  名前    役割   身長
0  田中  太郎  営業部長  178
1  田中  花子   広報部  173
高橋
   苗字  名前   役割   身長
3  高橋  三郎  平社員  180

こんな感じでGROUPBYで指定したカラムが同じものをなるべくまとめようとするって感じですね、SQLに近い。
…ってことはこれとCOUNTとかSUMとかを掛け合わせて集計ができそうな気配です。

map

Pandasでデータを扱う上で、Series, DataFrame, GroupByのデータ構造がありますが、それぞれにおいて適した関数が数種類あります。
Seriesの各値に対して、関数を適用する方法は主に、Series.mapとSeries.applyです。
実装方法としては、以下のような方法が挙げられます。
要素（スカラー値）に対する関数として、Seriesの各要素に適用する場合は、map()を使用します。

先ほど学んだmapとはまた別物なのか…？
リストに使えるってことはシリーズにも使えるような気がするんですがどうでしょう。

import pandas as pd

d = pd.Series([1,3,5,10], index=["A","B","C","D"])

d_plus2_apply = d.apply(lambda x: x + 2)
print(d_plus2_apply)

print(d.map(lambda x: x * 2))

d_DataFrame = d.apply(lambda x: pd.Series([x, x * 2], index=['col1', 'col2']))
print(d_DataFrame)

要するにmapもapplyも挙動は変わらない、ってことですかね。
データフレームでも使えるなら基本apply一択で使えばいいんじゃないの…？

apply

DataFrameにはDataFrame.apply()とDataFrame.applymap関数が適用出来ます。
apply()は行・列に対する関数として、DataFrame,Seriesの各行・各列に適用する場合にapply()を使用します。

import pandas as pd
import numpy as np

df = pd.DataFrame({
        '役割' : ['営業', 'エンジニア', '営業', 'エンジニア'],
        '体重' : [65, 60, 55, 72],
        '身長' : [178, 173, 169, 183]
    })

grouped = df.groupby('役割')
print(grouped["身長"].apply(np.mean))

役割
エンジニア    178.0
営業       173.5
Name: 身長, dtype: float64

うん…全部applyで良さそうな気しかしない…

階層型インデックス（Hierarchial / Multi Index）

階層型インデックスとは、DataFrameなどで、複数の列をインデックスとして持たせる機能です。
なので、データを一意に決定するには複数のインデックスを指定する必要があります。
まず、階層型インデックスが必要なデータの特徴は、次の通りです。
・ユニークな列がなく、どれが実測値か分からないデータ
・いくつかのインデックスを指定して初めて実測値が一意に定まる

import pandas as pd
import numpy as np 
df1=pd.read_csv('/content/MultiIndex.csv')
print(df1)

           name  year product  expected  actual
0   Ojima-Caffe  2015  coffee       682     757
1   Ojima-Caffe  2015     tea       597     485
2   Ojima-Caffe  2016  coffee       692     379
3   Ojima-Caffe  2016     tea       575     308
4   Ojima-Caffe  2017  coffee       508     597
5   Ojima-Caffe  2017     tea       597     657
6     Song-cafe  2015  coffee       603     651
7     Song-cafe  2015     tea       391     483
8     Song-cafe  2016  coffee       533     530
9     Song-cafe  2016     tea       552     638
10    Song-cafe  2017  coffee       793     732
11    Song-cafe  2017     tea       642     407

例えばこんなデータを扱う際に、Ojima-Caffeの2015年のcoffeeの売上が欲しい時には

import pandas as pd
import numpy as np 
df1=pd.read_csv('/content/MultiIndex.csv')
print(df1)
print(df1[(df1["name"] == "Ojima-Caffe")&(df1["year"] == 2015)&(df1["product"] == "coffee")].iloc[0])

こんな形で店舗名・年度・商品名のすべてを指定しないといけないのでスクリプトが長くなってしまう
これを階層型インデックスとして指定してあげると

import pandas as pd
import numpy as np 
Multi_df = pd.read_csv('/content/MultiIndex.csv',index_col=["name","year","product"])
print(Multi_df)
print(Multi_df.loc[("Ojima-Caffe",2015,"coffee")])
print(Multi_df.loc[("Ojima-Caffe")])
print(Multi_df.loc[("Ojima-Caffe",2015)])

                          expected  actual
name        year product                  
Ojima-Caffe 2015 coffee        682     757
                 tea           597     485
            2016 coffee        692     379
                 tea           575     308
            2017 coffee        508     597
                 tea           597     657
Song-cafe   2015 coffee        603     651
                 tea           391     483
            2016 coffee        533     530
                 tea           552     638
            2017 coffee        793     732
                 tea           642     407

expected    682
actual      757
Name: (Ojima-Caffe, 2015, coffee), dtype: int64

              expected  actual
year product                  
2015 coffee        682     757
     tea           597     485
2016 coffee        692     379
     tea           575     308
2017 coffee        508     597
     tea           597     657

         expected  actual
product                  
coffee        682     757
tea           597     485

タプルを渡すだけでデータの選択ができるようになるし
インデックスの指定の仕方にも自由度が増すという形になると。
主キーとしてindex番号振る代わりにカラムの中身を左からグループ化してインデックス代わりにしてる感じですね、たぶん…

データフレームの列追加

作成済みのデータフレームに新しい列名を追加し、それらのデータを記入することで、列の追加ができます。
追加するデータは Python のリストや numpy の行列 (np.array) を指定できます。

import pandas as pd
import numpy as np 
Multi_df = pd.read_csv('/content/MultiIndex.csv',index_col=["name","year","product"])
Multi_df['price'] = np.array([320, 210, 310, 180, 315, 170,
                        300, 240, 310, 220, 330, 220])
print(Multi_df)
def total_expected_def(series):
    return series['expected'] * series['price']

def total_actual_def(series):
    return series['actual'] * series['price']

Multi_df['total_expected'] = Multi_df.apply(total_expected_def,axis=1)
Multi_df['total_actual'] = Multi_df.apply(total_actual_def,axis=1)
print(Multi_df)

                          expected  actual  price
name        year product                         
Ojima-Caffe 2015 coffee        682     757    320
                 tea           597     485    210
            2016 coffee        692     379    310
                 tea           575     308    180
            2017 coffee        508     597    315
                 tea           597     657    170
Song-cafe   2015 coffee        603     651    300
                 tea           391     483    240
            2016 coffee        533     530    310
                 tea           552     638    220
            2017 coffee        793     732    330
                 tea           642     407    220

                          expected  actual  price  total_expected  
name        year product                                            
Ojima-Caffe 2015 coffee        682     757    320          218240   
                 tea           597     485    210          125370   
            2016 coffee        692     379    310          214520   
                 tea           575     308    180          103500   
            2017 coffee        508     597    315          160020   
                 tea           597     657    170          101490   
Song-cafe   2015 coffee        603     651    300          180900   
                 tea           391     483    240           93840   
            2016 coffee        533     530    310          165230   
                 tea           552     638    220          121440   
            2017 coffee        793     732    330          261690   
                 tea           642     407    220          141240   

                          total_actual  
name        year product                
Ojima-Caffe 2015 coffee         242240  
                 tea            101850  
            2016 coffee         117490  
                 tea             55440  
            2017 coffee         188055  
                 tea            111690  
Song-cafe   2015 coffee         195300  
                 tea            115920  
            2016 coffee         164300  
                 tea            140360  
            2017 coffee         241560  
                 tea             89540

これは6日目に躓いたところですね。
あの時はapplyを使わなかった気がしますがメソッド使って新しい値を作成する時はapplyが必要だからかなという認識。

describe

Describeメソッドは迅速かつ、簡単にすべてのデータから統計量を算出します。
統計量としては、データの数(count)、平均値（mean）、std(標準偏差)、最小値（min）、最大値（max）、四分位数（25%,50%,75%）などがあります。

import pandas as pd
import numpy as np 
Multi_df = pd.read_csv('/content/MultiIndex.csv',index_col=["name","year","product"])
print(Multi_df.describe())

         expected      actual
count   12.000000   12.000000
mean   597.083333  552.000000
std    101.662953  142.986331
min    391.000000  308.000000
25%    547.250000  464.000000
50%    597.000000  563.500000
75%    652.000000  652.500000
max    793.000000  757.000000

これはデータの前処理が終わってEDAの段階に入ったらとりあえず初手で見るものなイメージ。

corr

corr（相関/correlation）メソッドは、2つの列を入力し、相関行列を出力します。
予想したデータ（'expected’）と実際のデータ（'actual’）における相関行列は以下のように求めることが出来ます。
相関係数の絶対値が高ければ高いだけ、データの間に相関があるといえます。

import pandas as pd
import numpy as np 
Multi_df = pd.read_csv('/content/MultiIndex.csv',index_col=["name","year","product"])
print(Multi_df.corr())

          expected    actual
expected  1.000000  0.271756
actual    0.271756  1.000000

データの結合（merge関数）

Pandasのmergeを用いることでデータを結合する事が可能です。

import pandas as pd
from pandas import DataFrame, Series

df = DataFrame({
    '名前' :['田中','山田','高橋','金沢','加藤'],
    '役割' :['営業','エンジニア','広報','営業','エンジニア'],
    '身長' :[178, 173, 169, 165, 174]
    })

other = DataFrame({
        '名前' :['田中','金沢',],
        '体重' : [64, 58]
        })

print(df)
print(other)
print(pd.merge(df, other, on='名前', how='inner'))
print(pd.merge(df, other, on='名前', how='outer'))

   名前     役割   身長
0  田中     営業  178
1  山田  エンジニア  173
2  高橋     広報  169
3  金沢     営業  165
4  加藤  エンジニア  174

   名前  体重
0  田中  64
1  金沢  58

   名前  役割   身長  体重
0  田中  営業  178  64
1  金沢  営業  165  58

   名前     役割   身長    体重
0  田中     営業  178  64.0
1  山田  エンジニア  173   NaN
2  高橋     広報  169   NaN
3  金沢     営業  165  58.0
4  加藤  エンジニア  174   NaN

これはSQLで言うとまんまINNE JOINとLEFT JOINですね。
ONで結合に使うキーを指定してhowで結合方法を指定する構文。

演習問題

company.csvファイルを読み込み、階層インデックスとして読み込んでください。
なお、その際のインデックスは｛"company","year","president"｝であるとします。

cosme1という会社の2015年の売り上げを表示してください。

データフレームから得られる統計量を計算し、csvファイルで出力してください。

presidentによって、グループ分けをしたのち、presidentごとのproduct売り上げ量の平均値を取得してください。

 #1
import pandas as pd
import numpy as np

df1=pd.read_csv('/content/company.csv',index_col=["company","year","president"])
print(df1)

 #2
print(df1.loc[('cosme1',2015)])

 #3
a=df1.describe()
a.to_csv('describe.csv')

 #4
df1_grouped=df1.groupby('president')
df1_grouped.apply(np.mean)

                        visitors  pruductA  productB
company year president                              
cosme1  2014 James           128     15020     39523
        2015 Tom             102     16102     44127
        2016 Tom             101     15983     48016
        2017 James           116     17240     50974
cosme2  2014 Sherry           90     13205     38309
        2015 James           136     14276     42160
        2016 Sherry          101     13198     36756
        2017 Bob             120     16530     38455

           visitors  pruductA  productB
president                              
Tom             102     16102     44127

visitors	pruductA	productB
president			
Bob	120.000000	16530.0	38455.0
James	126.666667	15512.0	44219.0
Sherry	95.500000	13201.5	37532.5
Tom	101.500000	16042.5	46071.5

無名関数（ラムダ式）15m

無名関数

無名関数とは、名前の通り名前のない関数のことです。匿名関数とも読んだりします。
無名関数の利用シーンは、関数の名前をつける必要がない一行で終わるような関数を作る場合に利用します。
無名関数を作るには、lambdaという書式を用います。（ラムダ式）

sample = lambda i: i * 2
print(sample(10))
print(sample(100))

20
200

変数=lambda 引数1,引数2… : 式
で実装可能。
無名関数を使うメリットは引数に関数を渡すような関数を作れること、コードがシンプルになることなどがあり

l = []
for x in range(10):
    l.append(x**2)
print(l)

l = list(map(lambda x: x**2, range(10)))
print(l)

[0, 1, 4, 9, 16, 25, 36, 49, 64, 81]
[0, 1, 4, 9, 16, 25, 36, 49, 64, 81]

こんな形で短縮できる。
というかここにきてやっと普通の関数のmapとpandasで使うmapの違いが分かってきました。
リストとシリーズは別物ってことですね…

実際の業務で無名関数はどういったシーンで使われるのか

それでは今回学んだ無名関数が、実際の業務でどういったシーンで使われるのか説明します。
データ分析業務の場合ですと、主にデータの前処理で用いられます。

import pandas as pd

dic={'Group_A':[166,172,173,174,165],'Group_B':[172,181,172,171,166]}
df=pd.DataFrame(dic)
print(df)

df['diff']=df.Group_A-df.Group_B
print(df)

   Group_A  Group_B
0      166      172
1      172      181
2      173      172
3      174      171
4      165      166
   Group_A  Group_B  diff
0      166      172    -6
1      172      181    -9
2      173      172     1
3      174      171     3
4      165      166    -1

これじゃダメなんだろうか…

8日目の感想

Pandas応用がかなりボリュームあったので時間がかかってしまいましたが一通り抑えることはできたかなと思います。
mapやfilterなんかの(これ何のために使うんや…)ってものから
無名関数やmerge、describeなどこれは便利そうだな！ってものまでインプットがかなり多かったので
ちゃんと見直して理解を深めておきたいと思います。

思ってた以上に時間はかかってますが気づけば明日でインプットは最終日です。
多分来週からKaggleのデータを触ってみるフェイズに入ると思うので今週中に今までの見直しをしておこうと思います。
明日も頑張れ