なんででもかんでもpyつければいいってもんじゃぁねぇ
変なtsvをたくさん処理しなくちゃ行けなくなり、pandasが便利そう？
に見えたので、試しに使っています。
pythonの環境構築やら使い方に関するメモです。
入門
ドットインストールのpython3入門をやり、
pythonizmをざっと読む、リファレンス代わりにする。
ドットインストールは楽でいいですね。1動画3分でテンポよくすすんでいい。
読書
科学技術計算のためのPython入門――開発基礎，必須ライブラリ，高速化
これを読みました。こっちも体系的にかいてあってかなりよかった。
環境設定
本のサポートページがあって、そこに著者がだいたい書いてくれている
Macでやるんだったのでhomebrewでpyenvを入れて、
そこ経由でanacondaをインストールしました。
brew install pyenv
pyenv install anaconda3-4.2.0
作業の流れ
基本的にファイルを読み込んで整形して、別形式のファイルにすることがおおいので、
- jupyter notebook上で確認とデータの整形
- OKなら単一のスクリプト(エクスポート)
という流れでやってます。
jupyternotebook、すぐにデータの確認ができて便利。
メモ
jupyter notebookの起動方法
jupyter notebook
pandasのデータ読み込み
import pandas as pd
pd.read_csv('FILENAME', delimiter=',', low_memory=False)
#low_memoryは重たいファイル読み込む時に使う
データフレーム操作
A,B,Cの列だけ取り出す。
dataframe.ix[:, ['A','B','C']]
JOIN
#joinする,howにleft,rightなどをしていできる
pd.merge(dataframe1, dataframe, how='left')
データフレームに適当な数字を入れる
#numpyを使って0~3000の数字の１行をデータフレームに加える
import numpy as np
length = len(dataframe)
dataflame['dummy']=np.random.randint(0,3001,length)
NaNの処理(読み込んだ時に何も入ってない場合とか)
#Nanがある1列を落とす
dataframe.dropna()
#NaNを特定の文字へ変換する
#例NaNを0に変換する(列指定も可能)
dataframe.fillna(0)
データの型変換
#現在の肩を確認
dataframe.dtypes
#intにする(列指定も可能)
dataframe.astype('int')
行、列の参照と操作
#行の表示
dataframe.index
#列の表示
dataframe.columns
#列の名前変更(X,Y,Zに変わる)
dataframe.columns=['X','Y', 'Z']
#全ての列へ何か処理する
dataframe.apply(function, axis=1)
#重複削除 mysqlでいうselect distinct(column)
dataframe['column'].drop_duplicates()
#groupby 特定キーにまとめて集計(sum, meanなどいろいろある)
dataframe.groupby('column').sum()
その他
既存のansibleと見事にバッティングしたのでこれで解決
ansibleで利用するpythonを指定する方法
dataflameのmargeの時にくっつく方のintがfloat64型に強制的に変更されてしまうっぽい。
出力の時に気をつけるべし。
とりあえずこんなものですかね。次はグラフ描画をやっていきたい。