pythonでデータ処理（ファイルから読み込んだり、mongoDBに保存したり） #Python

データを扱う作業を行う場合、pythonだとかなりシンプルに実現できるので、まとめます。

大体は下記のケースが多いと思います。
1.ファイルに出力されたデータを読み込む
2.データベースに保存する
3.データベースから読み込む

ここでは、mongoDBの例を挙げます。

ごちゃごちゃ言わずに、まずソースを見たい方はこちらを利用ください

1.ファイルに出力されたデータを読み込む

普通にやると、openして1行ずつ読み込んで、delimiter(区切り文字)で区切って、、と地味に面倒です。
pythonでは、pandas.read_csvライブラリを活用することで非常に簡単に実現できます。（TSVでも他形式でも。sep=**でdelimiter指定します）

import pandas as pd

def save_data_from_file(file_name, delimiter, flg_have_header):
    if flg_have_header:
        pd_dic = pd.read_csv(file_name, sep=delimiter)
    else:
        pd_dic = pd.read_csv(file_name, sep=delimiter, header=None)
    final_dict = [dic for index, dic in pd_dic.to_dict(orient="index").items() if index!=0]
    # 下記は後ほど説明
    save_dict("your collection", final_dict)

これだけで、ファイル内容が取得できます（pd_dic: Pandas.DataFrame型）。
たとえば、ヘッダーがないファイルを読むこむ場合は、header=Noneをつけます。その他オプションについても細かく指定できます。ドキュメントはこちら
上記は、Dictionary型に変換して利用する例です(final_dict)

2.データベースに保存する

前準備として、mongoDBのインストールがされていることを想定します。（ターミナルで$ mongoで接続できる状態）
pymongoというライブラリを利用し、mongoDBへの接続をします。
データベース接続情報を用意（セキュリティ的問題から、.gitignoreに追記すべき）

/conf.ini

[mongo]
id=**
password=**

pymongo接続関数を作成（configparserでパスワードなどを読み込む）

database.py

import os, sys, configparser
PYMONGO_DIR = os.path.abspath(os.path.dirname(os.path.abspath(__file__)))

def get_db(db_name):
    config = configparser.ConfigParser()
    config.read(PYMONGO_DIR + '/config.ini')
    client = MongoClient('localhost')
    client['admin'].authenticate(config.get('mongo', 'id'), config.get('mongo', 'password'))
    db = client[db_name]
    return db

いよいよデータの保存です
upsert=Trueで、すでにcolumn_nameに一致するドキュメントがあれば更新、なければinsertできます。
上記で説明した、get_db()でDB接続します

database.py

from pymongo import MongoClient,  DESCENDING

def save_dict(collection_name, dict_objs):
    db = get_db(DICTIONARY_DB)
    coll = db[collection_name]
    for dict_obj in dict_objs:
        coll.update({
            "column_name": dict_obj['column_name']
        },
        dict_obj, upsert=True)
    return

3.データベースから読み込む

例として、特定のcollectionを全件読み込み、pandas.Dataframeにして取得する例です。

database.py

def load_your_dic(collection_name):
    db = get_db(YOUR_DB)
    cursor = db[collection_name].find()
    df = pd.DataFrame.from_dict(list(cursor)).astype(object)
    return df

ソースはこちら

ファイルからmongoDBにインストールする場合は、下記のコマンドで実現できます

python init_collections_from_file.py -d"\t" -f **.dic --HEADER Y

[sample]何回も処理する場合はシェルで書くと捗ります
init_politely_dic.sh