背景

ぐるなびAPIにてjson形式でデータ取得した際に、dictionaryの中にlistがあってその中にdictionaryが・・・と、キー構造把握がめんどいなと思いました。

概要

dictionaryを渡して、キーとそのデータ型をツリー構造で表示できるようにします（下図例参照）

※dictionaryとlistを「キーを有する子を持ちうるもの」として検出・展開していく構成です。それ以外の型で子を持つものには対応していません

詳細

解析対象のdictionaryを用意する
ここでは、ぐるなびAPIでの取得例を記載

# ぐるなびAPIにより取得
# input -----------------------------------
url = 'https://api.gnavi.co.jp/RestSearchAPI/v3/'
keyid = 【あなたのkeyid】
name_kana = 'コーヒー'
address = '東京都世田谷区奥沢'

# main ----------------------------------
import requests
import json

params = {}
params['keyid'] = keyid
params['name_kana'] = name_kana
params['address'] = address

result_api = requests.get(url, params)
result_api = result_api.json()  # this is dictionary

ここでは「result_api」がdictionary型データです（内容例は下図）。

これを解析対象として、引き続き処理します。
（9/9更新：雑に関数化しました）

関数部分

def understand_dictionary_structure(target_dict, 
                                    max_depth,
                                    linefeed_code,
                                    output_path
                                    ):
    import numpy as np
    import pandas as pd
    import sys
    print('sys.getsizeof(target_dict):', sys.getsizeof(target_dict)) 
    print('target_dict.keys():', target_dict.keys())
    values_list = [target_dict]
    
    ## get parent - child relation  -----------------------------
    def set_to_df(df, k, v, from_id, this_id):
        row = df.shape[0]
        df.loc[row, 'depth'] = depth
        df.loc[row, 'key'] = k
        df.loc[row, 'type'] = str(type(v))
        df.loc[row, 'from_id'] = from_id
        df.loc[row, 'this_id'] = this_id
    
    df = pd.DataFrame()
    from_id_list = []
    from_id = 0
    this_id = 0
    from_id_list.append(from_id)
    for depth in range(max_depth):
        print('depth:{}, rest:{}'
              .format(depth, len(values_list))
              )
        values_list_have_next_depth = []
        from_id_list_next_depth = []
        for value, from_id in zip(values_list, from_id_list):
            if (isinstance(value, dict)):
                for k ,v in value.items():
                    this_id += 1
                    set_to_df(df, k, v, from_id, this_id)
                    # 各要素を追加
                    values_list_have_next_depth.append(v)
                    from_id_list_next_depth.append(this_id)
            elif (isinstance(value, list)):
                k = None
                for v in value:
                    this_id += 1
                    set_to_df(df, k, v, from_id, this_id)
                    # 各要素を追加
                    values_list_have_next_depth.append(v)
                    from_id_list_next_depth.append(this_id)
        values_list = values_list_have_next_depth
        from_id_list = from_id_list_next_depth
        if len(values_list) == 0:
            print('break at end of depth:', depth)
            break
    print('df.shape:', df.shape)    
    
    ## sort  -----------------------------
    while_loop_id = 0
    while True:
        id_processed = []
        from_id = 0
        df2 = pd.DataFrame(columns=df.columns)
        i_processed = []
        re_order_cnt = 0
        for i, v in df.iterrows():
            if i in i_processed:
                continue
            df2_row_to_write = df2.shape[0]
            df2.loc[df2_row_to_write, :] = v
            
            this_id = v['this_id']
            dfex = df.query('from_id==@this_id')
            if dfex.shape[0] > 0:  # have children
                if dfex.index[0] > i + 1:  # childen are not at next row
                    for iex, vex in dfex.iterrows():
                        df2_row_to_write = df2.shape[0]
                        df2.loc[df2_row_to_write, :] = vex
                        i_processed.append(iex)
                    re_order_cnt += 1
            i_processed.append(i)
        df = df2.reset_index(drop=True)
        print(while_loop_id, re_order_cnt)
        if re_order_cnt == 0:
            print('re_order_cnt == 0')
            break
        else:
            while_loop_id += 1
    
    
    ## write(show) -----------------------------
    with open(output_path, mode='w') as f:
        str_to_wite = 'root'
        f.write(str_to_wite + linefeed_code)
        # print(str_to_wite)
        for i, v in df.iterrows():
            suffix = '\t' * int(v['depth'] + 1)
            if (v['key']==None) & ('int' in v['type'] or 'str' in v['type']):
                pass
            else:
                str_to_wite = '{}{}{}'.format(suffix, v['key'], v['type']) 
                f.write(str_to_wite  + linefeed_code)
                #print(str_to_wite)
    # エクセルに貼り付けて確認する想定
    # windows想定
    # さくっと見たい場合はprint文でもまあまあ見れる

メイン部分

import copy
target_dict = copy.deepcopy(result_api)  # 一応バックアップ
max_depth = 10
linefeed_code = '\n'
output_path = 'visualize_dictionary.tsv'

# from func.myfunc import understand_dictionary_structure
understand_dictionary_structure(target_dict, 
                                max_depth,
                                linefeed_code,
                                output_path
                                )

できたtsvをメモ帳で開いてコピーしてエクセルに貼り付けるとこんな感じ（再掲）：

やりたいことは出来ました。
が、思った以上にコーディングに手間取ってやりたいこと（ぐるなびAPIで遊ぶ）の時間がなくなってしまった・・・。脳トレになったと考えよう・・。

おわり