2025-04-15
いいねとストックが入ったので2025版を作ります
Django + MySQL にはなっちゃうと思うけど

https://github.com/duri0214/portfolio/issues/259

はじめに

興味深いAPI

[2019] 公開されているAPI一覧まとめ

ジェイソンとデータフレーム

最初に e-stat からデータを取ろうとしたときに、jsonでの取得まではすんなりいったけど、データフレームの入れ方が悪かった（JSONとデータフレームの関係がわかってなかった）ということがあった。

Syntax(構文)

pandas.read_json
Convert a JSON string to pandas object.

構文について

pandas.read_json(path_or_buf=None, orient=None)

引数について

path_or_buf : a valid JSON string or file-like, default: None
orient : string,
'records' : list like [{column -> value}, ... , {column -> value}]

返り値について

result : Series or DataFrame, depending on the value of typ.

JSON試行錯誤

こんな感じに書いて...

import urllib
import urllib.request
import pandas as pd

# Read appId
with open('api_setting/appid.txt', mode='r', encoding='utf-8') as f:
    appId = f.read()

# stat url
url = r'http://api.e-stat.go.jp/rest/2.1/app/json/getStatsData?'

# Query param setting
keys = {
        "appId"            : appId,
        "lang"             : "J" ,
        "statsDataId"      : "0003143513" ,
        "metaGetFlg"       : "Y" ,
        "cntGetFlg"        : "N",
        "sectionHeaderFlg" : "1"
}

# Get json data
query_param = urllib.parse.urlencode(keys)
df = pd.read_json(urllib.request.urlopen(url + query_param).read(), orient='records')

print(df)

Pythonコンソール（こんなふうに出てきたので）

>>> df
                                                     GET_STATS_DATA
PARAMETER         {'LANG': 'J', 'STATS_DATA_ID': '0003143513', '...
RESULT            {'STATUS': 0, 'ERROR_MSG': '正常に終了しました。', 'DATE...
STATISTICAL_DATA  {'RESULT_INF': {'TOTAL_NUMBER': 13142278, 'FRO...

Pythonコンソール（データを取る練習してたんだけど）

------------- データフレームてっぺんから最下層のリテラルを取るぞ！ -------------
>>> print(df.columns)
    Index(['GET_STATS_DATA'], dtype='object')

>>> print(df['GET_STATS_DATA'])
    PARAMETER           {'LANG': 'J', 'STATS_DATA_ID': '0003143513', '...
    RESULT              {'STATUS': 0, 'ERROR_MSG': '正常に終了しました。', 'DATE...
    STATISTICAL_DATA    {'RESULT_INF': {'TOTAL_NUMBER': 13142278, 'FRO...

>>> print(df['GET_STATS_DATA']['RESULT'])
    {'STATUS': 0, 'ERROR_MSG': '正常に終了しました。', 'DATE': '2019-02-07T22:35:18.179+09:00'}

# ここまでで、1つの固有値を取得できた
>>> print(df['GET_STATS_DATA']['RESULT']['ERROR_MSG'])
    正常に終了しました。

Pythonコンソール（データフレームのまま、APIデータまでたどり着けない！）

------------- Pandasで集計するぞ！ -------------
# あれ、一段下がっただけでシリーズになっちまうのか...まぁそうか
>>> print(type(df['GET_STATS_DATA']))
    <class 'pandas.core.series.Series'>

# ここから下は辞書になっちまうのか...
>>> print(type(df['GET_STATS_DATA']['STATISTICAL_DATA']))
    <class 'dict'>

>>> print(df['GET_STATS_DATA']['STATISTICAL_DATA']['DATA_INF'].keys())
    dict_keys(['NOTE', 'VALUE'])
    ????

>>> print(df['GET_STATS_DATA']['STATISTICAL_DATA']['DATA_INF']['VALUE'])
    (・3・)アルェー？

とにかくデータフレームのまま操作したいのにできない。というハマりポイントがあった。ただこれ整理してみると、JSONデータであればデータフレームの入れ物にはスポッと入ってくれる。ただ、jsonの最初には大概ヘッダが入っている。つまり、データフレームに入れる時点で十分に階層を降りていないといけないということがわかった。
https://dev.classmethod.jp/etc/concrete-example-of-json/

JSONデータの例（あーなるほど、たしかにヘッダが入ってるわ...）

 [ 
   { 
     "InstanceId": "i-XXXXXXXX", 
     "ImageId": "ami-YYYYYYYY", 
     "LaunchTime": "2015-05-28T08:30:10.000Z", 
     "Tags": [ 
       { 
         "Value": "portnoydev-emr", 
         "Key": "Name" 
       }, 
       { 
         "Value": "j-ZZZZZZZZZZZZ", 
         "Key": "aws:elasticmapreduce:job-flow-id" 
       }, 
       { 
         "Value": "CORE", 
         "Key": "aws:elasticmapreduce:instance-group-role" 
       } 
     ] 
   }, 
   (略) 
 ]

Pythonコンソール（なのでデータフレームに入れるのはJSONナマじゃなくて...）

>>> df = pd.read_json(urllib.request.urlopen(url + query_param).read(), orient='records')

Pythonコンソール（こうなんやな！）

>>> df = pd.read_json(urllib.request.urlopen(url + query_param).read(), orient='records')['GET_STATS_DATA']['STATISTICAL_DATA']

>>> print(type(df))
    <class 'dict'>
    (・3・)アルェー？

Pythonコンソール（オライリーを見てみると、辞書をデータフレームに変換してた）

>>> print(type(result['GET_STATS_DATA']['STATISTICAL_DATA']))
    <class 'dict'>

>>> stats = pd.DataFrame(result['GET_STATS_DATA']['STATISTICAL_DATA'])
>>> print(type(stats))
    <class 'pandas.core.frame.DataFrame'>
>>> stats
                      RESULT_INF  ...                                           DATA_INF
    @id                          NaN  ...                                                NaN
    CLASS_OBJ                    NaN  ...                                                NaN
    CYCLE                        NaN  ...                                                NaN
    FROM_NUMBER                  1.0  ...                                                NaN
    GOV_ORG                      NaN  ...                                                NaN
    MAIN_CATEGORY                NaN  ...                                                NaN
    NEXT_KEY                100001.0  ...                                                NaN
    NOTE                         NaN  ...            {'@char': '***', '$': '該当データがない場合を示す。'}
    OPEN_DATE                    NaN  ...                                                NaN
    OVERALL_TOTAL_NUMBER         NaN  ...                                                NaN
    SMALL_AREA                   NaN  ...                                                NaN
    STATISTICS_NAME              NaN  ...                                                NaN
    STATISTICS_NAME_SPEC         NaN  ...                                                NaN
    STAT_NAME                    NaN  ...                                                NaN
    SUB_CATEGORY                 NaN  ...                                                NaN
    SURVEY_DATE                  NaN  ...                                                NaN
    TITLE                        NaN  ...                                                NaN
    TITLE_SPEC                   NaN  ...                                                NaN
    TOTAL_NUMBER          13142278.0  ...                                                NaN
    TO_NUMBER               100000.0  ...                                                NaN
    UPDATED_DATE                 NaN  ...                                                NaN
    VALUE                        NaN  ...  [{'@tab': '1', '@cat01': '0001', '@area': '13A...
    [22 rows x 4 columns]

Pythonコンソール（VALUEまで取りに行けばいいじゃん？...ダメらしい...）

>>> stats = pd.DataFrame(result['GET_STATS_DATA']['STATISTICAL_DATA']['VALUE'])
    Traceback (most recent call last):
      File "<stdin>", line 1, in <module>
    KeyError: 'VALUE'

たしかにそこにいるはずなんだが...
なんかもう昔のゲームやってるみたいだわ、3次元以上の配列って...（この感じわかるひといる？）

ん？

Pythonコンソール（なるほど？いままでの単純な表形式の見方を発展させないといけないか）

>>> stats.columns
Index(['RESULT_INF', 'TABLE_INF', 'CLASS_INF', 'DATA_INF'], dtype='object')
>>> stats['DATA_INF']
    @id                                                                   NaN
    CLASS_OBJ                                                             NaN
    CYCLE                                                                 NaN
    FROM_NUMBER                                                           NaN
    GOV_ORG                                                               NaN
    MAIN_CATEGORY                                                         NaN
    NEXT_KEY                                                              NaN
    NOTE                              {'@char': '***', '$': '該当データがない場合を示す。'}
    OPEN_DATE                                                             NaN
    OVERALL_TOTAL_NUMBER                                                  NaN
    SMALL_AREA                                                            NaN
    STATISTICS_NAME                                                       NaN
    STATISTICS_NAME_SPEC                                                  NaN
    STAT_NAME                                                             NaN
    SUB_CATEGORY                                                          NaN
    SURVEY_DATE                                                           NaN
    TITLE                                                                 NaN
    TITLE_SPEC                                                            NaN
    TOTAL_NUMBER                                                          NaN
    TO_NUMBER                                                             NaN
    UPDATED_DATE                                                          NaN
    VALUE                   [{'@tab': '1', '@cat01': '0001', '@area': '13A...
    Name: DATA_INF, dtype: object

# これやるとデータがずばーっと出てくるので
>>> stats['DATA_INF']['VALUE']

# 5レコードにおさえる
>>> stats['DATA_INF']['VALUE'][0:5]
[{'@tab': '1', '@cat01': '0001', '@area': '13A01', '@time': '2019000101', '$': '101.2'}, {'@tab': '1', '@cat01': '0001', '@area': '13A01', '@time': '2018001212', '$': '101.2'}, {'@tab': '1', '@cat01': '0001', '@area': '13A01', '@time': '2018001111', '$': '101.4'}, {'@tab': '1', '@cat01': '0001', '@area': '13A01', '@time': '2018001010', '$': '101.7'}, {'@tab': '1', '@cat01': '0001', '@area': '13A01', '@time': '2018000909', '$': '101.4'}]

5レコードのJSONを整理する

>>> stats['DATA_INF']['VALUE'][0:5]
[
    {'@tab': '1', '@cat01': '0001', '@area': '13A01', '@time': '2019000101', '$': '101.2'}, 
    {'@tab': '1', '@cat01': '0001', '@area': '13A01', '@time': '2018001212', '$': '101.2'}, 
    {'@tab': '1', '@cat01': '0001', '@area': '13A01', '@time': '2018001111', '$': '101.4'}, 
    {'@tab': '1', '@cat01': '0001', '@area': '13A01', '@time': '2018001010', '$': '101.7'}, 
    {'@tab': '1', '@cat01': '0001', '@area': '13A01', '@time': '2018000909', '$': '101.4'}
]

Pythonコンソール（listかぁ...これもういっちょデータフレームにキャストしてみるか）

>>> print(type(stats['DATA_INF']['VALUE']))
    <class 'list'>

# あっ！なんかキタぞ！めっちゃ試行錯誤いるなぁ...JSON...
>>> df = pd.DataFrame(stats['DATA_INF']['VALUE'])
>>> df
               $  @area @cat01 @tab       @time
    0      101.2  13A01   0001    1  2019000101
    1      101.2  13A01   0001    1  2018001212
    2      101.4  13A01   0001    1  2018001111
    3      101.7  13A01   0001    1  2018001010
    4      101.4  13A01   0001    1  2018000909
    ...      ...    ...    ...  ...         ...
    99995  100.9  00049   0003    1  2011000808
    99996  100.8  00049   0003    1  2011000707
    99997   99.6  00049   0003    1  2011000606
    99998   99.9  00049   0003    1  2011000505
    99999   99.4  00049   0003    1  2011000404
    [100000 rows x 5 columns]

>>> df['$']
    0        101.2
    1        101.2
    2        101.4
    3        101.7
    4        101.4
             ...
    99995    100.9
    99996    100.8
    99997     99.6
    99998     99.9
    99999     99.4
    Name: $, Length: 100000, dtype: object

>>> df['@time']
    0        2019000101
    1        2018001212
    2        2018001111
    3        2018001010
    4        2018000909
                ...
    99995    2011000808
    99996    2011000707
    99997    2011000606
    99998    2011000505
    99999    2011000404
    Name: @time, Length: 100000, dtype: object

補足：見てるオライリーはこれ
オライリーって無骨だけど読みやすいよね

JSONコンソール操作まとめ

res（＝Full JSON）が返ってきてから、dfに入れる直前までの間に、単純なタテヨコの一般的な(?)2元配列になるところまで十分にJSON配列(?)を潜ってからデータフレームに渡すんや。...というよりは、dfに代入してデータフレーム手に入ったー！って思ってたのはただのナマJSONだった（pd.DataFrame(...)の漏れ）

Pythonコンソール

>>> import urllib
>>> import urllib.request
>>> import pandas as pd
>>> appId = '****************************'
>>> url = r'http://api.e-stat.go.jp/rest/2.1/app/json/getStatsData?'
>>> keys = {
        "appId"            : appId,
        "lang"             : "J" ,
        "statsDataId"      : "0003143513" ,
        "metaGetFlg"       : "Y" ,
        "cntGetFlg"        : "N",
        "sectionHeaderFlg" : "1"
    }
>>> query_param = urllib.parse.urlencode(keys)
>>> res = pd.read_json(urllib.request.urlopen(url + query_param).read(), orient='records')
>>> df = pd.DataFrame(res['GET_STATS_DATA']['STATISTICAL_DATA']['DATA_INF']['VALUE'])
>>> df
               $  @area @cat01 @tab       @time
    0      101.2  13A01   0001    1  2019000101
    1      101.2  13A01   0001    1  2018001212
    2      101.4  13A01   0001    1  2018001111
    3      101.7  13A01   0001    1  2018001010
    4      101.4  13A01   0001    1  2018000909
    ...      ...    ...    ...  ...         ...
    99995  100.9  00049   0003    1  2011000808
    99996  100.8  00049   0003    1  2011000707
    99997   99.6  00049   0003    1  2011000606
    99998   99.9  00049   0003    1  2011000505
    99999   99.4  00049   0003    1  2011000404
    [100000 rows x 5 columns]

>>> df['$']
    0        101.2
    1        101.2
    2        101.4
    3        101.7
    4        101.4
             ...
    99995    100.9
    99996    100.8
    99997     99.6
    99998     99.9
    99999     99.4
    Name: $, Length: 100000, dtype: object

>>> df['@time']
    0        2019000101
    1        2018001212
    2        2018001111
    3        2018001010
    4        2018000909
                ...
    99995    2011000808
    99996    2011000707
    99997    2011000606
    99998    2011000505
    99999    2011000404
    Name: @time, Length: 100000, dtype: object

ようやく僕が知ってるデータフレームまできたぁ～
いっかい寝よ...

つべこべいわずにJSON整形サイトに流し込め！

http://tm-webtools.com/Tools/JsonBeauty
元のデータを知らない（作ってない）んだから試行錯誤になるのはあたりまえ！

あっ！階層一撃で追えるわ...トホホ

{
  "GET_STATS_DATA": {
    "RESULT": {
      "STATUS": 0,
      "ERROR_MSG": "正常に終了しました。",
      "DATE": "2019-02-08T21:16:05.801+09:00"
    },
    "PARAMETER": {
      "LANG": "J",
      "STATS_DATA_ID": "0003143513",
      "DATA_FORMAT": "J",
      "START_POSITION": 1,
      "METAGET_FLG": "Y",
      "CNT_GET_FLG": "N",
      "SECTION_HEADER_FLG": 1
    },
    "STATISTICAL_DATA": {
      "RESULT_INF": {
        "TOTAL_NUMBER": 13142278,
        "FROM_NUMBER": 1,
        "TO_NUMBER": 100000,
        "NEXT_KEY": 100001
      },
      "TABLE_INF": {
        "@id": "0003143513",
        "STAT_NAME": {
          "@code": "00200573",
          "$": "消費者物価指数"
        },
        "GOV_ORG": {
          "@code": "00200",
          "$": "総務省"
        },
        "STATISTICS_NAME": "2015年基準消費者物価指数",
        "TITLE": {
          "@no": "1",
          "$": "消費者物価指数（2015年基準）"
        },
        "CYCLE": "-",
        "SURVEY_DATE": 0,
        "OPEN_DATE": "2019-01-25",
        "SMALL_AREA": 0,
        "MAIN_CATEGORY": {
          "@code": "07",
          "$": "企業・家計・経済"
        },
        "SUB_CATEGORY": {
          "@code": "03",
          "$": "物価"
        },
        "OVERALL_TOTAL_NUMBER": 13142278,
        "UPDATED_DATE": "2019-01-24",
        "STATISTICS_NAME_SPEC": {
          "TABULATION_CATEGORY": "2015年基準消費者物価指数"
        },
        "TITLE_SPEC": {
          "TABLE_NAME": "消費者物価指数（2015年基準）"
        }
      },
      "CLASS_INF": {
        "CLASS_OBJ": [
          {
            "@id": "tab",
            "@name": "表章項目",
            "CLASS": [
              {
                "@code": "1",
                "@name": "指数",
                "@level": ""
              },
              {
                "@code": "2",
                "@name": "前月比・前年比・前年度比",
                "@level": "",
                "@unit": "%"
              },
              {
                "@code": "3",
                "@name": "前年同月比",
                "@level": "",
                "@unit": "%"
              },
              {
                "@code": "4",
                "@name": "ウエイト（実数）",
                "@level": ""
              },
              {
                "@code": "5",
                "@name": "ウエイト（万分比）",
                "@level": ""
              }
            ]
          },
          {
            "@id": "cat01",
            "@name": "2015年基準品目",
            "CLASS": [
              {
                "@code": "0001",
                "@name": "0001 総合",
                "@level": "1"
              },
              {
                "@code": "0002",
                "@name": "0002 食料",
                "@level": "1"
              },
              {
                "@code": "0003",
                "@name": "0003 穀類",
                "@level": "3",
                "@parentCode": "0002"
              },
              (略) 
            ]
          }
        ]
      },
      "DATA_INF": {
        "NOTE": {
          "@char": "***",
          "$": "該当データがない場合を示す。"
        },
        "VALUE": [
          {
            "@tab": "1",
            "@cat01": "0001",
            "@area": "13A01",
            "@time": "2019000101",
            "$": "101.2"
          },
          {
            "@tab": "1",
            "@cat01": "0001",
            "@area": "13A01",
            "@time": "2018001212",
            "$": "101.2"
          },
          {
            "@tab": "1",
            "@cat01": "0001",
            "@area": "13A01",
            "@time": "2018001111",
            "$": "101.4"
          },
          (略) 
        ]
      }
    }
  }
}

e-Stat

（JSONの試行錯誤は上のセクションにまとめたので、それ以外を書きます）

参考ページ

e-Stat(政府統計)のAPI機能をつかってpythonでグラフを書いたりしてみる
 APIの使い方 how_to_use

前準備情報等

・ユーザー登録
・ログインしてマイページ→API機能(アプリケーションID発行)
・名称は「開発用」
・URLは「ttp://localhost/」（※Qiitaだとリンクになっちゃうから先頭の h は削除）
消費者物価指数 2015年基準消費者物価指数（公開日：2019-01-25）

消費者物価指数（URLをよく見ると「appId」に何も入っていない）（使い方を見て、jsonで表示するように加工してある）

http://api.e-stat.go.jp/rest/2.1/app/json/getStatsData?appId=&lang=J&statsDataId=0003143513&metaGetFlg=Y&cntGetFlg=N&sectionHeaderFlg=1

データについて

db形式で表示されるページがあるなら先に構造を見ておけってのは、まぁあたりまえっちゃあたりまえだったね
このへんかな？
https://www.e-stat.go.jp/api/api-info/e-stat-manual#api_3_4

うーん？

cdArea 地域事項?
lvCat01 分類事項01?
cdTab 表章事項?
lvTime 時間軸事項?

VALUE 統計数値(セル)の情報です。データ件数分だけ出力されます。
属性として表章事項コード(tab)、分類事項コード(cat01 ～ cat15)、地域事項コード(area)、時間軸事項コード(time)、単位(unit)を保持します。全ての属性はデータがある場合のみ出力されます。

単語：表章 https://www.stat.go.jp/data/kokusei/2010/users-g/pdf/mikata.pdf

うーん、例えば地域コード 13A01 はどこだよ！？マスタは？みたいな感じになるよなぁ～？？

Pythonコンソール

>>> df = pd.DataFrame(res['GET_STATS_DATA']['STATISTICAL_DATA']['DATA_INF']['VALUE'])
>>> df
               $  @area @cat01 @tab       @time
    0      101.2  13A01   0001    1  2019000101
    1      101.2  13A01   0001    1  2018001212
    2      101.4  13A01   0001    1  2018001111
    3      101.7  13A01   0001    1  2018001010
    4      101.4  13A01   0001    1  2018000909
    ...      ...    ...    ...  ...         ...
    99995  100.9  00049   0003    1  2011000808
    99996  100.8  00049   0003    1  2011000707
    99997   99.6  00049   0003    1  2011000606
    99998   99.9  00049   0003    1  2011000505
    99999   99.4  00049   0003    1  2011000404
    [100000 rows x 5 columns]

Pythonコンソール（あっ！わかった！同じJSONに入ってるぞ！CLASS_INFだ）

>>> df = pd.DataFrame(res['GET_STATS_DATA']['STATISTICAL_DATA']['CLASS_INF']['CLASS_OBJ'])
>>> df
         @id        @name                                              CLASS
    0    tab         表章項目  [{'@code': '1', '@name': '指数', '@level': ''}, ...
    1  cat01    2015年基準品目  [{'@code': '0001', '@name': '0001 総合', '@level...
    2   area  地域（2015年基準）  [{'@code': '13A01', '@name': '13100 東京都区部', '@...
    3   time     時間軸（年・月）  [{'@code': '2019000101', '@name': '2019年1月', '...

整形サイト http://tm-webtools.com/Tools/JsonBeauty でJSONとにらめっこだな。
わかってきたのは...

Pythonコンソール

>>> df = pd.DataFrame(res['GET_STATS_DATA']['STATISTICAL_DATA']['CLASS_INF']['CLASS_OBJ'][0]['CLASS'])
>>> df
      @code @level         @name @unit
    0     1                   指数   NaN
    1     2         前月比・前年比・前年度比     %
    2     3                前年同月比     %
    3     4             ウエイト（実数）   NaN
    4     5            ウエイト（万分比）   NaN

Pythonコンソール

>>> df = pd.DataFrame(res['GET_STATS_DATA']['STATISTICAL_DATA']['CLASS_INF']['CLASS_OBJ'][1]['CLASS'])
>>> df
        @code @level                              @name @parentCode
    0    0001      1                            0001 総合         NaN
    1    0002      1                            0002 食料         NaN
    2    0003      3                            0003 穀類        0002
    3    0004      5                            0004 米類        0003
    4    1000      6                          1000 うるち米        0004
    ..    ...    ...                                ...         ...
    793  0905      1  0905 食料（酒類を除く）及びエネルギーを除く総合（季節調整済）         NaN
    794  0921      1                      0921 財（季節調整済）         NaN
    795  0922      1                 0922 半耐久消費財（季節調整済）         NaN
    796  0923      1               0923 生鮮食品を除く財（季節調整済）         NaN
    797  0906      1       0906 生鮮食品及びエネルギーを除く総合（季節調整済）         NaN
[798 rows x 4 columns]

Pythonコンソール

>>> df = pd.DataFrame(res['GET_STATS_DATA']['STATISTICAL_DATA']['CLASS_INF']['CLASS_OBJ'][2]['CLASS'])
>>> df
        @code @level        @name
    0   13A01      1  13100 東京都区部
    1   00000      1           全国
    2   00011      1     人口５万以上の市
    3   00012      1          大都市
    4   00013      1          中都市
    ..    ...    ...          ...
    67  14A02      1    14130 川崎市
    68  14A03      1   14150 相模原市
    69  22A02      1    22130 浜松市
    70  27A02      1     27140 堺市
    71  40A01      1   40100 北九州市
    [72 rows x 3 columns]

Pythonコンソール

>>> df = pd.DataFrame(res['GET_STATS_DATA']['STATISTICAL_DATA']['CLASS_INF']['CLASS_OBJ'][3]['CLASS'])
>>> df
              @code @level     @name @parentCode
    0    2019000101      4   2019年1月  2019000103
    1    2018001212      4  2018年12月  2018001012
    2    2018001111      4  2018年11月  2018001012
    3    2018001010      4  2018年10月  2018001012
    4    2018000909      4   2018年9月  2018000709
    ..          ...    ...       ...         ...
    681  1970000404      4   1970年4月  1970000000
    682  1970000303      4   1970年3月  1970000000
    683  1970000202      4   1970年2月  1970000000
    684  1970000101      4   1970年1月  1970000000
    685  1970000000      1     1970年         NaN
    [686 rows x 4 columns]

つまり...どういうことだってばよ

データフレームに SQL:Where を適用する

https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.DataFrame.where.html
まぁ４つのマスタはそれぞれ違うデータフレームに受け取るのがわかりやすいとは思うけど

Pythonコンソール（この明細を例にとったときに...）

>>> df = pd.DataFrame(res['GET_STATS_DATA']['STATISTICAL_DATA']['DATA_INF']['VALUE'])
>>> df
               $  @area @cat01 @tab       @time
    0      101.2  13A01   0001    1  2019000101

Pythonコンソール：地域コード

>>> df = pd.DataFrame(res['GET_STATS_DATA']['STATISTICAL_DATA']['CLASS_INF']['CLASS_OBJ'][2]['CLASS'])
>>> df['@name'].where(df['@code'] == '13A01')[0]
    '13100 東京都区部'

Pythonコンソール：カテゴリー

>>> df = pd.DataFrame(res['GET_STATS_DATA']['STATISTICAL_DATA']['CLASS_INF']['CLASS_OBJ'][1]['CLASS'])
>>> df['@name'].where(df['@code'] == '0001')[0]
    '0001 総合'

Pythonコンソール：表彰事項

>>> df = pd.DataFrame(res['GET_STATS_DATA']['STATISTICAL_DATA']['CLASS_INF']['CLASS_OBJ'][0]['CLASS'])
>>> df['@name'].where(df['@code'] == '1')[0]
    '指数'

Pythonコンソール：時間軸（年・月）

>>> df = pd.DataFrame(res['GET_STATS_DATA']['STATISTICAL_DATA']['CLASS_INF']['CLASS_OBJ'][3]['CLASS'])
>>> df['@name'].where(df['@code'] == '2019000101')[0]
    '2019年1月'

つまりソースはこうなるな？

# translation to dataframe from json-data 
data = pd.DataFrame(res['GET_STATS_DATA']['STATISTICAL_DATA']['DATA_INF']['VALUE'])
area = pd.DataFrame(res['GET_STATS_DATA']['STATISTICAL_DATA']['CLASS_INF']['CLASS_OBJ'][2]['CLASS'])
category = pd.DataFrame(res['GET_STATS_DATA']['STATISTICAL_DATA']['CLASS_INF']['CLASS_OBJ'][1]['CLASS'])
tab = pd.DataFrame(res['GET_STATS_DATA']['STATISTICAL_DATA']['CLASS_INF']['CLASS_OBJ'][0]['CLASS'])
time = pd.DataFrame(res['GET_STATS_DATA']['STATISTICAL_DATA']['CLASS_INF']['CLASS_OBJ'][3]['CLASS'])

複数のデータフレームをInnerJoinする

If we want to join using the key columns, we need to set key to be the index in both df and other. The joined DataFrame will have key as its index.
キー列を使って結合したい場合は、keyをdfとotherの両方のインデックスになるように設定する必要があります。結合されたDataFrameはそのインデックスとしてキーを持ちます。

公式ドキュメントのお手本

>>> df.set_index('key').join(other.set_index('key'))
          A    B
    key
    K0   A0   B0
    K1   A1   B1
    K2   A2   B2
    K3   A3  NaN
    K4   A4  NaN
    K5   A5  NaN

ここから先は結合するにあたって項目名がカブってくるので列名を変更する。
data以外のデータフレームの「@name」だけでいいんじゃないかな
https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.DataFrame.rename.html#pandas.DataFrame.rename

Pythonコンソール：列構成の確認と調整、結合

# 確認:
>>> data.columns
    Index(['$', '@area', '@cat01', '@tab', '@time'], dtype='object')
>>> area.columns
    Index(['@code', '@level', '@name'], dtype='object')
>>> category.columns
    Index(['@code', '@level', '@name', '@parentCode'], dtype='object')
>>> tab.columns
    Index(['@code', '@level', '@name', '@unit'], dtype='object')

# 調整1: 列名変更
>>> area = area.rename(columns={'@name': 'area_name'})
>>> category = category.rename(columns={'@name': 'category_name'})
>>> tab = tab.rename(columns={'@name': 'tab_name'})

# 調整2: くっつけるとカブる列とか不要列の削除（レベルは、「全国」と「都道府県」を分けるみたいな深さ情報みたい）
# エラーを出しながら判断
>>> area = area.drop(columns=['@level'])
>>> category = category.drop(columns=['@level','@parentCode'])
>>> tab = tab.drop(columns=['@level','@unit'])

# 結合: Inner Join
>>> joined = data.set_index('@area').join(area.set_index('@code'))
>>> joined = joined.set_index('@cat01').join(category.set_index('@code'))
>>> joined = joined.set_index('@tab').join(tab.set_index('@code'))

# 確認: たぶんこれ「指数」以外もあるんだよね（「:10」で、10件だけ表示）
>>> joined[:10]
                   $ area_name category_name tab_name time_name
    1970000000  31.5        全国       0001 総合       指数     1970年
    1970000000  31.7  人口５万以上の市       0001 総合       指数     1970年
    1970000000  31.7       大都市       0001 総合       指数     1970年
    1970000000  31.8       中都市       0001 総合       指数     1970年
    1970000000  31.2      小都市Ａ       0001 総合       指数     1970年
    1970000000  33.2     北海道地方       0001 総合       指数     1970年
    1970000000  30.6      東北地方       0001 総合       指数     1970年
    1970000000  31.5      関東地方       0001 総合       指数     1970年
    1970000000  31.5      北陸地方       0001 総合       指数     1970年
    1970000000  31.5      東海地方       0001 総合       指数     1970年

データの加工

これ最初さー、「2019年1月」とか日本語入ってるとあとから取り回し悪くて仕方ないから int で年月項目にしようとしたんだけど13行目と14行目見て？
年度！？いらないよー。かんべんしてくださいよこれ。で、@levelって 1 と 4 以外にあるのかな？って思ってみるも、Pythonコンソールってデータを省略して見せてくるので、しかたなくcsv出力をして確認。 1 と 4 しかないことを確認できたので 1 のレコードを消しましょう。そうすれば ym にできるはず。

Pythonコンソール：年どまりとか年度とかが混ざってる

>>> time
             @code @level     @name @parentCode
   0    2019000101      4   2019年1月  2019000103
   1    2018001212      4  2018年12月  2018001012
   2    2018001111      4  2018年11月  2018001012
   3    2018001010      4  2018年10月  2018001012
   4    2018000909      4   2018年9月  2018000709
   5    2018000808      4   2018年8月  2018000709
   6    2018000707      4   2018年7月  2018000709
   7    2018000606      4   2018年6月  2018000406
   8    2018000505      4   2018年5月  2018000406
   9    2018000404      4   2018年4月  2018000406
   10   2018000303      4   2018年3月  2018000103
   11   2018000202      4   2018年2月  2018000103
   12   2018000101      4   2018年1月  2018000103
   13   2018000000      1     2018年         NaN
   14   2017100000      1    2017年度         NaN
   15   2017001212      4  2017年12月  2017001012
   16   2017001111      4  2017年11月  2017001012
   17   2017001010      4  2017年10月  2017001012

main.py：いろいろ加工しました。文字加工のエッセンスが詰まっているね

# edit text to '201901' from '2019年1月'
time['yyyy'] = time['time'].str.split('年', expand=True)[0]
time['mm'] = time['time'].str.split('年', expand=True)[1].str.strip('月').str.zfill(2)
time['yyyymm'] = time['yyyy'] + time['mm']

# If there is 'A' in the middle, it means 'city'
area['city_flag'] = area['@code'].str.contains('..A..')
area['area'] = area['area'].str.split(' ', expand=True)[1]

API取得制限に注意な

なんかデータ足りなくない？？って思って、例えばカテゴリーが「総合」か「食料」か「穀物」までしかないんだよなぁ～、くっつけかた間違えたかなぁ～？？とか思ってたけどこれだったか。data の時点のデータフレームでは100,000レコードであることを確認できました。URLをクエリパラメータ作ってひっぱるときにレコード減らす工夫するしかないね。

Q7 : 【統計データ取得機能】10万件を超えるデータを取得できません。
A7 : API機能は、一度に最大で10万件のデータを返却します。そのため、統計データが一度に取得できない場合には、継続データの取得開始位置をレスポンスのタグの値として出力します。継続データを要求する場合は、データ取得開始位置パラメータ(startPosition)にこの値を指定することで、取得できます。

SQLServerでテーブルを作る

テーブル作成クエリ

CREATE TABLE e_Stat (
	  yyyymm INT NOT NULL
    , category NVARCHAR(50) NULL
	, area NVARCHAR(50) NULL
	, amount NUMERIC(5,1) NULL
);

プログラムを流してみる

あーできたー... 解散！解散ー！おつかれー
うまいもんくって寝ましょ

Pythonコンソール：上位30件のみ

basic_connect-api-e_stat> python main.py
197002,0002 食料,岡山市,30.4
197004,0002 食料,福井市,29.6
197006,0002 食料,盛岡市,30.0
197008,0001 総合,山口市,32.9
197010,0001 総合,長野市,32.7
197012,0001 総合,秋田市,32.2
197101,0002 食料,松山市,33.0
197103,0002 食料,名古屋市,33.3
197105,0002 食料,水戸市,31.7
197107,0001 総合,北九州市,32.6
197109,0001 総合,大津市,34.9
197112,0001 総合,奈良市,35.4
197202,0001 総合,横浜市,34.4
197205,0002 食料,松江市,31.1
197209,0002 食料,青森市,32.8
197301,0001 総合,甲府市,35.5
197304,0002 食料,高松市,38.9
197308,0002 食料,福島市,37.7
197312,0001 総合,津市,41.6
197402,0002 食料,富山市,45.1
197402,0002 食料,金沢市,46.3
197402,0002 食料,福井市,44.7
197402,0002 食料,甲府市,46.1
197402,0002 食料,長野市,48.4
197402,0002 食料,岐阜市,45.0
197402,0002 食料,静岡市,44.6
197402,0002 食料,名古屋市,48.0
197402,0002 食料,津市,44.2
197402,0002 食料,大津市,51.6
197402,0002 食料,京都市,49.9

ソースコード

ソースをgithubにしとくとあとがラクねぇ～
https://github.com/duri0214/Python/tree/master/basic_connect-api-e_stat

改修履歴

・1回あたり取得量100,000レコードを突破するべくループを組んで全量取得可能にしました