【はじめに】
Pythonライブラリの「Pandas」の中で、データを集計する方法として「groupby」、「pivot_table」があります。
どちらを使った方が良いのか分からない方のために、集計の目的に応じてどちらを使用するべきか分かりやすく紹介していきます。
本記事の内容
- pandasのインポート
- csvファイルの読み込み
- データを集計する | groupby
- データを集計する | pivot_table
【pandasのインポート】
import pandas as pd
【csvファイルの読み込み】
「1920年から2015年までの全国の人口推移のデータ」を使用します。
df = pd.read_csv('data.csv', encoding='shift-jis')
df
| 都道府県コード | 都道府県名 | 元号 | 和暦（年） | 西暦（年） | 人口（総数） | 人口（男） | 人口（女） | |
|---|---|---|---|---|---|---|---|---|
| 0 | 1 | 北海道 | 大正 | 9 | 1920 | 2359183 | 1244322 | 1114861 |
| 1 | 2 | 青森県 | 大正 | 9 | 1920 | 756454 | 381293 | 375161 |
| 2 | 3 | 岩手県 | 大正 | 9 | 1920 | 845540 | 421069 | 424471 |
| 3 | 4 | 宮城県 | 大正 | 9 | 1920 | 961768 | 485309 | 476459 |
| 4 | 5 | 秋田県 | 大正 | 9 | 1920 | 898537 | 453682 | 444855 |
| ... | ... | ... | ... | ... | ... | ... | ... | ... |
| 934 | 43 | 熊本県 | 平成 | 27 | 2015 | 1786170 | 841046 | 945124 |
| 935 | 44 | 大分県 | 平成 | 27 | 2015 | 1166338 | 551932 | 614406 |
| 936 | 45 | 宮崎県 | 平成 | 27 | 2015 | 1104069 | 519242 | 584827 |
| 937 | 46 | 鹿児島県 | 平成 | 27 | 2015 | 1648177 | 773061 | 875116 |
| 938 | 47 | 沖縄県 | 平成 | 27 | 2015 | 1433566 | 704619 | 728947 |
| 939 rows × 8 columns |
私のGitHubに「data.csv」としてアップロードしてあるので、下記コマンドでダウンロードすれば簡単に準備できます。
$ curl https://raw.githubusercontent.com/nakachan-ing/python-references/master/Pandas/data.csv -O
【データを集計する | groupby】
groupbyメソッドを使用すると、DataFrameの要素をもとにデータをグループ分けして、簡単に集計することができます。
引数byにグループ分けしたカラムを指定します。
読み込んだcsvファイルから「都道府県別」に、「人口（総数）」、「人口（男）」、「人口（女）」それぞれを集計してみます。
df_mean1 = df.groupby(by='都道府県名').mean()[['人口（総数）', '人口（男）', '人口（女）']]
df_mean1.head(10)
| 人口（総数） | 人口（男） | 人口（女） | |
|---|---|---|---|
| 都道府県名 | |||
| 三重県 | 1534021.4 | 743366.55 | 790654.85 |
| 京都府 | 2135317.95 | 1044093.7 | 1091224.25 |
| 佐賀県 | 830574.25 | 395550.75 | 435023.5 |
| 兵庫県 | 4233525 | 2067583.1 | 2165941.9 |
| 北海道 | 4606104.3 | 2272235.25 | 2333869.05 |
| 千葉県 | 3591668.1 | 1789946.8 | 1801721.3 |
| 和歌山県 | 978371.25 | 471085.7 | 507285.55 |
| 埼玉県 | 4040109.05 | 2023428.05 | 2016681 |
| 大分県 | 1142165.05 | 544737.95 | 597427.1 |
| 大阪府 | 6380772.25 | 3167758.65 | 3213013.6 |
ポイント
- DataFrameに対して、はじめに「都道府県名」でグループ分けしてから、「人口（総数）」、「人口（男）」、「人口（女）」の平均を抽出しています。
- DataFrameに対して、はじめに「都道府県名」、「人口（総数）」、「人口（男）」、「人口（女）」のデータを抽出してから「都道府県名」でグループ分けして平均を求めることもできます。
df_mean2 = df[['都道府県名', '人口（総数）', '人口（男）', '人口（女）']].groupby(by='都道府県名').mean()
df_mean2.head(10)
| 人口（総数） | 人口（男） | 人口（女） | |
|---|---|---|---|
| 都道府県名 | |||
| 三重県 | 1534021.4 | 743366.55 | 790654.85 |
| 京都府 | 2135317.95 | 1044093.7 | 1091224.25 |
| 佐賀県 | 830574.25 | 395550.75 | 435023.5 |
| 兵庫県 | 4233525 | 2067583.1 | 2165941.9 |
| 北海道 | 4606104.3 | 2272235.25 | 2333869.05 |
| 千葉県 | 3591668.1 | 1789946.8 | 1801721.3 |
| 和歌山県 | 978371.25 | 471085.7 | 507285.55 |
| 埼玉県 | 4040109.05 | 2023428.05 | 2016681 |
| 大分県 | 1142165.05 | 544737.95 | 597427.1 |
| 大阪府 | 6380772.25 | 3167758.65 | 3213013.6 |
groupbyメソッドで集計できるものとしては、
- mean（平均）
- sum（合計）
- count（個数）
- max（最大値）
- min（最小値）
- std（標準偏差）
- var（分散）
などがあります。
複数要素でグルーピングする
groupbyメソッドの引数byにリストで複数のカラムを指定することで、複数要素での集計が可能です。
「都道府県名」と「元号」をリスト形式で指定して、「人口（総数）」、「人口（男）」、「人口（女）」それぞれの平均を集計してみます。
df_mean3 = df[['都道府県名', '元号', '人口（総数）', '人口（男）', '人口（女）']].groupby(by=['都道府県名', '元号']).mean()
df_mean3
| 人口（総数） | 人口（男） | 人口（女） | ||
|---|---|---|---|---|
| 都道府県名 | 元号 | |||
| 三重県 | 大正 | 1.09E+06 | 5.35E+05 | 5.53E+05 |
| 平成 | 1.84E+06 | 8.93E+05 | 9.45E+05 | |
| 昭和 | 1.46E+06 | 7.03E+05 | 7.53E+05 | |
| 京都府 | 大正 | 1.35E+06 | 6.84E+05 | 6.63E+05 |
| 平成 | 2.63E+06 | 1.27E+06 | 1.36E+06 | |
| ... | ... | ... | ... | ... |
| 鳥取県 | 平成 | 6.02E+05 | 2.88E+05 | 3.14E+05 |
| 昭和 | 5.66E+05 | 2.71E+05 | 2.95E+05 | |
| 鹿児島県 | 大正 | 1.44E+06 | 6.98E+05 | 7.46E+05 |
| 平成 | 1.75E+06 | 8.19E+05 | 9.29E+05 | |
| 昭和 | 1.75E+06 | 8.30E+05 | 9.20E+05 | |
| 141 rows × 3 columns |
このままだと人口が指数表示となってしまい、ひと目では何人なのか分かりにくいですね。
※指数表現は数値を1桁にして、その分10を何乗したかで表現しています。
ひと目で人口が分かるように、round(0)とすることで、小数点以下を切り捨てて表現します。
df_mean3.round(0)
| 人口（総数） | 人口（男） | 人口（女） | ||
|---|---|---|---|---|
| 都道府県名 | 元号 | |||
| 三重県 | 大正 | 1088481.0 | 535354.0 | 553126.0 |
| 平成 | 1838127.0 | 893168.0 | 944960.0 | |
| 昭和 | 1456225.0 | 703135.0 | 753090.0 | |
| 京都府 | 大正 | 1346764.0 | 684122.0 | 662642.0 |
| 平成 | 2628425.0 | 1268325.0 | 1360099.0 | |
| ... | ... | ... | ... | ... |
| 鳥取県 | 平成 | 602177.0 | 287885.0 | 314291.0 |
| 昭和 | 565924.0 | 270756.0 | 295169.0 | |
| 鹿児島県 | 大正 | 1443888.0 | 697972.0 | 745915.0 |
| 平成 | 1747640.0 | 818506.0 | 929134.0 | |
| 昭和 | 1749826.0 | 829889.0 | 919936.0 | |
| 141 rows × 3 columns |
aggメソッドを使って集計する
aggメソッドは平均や合計などを同時に集計することができます。
集計したい計算方法をaggメソッドの引数にリストで指定します。
「都道府県名」と「元号」をリスト形式で指定して、「人口（総数）」、「人口（男）」、「人口（女）」それぞれの平均、最大値、最小値を集計してみます。
df_culc1 = df[['都道府県名', '元号', '人口（総数）', '人口（男）', '人口（女）']].groupby(by=['都道府県名', '元号']).agg(['mean', 'max', 'min'])
df_culc1.round(0)
| 人口（総数） | 人口（男） | 人口（女） | ||||||||
|---|---|---|---|---|---|---|---|---|---|---|
| mean | max | min | mean | max | min | mean | max | min | ||
| 都道府県名 | 元号 | |||||||||
| 三重県 | 大正 | 1088481.0 | 1107692.0 | 1069270.0 | 535354 | 544752 | 525957 | 553126 | 562940 | 543313 |
| 平成 | 1838127 | 1866963.0 | 1792514.0 | 893168.0 | 907214 | 869515 | 944960 | 959749 | 922999 | |
| 昭和 | 1456225 | 1747311.0 | 1157407.0 | 703135.0 | 847420 | 571000 | 753090 | 899891 | 586407 | |
| 京都府 | 大正 | 1346764.0 | 1406382.0 | 1287147.0 | 684122 | 717464 | 650780 | 662642 | 688918 | 636367 |
| 平成 | 2628425 | 2647660 | 2602460 | 1268325 | 1278142 | 1248972 | 1360099 | 1374667 | 1334840 | |
| ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... |
| 鳥取県 | 平成 | 602177.0 | 615722.0 | 573441.0 | 287885 | 294899 | 273705 | 314291 | 320823 | 299736 |
| 昭和 | 565924 | 616024.0 | 484390.0 | 270756.0 | 297015 | 233964 | 295169 | 320513 | 250182 | |
| 鹿児島県 | 大正 | 1443888.0 | 1472193.0 | 1415582.0 | 697972 | 713702 | 682243 | 745915 | 758491 | 733339 |
| 平成 | 1747640 | 1797824.0 | 1648177.0 | 818506.0 | 842474 | 773061 | 929134 | 955350 | 875116 | |
| 昭和 | 1749826 | 2044112 | 1538466 | 829889 | 985617 | 699455 | 919936 | 1058495 | 803046 | |
| 141 rows × 9 columns |
ポイント
統計量を算出したい場合は、aggメソッドの引数にdescribeを指定します。
「都道府県名」と「元号」をリスト形式で指定して、「人口（総数）」の平均、最大値、最小値を集計してみます。
df_culc2 = df[['都道府県名', '元号', '人口（総数）']].groupby(by=['都道府県名', '元号']).agg('describe')
df_culc2.round(0)
| 人口（総数） | |||||||||
|---|---|---|---|---|---|---|---|---|---|
| count | mean | std | min | 25% | 50% | 75% | max | ||
| 都道府県名 | 元号 | ||||||||
| 三重県 | 大正 | 2.0 | 1088481.0 | 27168.0 | 1069270 | 1078876 | 1088481 | 1098086 | 1107692 |
| 平成 | 6 | 1838127 | 28505.0 | 1792514.0 | 1822238.0 | 1848041 | 1856685 | 1866963 | |
| 昭和 | 12 | 1456225 | 194973.0 | 1157407.0 | 1345410.0 | 1485318 | 1563813 | 1747311 | |
| 京都府 | 大正 | 2.0 | 1346764.0 | 84312.0 | 1287147 | 1316956 | 1346764 | 1376573 | 1406382 |
| 平成 | 6 | 2628425 | 18362 | 2602460 | 2615163 | 2632842 | 2642316 | 2647660 | |
| ... | ... | ... | ... | ... | ... | ... | ... | ... | ... |
| 鳥取県 | 平成 | 6.0 | 602177.0 | 17328.0 | 573441 | 593253 | 610150 | 614519 | 615722 |
| 昭和 | 12 | 565924 | 49776.0 | 484390.0 | 545030.0 | 580582 | 601188 | 616024 | |
| 鹿児島県 | 大正 | 2.0 | 1443888.0 | 40030.0 | 1415582 | 1429735 | 1443888 | 1458040 | 1472193 |
| 平成 | 6 | 1747640 | 59686.0 | 1648177.0 | 1717976.0 | 1769686 | 1792216 | 1797824 | |
| 昭和 | 12 | 1749826 | 161160 | 1538466 | 1590966 | 1756886 | 1827838 | 2044112 | |
| 141 rows × 8 columns |
小数点以下を切り捨てたことで見やすくなっていますが、桁区切り表示させることでより分かりやすくできます。
applymapメソッドとformatメソッドを使って3桁区切りにします。
df_culc2.applymap('{:,.0f}'.format)
| 人口（総数） | |||||||||
|---|---|---|---|---|---|---|---|---|---|
| count | mean | std | min | 25% | 50% | 75% | max | ||
| 都道府県名 | 元号 | ||||||||
| 三重県 | 大正 | 2 | 1,088,481 | 27,168 | 1,069,270 | 1,078,876 | 1,088,481 | 1,098,086 | 1,107,692 |
| 平成 | 6 | 1,838,127 | 28,505 | 1,792,514 | 1,822,238 | 1,848,041 | 1,856,685 | 1,866,963 | |
| 昭和 | 12 | 1,456,225 | 194,973 | 1,157,407 | 1,345,410 | 1,485,318 | 1,563,813 | 1,747,311 | |
| 京都府 | 大正 | 2 | 1,346,764 | 84,312 | 1,287,147 | 1,316,956 | 1,346,764 | 1,376,573 | 1,406,382 |
| 平成 | 6 | 2,628,425 | 18,362 | 2,602,460 | 2,615,163 | 2,632,842 | 2,642,316 | 2,647,660 | |
| ... | ... | ... | ... | ... | ... | ... | ... | ... | ... |
| 鳥取県 | 平成 | 6 | 602,177 | 17,328 | 573,441 | 593,253 | 610,150 | 614,519 | 615,722 |
| 昭和 | 12 | 565,924 | 49,776 | 484,390 | 545,030 | 580,582 | 601,188 | 616,024 | |
| 鹿児島県 | 大正 | 2 | 1,443,888 | 40,030 | 1,415,582 | 1,429,735 | 1,443,888 | 1,458,040 | 1,472,193 |
| 平成 | 6 | 1,747,640 | 59,686 | 1,648,177 | 1,717,976 | 1,769,686 | 1,792,216 | 1,797,824 | |
| 昭和 | 12 | 1,749,826 | 161,160 | 1,538,466 | 1,590,966 | 1,756,886 | 1,827,838 | 2,044,112 | |
| 141 rows × 8 columns |
【データを集計する | pivot_table】
groupbyメソッドではカラム（縦方向）でグルーピングして集計をしましたが、pivot_tableメソッドでは横方向にも項目を追加して集計することができます。
引数indexには縦方向に表示させたい項目、columnsには横方向に表示させたい項目を指定します。
引数valuesに集計するデータのカラムを指定します。
引数aggfuncには集計方法を指定します。
indexに「都道府県名」、columnsに「元号」を指定して、「人口（総数）」の平均を集計してみます。
df_pivot1 = df.pivot_table(index='都道府県名', columns='元号', values='人口（総数）', aggfunc='mean')
df_pivot1.round(0).head(10)
| 元号 | 大正 | 平成 | 昭和 |
|---|---|---|---|
| 都道府県名 | |||
| 三重県 | 1088481 | 1838127.0 | 1456225.0 |
| 京都府 | 1346764 | 2,628,425 | 2,020,190 |
| 佐賀県 | 679363 | 864,635 | 838,746 |
| 兵庫県 | 2378239 | 5,511,838 | 3,903,583 |
| 北海道 | 2428931 | 5,589,153 | 4,477,442 |
| 千葉県 | 1367706 | 5,962,486 | 2,776,920 |
| 和歌山県 | 768961 | 1037736.0 | 983590.0 |
| 埼玉県 | 1356997 | 6,936,328 | 3,039,185 |
| 大分県 | 887709 | 1,210,304 | 1,150,505 |
| 大阪府 | 2823674 | 8,809,791 | 5,759,113 |
複数のデータを集計する
複数データを同時に集計することができます。
indexに「都道府県名」、columnsに「元号」を指定して、「人口（総数）」、「人口（男）」、「人口（女）」人口の平均を集計してみます。
df_pivot2 = df.pivot_table(index='都道府県名', columns='元号', values=['人口（総数）', '人口（男）', '人口（女）'], aggfunc='mean')
df_pivot2.round(0).head(10)
| 人口（女） | 人口（男） | 人口（総数） | |||||||
|---|---|---|---|---|---|---|---|---|---|
| 元号 | 大正 | 平成 | 昭和 | 大正 | 平成 | 昭和 | 大正 | 平成 | 昭和 |
| 都道府県名 | |||||||||
| 三重県 | 553126 | 944,960 | 753,090 | 535,354 | 893,168 | 703,135 | 1,088,481 | 1,838,127 | 1,456,225 |
| 京都府 | 662642 | 1,360,099 | 1,028,217 | 684,122 | 1,268,325 | 991,973 | 1,346,764 | 2,628,425 | 2,020,190 |
| 佐賀県 | 346270 | 456,442 | 439,106 | 333,092 | 408,192 | 399,640 | 679,363 | 864,635 | 838,746 |
| 兵庫県 | 1170863 | 2,861,527 | 1,983,996 | 1,207,376 | 2,650,310 | 1,919,587 | 2,378,239 | 5,511,838 | 3,903,583 |
| 北海道 | 1154034 | 2,923,372 | 2,235,757 | 1,274,898 | 2,665,781 | 2,241,685 | 2,428,931 | 5,589,153 | 4,477,442 |
| 千葉県 | 693601 | 2974638.0 | 1399949.0 | 674105.0 | 2987847 | 1376970 | 1367706 | 5962486 | 2776920 |
| 和歌山県 | 386836 | 547,112 | 507,447 | 382,124 | 490,624 | 476,143 | 768,961 | 1,037,736 | 983,590 |
| 埼玉県 | 695390 | 3,443,448 | 1,523,513 | 661,606 | 3,492,880 | 1,515,672 | 1,356,997 | 6,936,328 | 3,039,185 |
| 大分県 | 450706 | 638,774 | 601,207 | 437,003 | 571,531 | 549,297 | 887,709 | 1,210,304 | 1,150,505 |
| 大阪府 | 1354138 | 4,517,115 | 2,870,776 | 1,469,536 | 4,292,676 | 2,888,337 | 2,823,674 | 8,809,791 | 5,759,113 |
複数の集計方法を同時に実行する
引数aggfuncにリストで集計方法を指定することで、複数の集計方法を同時に実行することができます。
indexに「都道府県名」、columnsに「元号」を指定して、「人口（総数）」の平均、最大値、最小値を集計してみます。
df_pivot3 = df.pivot_table(index='都道府県名', columns='元号', values='人口（総数）', aggfunc=['mean', 'max', 'min'])
df_pivot3.round(0).head(10)
| mean | max | min | |||||||
|---|---|---|---|---|---|---|---|---|---|
| 元号 | 大正 | 平成 | 昭和 | 大正 | 平成 | 昭和 | 大正 | 平成 | 昭和 |
| 都道府県名 | |||||||||
| 三重県 | 1088481 | 1,838,127 | 1,456,225 | 1,107,692 | 1,866,963 | 1,747,311 | 1,069,270 | 1,792,514 | 1,157,407 |
| 京都府 | 1346764 | 2,628,425 | 2,020,190 | 1,406,382 | 2,647,660 | 2,586,574 | 1,287,147 | 2,602,460 | 1,552,832 |
| 佐賀県 | 679363 | 864,635 | 838,746 | 684,831 | 884,316 | 973,749 | 673,895 | 832,832 | 686,117 |
| 兵庫県 | 2378239 | 5,511,838 | 3,903,583 | 2,454,679 | 5,590,601 | 5,278,050 | 2,301,799 | 5,401,877 | 2,646,301 |
| 北海道 | 2428931 | 5,589,153 | 4,477,442 | 2,498,679 | 5,692,321 | 5,679,439 | 2,359,183 | 5,381,733 | 2,812,335 |
| 千葉県 | 1367706 | 5962486.0 | 2776920.0 | 1399257.0 | 6222666 | 5148163 | 1336155 | 5555429 | 1470121 |
| 和歌山県 | 768961 | 1,037,736 | 983,590 | 787,511 | 1,080,435 | 1,087,206 | 750,411 | 963,579 | 830,748 |
| 埼玉県 | 1356997 | 6,936,328 | 3,039,185 | 1,394,461 | 7,266,534 | 5,863,678 | 1,319,533 | 6,405,319 | 1,459,172 |
| 大分県 | 887709 | 1,210,304 | 1,150,505 | 915,136 | 1,236,942 | 1,277,199 | 860,282 | 1,166,338 | 945,771 |
| 大阪府 | 2823674 | 8,809,791 | 5,759,113 | 3,059,502 | 8,865,245 | 8,668,095 | 2,587,847 | 8,734,516 | 2,800,958 |
【さいごに】
今回はデータを集計する方法として「groupby」、「pivot_table」を紹介しました。
特に「pivot_table」はシンプルかつ非常に分かりやすいデータ分析手法です。
これを機に覚えてしまいましょう。
使用したCSVファイルやJupyter NotebookはGitHubに公開しています。
Jupyter Notebookは下記コマンドでダウンロードできるので、自由に使って是非練習してみてください。
$ curl https://raw.githubusercontent.com/nakachan-ing/python-references/master/Pandas/pandasでデータ集計する.ipynb -O