概要・やりたいこと

私の会社ではサイト上の数値をGoogle Analytics(以降GA)を利用して計測しています。
社員もある程度おり数年以上利用を続けていたのですが、運用保守までしっかりと手が回らず、
様々なアカウントやプロパティが乱立してしまいました。

GAの管理画面上では、アカウントやプロパティの一覧をスクロールしながら表示することは可能です。
その結果をスプレッドシート上などで閲覧できる状態にしたい、というのが今回のゴールになります。

Try this APIを利用してみる(非エンジニア向け)

下記APIを利用すると、ログインしているChromeのアカウントに紐づくGAのアカウントデータをJSON形式で取得できます。
Management API > リファレンス > アカウント：list

実行結果を整形しても、ある程度やりたいことはできるようになります。
JSONファイルをExcelに変換
 JSON ファイルを CSV ファイルに変換したい

1つ目の方法はExcelのバージョン都合で実行できず、2つ目の方法で実際に試したところ問題が発生しました。

アウトプットの形式が意図通りではない
GAの構造ですが、アカウント > プロパティ > ビューという構成になっています。
csv変換後のファイルは、アカウントの行数分だけ出力されます。
またアカウントによってプロパティ数は異なるため、個人的には意図していないデータが生成されました。

アカウント	プロパティ_1	ビュー_1_1	ビュー_1_2	・・・	プロパティ_2	・・・
A	Aに紐づくプロパティ1	プロパティ1に紐づくビュー1	プロパティ1に紐づくビュー2	・・・	Aに紐づくプロパティ2	・・・

本来欲しかったのは、下記のような縦持ちのデータになります。

アカウント	プロパティ	ビュー
A	Aに紐づくプロパティ1	プロパティ1に紐づくビュー1
A	Aに紐づくプロパティ1	プロパティ1に紐づくビュー2
A	・・・	・・・
A	A紐づくプロパティ2	プロパティ2に紐づくビュー1
A	・・・	・・・
B	Bに紐づくプロパティ1	プロパティ1に紐づくビュー1

2.取得できるアカウントの数に限界がある？
社内では実行時59個のアカウントが存在していたのですが、取得できたのは49件でした。
パラメータの数値をいじったりしましたが、コードを書いてデータを取得しよう、となったため原因は深く調査していません。
何か心当たりがある方がいましたら、コメントいただけると嬉しいです。

開発環境・モジュールのバージョン

python 3.8.2
google-api-python-client 1.8.0
build 1.0.2
pandas 0.24.2
numpy 1.16.4

事前の作業内容

発行したサービスアカウントを、取得したいGAのアカウントに追加した後に作業を行っています。
本来は社内の管理者アカウントに紐づくGAのアカウントを取得したかったのですが、対処方法が分からず。。

アカウントが多くてつらかったので、歌いながら片手間で作業して乗り切りました。笑

実装コード

以下、本題の実装コードになります。

実装コードの大部分が、下記からの引用です。
はじめてのアナリティクス API: サービスアカウント向け Python クイックスタート

APIを利用してアカウント、プロパティ、ビューごとのdfを作成し、空のdfにappendさせる、という処理を行っています。
Management API > リファレンス > ウェブプロパティ: list
Management API > リファレンス > ビュー（旧プロファイル）: list

qiita.python

from googleapiclient.discovery import build
from oauth2client.service_account import ServiceAccountCredentials
import pandas as pd
import numpy as np

def get_service(api_name, api_version, scopes, key_file_location):

    credentials = ServiceAccountCredentials.from_json_keyfile_name(
            key_file_location, scopes=scopes)
    service = build(api_name, api_version, credentials=credentials)
    return service

def get_account_propaty_view_info(service):
    accounts = service.management().accounts().list().execute()

    # アカウントの一覧をdfに格納する
    account_df = pd.DataFrame(columns=['account_name', 'account_id'])

    for account in accounts.get('items', []):  
        account_array = np.array([[account.get('name'), account.get('id')]])
        df_account = pd.DataFrame(data=account_array,columns=account_df.columns)
        account_df = account_df.append(df_account, ignore_index=False)

    # プロパティの一覧をdfに格納する
    property_df = pd.DataFrame(columns=['account_number','account_id', 'property_name', 'property_id'])

    # アカウントのdfから、対象のプロパティ一覧を取得する
    for i in range(len(account_df)):
        properties = service.management().webproperties().list(accountId=account_df['account_id'].iloc[i]).execute()
        for property in properties.get('items', []):
            property_array = np.array([[i, account_df['account_id'].iloc[i], property.get('name'), property.get('id')]])
            df_property = pd.DataFrame(data=property_array,columns=property_df.columns)
            property_df = property_df.append(df_property, ignore_index=False)
        
    # ビューの一覧をdfに格納する
    view_df = pd.DataFrame(columns=['account_id', 'property_id', 'view_name', 'view_id'])

    # プロパティのdfから、対象のビュー一覧を取得する
    for i in range(len(property_df)):
        views  = service.management().profiles().list(accountId=property_df['account_id'].iloc[i],
        webPropertyId=property_df['property_id'].iloc[i] ).execute()
        for view in views.get('items', []):
            view_array = np.array([[property_df['account_id'].iloc[i], property_df['property_id'].iloc[i], view.get('name'), view.get('id')]])
            df_view = pd.DataFrame(data=view_array,columns=view_df.columns)

            view_df = view_df.append(df_view, ignore_index=False)
            
    # アカウントの一覧、プロパティの一覧、ビューの一覧を1つのdfにまとめてみる
    # 結合時の処理都合でaccount_numberの位置が気になる方は、カラムの順序を変更してください。
    ga_account_list = pd.merge(pd.merge(account_df, property_df, on='account_id', how='inner'), view_df, on=['account_id', 'property_id'], how='inner')
    ga_account_list.to_csv('作成するcsvファイル名', encoding='utf_8_sig')

def main():
    scope = 'https://www.googleapis.com/auth/analytics.readonly'
    key_file_location = '発行したサービスアカウントのJSONキーファイル'

    service = get_service(
            api_name='analytics',
            api_version='v3',
            scopes=[scope],
            key_file_location=key_file_location)

    get_account_propaty_view_info(service)

if __name__ == '__main__':
    main()

現状のアウトプット例
アカウントのIDは綺麗に数字が並んでいる訳ではないので、代わりにaccount_numberというものを持たせています

account_name	account_id	account_number	property_name	property_id	view_name	view_id
A	10	0	property_1	100	view_1	1000
A	10	0	property_1	100	view_2	1001
A	・・・	・・・	・・・	・・・	・・・	・・・
A	10	0	property_2	101	view_1	1100
A	・・・	・・・	・・・	・・・	・・・	・・・
B	20	1	property_1	200	view_1	2000

今後の展望

まずは今回の結果を利用して、不要なアカウントやプロパティの整理を行っていく予定です。

それに基づいて、社内の部署ごとでグループを作りたいと思っています。
現在はGAの権限付与を個人に対して行っているのですが、グループごとの権限付与が可能です。

新しく入社するAさんは○○部署なので、□□の権限をあげればいいよね、というイメージで
ボタン一つで自動化される未来を目指したいな、と思っています。

もし同じような悩みを持っている方の参考になれば幸いです。