Twitter API 検索で大量データを収集(CSV)

開発環境

　Python3.7.3
　Twitter API

参考にしたページ

https://qiita.com/kngsym2018/items/2524d21455aac111cdee
http://westplain.sakuraweb.com/translate/twitter/Documentation/REST-APIs/Public-API/The-Search-API.cgi
https://syncer.jp/Web/API/Twitter/REST_API/
https://qiita.com/mida12251141/items/97bce06e4167db8ed3d5
https://qiita.com/tomozo6/items/d7fac0f942f3c4c66daf

事前にやっておくこと

Twitter APIの登録申請。ここでは割愛。
私は申請から許可まで４日ほどかかりました。
「参考にしたページ」の一番目で丁寧な解説がされてます。

やりたいこと

1レコード1ツイートなテーブル形式の状態でcsvファイルに保存する。
各データには改行はない。
なるべく大量にデータを取得する。

困ったこと

・一度に検索できるツイート数の上限は100ツイート
・上項の処理の連続実行上限は180回（上限までいくと１５分間の待機が必要）
・検索できるツイートデータは一週間前まで
・下記５項目はカンマやら改行やらの楽園状態なので文字列処理必須

・Name
・Screen Name
・Text
・Description
・Location

※Locationは適当なこと書いてるユーザが多すぎてデータとして使えない

取得したツイートデータを変数csvlinetextに入れた後の文字列整形を下記のように行った。
他にもいい方法あると思うけど手っ取り早くこれで対処した。

twitterapi.py

            #textの文字列を整形
            csvlinetext = line["text"].strip()            #ツイートデータから改行を削除
            csvlinetext = csvlinetext.replace(",", " ")   #カンマ文字を半角スペースに置換
            csvlines = csvlinetext.splitlines()           #配列変数に格納することで消しきれない改行を削除
            csvlinetext = ''.join(csvlines)               #配列変数の全要素内のデータを結合

シナリオ

分かってる人は見なくてもいいやつ。
この流れでコードを組み立てれば上手くいく。

01.Twitter API登録時にもらう認証キーを変数に代入する
02.検索ワードを変数に代入する
03.検索プロパティを配列変数に代入する
04.OAuth認証でセッションを確立する
(ループ処理開始）
05.Twitter API利用制限回数のチェック
06.セッション切断
07.06の制限にかかった場合は１５分待機
08.変数maxidを検索プロパティに指定
09.OAuth認証でセッションを確立する
10.検索実行して結果を変数csvline1に代入する
11.変数の結果をCSVに書き込む
12.ツイートIDを変数maxidに代入する
(ループ処理終了）

ソース

python

import os
import json
import config
import csv
import time
import math
from requests_oauthlib import OAuth1Session
from pytz import timezone
from dateutil import parser
from dateutil.relativedelta import relativedelta
from datetime import datetime, date, timedelta
import json, time, pytz, re, sys,traceback

#認証キーの変数代入とセッション確立
CONSUMER_KEY = "XXXXXXXXXXXXXXXXXXX"
CONSUMER_SECRE = "XXXXXXXXXXXXXXXXXXX"
ACCESS_TOKEN = "XXXXXXXXXXXXXXXXXXX"
ACCESS_SECRET = "XXXXXXXXXXXXXXXXXXX"

#+****************************************************************
#関数処理
#+****************************************************************

#セッション確立
def getTwitterSession():
    return OAuth1Session(CONSUMER_KEY, CONSUMER_SECRE, ACCESS_TOKEN, ACCESS_SECRET)

# 文字列を日本時間2タイムゾーンを合わせた日付型で返す
def str_to_date_jp(str_date):
    dts = datetime.strptime(str_date,'%a %b %d %H:%M:%S +0000 %Y')
    return pytz.utc.localize(dts).astimezone(pytz.timezone('Asia/Tokyo'))

#API利用制限ステータスチェック
def rate_limit_status():
    limit = 0
    remaining = 0
    reset_minute = 0
    twitter = OAuth1Session(CONSUMER_KEY, CONSUMER_SECRE, ACCESS_TOKEN, ACCESS_SECRET)
    url = "https://api.twitter.com/1.1/application/rate_limit_status.json"
    req = twitter.get(url)
    if req.status_code == 200:
        res = json.loads(req.text)
        limit = res['resources']['search']['/search/tweets']['limit']
        remaining = res['resources']['search']['/search/tweets']['remaining']
        reset = res['resources']['search']['/search/tweets']['reset']
        reset_minute = math.ceil((reset - time.mktime(datetime.now().timetuple())) / 60)
    twitter.close()
    return limit, remaining, reset_minute

#検索条件を配列変数に代入
def getParam():
    params ={
            'count'         : 100,
            'q'             : keyword,
            'result_type'   : 'mixed',
            'max_id'        : maxid
            }
    twitter = getTwitterSession()
    req = twitter.get(url, params = params)
    return twitter, params, req

#+****************************************************************
#メイン処理
#+****************************************************************

#Twitter Endpoint
url = 'https://api.twitter.com/1.1/search/tweets.json'

#ツイートID
maxid = ''
#検索ワード
keyword = '英会話'
#実行日の取得(csvファイル命名用)
today = date.today()

#ツイート取得開始日
start_dt = today
#start_dt = datetime.strptime(start_dt, '%Y%m%d')
dt1 = (start_dt).strftime('%Y-%m-%d')

#ツイート取得最終日
end_dt  = (start_dt - timedelta(days=7))
dt2 = (end_dt).strftime('%Y-%m-%d')

since = str(dt1) + '_00:00:00_JST'
until = str(dt2) + '_23:59:59_JST'

csvline1 = "DateTime,ID,User ID,Name,Screen Name,Text,Follower Count,Friend Count,Favorite Count,Retweet Count,Description,Location\n"
with open("twitter_data_%s_%s.csv" % (keyword,today), "a") as f:
    f.write(csvline1)

for i1 in range(5000):
    #API使用制限回数チェック
    limit, remaining, reset_minute = rate_limit_status()
    print(remaining)
    #API使用制限解除待機
    if remaining == 0:
        print("** Waiting for limit release **")
        time.sleep(60 * (int(reset_minute) + 1))
        time.sleep(1)
    twitter, params, req = getParam()
    if req.status_code == 200:
        res = json.loads(req.text)
        i2 = 0
        i3 = 0
        for line in res['statuses']:
            i3 += 1
            if i3 <= 3:
                continue
            t = str_to_date_jp(line["created_at"])
            maxid = line['id']
            maxid -= 1
            #Nameの文字列を整形
            csvlinename = line["user"]["name"].strip()
            csvlinename = csvlinename.replace(",", " ")
            csvlines = csvlinename.splitlines()
            csvlinename = ''.join(csvlines)
            #Screen Nameの文字列を整形
            csvlinescreen_name = line["user"]["screen_name"].strip()
            csvlinescreen_name = csvlinescreen_name.replace(",", " ")
            csvlines = csvlinescreen_name.splitlines()
            csvlinescreen_name = ''.join(csvlines)
            #textの文字列を整形
            csvlinetext = line["text"].strip()
            csvlinetext = csvlinetext.replace(",", " ")
            csvlines = csvlinetext.splitlines()
            csvlinetext = ''.join(csvlines)
            #descriptionの文字列を整形
            csvlinedescription = line["user"]["description"].replace(",", " ")
            csvlinedescription = csvlinedescription.strip()
            csvlines = csvlinedescription.splitlines()
            csvlinedescription = ''.join(csvlines)
            #locationの文字列を整形
            csvlinelocation = line["user"]["location"].replace(",", " ")
            csvlinelocation = csvlinelocation.strip()
            csvlines = csvlinelocation.splitlines()
            csvlinelocation = ''.join(csvlines)
            csvline1 = "%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s" % (t,line["id"],line["user"]["id"],csvlinename,csvlinescreen_name,csvlinetext,line["user"]["followers_count"],line["user"]["friends_count"],line["favorite_count"],line["retweet_count"],csvlinedescription,csvlinelocation)
            #末尾に改行を追加
            csvline1 = format(csvline1) + '\n'
            with open("twitter_data_%s_%s.csv" % (keyword,today), "a") as f:
                f.write(csvline1)
            i2 += 1
    else:
        print("Failed: %d" % req.status_code)
f.close()
print(maxid)
print("** Finished **")

収集したデータを分析する

Mecabを使って単語と品詞のみを抽出すると
再頻出ワードの件数やツイートの傾向が分かる。
マーケティング施策の参考情報程度にはなると思いますが、
複数ワードで検索したデータをマージするなどの設計をしないと
有用性の高い分析はできなそう。

twitterapi.py

import csv
import pandas as pd
import MeCab

mecab = MeCab.Tagger ('-d /usr/local/lib/mecab/dic/mecab-ipadic-neologd')

i = 1
f = open('/Users/nomotom/Workspace/py/xxxxxxxx.csv', 'r')
reader = csv.reader(f)
line = f.readline()
for row in reader:
    text = row[5]
    mecab.parse('')
    node = mecab.parseToNode(text)
    while node:
        #単語を取得
        word = node.surface
        #品詞を取得
        pos = node.feature.split(",")[1]
        line = word + ',' + pos + ',\n'
        with open("mecab_data.csv", "a") as f:
            f.write(line)
            print(i)
            i += 1
        node = node.next

f.close()