はじめに

前回、前々回と取り組んできた最終章となります。
前々回、Matplotlibでグラフの作成をしました。
前回、WordCloudを使い、テキストファイルから可視化を行いました。

今回はTwitter APIを使って抽出したテキストを好きな画像に書き込みます。

環境

macOS Ventura 13.0.1
Google Colaboratory

Twitter APIの取得

Twitterにログインして、下記のURLにアクセスしてTwitter Divelopersのアカウントを作成します。
https://developer.twitter.com/en/apps/
登録は全部英語です。
翻訳機能などを使えば登録できると思います。

アカウントを作成したらアクセストークンなどもそのまま設定しましょう。
仮に忘れてしまった場合やメモし忘れた場合でもすぐ再設定出来ます。
4つのトークンやキーなどを下記の＊の箇所に入力して使います。

config = {
    "CONSUMER_KEY": "****************",
    "CONSUMER_SECRET": "*********************************",
    "ACCESS_TOKEN": "****************************************",
    "ACCESS_TOKEN_SECRET": "***************************:"
}

ゴール

TwitterのAPIを叩いて「World Cup」と検索します。ワールドカップの決勝の結果が出たあたりの3:30~4:00でツイートを抽出します。
今回は少ないですが、ツイートを1000件取得としています。

APIからの取得

import json
import datetime
from dateutil.parser import parse as dateutil_parser
from requests_oauthlib import OAuth1Session

# アクセストークン等を設定
config = {
    "CONSUMER_KEY": "****************",
    "CONSUMER_SECRET": "*********************************",
    "ACCESS_TOKEN": "****************************************",
    "ACCESS_TOKEN_SECRET": "***************************:"
}

class TwitterApi:
    def __init__(self, config):
        self.start_session(**config)
        # search api の url
        self.url_search = "https://api.twitter.com/1.1/search/tweets.json?tweet_mode=extended"

    def start_session(self, CONSUMER_KEY, CONSUMER_SECRET, ACCESS_TOKEN, ACCESS_TOKEN_SECRET):
        # OAuth認証
        self.api = OAuth1Session(CONSUMER_KEY, CONSUMER_SECRET, ACCESS_TOKEN, ACCESS_TOKEN_SECRET)

    def search(self, 
        search_word,# 検索したいワード
        since=None, # ツイート期間の絞りこみ（いつから、日本時間で入力）
        until=None, # ツイート期間の絞りこみ（いつまで、日本時間で入力）
        max_tweets = 1000 #最大検索数 どのくらいのツイート数を集めたいか。
    ):
        def print_tweet(tweet):
            print( tweet.get("full_text").replace("\n", " ") )
            

        def perser(index, tweet, hours=9): #hours=9 で日本時間への変換を行なっている。
            dt = dateutil_parser(tweet.get("created_at")) + datetime.timedelta(hours=hours)
            tweet["created_at"] = dt
            return tweet, dt

        # 日付関連の変数
        since_dt = dateutil_parser(since+"+00:00")
        until_params = dateutil_parser(until+"+00:00").strftime('%Y-%m-%d_%H:%M:%S')+"_JST"
        
        max_api_call = max_tweets // 100 + 1 # APIを叩く回数


        # 検索実行
        tweets = []
        max_id = None
        index = 0
        params = {"q": search_word, "count": 100, "result_type": "recent", 
                  "exclude": "retweets", "until": until_params}
        for n in range(max_api_call):
            # APIを叩く（最大100件）
            req = self.api.get(self.url_search, params=params)
            if req.status_code == 200: #検索結果を得られた場合
                #検索を取得
                timeline = json.loads(req.text)["statuses"]
                if len(timeline) == 0:
                    break
                for k, tweet in enumerate(timeline):
                    max_id = int(tweet["id"]) - 1
                    # ツイートの日時を取得
                    tweet_mod, dt = perser(index, tweet)
                    # ツイートが期間内のものか確認
                    if dt >= since_dt:
                        tweets.append(tweet_mod)
                        print_tweet(tweet_mod)
                        index += 1
                        params["max_id"] = max_id 
                    else:
                        max_id = None
                print()
                if max_id is None:
                    break
            else:
                print("Error")
                
        return tweets

if __name__=='__main__':

    # 1. インスタンス作成
    twitter_api = TwitterApi(config)
    
    # 2. 検索を実行し、結果が格納されたリストを得る
    tweets = twitter_api.search(
        "World Cup",
        since="2022-12-19 3:３０:00",
        until="2022-12-19 4:00:00"
    )

API実行結果

画像は一部ですが、今回は1000件分のツイートを取得しています。

この実行結果をWorldCup.txtとして使っていきます。

WordCloud

WordCloudに関しては前回のも参考にしてもらえればと思いますが、今回は画像に文字を入れていくので少し変えています。
今回のWordCloudの使い方としては、画像の白以外に文字が入力されるようになっています。
事前準備としてお好きな画像を用意して"worldcup_logo.jpg"のところに当てはめてもらえれば好きな画像で作成することが可能です。

from google.colab import drive
drive.mount('/content/drive')

cd drive/My Drive

cd Twitter_API

from wordcloud import WordCloud
from matplotlib import pyplot as plt
from PIL import Image
import numpy as np

with open("WorldCup.txt", "r", encoding="utf-8")as f:
     text=f.read()
        
mask_array = np.array(Image.open('worldcup_logo.jpg'))

wordcloud =WordCloud( 
    mask=mask_array, 
    background_color="white", 
    contour_width=5, 
    contour_color='blue').generate(text)
plt.imshow(wordcloud)

ツイートを可視化

今回はワールドカップっぽい画像にこだわってロゴを元に作成したのですが、なかなか画像の選択がうまくいかなくてちょっとわかりにくくなってしまった気がします。

本当であれば下記のような形でお見せできれば良かったのですが。
こちらはアメフトのヘルメットを元に作成しました。

まとめ

Twitter APIは他にも使い方がありますが、私もまだまだ理解が浅いので他にもできることを今後やっていきたいですね。
TwitterではURLを貼り付ける人も多いので、不要なワードは絞る処理をいれるともっといい結果が得られるのかなと思います。
個人的にはこうやって可視化するの面白いと思ってるので色々試してみたいです。