【初心者が】東京オリンピック2020に関するTweetを感情分析してみた！

import tweepy
import csv

# 認証に必要なキーとトークン
API_KEY = "取得したAPI KEY"
API_SECRET = "取得したAPI_SECRET"
ACCESS_TOKEN = "取得したACCESS_TOKEN"
ACCESS_TOKEN_SECRET = "取得したACCESS_TOKEN_SECRET"

# APIの認証
auth = tweepy.OAuthHandler(API_KEY, API_SECRET)
auth.set_access_token(ACCESS_TOKEN, ACCESS_TOKEN_SECRET)

# キーワードからツイートを取得（2021年9月3日のtweetを収集）
api = tweepy.API(auth)
tweet_data_list=[]

def search_tweet(api):
    tweet_data = api.search(q=['東京オリンピック'] or ["東京五輪"], tweet_mode='extended', lang='ja', count=100, since='2021-09-03', until='2021-09-04')
    for tweet in tweet_data:
        tweet_data_list.append([tweet.created_at, tweet.full_text.replace('\n', ' ')])

#繰り返し取得（より多くのTweetを自動で入手する場合に有効）
    next_max_id = tweet_data[-1].id
    for i in range(2, 101):
        tweet_data = api.search(q=['東京オリンピック'] or ["東京五輪"], tweet_mode='extended', lang='ja', count=100, max_id=next_max_id-1)
        next_max_id = tweet_data[-1].id
        for tweet in tweet_data:
            tweet_data_list.append([tweet.created_at, tweet.full_text.replace('\n', ' ')])

search_tweet(api)

#CSVファイルとして保存
with open('tweets_Tokyo Olympic_210903.csv', 'w', newline='', encoding='UTF_8_sig') as f:
    writer=csv.writer(f, lineterminator='\n')
    writer.writerow(["created_at","text"])
    writer.writerows(tweet_data_list)
pass

import MeCab
import re
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import datetime

# 岩波国語辞書のダウンロード
import urllib.request
import zipfile
# URLを指定
url = "https://storage.googleapis.com/tutor-contents-dataset/6050_stock_price_prediction_data.zip"
save_name = url.split('/')[-1]
# ダウンロードする
mem = urllib.request.urlopen(url).read()
# ファイルへ保存
with open(save_name, mode='wb') as f:
    f.write(mem)
# zipファイルをカレントディレクトリに展開する
zfile = zipfile.ZipFile(save_name)
zfile.extractall('.')


m = MeCab.Tagger("")

#テキストを形態素解析し辞書のリストを返す関数
def get_diclist(text):
    parsed = m.parse(text)
    lines = parsed.split("\n")
    lines = lines[0:-2]
    diclist = []
    for word in lines:
        l = re.split("\t|,", word)
        d = {"Surface": l[0], "POS1": l[1], "POS2": l[2], "BaseForm": l[3]}
        diclist.append(d)
    return(diclist)

# 形態素解析結果の単語ごとのdictデータにPN値を追加する関数
def add_pnvalue(diclist_old, pn_dict):
    diclist_new = []
    for word in diclist_old:
        base = word['BaseForm']        # 個々の辞書から基本形を取得
        if base in pn_dict:
            pn = float(pn_dict[base])
        else:
            pn = 'notfound'            # その語がPN Tableになかった場合
        word['PN'] = pn
        diclist_new.append(word)
    return(diclist_new)

# 各ツイートのPN平均値を求める
def get_mean(dictlist):
    pn_list = []
    for word in dictlist:
        pn = word['PN']
        if pn!='notfound':
            pn_list.append(pn)
    if len(pn_list)>0:
        pnmean = np.mean(pn_list)
    else:
        pnmean=0
    return pnmean

# 取得したツイートの読み込み
df_tweets = pd.read_csv('./tweets_Tokyo Olympic_210701_210903.csv', header = 0, index_col=0)
df_tweets.index = pd.to_datetime(df_tweets.index)
df_tweets = df_tweets[['text']].sort_index(ascending=True)


#極性辞書の読み込み
pn_df = pd.read_csv('./6050_stock_price_prediction_data/pn_ja.csv', encoding='utf-8', names=('Word','Reading','POS', 'PN'))
word_list = list(pn_df["Word"])
pn_list = list(pn_df["PN"])
pn_dict = dict(zip(word_list, pn_list))
print(pn_list[0:10])

# means_listという空のリストを作りそこにツイートごとの平均値を求める
means_list = []
for tweet in df_tweets['text']:
    dl_old = get_diclist(tweet)
    dl_new = add_pnvalue(dl_old, pn_dict)
    pnmean = get_mean(dl_new)
    means_list.append(pnmean)
print(means_list[0:10])

# means_listをnumpy配列に変換
means_list = np.copy(means_list)

# means_listを用いて標準化を行う
x_std = (means_list - means_list.mean()) / means_list.std()
df_tweets['pn'] = x_std
df_tweets.index = pd.to_datetime(df_tweets.index)
df_tweets =  df_tweets.resample('D').mean().interpolate()

# df_tweets.csvという名前でdf_tweetsを出力
df_tweets.to_csv('./df_tweets.csv')

# means_listを用いて標準化を行う
x_std = (means_list - means_list.mean()) / means_list.std()

#Tweetと標準化したPN値を出力
df_tweets_copy = df_tweets
df_tweets["pn"] = x_std
df_tweets_copy = df_tweets_copy.sort_values(by="pn", ascending=True)
df_tweets_copy.to_csv('./df_tweets_pn.csv', encoding="utf8")

x = df_tweets.index
y = df_tweets.pn
plt.plot(x,y)
plt.grid(True)
plt.show()

#厚生労働省のオープンデータ
df = pd.read_csv("newly_confirmed_cases_daily.csv", encoding="UTF8")
#ALLのみ抽出（全国での新規感染者数のデータ抽出）
all_df = df[df["Prefecture"] == "ALL"].copy()

#Dateの値を日付として設定
all_df["Date"] = pd.to_datetime(all_df["Date"])
part_df = all_df[all_df["Date"] > datetime.datetime(2021,6,30)].copy()
part_df_1 = part_df[part_df["Date"] < datetime.datetime(2021,9,4)].copy()


# プロット
plt.figure(figsize=(10,8))
fig, ax1 = plt.subplots()
ax2 = ax1.twinx()

x = df_tweets.index
y = df_tweets.pn
y2 = part_df_1["Newly confirmed cases"]

ax1.plot(x, y, color="black")
ax1.set_ylabel("Emotion score")
ax2.plot(x, y2, color="red")
ax2.set_ylabel("COVID-19 Newly confirmed cases")
plt.grid(True)
plt.show()