#はじめに
KaggleのSpotifyデータセットを使用して色々と分析してみました。
他の方のコードを参考に色々といじってみたので
アウトプット用として始めて記事を投稿します。

使用環境
MacOS
Python 3.8.10
JupyterLab 3.0.14

今回使用したデータ

Spotify Dataset 1922-2021
100年分のデータがまとまっており、曲数も約60万件も含まれているデータです。
##インポート
まずは必要なライブラリのインポート。

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
from matplotlib.font_manager import FontProperties
%matplotlib inline
import seaborn as sns

from tqdm import tqdm 
import time
import datetime

##曲のデータをダウンロード
データはtracks.csvを使用します。

#曲名詳細
tracks = pd.read_csv("tracks.csv")
tracks.head(3)

	id	name	popularity	duration_ms	explicit	artists	id_artists	release_date	danceability	energy	key	loudness	mode	speechiness	acousticness	instrumentalness	liveness	valence	tempo	time_signature
0	35iwgR4jXetI318WEWsa1Q	Carve	6	126903	0	['Uli']	['45tIt06XoI0Iio4LBEVpls']	1922-02-22	0.645	0.445	0	-13.338	1	0.4510	0.674	0.7440	0.151	0.127	104.851	3
1	021ht4sdgPcrDgSk7JTbKY	Capítulo 2.16 - Banquero Anarquista	0	98200	0	['Fernando Pessoa']	['14jtPCOoNZwquk5wd9DxrY']	1922-06-01	0.695	0.263	0	-22.136	1	0.9570	0.797	0.0000	0.148	0.655	102.009	1
2	07A5yehtSnoedViJAZkNnc	Vivo para Quererte - Remasterizado	0	181640	0	['Ignacio Corsini']	['5LiOoJbxVSAMkBS2fUm3X2']	1922-03-21	0.434	0.177	1	-21.180	1	0.0512	0.994	0.0218	0.212	0.457	130.418	5

name	album	artists	release_date	length	popularity	danceability	acousticness	energy	instrumentalness	mode	liveness	loudness	speechiness	valence	tempo	time_signature
曲名	アルバム名	アーティスト名	リリース日	曲の長さ	人気度	ダンス度 0.0-1.0	アコースティック度 0.0-1.0	エネルギー 0.0-1.0	インスト感 0.0-1.0	曲調を示す	ライブさ 0.0-1.0	音の大きさ -60 〜 0 db	スピーチ度	曲のポジティブ度	曲のテンポ	拍子
曲ごとに色々なパラメーターが付与されています。
詳しくは、Spotifyドキュメントに書いてあります。
https://developer.spotify.com/documentation/web-api/reference/#objects-index
#曲のデータ分析を実践してみる
###データ整形
release_dateを年と月単位にして, 必要のないカラムを削除

tracks["release_date"] = pd.to_datetime(tracks["release_date"])
tracks["release_year"] = tracks["release_date"].dt.year
tracks["release_month"] = tracks["release_date"].dt.month
cols_to_drop = ["id","id_artists","release_date"]
tracks.drop(columns=cols_to_drop,inplace=True)

###人気アーティストTop20

tracks.groupby("artists")["popularity"].mean().sort_values(ascending = False).to_frame()[: 20].plot(kind="bar",figsize=(18,8),color="skyblue",rot=30,title="Popular Artists Best10")

###特徴量の相関関係を可視化

tracks_df.drop(["explicit","key","explicit","mode","time_signature","release_month"],axis=1,inplace=True)
#corrメソッド = 各列の間の相関係数が算出される
corr = tracks_df.corr()
plt.figure(figsize=(14,8))
sns.heatmap(corr,annot=True,fmt='.2f',cmap='RdBu_r')
plt.savefig("corr_image")
plt.show()

####この相関図から考えられること

yearとpopularity 年数を重ねるごとに人気度が高い(最近の曲の方が評価する人が多い)
enegyとloudness 音が大きいジャンルはfast, loud, noisyである可能性が高い
yearとloundness & enegy ここ20年あたりのロックやHIPHOPの影響であると思う
popularityとloundness & enegy 上がる曲が人気(必然的)
acousticnessとloundness & enegy 落ち着いているためまあ分かる
acousticnessとyear 年々アコースティックの曲が減っている？
loundnessとinstrumentalness 負相関な理由は疑問(音の大きさは楽器に影響していない？)

###特徴量の年推移を比較した折線グラフ

features_to_plot = ['energy', 'acousticness','instrumentalness', 'speechiness',"danceability"] 
plt.figure(figsize=(14,8))
before = time.time()
for i in tqdm(features_to_plot):
    sns.lineplot(x="release_year",y=i,data=tracks)

plt.legend(features_to_plot)
plt.ylabel("value")
after = time.time()
print("it took {}".format(after - before))

・1945年の終戦前ではジャズやブルース、ゴスペルの流行にともない
スピーチ度やアコースティック度、インスト感などが高い傾向があります。
・逆に1960年代のイギリスロックシーンなどが流行すると
曲の速さ,大きさ,うるささが高くなっています。
###各特徴量の年推移を折線グラフでまとめてみた

features_to_plot = [['danceability','energy','loudness'],['speechiness','acousticness','instrumentalness'],['liveness','valence','tempo']]
fig,axes = plt.subplots(3,3,figsize=(18,12))
before = time.time()
for i in tqdm(range(3)):
    for l in range(3):
        color = np.random.rand(3,)
        sns.lineplot(x="release_year",y=features_to_plot[i][l],data=tracks,ax=axes[i][l],color=color,ci=False)
plt.tight_layout()        
plt.show()
after = time.time()
print("it took {}".format(after - before))

各特徴別のartistランキング Top5

features_to_plot = [['danceability','energy','loudness'],['speechiness','acousticness','instrumentalness'],['liveness','valence','tempo']]
fig,axes = plt.subplots(3,3,figsize=(25,20))
before = time.time()
for i in tqdm(range(3)):
    for l in range(3):
        color = np.random.rand(3,)
        tracks.groupby("artists")[features_to_plot[i][l]].mean().sort_values(ascending = False).to_frame()[: 5].plot(kind="bar",ax=axes[i][l],color=color,rot=20,title="Top5 artists for {}".format(features_to_plot[i][l]))
   
plt.show()
plt.tight_layout()
after = time.time()
print("it took {}".format(after - before))

アーティスト名が長くて収まりませんでした。見にくくてすみません。
#曲のジャンルを分析してみる
今度は曲のジャンルごとによる分析をしていきたいと思います。
データはdata_by_genres_o.csvを使用します。
##ジャンルのデータをダウンロード

#ジャンル詳細
genres_detail = pd.read_csv("data_by_genres_o.csv")
genres_detail.head(3)

	mode	genres	acousticness	danceability	duration_ms	energy	instrumentalness	liveness	loudness	speechiness	tempo	valence	popularity	key
0	1	21st century classical	0.979333	0.162883	1.602977e+05	0.071317	0.606834	0.3616	-31.514333	0.040567	75.336500	0.103783	27.833333	6
1	1	432hz	0.494780	0.299333	1.048887e+06	0.450678	0.477762	0.1310	-16.854000	0.076817	120.285667	0.221750	52.500000	5
2	1	8-bit	0.762000	0.712000	1.151770e+05	0.818000	0.876000	0.1260	-9.180000	0.047000	133.444000	0.975000	48.000000	7
###人気ジャンルTop15
HIPHOPやROCKなどの大元のジャンルからの派生ジャンルが多いため
聞いたことのないコアなジャンルばかりですね(･･;)

top_10_genres = genres_detail.sort_values(by="popularity",ascending= False).head(15)
plt.figure(figsize=(14,8))
plt.bar(top_10_genres["genres"],top_10_genres["popularity"])
plt.xlabel('Genre')
plt.ylabel('Popularity')
plt.xticks(rotation=20)
plt.title('Top10 of Genres for popularity')

###各特徴別のgenresランキング Top5
例のごとく各特徴量ごとの人気ジャンルを順位付けしていきます。

features_to_plot = [['danceability','energy','loudness'],['speechiness','acousticness','instrumentalness'],['liveness','valence','tempo']]
fig,axes = plt.subplots(3,3,figsize=(25,20))
before = time.time()
for i in tqdm(range(3)):
    for l in range(3):
        color = np.random.rand(3,)
        genres_detail.groupby("genres")[features_to_plot[i][l]].mean().sort_values(ascending = False).to_frame()[: 5].plot(kind="bar",ax=axes[i][l],color=color,rot=20,title="Top5 artists for {}".format(features_to_plot[i][l]))
        
plt.show()
plt.tight_layout()
after = time.time()
print("it took {}".format(after - before))

##多く作曲されている主要ジャンルを分析
派生ジャンルとしてとても細かいジャンルまであるので
ROCKやHIPHOPといった主要なジャンルとして分けたいと思います。
####ジャンルのみリスト化

main_name_genres = genres_detail["genres"].to_list()
main_name_genres[:5]
//['21st century classical', '432hz', '8-bit', '[]', 'a cappella']

####ワードごとに分割
'21st century classical'が21st, century, classicalと3分割されました

main_name_genres = " ".join(genres_detail["genres"].to_list()).split()
main_name_genres[:5]
//['21st', 'century', 'classical', '432hz', '8-bit']

####ワードの出現回数を取得
collectionsモジュールを使用してそれぞれのワードの出現回数を
collections.Counter型(タプル型)として取り出しリスト化する

import collections

genres_tuple = collections.Counter(main_name_genres)
genres_list = list(genres_tuple.items())
genres_list[:5]
//[('21st', 2), ('century', 2), ('classical', 106), ('432hz', 1), ('8-bit', 1)]

####データフレーム化
参考にしたサイトです
https://www.delftstack.com/ja/howto/python-pandas/pandas-create-dataframe-from-list/

main_genres = pd.DataFrame(genres_list, columns = ['genres','count'])
main_genres.sort_values('count',ascending=False,inplace=True)
main_genres.reset_index(drop=True).head()

	genres	count
0	pop	240
1	indie	237
2	rock	183
3	metal	132
4	classical	106
###主要ジャンル出現回数を可視化

df = main_genres.head(25)
plt.figure(figsize=(10,6))
sns.barplot(x='count' , y ='genres', data=df)
plt.title('主要ジャンル出現回数ランキング')
plt.ylabel('ジャンル名')
plt.xlabel('出現回数')
plt.show

pop, indie, rock, metal, classicalという結果になりました。日本の歌は割と多いみたいです。
###上位４つの主要ジャンルから人気派生ジャンルを検証
特に作曲回数の多いpop, indie, rock, metalの人気派生ジャンルを7つ順位付けしました。
参考にしたサイトです https://note.nkmk.me/python-pandas-str-contains-match/

# https://note.nkmk.me/python-pandas-str-contains-match/
pop_df = genres_detail[genres_detail["genres"].str.contains("pop")].sort_values("popularity",ascending=False).head(7)
indie_df = genres_detail[genres_detail["genres"].str.contains("indie")].sort_values("popularity",ascending=False).head(7)
rock_df = genres_detail[genres_detail["genres"].str.contains("rock")].sort_values("popularity",ascending=False).head(7)
metal_df = genres_detail[genres_detail["genres"].str.contains("metal")].sort_values("popularity",ascending=False).head(7)

fig, axes = plt.subplots(2,2,figsize=(16,10))
axes[0,0].barh(width=pop_df['popularity'],y=pop_df['genres'],color="blue")
axes[0,1].barh(width=indie_df['popularity'],y=indie_df['genres'],color="green")
axes[1,0].barh(width=rock_df['popularity'],y=rock_df['genres'],color="orange")
axes[1,1].barh(width=metal_df['popularity'],y=metal_df['genres'],color="red")

fig.tight_layout(pad=1)
fig.show()

やはり日本のジャンルは人気が高いみたいです。
個人的にkawaii metalがとても気になります(BABYMETAlLみたいな感じですかね？)
#まとめ
データ分析初心者としてデータ分析に必要なライブラリを使ってみて
知らない文法にも触れれてよかったです。
予想とは違った結果が多く、データ数も多い面白いデータセットだと思います。
機械学習に何か落とし込めないか模索していきます。