「Perfume FES!! 」だし、コマンドラインでぬるっと歌詞分析してみた #CSV

tl;dr

「Perfume FES!! 2017」ということで、歌詞分析してみました（先に断っておきますが、精度は低いのであしからず）
分析対象総曲数: 91曲
総単語数: 11854単語
結果:

部門	単語	回数
総合部門1位	ない	402回
名詞部門1位	キミ	227回
動詞部門1位	好き	66回

調査に関して

1. ツール

◆MeCab
http://taku910.github.io/mecab/
mecabコマンド: 日本語の形態素解析するために使用。

◆Data Scinece at the Command Line
https://github.com/jeroenjanssens/data-science-at-the-command-line
headerコマンド: csvにheader行を加えるために使用（無くてもよい）。

◆CSVKit
http://csvkit.readthedocs.io/en/1.0.2/
csvlookコマンド: カンマ区切りのデータをコマンドラインから確認するために使用（無くてもよい）。

2. データ獲得

歌詞の取得はrubyのnokogiriで行いました。今回は割愛。
※複製権侵害の防止のためか、歌詞掲載サイトによってはソースコードがuglifyされていたり、403ステータスを返したりします。

3. 総単語数

11854単語

< all_lyrics.txt mecab -Owakati | tr '[:upper:]' '[:lower:]' | 
grep -oE '\S{2,}' | wc -w

◆mecabコマンド

日本語を形態素解析したり、漢字の読みがなを取得したりする。

-Owakati

分かち書き。単語を半角スペースに区切った形での出力。

◆trコマンド

文字の一括置換を行う。translateの略。
今回は集計のために、アルファベットの大文字を小文字に統一するために使用。

◆grepコマンド

文字列の検索を行う。Global Regular Expression Printの略。
今回のケースだと、egrep(Extended GREP)のoオプションでも同じ結果が得られる。

-E, --extended-regexp

拡張正規表現。半角スペースやタブ以外の2回以上(2語以上の単語)を一致させるために使用。

-o, --only-matching

マッチング部分のみ抽出するオプション。

◆wcコマンド

指定したファイルの行数・単語数・バイト数を表示する。

-w

単語数のみ表示。

4. ランキング結果出力

< all_lyrics.txt mecab -Owakati | tr '[:upper:]' '[:lower:]' | 
grep -oE '\S{2,}' | sort | uniq -c | sort -nr |
awk '{print $2","$1}' | header -a word,count > perfume.csv

◆sortコマンド

行を並び替える。

-n, --numeric-sor

先頭の数字や記号("+" , "-" , "." など)を数値とみなして，ソートする。先頭の空白は無視する。

-r, --reverse

逆順にソートする。

◆uniqコマンド

ソート済みのファイルから重複した行を削除する。

-c, --count

行表示の際，それぞれの行の数も表示する

※sort | uniq -c | sort -nrはランキング表示によく用いるので、もはやイディオム。

◆awkコマンド

空白などで区切られたテキストを処理する。
※今回は、集計数と単語の順を入れ替え、またカンマを挿入するために使用。

◆headerコマンド

ヘッダー行を追加、置換、削除する。

-a

ヘッダー行の追加。

◆csvlookコマンド

カンマ区切りのデータをコマンドラインから確認する。

※リダイレクトで結果をcsvファイルに格納していますが、csvlookコマンドでターミナル上で以下のように整形された形で確認可能です。

word	count
ない	402
キミ	227
たい	104
you	102
この	96
てる	94
なる	81
から	80
ah	74
こと	73
けど	69
きっと	68
me	67
好き	66
よう	64
そう	64
wah	60
だけ	59
でも	56

その他: 調査対象に関して等

総曲数

91曲

調査対象: 歌詞一覧

1mm
23:30
575
Baby cruising Love
Butterfly
Baby Face
Clockwork
Cling Cling
Cosmic Explorer
Dream Fighter
Dream Land
DISPLAY
edge
edge(⊿-mix)
Enter the Sphere
FAKE IT
FLASH
FLASH (Album-mix)
GAME
GLITTER
GLITTER(Album-mix)
Have a Stroll
Hurly Burly
Handy Man
Hold Your Hand
I still love U
Kiss and Music
love the world
MY COLOR
Magic of Love
Miracle Worker
NIGHT FLIGHT
Next Stage with YOU
Perfume
Puppy love
plastic smile
Party Maker
Pick Me Up
Relax In The City
SEVENTH HEAVEN
Speed of Sound
Spring of Life
Spending all my time
Sleeping Beauty
Sweet Refrain
STORY
TwinkleSnow Powdery Snow
Take me Take me
The best thing
TOKYO GIRL
VOICE
wonder2
Zero Gravity
引力
いじわるなハロー
エレクトロ・ワールド
エレベーター
おいしいレシピ
微かなカオリ
コンピュータードライビング
コンピューターシティ
心のスポーツ
コミュニケーション
恋は前傾姿勢
シークレットメッセージ
シークレットシークレット
ジェニーはご機嫌ななめ
スウィートドーナッツ
スパイス
セラミックガール
だいじょばない
チョコレイト・ディスコ
時の針
透明人間
ナチュラルに恋して
願い
願い(Album-mix)
ねぇ
パーフェクトスター・パーフェクトスタイル
ビタミンドロップ
ファンデーション
不自然なガール
ふりかえるといるよ
宝石の雨
ポリリズム
ポイント
マカロニ
未来のミュージアム
モノクロームエフェクト
ワンルーム・ディスコ
リニアモーターガール
レーザービーム

参考資料

「コマンドラインではじめるデータサイエンス」(https://goo.gl/WBGm1s)
ITPro (http://itpro.nikkeibp.co.jp/)
Linux Man Pages (https://linux.die.net/man/)

※manコマンドで参照