Rubyで前処理。Pixivのタグ検索結果からクロス集計データを作る

概要

Pixivタグ間の共起関係を見てみる事にした。
その為に、Pixivタグ検索結果（A）からクロス集計データ（B）を出力するRubyコードを書いた。

（A）
X Y Z
X
Y Z

（B）
,X,Y,Z
X,3,1,1
Y,1,3,2
Z,1,2,3

データ

-> Pixiv検索結果をCSVダウンロードするHTMLファイルを用意した

コード

pxcsv2tagsummap.rb

# coding: UTF-8

=begin
pxcsv2tagsummap.rb
Copyright (c) 2014 nezuq
This software is released under the MIT License.
http://opensource.org/licenses/mit-license.php
=end

require 'csv'

#Rで読み込む形式にするフラグ
IS_FORRLANG = ARGV[0] || '0' #コマンドライン第1引数で1が指定された場合、Rで読み込む形式になる
#入力ファイル名
INPUT_CSV = ARGV[1] || 'INPUT.csv'
#出力ファイル名
OUTPUT_CSV = ARGV[2] || 'OUTPUT.csv'
#しきい値（出現頻度が指定範囲外のタグのカラムは出力しない）
MAX_FREQUENCY = ARGV[3] ? ARGV[3].to_f : 1.000
MIN_FREQUENCY = ARGV[4] ? ARGV[4].to_f : 0.100
=begin
#しきい値（出現回数が指定範囲外のタグのカラムは出力しない）
MAX_COUNT = 100
MIN_COUNT = 10
=end
#表示しないタグのパターン
UNDISP_KEYPATTERN = Regexp.new (ARGV[5] || ".+00users入り|R-18|漫画|落書き")

h = {}
nrow = 0
CSV.foreach(INPUT_CSV, encoding: "UTF-8") do |row|
    nrow += 1
    tags = (row[13] ? row[13].split(' ') : [])
    tags_all = h.keys | tags
    (tags_all).each do |key|
        (tags_all).each do |key_in|
            if !(h[key]) then
                h[key] = {}
                h[key].default = 0
            end
            h[key][key_in] += (tags.include?(key) && tags.include?(key_in)) ? 1 : 0
        end
    end
end

lst = h.delete_if {|key, hsh|
        (key =~ UNDISP_KEYPATTERN) || !((hsh[key]*1.000/nrow).between?(MIN_FREQUENCY, MAX_FREQUENCY))
#       (key =~ UNDISP_KEYPATTERN) || !((hsh[key]).between?(MIN_COUNT, MAX_COUNT))
    }.sort_by{
        |key, hsh| -hsh[key]
    }

CSV.open(OUTPUT_CSV, "w") do |csv|
    hdr = []
    hdr.push(nil) if IS_FORRLANG != '1'
    for i in 0..(lst.length - 1) do
        hdr.push(lst[i][0])
    end
    csv << hdr
    for i in 0..(lst.length - 1) do
        row = [lst[i][0]]
        for j in 0..(lst.length - 1) do
            row.push(lst[i][1][lst[j][0]])
        end
        csv << row
    end
end

puts "end!"

出力イメージ

OUTPUT.csv

,艦隊これくしょん,百合,艦これ,加賀,赤城,赤賀
艦隊これくしょん,98,93,79,13,12,12
百合,93,94,76,13,12,12
艦これ,79,76,81,12,11,11
加賀,13,13,12,13,11,10
赤城,12,12,11,11,12,10
赤賀,12,12,11,10,10,12