概要
スクレイピング(HTMLパース)を利用して、HTMLタグにあるIDだけを抽出し、CSVファイルに出力。
使うに至った経緯
Q:どうしてこんな一見誰得な作業を？
A:Seleniumを使うために、HTMLタグからIDを全て抽出できたら楽だよな。って思って。
Q:Seleniumって何？
A:今回は特に詳しく解説しないけど、テスト自動化のためのツールだよ。Webサイトにボタンとかテキストボックスとかあるでしょ。あれにIDさえ割り振ればクリックしたり文字入力とかを自動で行うことができるんだ。だけどそのID指定をするためにIDを探さなきゃならない。
Google Chrome付属の開発者ツールで探そうものなら日が暮れちゃうからね。
Firefoxのアドインで、Selenium IDEというのがあるから、興味があったらそちらも参考ににした方がいいかな。
話が脱線してしまった。次に行こう。今回は詳しく解説しないんじゃなかったっけ・・？
環境
-
OS：Mac OS10.11.6 -
言語：Ruby2.3.0(Ver.2.0.0か2.1.0以上でないとNokogiri使用不可)
前提条件
任意のディレクトリ配下に、以下の構成でファイル、フォルダが存在すること
[任意のディレクトリ]
┣
id_pick_upper.rb(今回使うファイル)
┣inputFile ━ 適当なファイル
┗outputCSV
※適当なファイル作成は、以下の手順で作業を行うこと
- IDを取りたいページで、Google Chrome付属の開発者ツールを開く
- <body>タグで右クリック
- Copy -> Copy outerHTMLをクリック
- 適当なファイルに貼り付け、そのまま保存する(拡張子は付いても付かなくても良い。
どうせCSVになるし。)
事前準備
-
Nokogiriのインストール
$ gem install nokogiri
ソースコード
id_pick_upper.rb
# coding: utf-8
# Nokogiri, csvライブラリの読み込み
require 'nokogiri'
require 'csv'
# 入出力フォルダ
input = "inputFile"
output = "outputCSV"
# 出力タグ定義
tags = %w(input button div img span select option li)
# フォルダ内部を全て読み込み
Dir::glob("#{input}/*").each do |fname|
# 読み込んだら、Nokogiri使ってパース ※注：ファイルは開いたら閉じましょう。
doc = open(fname){ |f| Nokogiri::HTML.parse(f, nil, 'UTF-8') }
# doc = Nokogiri::HTML(IO.read(fname)) # ←こちらでもOK
# 上位ディレクトリ名を除外
changedFName = File.basename(fname)
# ヘッダー
CSV.open("#{output}/result_#{changedFName}.csv", "w"){ |csv| csv << %w(tag ID name) }
tags.each do |tag|
# CSVファイルに、idが存在するタグの分だけを出力
doc.css("#{tag}[id]").each do |anchor|
CSV.open("#{output}/result_#{changedFName}.csv", "a") do |csv|
# 順に、[タグの種類][ID][name属性]を出力している
csv << %W(#{tag} #{anchor[:id]} #{anchor[:name]})
end
end
end
end
NokogiriでHTMLをタグベースでぶった切ってそれをcsvにぺぺぺって貼る作業。
(2017/03/22 23:34 追記)
@riocampos さん、 @scivola さん、ご指摘ありがとうございます！
(リファクタリング + 動作確認済み)
出力結果
[任意のディレクトリ]
---(中略)---
┗outputCSV ━ result_適当なファイル.csv
[result_適当なファイル.csv]
| tag | ID | name |
|---|---|---|
| input | ID | inputID |
| input | password | inputPW |
| button | login | loginBtn |
| div | inputArea | |
| div | ： | ： |
参考
所感
- ぶっちゃけ、プログラム云々よりもRubyのバージョンアップの方が難しかった印象
- これで作業効率がかなり上がった気がする。
-
requireはfileutilsだけどインストールの時はfile-utilsなのでお気をつけて・・・(めっちゃ詰まった)← 使うとこなかった。 - if hoge thenが逆nil判定だっていうのに驚き。