これはVBAでChromeスクレイピングに挑戦してみた①の続きである。
①ではVBAでスクレイピングをするための準備を解説したが、ここでは実際にスクレイピングに挑戦したい。
まず、簡単なところでYahoo画面のトップニュースを利用し、それをスクレイピングしてみる。
Yahooスクレイピングのポイント
まず、Yahooをスクレイピングするためには「XPATH」を知る必要がある。
XPATHとは
XPath(XML Path Language)は、ツリー構造となっているXML/HTMLドキュメントから要素や属性などを指定するための決まった書き方（構文）。
そしてスクレイピングをするためには、このXPATHを検索し、ヒットしたらそこからブラウザ内のニュースを取得してExcelに出力する・・という流れでやっていくことになる。
XPATHの確認方法
- Yahooを開く
- ニュースの欄にマウスを置き、右クリックすると「検証」が出てくる
- 右側に検証画面が出てくるので、そこにあるニュースの部分を右クリックし「COPY XPATH」をクリック
- これでXPATHがコピーされる
実際の動きは以下GIFの通り。
そしてコピーされたXPATHはこちら。
//*[@id="tabpanelTopics1"]/div/div[1]/ul/li[1]/article/a/div/div/h1/span
これを使ってコーディングしていく。
コーディング
実際の画面は以下の通り。
まず、サイトURL（ここではYahoo）を枠内に入力し、ボタンを押すという動きを実現させる。
そしてボタンを押した後の実際のコードは以下の通り。
Option Explicit
Sub site_open()
Dim driver As New Selenium.ChromeDriver 'Selenium制御
Dim myBy As New By
Dim siteURL As String
Dim ws As Worksheet
Dim ws_Tenki As Worksheet
Dim i As Long
Set ws = ThisWorkbook.Worksheets("Sheet1")
siteURL = ws.Range("C4").Value
If siteURL <> "" Then
'ブラウザ立ち上げ時の設定
driver.AddArgument "disable-gpu"
driver.AddArgument "start-maximized"
'SeleniumでChromeを使用する初期設定
Call driver.Start("chrome")
driver.Get (siteURL)
Set ws_Tenki = ThisWorkbook.Worksheets("転記データ")
'Excelに転記する（Yahooの場合TOPニュース件数は８件なので８行転記）
For i = 1 To 8
ws_Tenki.Range("A" & (i + 1)) = driver.FindElementByXPath("//*[@id=""tabpanelTopics1""]/div/div[1]/ul/li[" & i & "]/article/a/div/div/h1/span").Text
Next i
'終了メッセージ
MsgBox "終了しました"
Else
MsgBox "サイトURLがありません"
End If
End Sub
コードをよく見ると、以下の部分で先ほど取得したXPATHが使われていることが分かる。
ここでXPATHを使ってYahooニュースを取得しているということ。
結果
Yahoo画面
実際のスクレイピング結果
このように、きちんとスクレイピングされていることが分かる。
まとめ
このように、設定をきちんとしていればVBAでも色々とスクレイピングは可能だということが分かる。
今、スクレイピング＝Pythonというイメージが強いが、実はそうでもないことが分かるし、
またVBAでスクレイピングできるということはその分VBAでスクレイピングしたデータを取得し、色々とデータ編集を行うなどの幅が広がるということにもなる。
これは一度やっておいて損はないかと思う。
それでは今回はここでおしまい。