Ubuntu22.04+Perl+Selenium+Chromeでスクレイピング

必要なモジュール

• Google Chrome
• ChromeDriver
• Selenium::Remote::Driver

Google Chromeのダウンロードとインストール

コマンドでインストールする方法もあるが、今回はUbuntuにデフォルトでインストールされているFirefoxを使って、
Ubuntu用の最新バージョンのdebファイルをダウンロードしてインストールしました。

ChromeDriverのダウンロードとインストール

Chromeと同じバージョンのものをダウンロードして、zip解凍したものを、
/usr/bin/chromedriverとして格納しました。

Perlモジュールをインストール

$ sudo apt install libexpat1-dev
$ cpanm install Selenium::Remote::Driver

libexpat1-devはSelenium::Remote::Driverをインストールする際に必要。

コードを書く

use Selenium::Chrome;

my $driver = Selenium::Chrome->new;
$driver->get('https://www.google.com/');
sleep(1);
print $driver->get_title() . "\n";
$driver->shutdown_binary();

Selenium::ChromeはSeleniumサーバーが不要なやつで、
Selenium::Remote::Driverをインストールすることで使える、みたいな認識。

バージョン違いに注意

Chromeのバージョンに合わせて、ChromeDriverもバージョンアップが必要になるが、
手動でダウンロード＆更新するのも面倒なので、下記が便利そう。