EC2 + Tomcat + Javaの環境で、Selenium WebDriverを動かすため準備を
ご紹介します。

クローリングをする必要があり、Webサービスが動いているEC2にchrome等を
インストールしたのですが、めちゃくちゃ沼にハマっていきました。
諦めモードで新しくEC2インスタンスを用意したらあっさり動かすことができました。

EC2 + Tomcat + Java + WebDriverの環境が必要になった人のため
備忘録として記事を書きました。
（MySql,cronとかは記事に関係ないけど、私用の備忘録として書いてます。
不要な方は入れなくても問題ありません。）
コマンドの内容とか細かい説明は省略しましたが、1から順番に実行すれば必ず動くはず。。

今回の記事で用意した環境は下記です。

Amazon Linux 2023
Java 21
apache-tomcat 10
MySql 8

No	目次
0	EC2インスタンスの用意
1	環境設定
2	Java21インストール
3	Apacheインストール
4	Tomcatインストール
5	MySqlインストール
6	cronインストール
7	Chromeインストール
8	warファイルのアップロード
9	プログラムが動くか確認

0. EC2インスタンスの用意

EC2でインスタンスを起動します。
AMIは、「Amazon Linux 2023 API」、
インスタンスタイプは、**「t2.small」**を選択します。

「t2.micro」でWevDriverを動かすとメモリが足りずクラッシュします。
最低でもsmall以上は必要なようです。

sshでログイン後、OSのバージョンを確認します。

cat /etc/os-release

下記が出力される。
PRETTY_NAME="Amazon Linux 2023"となっていればOK

NAME="Amazon Linux"
VERSION="2023"
ID="amzn"
ID_LIKE="fedora"
VERSION_ID="2023"
PLATFORM_ID="platform:al2023"
PRETTY_NAME="Amazon Linux 2023"
ANSI_COLOR="0;33"
CPE_NAME="cpe:2.3:o:amazon:amazon_linux:2023"
HOME_URL="https://aws.amazon.com/linux/"
BUG_REPORT_URL="https://github.com/amazonlinux/amazon-linux-2023"
SUPPORT_END="2028-03-15"

1. 環境設定

1.1.システムのアップグレード

sudo dnf -y update

1.2.タイムゾーンの変更

sudo timedatectl set-timezone Asia/Tokyo

1.3.ロケールの変更

sudo localectl set-locale LANG=ja_JP.UTF-8
source /etc/locale.conf

localectl status

下記が出力される。

System Locale: LANG=ja_JP.UTF-8
    VC Keymap: (unset)
   X11 Layout: (unset)

1.4.パッケージアップグレードの自動化

1.4.1. dnf-automatic パッケージをインストール

sudo dnf install -y dnf-automatic
sudo vi /etc/dnf/automatic.conf

apply_updates=noをyesに書き換える

apply_updates = yes

1.4.2. 自動アプグレードタイマーを有効にする

sudo systemctl enable --now dnf-automatic.timer

2. Java21インストール

2.1. インストール可能なパッケージの確認

sudo dnf list --available "java-*"

下記が出力される。

利用可能なパッケージ
java-1.8.0-amazon-corretto.x86_64                                                     1:1.8.0_402.b08-1.amzn2023                                                amazonlinux
java-1.8.0-amazon-corretto-devel.x86_64                                               1:1.8.0_402.b08-1.amzn2023                                                amazonlinux
java-11-amazon-corretto.x86_64                                                        1:11.0.22+7-1.amzn2023                                                    amazonlinux
java-11-amazon-corretto-devel.x86_64                                                  1:11.0.22+7-1.amzn2023                                                    amazonlinux
java-11-amazon-corretto-headless.x86_64                                               1:11.0.22+7-1.amzn2023                                                    amazonlinux
java-11-amazon-corretto-javadoc.x86_64                                                1:11.0.22+7-1.amzn2023                                                    amazonlinux
java-11-amazon-corretto-jmods.x86_64                                                  1:11.0.22+7-1.amzn2023                                                    amazonlinux
java-17-amazon-corretto.x86_64                                                        1:17.0.10+7-1.amzn2023.1                                                  amazonlinux
java-17-amazon-corretto-devel.x86_64                                                  1:17.0.10+7-1.amzn2023.1                                                  amazonlinux
java-17-amazon-corretto-headless.x86_64                                               1:17.0.10+7-1.amzn2023.1                                                  amazonlinux
java-17-amazon-corretto-javadoc.x86_64                                                1:17.0.10+7-1.amzn2023.1                                                  amazonlinux
java-17-amazon-corretto-jmods.x86_64                                                  1:17.0.10+7-1.amzn2023.1                                                  amazonlinux
java-21-amazon-corretto.x86_64                                                        1:21.0.2+13-1.amzn2023.1                                                  amazonlinux
java-21-amazon-corretto-devel.x86_64                                                  1:21.0.2+13-1.amzn2023.1                                                  amazonlinux
java-21-amazon-corretto-headless.x86_64                                               1:21.0.2+13-1.amzn2023.1                                                  amazonlinux
java-21-amazon-corretto-javadoc.x86_64                                                1:21.0.2+13-1.amzn2023.1                                                  amazonlinux
java-21-amazon-corretto-jmods.x86_64                                                  1:21.0.2+13-1.amzn2023.1                                                  amazonlinux

2.2. インストール

先程の一覧からjava21を選択します。

sudo dnf -y install java-21-amazon-corretto-devel

2.3. バージョン確認

java --version

下記が出力される。

openjdk 21.0.2 2024-01-16 LTS
OpenJDK Runtime Environment Corretto-21.0.2.13.1 (build 21.0.2+13-LTS)
OpenJDK 64-Bit Server VM Corretto-21.0.2.13.1 (build 21.0.2+13-LTS, mixed mode, sharing)

3. Apacheインストール

3.1. インストール可能なパッケージの一覧を表示

sudo dnf list --available httpd

下記が出力される。

利用可能なパッケージ
httpd.x86_64                                                                 2.4.58-1.amzn2023                                                                  amazonlinux

3.2. Apache をインストール

sudo dnf -y install httpd

3.3. インストールされている Apache のバージョン確認

httpd -v

下記が出力される。

Server version: Apache/2.4.58 (Amazon Linux)
Server built:   Oct 24 2023 00:00:00

3.4. Apache を起動する

sudo systemctl start httpd.service

3.5. Apache の状態確認

sudo systemctl status httpd.service

下記が出力される。
「active (running)」になっていればOK。

● httpd.service - The Apache HTTP Server
     Loaded: loaded (/usr/lib/systemd/system/httpd.service; disabled; preset: disabled)
     Active: active (running) since Sat 2024-02-10 13:47:02 JST; 4s ago
       Docs: man:httpd.service(8)
   Main PID: 26444 (httpd)
     Status: "Started, listening on: port 80"
      Tasks: 177 (limit: 2322)
     Memory: 13.1M
        CPU: 69ms
     CGroup: /system.slice/httpd.service
             ├─26444 /usr/sbin/httpd -DFOREGROUND
             ├─26463 /usr/sbin/httpd -DFOREGROUND
             ├─26464 /usr/sbin/httpd -DFOREGROUND
             ├─26465 /usr/sbin/httpd -DFOREGROUND
             └─26466 /usr/sbin/httpd -DFOREGROUND

 2月 10 13:47:02 ip-172-31-23-161.ap-northeast-1.compute.internal systemd[1]: Starting httpd.service - The Apache HTTP Server...
 2月 10 13:47:02 ip-172-31-23-161.ap-northeast-1.compute.internal systemd[1]: Started httpd.service - The Apache HTTP Server.
 2月 10 13:47:02 ip-172-31-23-161.ap-northeast-1.compute.internal httpd[26444]: Server configured, listening on: port 80

3.6. Apache 自動起動の有効化

sudo systemctl enable httpd.service

3.7. 自動起動有効化の確認

sudo systemctl is-enabled httpd.service

3.8. 動作確認

curl -s http://localhost

下記が出力される

<html><body><h1>It works!</h1></body></html>

4. Tomcatインストール

4.1. システムアカウントの作成

sudo useradd -r -s /sbin/nologin tomcat

4.2. アカウントの確認

id tomcat

下記が出力される

uid=992(tomcat) gid=992(tomcat) groups=992(tomcat)

grep tomcat /etc/passwd

下記が出力される

tomcat:x:992:992::/home/tomcat:/sbin/nologin

4.3. Tomcat10 最新パッケージの確認

下記リンク先でverを確認
https://dlcdn.apache.org/tomcat/tomcat-10

執筆時の最新は、「v10.1.18」。
以下のコマンドのバージョンが書いてあるところを「10.1.18」にします。適時に変えてください。

4.4. Tomcat パッケージのダウンロード

wget https://dlcdn.apache.org/tomcat/tomcat-10/v10.1.18/bin/apache-tomcat-10.1.18.tar.gz

4.5. ダウンロードファイルの解凍して配置

tar -zxvf apache-tomcat-10.1.18.tar.gz
sudo mv ~/apache-tomcat-10.1.18 /opt
sudo chown -R tomcat:tomcat /opt/apache-tomcat-10.1.18

4.6. シンボリックリンクの作成

sudo ln -s /opt/apache-tomcat-10.1.18 /opt/apache-tomcat
sudo chown -h tomcat:tomcat /opt/apache-tomcat

4.7. ログシンボリックリンク作成

sudo ln -s /opt/apache-tomcat/logs /var/log/tomcat
sudo chown -h tomcat:tomcat /var/log/tomcat

4.8. ユニットファイル (tomcat.service) の作成

sudo vi /usr/lib/systemd/system/tomcat.service

下記を記載する。

# Systemd unit file for default tomcat
#
# To create clones of this service:
# DO NOTHING, use tomcat@.service instead.

[Unit]
Description=Apache Tomcat Web Application Container
After=syslog.target network.target

[Service]
Type=oneshot
PIDFile=/opt/apache-tomcat/tomcat.pid
RemainAfterExit=yes
#EnvironmentFile=/etc/tomcat/tomcat.conf
#Environment="NAME="
#EnvironmentFile=-/etc/sysconfig/tomcat
ExecStart=/opt/apache-tomcat/bin/startup.sh
ExecStop=/opt/apache-tomcat/bin/shutdown.sh
ExecReStart=/opt/apache-tomcat/bin/shutdown.sh;/opt/apache-tomcat/bin/startup.sh
SuccessExitStatus=143
User=tomcat
Group=tomcat

[Install]
WantedBy=multi-user.target

4.9. 自動起動の設定

sudo systemctl enable tomcat.service

4.10. Tomcat の起動

sudo systemctl start tomcat.service

4.11. 動作確認

curl -s http://localhost:8080 | grep title

下記が出力される

<title>Apache Tomcat/10.1.10</title>

5. MySqlインストール

MySql 8.0をインストールします。
MySQLを使用したい方以外はスキップしてください。

5.1. GPGキーをインストール（最新のキーにする2023年）

sudo rpm --import https://repo.mysql.com/RPM-GPG-KEY-mysql-2023

5.2. MySQLのリポジトリを追加

sudo yum localinstall https://dev.mysql.com/get/mysql80-community-release-el9-1.noarch.rpm

5.3. MySqlサーバーをインストール

sudo yum install mysql-community-server

5.4. MySqlクライアントをインストール

sudo yum -y install mysql mysql-community-client

5.5. MySql起動

sudo systemctl start mysqld.service
sudo systemctl enable mysqld.service

5.6. rootパスワードの設定

5.6.1. 初期パスワードの確認

sudo less /var/log/mysqld.log

下記のXXXXXXXXXXXXの箇所にパスワードが記載されています。

YYYY-MM-DDTHH:MM:SS.260490Z 6 [Note] [MY-010454] [Server] A temporary password is generated for root@localhost: XXXXXXXXXXXX

5.6.2. rootでログイン

mysql -u root -p

先程取得したパスワードを入力してください。

Enter password:

5.6.3. rootのパスワード変更

mysql> ALTER USER 'root'@'localhost' identified BY '新しいrootユーザのパスワード';

6. cronインストール

cronで何かしら動かす必要がない方はスキップしてください。

6.1. cronieインストール

sudo dnf -y install cronie

6.2. cron起動

sudo systemctl start crond.service

6.3. 自動起動の設定

sudo systemctl enable crond.service

6.4. 動作確認

6.4.1. crontabファイルの編集

sudo vi /etc/crontab

下記を入力して動作確認をしてみます。

SHELL=/bin/bash
PATH=/sbin:/bin:/usr/sbin:/usr/bin
MAILTO=root

# For details see man 4 crontabs

# Example of job definition:
# .---------------- minute (0 - 59)
# |  .------------- hour (0 - 23)
# |  |  .---------- day of month (1 - 31)
# |  |  |  .------- month (1 - 12) OR jan,feb,mar,apr ...
# |  |  |  |  .---- day of week (0 - 6) (Sunday=0 or 7) OR sun,mon,tue,wed,thu,fri,sat
# |  |  |  |  |
# *  *  *  *  * user-name  command to be executed

*/1 * * * * root date > /var/log/test.log 2>&1

6.4.2. 実行内容の確認

少し待つと、「/var/log」以下に「test.log」が出力されます。

Wed Feb 14 08:55:01 UTC 2024

6.4.3. 実行ログの確認

これだけだと、「/var/log/cron」のログは出力されないので、
下記のコマンドでcronの実行ログを確認します。

sudo journalctl -u crond

下記が出力されていれば動いています。
（1分周期で動いています。）

Feb 14 08:37:01 ip-xxx-xxx-xxx-xxx.ap-northeast-1.compute.internal CROND[25758]: (root) CMD (date > /var/log/test.log 2>&1)
Feb 14 08:37:01 ip-xxx-xxx-xxx-xxx.ap-northeast-1.compute.internal CROND[25757]: (root) CMDEND (date > /var/log/test.log 2>&1)
Feb 14 08:38:01 ip-xxx-xxx-xxx-xxx.ap-northeast-1.compute.internal CROND[25765]: (root) CMD (date > /var/log/test.log 2>&1)
Feb 14 08:38:01 ip-xxx-xxx-xxx-xxx.ap-northeast-1.compute.internal CROND[25764]: (root) CMDEND (date > /var/log/test.log 2>&1)
Feb 14 08:39:01 ip-xxx-xxx-xxx-xxx.ap-northeast-1.compute.internal CROND[25817]: (root) CMD (date > /var/log/test.log 2>&1)
Feb 14 08:39:01 ip-xxx-xxx-xxx-xxx.ap-northeast-1.compute.internal CROND[25816]: (root) CMDEND (date > /var/log/test.log 2>&1)

7. Chromeインストール

7.1. Chrome用のリポジトリファイルを作成

sudo vi /etc/yum.repos.d/google-chrome.repo

下記を記載する

[google-chrome]
name=google-chrome
baseurl=http://dl.google.com/linux/chrome/rpm/stable/$basearch
enabled=1
gpgcheck=1
gpgkey=https://dl-ssl.google.com/linux/linux_signing_key.pub

7.2. Chrome インストール

sudo yum install --enablerepo=google-chrome google-chrome-stable

7.3. バージョン確認

google-chrome --version

下記が出力される。

Google Chrome 121.0.6167.160

7.4. 動作確認

chromeでスクリーンショットを撮ってちゃんと動くか確認します。

google-chrome --headless --disable-gpu --no-sandbox --window-size=1024,768 --hide-scrollbars --screenshot='yahoo.png' https://www.yahoo.co.jp

色々ワーニングがでますが、最後の行に下記が出てればOK。

218360 bytes written to file yahoo.png

実行したパスに以下のファイルが生成される。

-rw-r--r--. 1 ec2-user ec2-user   218360  2月 10 13:58 yahoo.png

8. warファイルのアップロード

各々で作ったwarファイルをアップロードします。
アップロード前にwebappsのパーミッションを変更します。

sudo chmod 777 /opt/apache-tomcat/webapps

scpでwarファイルをアップロードします。

scp -i "pemファイルのパス" warファイルのパス ec2-user@ec2-xxx-xxx-xxx-xxx.ap-northeast-1.compute.amazonaws.com:/opt/apache-tomcat/webapps

warファイルアップロード後はパーミッションを元に戻します。

sudo chmod 775 /opt/apache-tomcat/webapps

9. プログラムが動くか確認

9.1. SeleniumとWebDriverManagerライブラリのダウンロード

pom.xmlで下記を設定しています。

<!-- https://mvnrepository.com/artifact/org.seleniumhq.selenium/selenium-java -->
<dependency>
    <groupId>org.seleniumhq.selenium</groupId>
    <artifactId>selenium-java</artifactId>
    <version>4.15.0</version>
</dependency>
<!-- https://mvnrepository.com/artifact/io.github.bonigarcia/webdrivermanager -->
<dependency>
    <groupId>io.github.bonigarcia</groupId>
    <artifactId>webdrivermanager</artifactId>
    <version>5.6.1</version>
</dependency>

9.2. 動作確認用プログラム

ちゃんと動くか下記のプログラムを実行します。

public static void main(String[] args) throws Exception{
    WebDriverManager.chromedriver().setup();

    ChromeOptions chromeOptions = new ChromeOptions();
    chromeOptions.setBinary("/usr/bin/google-chrome");
    chromeOptions.addArguments("--headless");
    chromeOptions.addArguments("--disable-gpu");
    chromeOptions.addArguments("--disable-software-rasterizer");
    chromeOptions.addArguments("--no-sandbox");

    ChromeDriver driver = null;
    try {
        driver = new ChromeDriver(chromeOptions);

        driver.get("https://www.yahoo.co.jp");
        System.out.println(driver.getPageSource());
    }finally {
        if(driver!=null) {
            driver.close();
            driver.quit();
        }
    }
}

9.2.1. WebDriverManager

WebDriverManagerでchromedriverを初期化します。
環境にあった最新のDriverをダウンロードしてくれます。

WebDriverManager.chromedriver().setup();

9.2.2. ChromeOptions

オプションをいろいろと指定します。
極力消費メモリを抑えるためにいろいろとオプションを追加していますが、
必要に応じて変えてください。

まずは、chromeのバイナリの場所を指定します。
記事の流れ通りに実行すると下記のパスにgoogle-chormeが存在するはず。

chromeOptions.setBinary("/usr/bin/google-chrome");

ヘッドレスモードを指定

chromeOptions.addArguments("--headless");

GPUハードウェアアクセラレーションを無効化する

chromeOptions.addArguments("--disable-gpu");

WebGLを無効化する

chromeOptions.addArguments("--disable-software-rasterizer");

SandBoxモードを解除する

chromeOptions.addArguments("--no-sandbox");

9.3. 結果

yahooページが出力されていれば成功です。

<html lang="ja"><head><meta charset="utf-8"><meta http-equiv="X-UA-Compatible" content="IE=edge,chrome=1"><title>Yahoo! JAPAN</title>
...略

おしまい。。