KINTO Technologies Advent Calendar 2021- Qiitaの22日目の記事です。
この記事では、プロジェットに静的分析ツールのSonarQubeをAWS EC2に適用してプロジェクトにCIと連動して使う方法について紹介します。
うちのプロジェットでは、下記のFlowで活用しています。
github PR → sonarqubeから静的分析 → PRに結果レポートリンク
#静的分析とは何か
開発をする際に単に機能だけ動作するコードを作るだけでなく、読みやすいコード、メンテナンスに良いコードなどを作るために多くの努力をしていると思います。
このためにコードレビューなどを通じて同僚開発者が直接検討する場合もあるが、整形化されたパターンに対してはソースコードを分析するツールを利用することができる。これを静的コード分析と呼びます。
なぜ静的分析なのか
少ない費用で経験豊富な開発者の活動を置き換える方法ができる。
非常に正常にうまく動作するだけの複雑さソースコードはソフトウェアは開発者にも、プロジェツトにもまったく役に立ちません。
間違ったコードはまた誤ったコードを作るし、落ちるコード可読生や高まる複雑さのおかげで、プロジェクトコードは時間の経過とともにますます理解するのが難しくなります。
開発者はもっと多くの努力と時間を必要とするし、プロジェクトはいつ爆発するのか分からない爆弾を抱いて生きていきます。
そのため、プログラミングでも誤った姿勢を指摘し、適切に開発できるように導く方法が必要です。
アジャイルで強調しているペアプログラミング、モブプログラミング、またはコードインスペクションアクティビティもまた良い選択肢ですが、
このような文化を導くことができるメンターがあれば、すぐにコードの品質を向上させることができますが問題は「人＝＝時間＝＝お金」。
きちんとした開発のためにはそれほど多くの費用が必要になります。このため 、コストがかからなくコードの品質を確認し、間違った部分を正しい方向に修正できるように指導するさまざまなツールが出てました。
#SonarQubeとは？
SonarQubeは、20以上のプログラミング言語でバグ、コードスメル、セキュリティの脆弱性を発見するための静的コード分析をサポートしています。そして自動レビューを行い、
継続的なコード品>>質チェックを可能にするオープンソースプラットフォームです。出典：SonarQubeウィキペディア
SonarQubeは、上記で紹介した静的コード分析ツールの1つです。
静的コード分析ツールには、PMD、FindBugs、CheckStyleなどがあります。私たちのチームでSonarQubeを選択する主な理由は、リファレンスがたくさんあり、GithubやJenkinsとの連携を通じて自動静的コード分析を構成できるからです。
[java基準静的分析ツール]
-
PMD PMD
- 未使用の変数、空のコードブロック、不要なオブジェクトの生成など、Defectを引き起こす可能性のあるコードを調べます。
-
定められたルールで潜在的なエラータイプを探す
-
CheckStyle checkstyle – Checkstyle 9.2
-
定められたコーディングルールに従うかどうかの分析
SonarQubeがサーポートしてくれる言語
SonarQube Server version
SonarQube Price[基準：2021/06]
SonarQube Architecture
SonarQubeプラットフォームは4つのコンポーネントで構成されています。
-
1.SonarQube Server
- Web Server：ユーザーに分析結果を表示し、SonarQube設定ページを提供します。
- Search Server：Elasticsearch Serverを使用し、ユーザーに検索機能を提供します。
- Compute Engine Server：静的分析結果を生成し、SonarQube Databaseで保存
-
2.SonarQube DataBase
- SonarQubeの基本設定（セキュリティ、プラグイン情報など）とプロジェクト分析のスナップショットを保存します。インストール時に、DefaultとしてH2 DBを含め、設定で様々なDBが利用可能
-
3.SonarQube Plugin
- 内部で使用するさまざまな機能(分析プログラム言語、権限、管理、SCMなど)をプラグイン形式でインストール可能
-
4.SonarQube Scanner
-
プロジェクトの静的分析を実行するためのツールで、さまざまな形式で提供され、CI Serverと連携して使用可能
SonarQube Integration
- IDEでコードを作成し、Sonar Lintなどを介してローカルでコード分析を実行する。
- 開発者は分析を通じて修正された完成コードをSCMにプッシュする。
- CI Serverでトリガーされたビルドを実行するときにSonarQube Scannerを実行する
- SonarQube Scannerは、生成された分析レポートの処理のためにSonarQubeに送信します。
- SonarQube Serverは分析レポートの結果を処理してDBに保存し、結果をWebサーバー経由で提供します。
- 開発者はWebページで分析結果を確認してコードを改善します。
- 管理者は結果報告書を受け取る。
SonarQubeソフトウェア品質
SonarQubeは、次の7つの品質要素に基づいてソフトウェア品質を区別して管理しています。
-
SonarQubeソフトウェア品質
SonarQubeは、次の7つの品質要素に基づいてソフトウェア品質を区別して管理しています。-
Code Smell：深刻な問題ではないが、ベスト・プレクティスで些細な問題として、モジュール性（modularity）、理解可能性（understandability）、変更可能性（changeability）、テスト容疑性（testability）、再使用性（reusability）などが含まれる。
-
Bugs：通常、潜在的なバグや実行時間に予想される動作をしないコードを示します。
-
Vulnerabilities：ハッカーにとって潜在的な弱点になる可能性があるセキュリティ上の問題を指します。 SQLインジェクション、クロスサイトスクリプトなどのセキュリティの脆弱性を見つけます。
-
Duplications：コードの冗長性は、コードの品質を阻害する最大の要因の1つです。
-
Unit Test ：ユニットテストのカバレッジを通じて、ユニットテストの実行の程度と実行されたテストの成功/失敗情報を提供します。
-
Complexity : コードの循環複雑度、認知複雑度を測定します。
-
Size：ソースコードサイズに関連するさまざまな指標を提供します。
-
SonarQubeを使用してみよう
SonarQubeをLocalで使用する方法もあり、Dockerを利用してSonarQubeコンテナを浮かべて使うこともありますがうちのチームでは分析した結果の可視化と複数のアプリの移植性を考慮して、 EC2 Hostに設置する方法にしました。
ここでは、SonarQube Server version Communityで話します。
開発環境
- Project
- Android
- java、Kotiln
- Android
- インフラ
- AWS EC2、Amazon Linux 2
- SonarQube Server version Community
- Object-c,SwiftはSonarQube Server version _Develop version_が必要
- SonarQube Server version Community
- AWS EC2、Amazon Linux 2
SonarQube7.xは下記のような要件があります。
SonarQube versionによって要件に合わせて設定する必要があります
最低 2GB / 1 vcpu 容量のServer
PostgreSQL Version9.3以上
OpenJDK 11及びJRE 11
全てのSonarQube Processはsonar 使用者で実行
##順番
AWS Instanceを生成して、ec2 user でssh接続
- Hardware Requirements of SonarQube
- RAM：最小2GBとOSのための1GBの余裕RAM必要 - SonarQube公式で確認
__| __|_ )
_| ( / Amazon Linux 2 AMI
___|\___|___|
https://aws.amazon.com/amazon-linux-2/
6 package(s) needed for security, out of 16 available
Run "sudo yum update" to apply all updates.
-bash: warning: setlocale: LC_CTYPE: cannot change locale (UTF-8): No such file or directory
Javaを設置
Updateと必要なPackagesを設置する。
sudo yum update -y
sudo yum install wget unzip -y
Java 11を設置する。
Amazon linuxでは次のように設置する。
sudo yum update -y
sudo yum install wget unzip -y
設置後はJava 11で設定されているかversion確認する。
Total download size: 3.4 M
Installed size: 5.2 M
Downloading packages:
java-11-openjdk-devel-11.0.13.0.8-1.amzn2.0.3.x86_64.rpm | 3.4 MB 00:00:00
Running transaction check
Running transaction test
Transaction test succeeded
Running transaction
Installing : 1:java-11-openjdk-devel-11.0.13.0.8-1.amzn2.0.3.x86_64 1/1
Verifying : 1:java-11-openjdk-devel-11.0.13.0.8-1.amzn2.0.3.x86_64 1/1
Installed:
java-11-openjdk-devel.x86_64 1:11.0.13.0.8-1.amzn2.0.3
[ec2-user ~]$ java --version
openjdk 11.0.13 2021-10-19 LTS
OpenJDK Runtime Environment 18.9 (build 11.0.13+8-LTS)
OpenJDK 64-Bit Server VM 18.9 (build 11.0.13+8-LTS, mixed mode, sharing)
rootでLoginして実行する
これはメモリ問題防止のため下記のように設定する- Linuxの場合設定情報
[root@ip- ~]# sysctl vm.max_map_count
vm.max_map_count = 65530
[root@ip- ~]# sysctl -w vm.max_map_count=524288
vm.max_map_count = 524288
[root@ip- ~]# sysctl -w fs.file-max=131072
fs.file-max = 131072
[root@ip- ~]# ulimit -n 131072
[root@ip- ~]# ulimit -u 8192
SonarQube Databaseを設定する
ここではPostgreSQLでDatabaseを設置しました。
amazon-linux-extras install postgresql10 vim epel -y
yum install -y postgresql-server postgresql-devel
.
Installed:
$ postgresql-devel.x86_64 0:10.17-1.amzn2.0.2
$ postgresql-server.x86_64 0:10.17-1.amzn2.0.2
Complete!
// 初期化
/usr/bin/postgresql-setup --initdb
* Initializing database in '/var/lib/pgsql/data'
* Initialized, logs are in /var/lib/pgsql/initdb_postgresql.log
$ systemctl enable postgresql
Created symlink from /etc/systemd/system/multi-user.target.wants/postgresql.service to /usr/lib/systemd/system/postgresql.service
$ systemctl start postgresql
SonarQubeのDatabaseと使用者を生成する
// Database生成
sudo su - postgres
psql
postgres=# create user sonar with password 'sonar';
CREATE ROLE
postgres=# create database sonar owner sonar;
CREATE DATABASE
postgres-# \q
-bash-4.2$ exit
logout
PostgreSQL設定ファイルを修正する(今後の認証のため)
sudo vi /var/lib/pgsql/data/pg_hba.conf
# TYPE DATABASE USER ADDRESS METHOD
# "local" is for Unix domain socket connections only
local all all trust
# IPv4 local connections:
host all all 0.0.0.0/0 md5
# IPv6 local connections:
host all all ::1/128 md5
~
PostgreSQLを起動する
sudo systemctl start postgresql
sudo systemctl enable postgresql
SonarQube Server設置
/optの下にSonarQube Serverを設置する。
cd /opt
sudo wget https://binaries.sonarsource.com/Distribution/sonarqube/sonarqube-7.6.zip
zipファイルを解凍して新しいフォルダを生成する
sudo unzip sonarqube-7.6.zip
sudo mv sonarqube-7.6 sonarqube
sonar.propertiesにDatabaseと連動する情報を入力する
- ファイル
sudo vi /opt/sonarqube/conf/sonar.properties
- 内容
sonar.jdbc.username=sonar
sonar.jdbc.password=sonar
sonar.jdbc.url=jdbc:postgresql://localhost/sonar
SonarQubeを実行ユーザーと権限を付与する
sudo useradd sonar
sudo chown -R sonar:sonar /opt/sonarqube
SonarQube実行する
それでは、設置したSonarQubeを実行してみる。
sonarでログインして、SonarQubeを実行するスクリプトがあるフォルダに移動します。
sudo su - sonar
cd /opt/sonarqube/bin/linux-x86-64
sonar.shスクリプトを実行して、状態を確認する。
./sonar.sh start
./sonar.sh status
./sonar.sh console
SonarQubeの場合、基本が9000 Portです。
このように実行して http://[EC2 Instance ip Address]:[port Number] で接続するとSonarQubeを確認できます。
初めてアクセスするとログインする必要がありますが、初期ID/パスワードはadmin/adminです。
初期接続後、パスワードを設定してくれると、Server 設定完了です。
SonarQubeとGitHub Actionsは統合
GitHub Actionsは、GitHubから提供するCI/CDツールです。
commit や push、cron、webhook などの状況でタスクを自動的に特定のタスクを行うことができます。
mainブランチプロジェクトのルートに /.github/workflows/*.yml形式で書くと、githubが認識して動作します。
workflow文
大きくいつ実行するかを宣言するon句、
順番に実行されるフローjobを指定するjobs句、各jobで実行する機能を作成するsteps句などがあります。
ワークフローについては公式文書を参照するのが最善です -GitHub Actions
ただし分量が膨大なので、workflowで必要な部分だけを追加するように学習するのが良いと思います。
実際にプロジェットで活用しているworkflow文をインポートしました。
適用してみたら
sonarqubeとgithubアクションを利用して、プロジェクトのコードがPRが発生するたびにレポートを受け取る機能を実装してみました。
適用して活用してみると、単にテストコードのカバレッジを越えてcode smell、security hotspot、bugsの可能性のあるコードをレポートしてくれて便利です。
あと、問題の根拠と修正方法までガイドしてくれるのでsonarqubeから学ぶこともかなりでした。
当社では、トヨタ車のサブスク「KINTO」等の企画/開発を行っており、エンジニアを募集中です。
KINTO Technologies コーポレートサイト