初めに
みなさん、テストしていますか？
Pythonでの単体テストを複数の環境で実行してくれる「tox」。便利ですよね。
JenkinsでCI環境を作っておけば、一発で複数のバージョンでの動作確認ができちゃいます。
けど、pyenvをインストールしたり、複数のpython環境を用意したりと、意外と手間がかかります。
そこで、Jenkinsでtoxを使用する環境を簡単に構築する方法になります。
手順としては次の通りです。
- DockerでJenkinsを構築する
- Pyenvをインストールしたコンテナ用のDockerFileを作る
- DockerFileを使用するJenkinsfileを作る
- ユニットテストとカバレッジレポートを取得するtox.iniを作る
- リポジトリのトップにDockerFile,Jenkinsfile,tox.iniを配置する
- JenkinsにPiplineジョブを作る
- ビルド実行
事前準備
今回Jenkisfileを使って、CI環境を動的に生成する部分をメインとして解説します。
ですので、Docker環境の構築、Jenkinsの構築については省略します。
ただ、必ずDocker環境下でJenkinsを構築してください。
DockerでJenkinsを構築する
Windows環境の方は下記のページを参考に構築するとよいと思います
https://qiita.com/sh1928kd/items/b248a8d48d16eaab9617
1点、Ubuntu環境などで、Dockerソケットを共有する際、ホスト側のソケットのソケットの権限を気を付けてください。
Jenkins側からの実行権限がないと、エラーとなります。
記事を書いているときのJenkinsのバージョンは「Jenkins 2.255」になります。
プラグイン
お好きなものを入れましょう。
今回はUnittestの結果とカバレッジリポートを表示したいので「JUnit」と「Cobertura」をインストールしておきます。
Pyenvをインストールしたコンテナ用のDockerFileを作る
環境構築についてはJenkinsfileだけでも行えるはずなのですが、
複数のPython環境を構築する際にpyenvを使用しようとするとうまくいきませんでした。
そこで、複数のPython環境を構築するところまでDockerFileで行います。
FROM python:3.8
USER root
ENV HOME /root
ENV PYENV_ROOT $HOME/.pyenv
ENV PATH $PYENV_ROOT/bin:$PATH
# ENV HTTP_PROXY '{プロキシサーバのアドレス}'
# ENV HTTPS_PROXY '{プロキシサーバのアドレス'
# ENV FTP_PROXY '{プロキシサーバのアドレス}'
# RUN echo 'Acquire::http::Proxy "{プロキシサーバのアドレス}";' >> /etc/apt/apt.conf
# RUN echo 'Acquire::https::Proxy "{プロキシサーバのアドレス}";' >> /etc/apt/apt.conf
RUN apt-get update && apt-get upgrade -y \
&& apt-get install -y \
git \
make \
build-essential \
libssl-dev \
zlib1g-dev \
libbz2-dev \
libreadline-dev \
libsqlite3-dev \
wget \
curl \
llvm \
libncurses5-dev \
libncursesw5-dev \
xz-utils \
tk-dev \
libffi-dev \
liblzma-dev \
&& git clone https://github.com/pyenv/pyenv.git $PYENV_ROOT
RUN echo 'eval "$(pyenv init -)"' >> ~/.bashrc && \
eval "$(pyenv init -)"
RUN pyenv install 3.5.9
RUN pyenv install 3.6.2
RUN pyenv install 3.7.2
RUN pyenv install 3.8.2
RUN echo '3.5.9' >> .python-version
RUN echo '3.6.2' >> .python-version
RUN echo '3.7.2' >> .python-version
RUN echo '3.8.2' >> .python-version
Dockerfileを使用するJenkinsfileを作る
Dockerfileで環境構築してしまえばJenkinsfileは難しくありません
pipeline {
agent {
dockerfile {
filename 'Dockerfile'
args '-u root:sudo'
}
}
stages {
stage('setup') {
steps {
sh 'pip install flake8'
sh 'pip install tox'
sh 'pip install tox-pyenv'
}
}
stage('test') {
steps {
sh 'tox'
// カバレッジを取得
cobertura coberturaReportFile: 'coverage.xml'
// テスト結果を取得
junit 'junit_reports/*.xml'
}
}
}
}
setupの内容についてもDockerFileに記載してしまってもよかったかもしれません。
ユニットテストとカバレッジレポートを取得するtox.iniを作る
tox.iniを書きます。
今回はテストレポートとカバレッジレポートを取得するので、それぞれのレポートを出力する設定にしてあります
[tox]
envlist = py35, py36, py37, py38, flake8
[travis]
python =
3.8: py38
3.7: py37
3.6: py36
3.5: py35
[testenv:flake8]
basepython = python
deps = flake8
commands = flake8 {解析するモジュール名} tests
[flake8]
exclude = tests/*
[testenv]
setenv =
PYTHONPATH = {toxinidir}
deps =
coverage
unittest-xml-reporting
commands =
rm -rf junit_reports
python -m xmlrunner discover -o junit_reports
coverage erase
coverage run --append setup.py test
coverage report --omit='.tox/*'
coverage xml --omit='.tox/*'
リポジトリのトップにDockerFile,Jenkinsfile,tox.iniを配置する
基本的にはPYPI形式のプロジェクトであれば次のような構成になると思います。
-project
|-module_dir/
|-main.py
|-tests/
|-test_main.py
|-setup.py
|-Dockerfile
|-Jenkinsfile
|-tox.ini
JenkinsにPiplineジョブを作る
出来上がったスクリプトをGithubなどにPushします。
新規ジョブの作成を選択し、
- item nameにジョブ名を入力
- パイプラインを選択
設定画面で
- 定義に「Pipline script from SCM」を選択
- SCMに「Git」を選択
- リポジトリURLにリポジトリのパスを入力
ビルド実行
Jenkinsのジョブ画面から、「ビルド実行」をすれば、Dockerfileから環境を構築して、
toxを実行した結果をJenkinsが取得してくれます。
まとめ
Jenkinsで簡単にtoxを実行する環境について紹介しました。
本当はJenkinsfileだけで構築したかったのですが、PATH周りの挙動が良くわからなかったので、
Dockerfileを使いました。
PyPI形式のプロジェクト構成であれば、この方法でほぼほぼ使いまわせるので、テスト環境構築がらくちんになりました。
また、素の環境が出来上がりますので、モジュールの登録漏れや依存ライブラリに気が付けるという利点があります。