intra-mart実践入門の作成記録 #005 続・VSTSでCI

VSTSでの設定

参考情報

　前回の記事でおおよその方向性が決まったので次はVSTSでの設定を行っていきます。今回、参考にさせてもらうのはkkamegawaさんの「Visual Studio Team ServicesでRe:VIEWのCIを実施する」です。kkamegawaさんはDockerコンテナを使っていますが、ここではもう一段階レベルを下げてシェルスクリプトの実行で成果物を作っていきます。

Gitリポジトリの作成

　VSTSでチームプロジェクトを作成するとチームプロジェクト名と同じリポジトリが作成されます。そのリポジトリをそのまま使うのもいいですが、今回は書籍の原稿用に新しくリポジトリを作成しました。何故かというと、この後intra-martの環境を作成したり、その中でアプリケーションを作ったりする場合に、それ専用のリポジトリが必要になることが明白だからです。また、チームプロジェクト名のリポジトリには主にプロジェクト管理系の情報を集めておきたい(前職での癖)という事情もあります。

　特に捻りもなく「manuscript」という名のリポジトリを新しく追加しました。このリポジトリにreview-initコマンドで作成したファイル一式をコミットして、初回のプッシュを行います。これでビルド定義を作成する準備は終わりです。

Microsoft/vsts-agentのセットアップ

　Re:VIEWをセットアップした環境にGitをインストールします。残念ながらCentOSのyumリポジトリにあるGitはバージョンが少し古いのでソースコードからインストールしました。その後、Microsoft/vsts-agentのセットアップのために.Net Core 2.xを用意します。Microsoft/vsts-agentの中にセットアップのために必要なスクリプトも含まれているため、下記の手順でGit、.Net Core 2.x、Microsoft/vsts-agentのセットアップまで可能です。

vsts-agent.sh

# Git インストール
yum -y install wget gcc curl-devel expat-devel gettext-devel openssl-devel zlib-devel perl-ExtUtils-MakeMaker autoconf
mkdir /tmp/git
wget  -qO- https://www.kernel.org/pub/software/scm/git/git-2.15.1.tar.gz | tar zxv -C /tmp/git --strip-components=1
cd /tmp/git
make configure
./configure --prefix=/usr
make all
make install
cd ~
rm -rf /tmp/git

# ユーザーの作成
USER_NAME="your_name"
USER_DESCRIPTION="vsts-agent用のユーザー"
useradd ${USER_NAME} -g wheel -c "${USER_DESCRIPTION}"

# wheelグループにパスワードなしのsudoの許可
sed -i -e "$ a %wheel ALL=NOPASSWD: ALL"  /etc/sudoers
# ${USER_NAME}にttyなしのsudoを許可
sed -i -e "$ a Defaults:${USER_NAME} \!requiretty"  /etc/sudoers
# ユーザー変更
su ${USER_NAME} -l

# vsts-agentのセットアップ
mkdir myagent && cd myagent
wget -qO- https://vstsagentpackage.azureedge.net/agent/2.126.0/vsts-agent-linux-x64-2.126.0.tar.gz | tar zxv -C ./ --strip-components=1
sudo ./bin/installdependencies.sh
./config.sh
################################################################################
# 手動の入力が必要
# 1.ライセンスの同意確認
# 2.サーバーURL
# 3.認証の種類
# 4.Personal Access Token
# 5.エージェントプール
# 6.エージェント名
# 7.作業フォルダー
################################################################################
./run.sh

VSTSのビルド定義作成

　次にVSTS側に戻って、設定を行います。kkamegawaさんの解説で充分とは思いますが、異なるところもあるため画面キャプチャを交えながら説明していきます。

1. 「Build and Release」のメニューを選択する

2. 「New」ボタンを押下する

3. 「Empty Process」を選択する

4. 「Process」の設定

　注意点は「Agent queue」に先ほどローカル環境に作成した。Microsoft/vsts-agentを使用するように設定することです。

5. 「Get sources」の設定

　注意点は「Clean」に「true」を選択し、全てのディレクトリを対象にすることです。これはRe:VIEWがソースディレクトリの中に成果物を出力するため、次回ビルド時に持ち越されないようにするためです。

6. 「Phase 1」にタスクを追加

　「Phase 1」の右側にある「＋」ボタンを押下すると、右側のペインに追加可能なタスクの一覧が表示されます。「Utility」の中にある「Shell Script」を選択して「Add」ボタンを押下します。

　追加された「Shell Script」タスクを選択して設定を行います。ポイントは「Version」で「3.*(preview)」を選択することです。これまではソースの中に含まれているシェルスクリプトのパスを指定していましたが、コマンドを直接実行できるようになりました¹。実行したいのはrake pdfという簡単なコマンドですので、そのためだけにシェルスクリプトをバージョン管理せずに済むのはありがたいです。同様にして、EPUBを作成するタスクも作成しておきましょう。タスクをクローンして、コマンドをrake epubに変更すると楽に作成できます。

　成果物を取得するためにビルド環境にアクセスするのも面倒ですので、作成したPDFやEPUBをVSTSに保存してダウンロードできるようにしておきます。先ほどと同様に「Phase 1」の右側の「＋」ボタンを押下し、「Utility」から「Copy and Publish Build Artifacts」を選択、「Add」ボタンを押下します。

　ソースディレクトリの中にあるPDFファイルをdropというディレクトリにコピーする設定にしました。「Artifact Type」はVSTSに保存するのでServerのままで問題ありません²。同様にしてEPUBのコピーのタスクも作っておきましょう。タスクをクローンして「Contents」を *.epubに変更すると楽に作成できます。

7. トリガーの設定

　メニューから「Triger」を選択して、「Enable continuous integration」にチェックをつけます。今回はmasterブランチしか存在しないため、masterを対象にしていますがブランチを切って執筆する場合はそちらのブランチを指定します。

8. ビルド定義保存とテスト実行

　画面右上の「Save & queue」ボタンを押下するとダイアログが表示されます。

　保存時のコメント等を入力して「Save & queue」ボタンを押下するとビルド定義がキューに設定されます。ビルド結果の「Artifacts」から作成された成果物を取得することができます。

まとめ

　CI環境の構築の流れをシェルスクリプト風³にまとめておきます。rootから実行する前提です。

CI_setup.sh

#!/bin/bash
# セキュリティアップデート
yum -y update

# Gitのインストール
yum -y install wget gcc curl-devel expat-devel gettext-devel openssl-devel zlib-devel perl-ExtUtils-MakeMaker autoconf
mkdir /tmp/git
wget  -qO- https://www.kernel.org/pub/software/scm/git/git-2.15.1.tar.gz | tar zxv -C /tmp/git --strip-components=1
cd /tmp/git
make configure
./configure --prefix=/usr
make all
make install
cd ~
rm -rf /tmp/git

# TeX Live 2017のインストール
yum -y install wget perl-Digest-MD5
mkdir /tmp/texlive
wget -qO- http://mirror.ctan.org/systems/texlive/tlnet/install-tl-unx.tar.gz | tar zxv -C /tmp/texlive --strip-components=1
echo "selected_scheme scheme-basic" > /tmp/texlive/texlive.profile
echo "option_doc 0" >> /tmp/texlive/texlive.profile
echo "option_src 0" >> /tmp/texlive/texlive.profile
perl /tmp/texlive/install-tl --profile=/tmp/texlive/texlive.profile
sed -i -e '$ a export INFOPATH=/usr/local/texlive/2017/texmf-dist/doc/info:$INFOPATH' /etc/profile
sed -i -e '$ a export MANPATH=/usr/local/texlive/2017/texmf-dist/doc/man:$MANPATH' /etc/profile
sed -i -e '$ a export PATH=/usr/local/texlive/2017/bin/x86_64-linux:$PATH' /etc/profile
source /etc/profile
rm -rf /tmp/texlive

# TeX Liveの更新
tlmgr install collection-latexrecommended 
tlmgr install collection-latexextra
tlmgr install collection-fontsrecommended
tlmgr install collection-langjapanese
tlmgr install latexmk
tlmgr install xetex
tlmgr update --self
tlmgr update --all


# ユーザーの作成
USER_NAME="your_name"
USER_DESCRIPTION="vsts-agent用のユーザー"
useradd ${USER_NAME} -g wheel -c "${USER_DESCRIPTION}"
# wheelグループにパスワードなしのsudoの許可
sed -i -e "$ a %wheel ALL=NOPASSWD: ALL"  /etc/sudoers
# ${USER_NAME}にttyなしのsudoを許可
sed -i -e "$ a Defaults:${USER_NAME} \!requiretty"  /etc/sudoers

# ユーザー変更
su ${USER_NAME} -l

# rubyインストール
sudo yum -y install wget bzip2 gcc openssl-devel readline-devel zlib-devel
mkdir /tmp/ruby
wget  -qO- https://cache.ruby-lang.org/pub/ruby/2.5/ruby-2.5.0.tar.gz | tar zxv -C /tmp/ruby --strip-components=1
cd /tmp/ruby
./configure --prefix=/usr/local/ruby
make
sudo make install
echo 'export PATH="/usr/local/ruby/bin:$PATH"' >> ~/.bash_profile
source ~/.bash_profile
cd ~
rm -rf /tmp/ruby

# Re:VIEWのインストール
echo 'export GEM_HOME="$HOME/.gem"' >> ~/.bash_profile
echo 'export PATH="$GEM_HOME/bin:$PATH"' >> ~/.bash_profile
source ~/.bash_profile
gem install review

# vsts-agentのセットアップ
mkdir ~/myagent && cd ~/myagent
wget -qO- https://vstsagentpackage.azureedge.net/agent/2.126.0/vsts-agent-linux-x64-2.126.0.tar.gz | tar zxv -C ./ --strip-components=1
sudo ./bin/installdependencies.sh
./config.sh
################################################################################
# 手動の入力が必要
# 1.ライセンスの同意確認
# 2.サーバーURL
# 3.認証の種類
# 4.Personal Access Token
# 5.エージェントプール
# 6.エージェント名
# 7.作業フォルダー
################################################################################
./run.sh

1. ただし、preview機能のため、リリースされるタイミングによって使えるまでに時間がかかる場合もあります。 ↩

2. ファイルサーバー立てている人ならFile shareから設定してください。 ↩

3. 例によって手動操作が混じるのでシェルスクリプトではありません。 ↩