Capistrano3でJenkinsサーバーからS3経由でWebサーバーにソースコードを配布してみた話 #Capistrano

初めに

こんにちは。CYBIRDエンジニア Advent Calendar最終日担当の@jin_kです。
CYBIRD2015年の新卒入社でゲームインフラ部という部署に所属しております。

24日目は@gotyooooさんのAmazon VPC NAT Gatewayがあるとき。ないとき。でした。
Amazon VPC NATGatewayがあるときとないときが分かりやすく整理されていて、NAT Gatewayを使うと何か良いか書いていますので、ぜひご覧ください！

内容について

今回はJenkinsサーバーからS3経由でWebサーバーにソースコードを配布してみた話をしたいと思います。
(Jenkinsサーバーを立てる過程の説明とかはありません。)

従って今回の話はちょっと変わったCapistranoの話をするので、Capistranoのデプロイ流れや説明・使い方についての話はしません。
とはいえ、自分もまだ初心者なので何か間違ったことが書いてある場合、ご指摘お願いします。

今回のCapistranoの動き

このような動きをした理由

Capistrano3系でGithubとの連携がHTTPSでアクセスするため、ソースコードにgitのアカウント情報が載せているのでセキュリティー的に良くないです。
各自WebサーバーがダウンロードすることでJenkinsのサーバーの負担を減らす。
いずれにせよ100%信頼はできないが、それでもgitよりS3の方が信頼できる。

仕組み(pull)

1.gitとJenkinsを連携し、最新のfileをJenkinsに返却します。
　(今回は１番に関する内容はありません。)
2.cap実行し、tarでソースコードを固めます。
3.固めたtarをS3にアップロードします。
(現在デプロイするソースコードと同じものがS3にある場合、3番のことはしません。)
4.各自S3からダウンロードするようWebサーバーに命令します。
5.各自Webサーバーがs3からtarをダウンロードします。
6.ダウンロードしたtarを展開します。

仕組み(push)

1.gitとJenkinsを連携し、最新のfileをJenkinsに返却します。
　(今回は１番に関する内容はありません。)
2.cap実行し、tarでソースコードを固めます。
3.JenkinsサーバーからWebサーバーにtarを送りつけます。
4.tarを展開します。

※pull以外はすべてpushの処理をします。

インストール

archive/tar/minitar 0.5.2

$ gem install archive-tar-minitar -v 0.5.2

Ruby 2.1.0p0

$ rvm install ruby-2.1.0
$ rvm use ruby-2.1.0
$ ruby --version
ruby 2.1.0p0 (2013-12-25 revision 44422) [x86_64-linux]

Capistrano 3.2.1

$ gem install capistrano
$ cap --version
Capistrano Version: 3.2.1 (Rake Version: 10.1.0)

S3へのアップロードするためにRubyのAWS SDKを利用します。

aws-sdk-core 2.1.16

$ gem install aws-sdk-core -v 2.1.16

aws-sdk-resources 2.1.16

$ gem install aws-sdk-resources -v 2.1.16

S3経由でデプロイするためAWS CLIが必要となりますのでWebサーバーにinstallします。
CredentialFileはJenkinsサーバー、Webサーバー両方必要です。

# yum -y install python-setuptools
# easy_install pip
# pip install awscli
# vi /etc/aws/credential-file
====
[default]
output = json
region = ap-northeast-1
aws_access_key_id = XXXXXXXXXXXXXXXXXXXX
aws_secret_access_key = xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx
====

デプロイ方法

ソースコード

Capfile

$:.unshift File.expand_path(File.dirname(__FILE__) + '/lib')

# Load DSL and Setup Up Stages
require 'capistrano/setup'

# Includes default deployment tasks
require 'capistrano/deploy'

Dir.glob('lib/capistrano/tasks/*.rake').each { |r| import r }

config/deploy.rb

# config valid only for Capistrano 3.1
set :pty, true
lock '3.2.1'
set :log_level, SSHKit::Logger::INFO
set :application, 'JkTest'
set :scm, :tarball_deploy

set :tmp_dir, '/tmp'
set :copy_exclude, ['docs']

set :project_release_id, `git log --pretty=format:'%h' -n 1 HEAD`

#(省略)

config/deploy/production_pull.rb

set :deploy_to, ENV['DEPLOY_TO']#Webサーバーにソースコードを置くところです。
set :resource_path, ENV['RESOURCE_PATH']#以下のJenkinsサーバーにあるものをtarで固めます。

set :tmp_tarball, '/tmp/production'
set :aws_credential_file, ENV['AWS_CREDENTIAL_FILE']#awsにアクセスするためにcredential-fileが書いているところです。

servers_str = ENV['SERVERS'].to_s
servers_str = servers_str.gsub(/\s/, '')

servers_str.split(',').each do |target_server|
    if target_server.empty?
        next
    end
    server target_server,
        user: ENV['WEB_SERVER_USER'],#Webサーバーのユーザー
        roles: ['app'],
        ssh_options: {
            keys: [ENV['WEB_SERVER_SSH']],#Webサーバーにアクセスするためのsshが置いてある場所
            forward_agent: false,
            auth_methods: ['publickey']
        }
end

config/deploy/production_push.rb

set :deploy_to, ENV['DEPLOY_TO']
set :resource_path, ENV['RESOURCE_PATH']

set :tmp_tarball, '/tmp/production'
servers_str = ENV['SERVERS'].to_s
servers_str = servers_str.gsub(/\s/, '')

servers_str.split(',').each do |target_server|
    if target_server.empty?
        next
    end
    server target_server,
        user: ENV['WEB_SERVER_USER'],
        roles: ['app'],
        ssh_options: {
            keys: [ENV['WEB_SERVER_SSH']],
            forward_agent: false,
            auth_methods: ['publickey']
        }
end