Airflow~インストール編~

Python3.6で動くようになっていたので下記に書き直しました
http://qiita.com/hatappi/items/0da6cc28e18fa9b5853f

Airflowについて

AirflowはAirbnbが開発元のOSSのJob管理ツール
AWS re:Invent 2015で話題になった模様。
Pythonで動く。

動作環境

• python2.7

事前の注意点

pythonのversionが2.6だとairflowを起動する際に、SyntaxErrorになるので注意！

手順

事前準備

最低限下記はいれておかないと
pipをいれる際にエラーになります。

yum install zlib-devel bzip2-devel openssl-devel gcc-c++ python-devel

pythonのインストール

curl -O https://www.python.org/ftp/python/2.7.6/Python-2.7.6.tgz
tar zxf Python-2.7.6.tgz 
cd Python-2.7.6
./configure --prefix=/opt/local
make && make altinstall
export PATH=$PATH:/opt/local/bin

pipインストール

curl -kL https://bootstrap.pypa.io/get-pip.py | python2.7

mysql5.7のインストール

yum install http://dev.mysql.com/get/mysql-community-release-el6-5.noarch.rpm
yum-config-manager --disable mysql56-community
yum-config-manager --enable mysql57-community-dmr
yum install yum-utils
yum install mysql-community-server
yum install mysql-devel

• Note: rootの初期パスワードはgrep password /var/log/mysqld.logで調べる

Airflowインストール

pip install airflow[mysql]
pip install airflow[celery]

設定

airflow.cfg

sql_alchemy_conn = mysql://[usr名]:[password]@[host]:[port]/[db名]
broker_url = sqla+mysql://[usr名]:[password]@[host]:[port]/[db名]
celery_result_backend = db+mysql://[usr名]:[password]@[host]:[port]/[db名]

注意点

pipを入れる際にzipimport.ZipImportError: can’t decompress data; zlib not available

これは予めzlib-develをインストールしていないから起きてるのでインストールして
再度pythonのインストールからやり直してください

pipを入れる際のImportError: cannot import name HTTPSHandler

これは予めopenssl-develをインストールしていないから起きてるのでインストールして
再度pythonのインストールからやり直してください

airflowを入れる際のerror: command 'gcc' failed with exit status 1が出た時は

mysql-develが入っていないので、yum install mysql-devel