Overview
2022年になっても、まだ、airflowをec2上にinstallしていて、さらに、はまるので,いろいろメモ
設定としては
- dockerなし、 ec2にそのままairflowを建てる
- dbはrdsをつかわなくてlocalにinstall. rdsは高い
- mysql community server. ver. 5.7. mariadbはエラーがでてたので、安全策で
- postgresqlも9はサポート対象外
- celery
memo
-
https://airflow.apache.org/docs/apache-airflow/stable/start.html
- 基本、ver.2になっていろいろ変わっているのでこれを読んでそのまま設定
- dbの設定もこまかく書いている。
- mysqlの airflow db initのエラーの対処方法も書いている
- timestampのdefault valueのエラーとかの対処方法もあり
- https://airflow.apache.org/docs/apache-airflow/stable/howto/set-up-database.html
- mysqlを使うには、 mysqldb, mysqlconnectorを入れる
- mysql 5.7のinstallでまたハマる。
- 公開鍵が切れている問題でそのまま入らないとか
- 5.7を入れるために8.0のdisableにする
- 全体をdocker composeするのはいろいろ面倒だけど、 dbだけ(mysql, postgresql, redis)はdocker containerを単体で使うのはあり。
- https://hub.docker.com/_/mysql