OKE + Airflow ことはじめ

2022年11月2日 Oracle Cloud Hangout Cafe Season6 #3 「ワークフローツールで楽々Job管理」 で実施したデモをベースに Oracle Container Engine for Kubernetes (OKE) + Airflow の環境構築から公式チュートリアルを実行しながら、 Airflow の最初の一歩を踏み出してみましょう。

以下、スライド資料と公開動画を合わせてご利用頂くとより理解が深まると思います。

• スライド資料
• 公開動画

What is Airflow ?

Airflow は、オープンソースのワークフロー管理プラットフォームです。2014年に Airbnb 社が開発した OSS であり、2016年から Apache Software Foundation のプロジェクトになりました。Python と DAG ベースにワークフローを表現できることが特徴です。

Airflow

DEMO Environment

以下の環境を構築して、実施します。

• Kubernetes Cluster : Oracle Container Engine for Kubernetes
• Node Shape (3 Nodes) : VM.Standard.E3.Flex
• Airflow : v2.4.1

OKE Set Up

OKE のプロビジョニングについては、以下チュートリアルを参考にしてください。

Oracle Container Engine for Kubernetes(OKE)をプロビジョニングしよう

Airflow Set Up

1.Airflow Install

Airflow は、PyPi, Docker, Helm を利用してインストールできます。ここでは、Helm を利用します。

事前に Helm クライアントをインストールが必要となります。

Oracle Cloud Infrastructure(OCI) の場合は、Cloud Shell を利用することで Helm クライアントのインストールは不要です。

helm repo add apache-airflow https://airflow.apache.org

helm repo update

helm install airflow apache-airflow/airflow --create-namespace --namespace airflow

NAME: airflow
LAST DEPLOYED: Sun Oct 16 13:30:17 2022
NAMESPACE: airflow
STATUS: deployed
REVISION: 1
TEST SUITE: None
NOTES:
Thank you for installing Apache Airflow 2.4.1!

Your release is named airflow.
You can now access your dashboard(s) by executing the following command(s) and visiting the corresponding port at localhost in your browser:

Airflow Webserver:     kubectl port-forward svc/airflow-webserver 8080:8080 --namespace airflow
Default Webserver (Airflow UI) Login credentials:
    username: admin
    password: admin
Default Postgres connection credentials:
    username: postgres
    password: postgres
    port: 5432

You can get Fernet Key value by running the following:

    echo Fernet Key: $(kubectl get secret --namespace airflow airflow-fernet-key -o jsonpath="{.data.fernet-key}" | base64 --decode)

###########################################################
#  WARNING: You should set a static webserver secret key  #
###########################################################

You are using a dynamically generated webserver secret key, which can lead to
unnecessary restarts of your Airflow components.

Information on how to set a static webserver secret key can be found here:
https://airflow.apache.org/docs/helm-chart/stable/production-guide.html#webserver-secret-key

7個の Pod が Running であることを確認します。

kubectl get pods -n airflow

NAME                                 READY   STATUS    RESTARTS   AGE
airflow-postgresql-0                 1/1     Running   0          2m46s
airflow-redis-0                      1/1     Running   0          2m46s
airflow-scheduler-5754fc7746-cdkvb   2/2     Running   0          2m47s
airflow-statsd-5b4964646f-nqqzc      1/1     Running   0          2m47s
airflow-triggerer-7795dfffcb-ln22d   1/1     Running   0          2m47s
airflow-webserver-7bf76fd7fc-qccj5   1/1     Running   0          2m47s
airflow-worker-0                     2/2     Running   0          2m46s

2.Airflow UI Access

Service としてインストールされる argo-workflow-service の type を LoadBalancer に変更して、ブラウザからアクセスできるようにします。

kubectl edit service/airflow-webserver -n airflow

・
・ ＜省略＞
・
  selector:
    component: webserver
    release: airflow
    tier: airflow
  sessionAffinity: None
  type: ClusterIP # type: LoadBalancer に変更
・
・ ＜省略＞
・

EXTERNAL-IP を確認

kubectl get service airflow-webserver -n airflow

NAME                TYPE           CLUSTER-IP      EXTERNAL-IP       PORT(S)          AGE
airflow-webserver   LoadBalancer   10.96.110.188   144.xxx.xxx.xxx   8080:31703/TCP   4h5m

ブラウザを起動して、UI にアクセスします。

Default Username : admin
Default Password : admin

ログイン完了です。

3.サンプルワークフローのロード設定

チュートリアルを含めた、サンプルワークフローを読み込むことができるので有効化します。

values.yaml ファイルを書き出して、編集します。

helm show values apache-airflow/airflow > values.yaml

extraEnv の箇所を以下内容に変更します。

vim values.yaml

・
・ ＜省略＞
・
extraEnv: |
　- name: AIRFLOW__CORE__LOAD_EXAMPLES
　　value: 'True'
・
・ ＜省略＞
・

変更した values.yaml を適用します。

helm upgrade --install airflow apache-airflow/airflow -n airflow -f values.yaml

Release "airflow" has been upgraded. Happy Helming!
NAME: airflow
LAST DEPLOYED: Mon Oct 17 06:00:39 2022
NAMESPACE: airflow
STATUS: deployed
REVISION: 3
TEST SUITE: None
NOTES:
Thank you for installing Apache Airflow 2.4.1!

Your release is named airflow.
You can now access your dashboard(s) by executing the following command(s) and visiting the corresponding port at localhost in your browser:

Airflow Webserver:     kubectl port-forward svc/airflow-webserver 8080:8080 --namespace airflow
Default Webserver (Airflow UI) Login credentials:
    username: admin
    password: admin
Default Postgres connection credentials:
    username: postgres
    password: postgres
    port: 5432

You can get Fernet Key value by running the following:

    echo Fernet Key: $(kubectl get secret --namespace airflow airflow-fernet-key -o jsonpath="{.data.fernet-key}" | base64 --decode)

###########################################################
#  WARNING: You should set a static webserver secret key  #
###########################################################

You are using a dynamically generated webserver secret key, which can lead to
unnecessary restarts of your Airflow components.

Information on how to set a static webserver secret key can be found here:
https://airflow.apache.org/docs/helm-chart/stable/production-guide.html#webserver-secret-key

ステータスを確認します。

 helm ls -n airflow

NAME    NAMESPACE       REVISION        UPDATED                                 STATUS          CHART           APP VERSION
airflow airflow         3               2022-10-17 06:00:39.789334761 +0000 UTC deployed        airflow-1.7.0   2.4.1 

以下のようにサンプルワークフローがリスト表示されます。

Airflow Demo

読み込んだサンプルワークフローの tutorial ワークフローを実施します。

print_date タスクは、Airflow の BashOperator から date コマンドを実行、sleep タスクは5秒間 sleep 、templated は、Airflow の jinja テンプレートコードを実行するタスクです。

サンプルワークフロー tutrial を有効化して、テキストリンクをクリックします。

画面右上部にある実行ボタンをクリックして、Trigger Dag を選択します。

各タスクの緑四角をクリックすると右側に詳細情報が表示されます。
Logs クリックします。

print_date タスクの date コマンド実行結果を確認できます。

sleep タスクの結果は以下となります。

templated タスクの結果は以下となります。

上部メニューの Code ボタンをクリックして、tutorial ワークフローのソースコードが表示されるので、templated タスクの jinja テンプレートコードを確認してみます。

実装内容は以下となります。

実行ログと照らし合わせてみます。