Tanzu Kubernete Grid(TKG)のクラスタにTanzu Packageを利用してFluent Bitをインストールしてログが転送できることを確認をする。
最初にrsyslog環境を構築し、その後にTanzu CLIでFluent Bitを構築する。
そのため、rsyslogの構築以外はTKGの利用が前提となる。なお、ここではTKGm1.6.0で確認している。
rsyslog環境(Pod,Service)の構築
動作確認用にrsyslogサーバをコンテナで立てる。オフィシャルの手順だとrsyslog/syslog_appliance_alpineイメージを使うことになっているが、こちらは実験的な扱いで5年前に更新が止まっているので、イメージを自作した方がよい。
ここではRun Rsyslog server in KubernetesというサイトにあったDockerfileをベースにログの出力先だけ変更してイメージを作成した。
MY_REGISTRY="core.harbor.hogeeee.info"
MY_REPOSITORY="${MY_REGISTRY}/myapp"
cat << 'EOF' > Dockerfile
FROM ubuntu
RUN apt update && apt install rsyslog -y
RUN echo '$ModLoad imudp \n\
$UDPServerRun 514 \n\
$ModLoad imtcp \n\
$InputTCPServerRun 514 \n\
$template RemoteStore, "/var/log/remote.log" \n\
:source, !isequal, "localhost" -?RemoteStore \n\
:source, isequal, "last" ~ ' > /etc/rsyslog.conf
ENTRYPOINT ["rsyslogd", "-n"]
EOF
docker build -t ${MY_REPOSITORY}/rsyslog .
イメージをリポジトリにPushする
docker push ${MY_REPOSITORY}/rsyslog
Namespaceを作成し、PushしたイメージをPull出来るようにSecretやServiceAccountを設定する。
kubectl create ns rsyslog
kubectl create secret docker-registry harbor-cred --docker-password 'xxxxxx' --docker-username imurata --docker-server $MY_REGISTRY -n rsyslog
kubectl patch serviceaccount default -p '{"imagePullSecrets": [{"name": "harbor-cred"}]}' -n rsyslog
作成したイメージを使ってPodとServiceを作成する。今回、LoadBalancerが使える環境で試しているため、ServiceのtypeはLoadBalancerにしているが、環境に応じて適宜変更して問題ない。
cat << EOF > rsyslog.yaml
apiVersion: v1
kind: Pod
metadata:
labels:
run: rsyslog
name: rsyslog
spec:
containers:
- name: rsyslog
image: $MY_REPOSITORY/rsyslog:latest
ports:
- containerPort: 514
---
apiVersion: v1
kind: Service
metadata:
labels:
run: rsyslog
name: rsyslog
spec:
ports:
- port: 514
targetPort: 514
protocol: TCP
selector:
run: rsyslog
type: LoadBalancer
EOF
kubectl apply -f ./rsyslog.yaml -n rsyslog
動作確認のためにsyslogにログを飛ばす。こちらも先程のRun Rsyslog server in Kubernetesにあった動作確認方法を流用する。tcp://の部分で作成したServiceのExternalIPを引っこ抜いているが、NodePort等で作成した人は自環境のIPなどに別途置きかえる必要がある。
$ docker run --log-driver syslog --log-opt syslog-address=tcp://$(kubectl get svc -o jsonpath={.status.loadBalancer.ingress[0].ip} rsyslog -n rsyslog):514 alpine echo hello world
hello world
'24/9/2追記：
--log-driver syslogでエラーになる場合は--log-driver journaldに変更すると上手く行くかもしれない。
なお正常に接続できない場合はhello worldが返らないので、その際はリーチャビリティやPod、Serviceの状態を確認する。
ちなみにFinchだとsyslog転送はサポートしていないようで、正常に接続できなくてもhello worldが返るので注意（自分が少しはまった）。
正常に転送できた場合、以下のようにログが取得できる。
$ kubectl exec -it rsyslog -n rsyslog -- cat /var/log/remote.log
2023-01-09T16:10:31+00:00 192.168.2.1 2e8a45b6a298[1364]: hello world
Fluent Bitのインストール＆動作確認
TKG1.6のFluent Bitのページを見ながら試していく。
利用可能なFluent Bitのバージョンを確認する。
tanzu package available list fluent-bit.tanzu.vmware.com -A
今回は1.8.15+vmware.1-tkg.1が最新版だったため、こちらを利用して構築する。
次に設定ファイルfluent-bit-default-values.yamlを抽出する。
FB_VERSION="1.8.15+vmware.1-tkg.1"
tanzu package available get fluent-bit.tanzu.vmware.com/$FB_VERSION --generate-default-values-file
次に設定ファイルを変更するのだが、オフィシャルドキュメントの記載が不親切すぎるので、あまりドキュメントは当てにせずに書いていく。
修正後のfluent-bit-default-values.yamlは以下のようになった。
---
fluent_bit:
config:
service: |
[SERVICE]
Daemon Off
Flush 1
Log_Level info
Parsers_File parsers.conf
Health_Check On
inputs: |
[INPUT]
Name tail
Path /var/log/containers/*.log
DB /var/log/flb_kube.db
parser cri
Tag kube.*
Mem_Buf_Limit 5MB
Skip_Long_Lines On
parsers: |
[PARSER]
# http://rubular.com/r/tjUt3Awgg4
Name cri
Format regex
Regex ^(?<time>[^ ]+) (?<stream>stdout|stderr) (?<logtag>[^ ]*) (?<message>.*)$
Time_Key time
Time_Format %Y-%m-%dT%H:%M:%S.%L%z
filters: |
[FILTER]
Name kubernetes
Match kube.*
Kube_URL https://kubernetes.default.svc.cluster.local:443
Kube_CA_File /var/run/secrets/kubernetes.io/serviceaccount/ca.crt
Kube_Token_File /var/run/secrets/kubernetes.io/serviceaccount/token
Kube_Tag_Prefix kube.var.log.containers.
Merge_Log On
Merge_Log_Key log_processed
Keep_Log Off
K8S-Logging.Parser On
K8S-Logging.Exclude On
outputs: |
[OUTPUT]
Name syslog
Match *
Host 10.220.24.43
Port 514
Mode tcp
Syslog_Format rfc5424
Syslog_Hostname_key tkg_cluster
Syslog_Appname_key pod_name
Syslog_Procid_key container_name
Syslog_Message_key message
syslog_msgid_key msgid
Syslog_SD_key k8s
Syslog_SD_key labels
Syslog_SD_key annotations
namespace: tanzu-system-logging
詳細は割愛するが、Fluent BitではInput, Parser, Filter, Outputで入出力の流れを定義するので、その設定をFluent Bitのマニュアル等を見ながら設定していく。TKGのマニュアルを見ても書けないのであまり参考にしなくてよい。
よく分からない人はコピペして、[OUTPUT]のHostは自環境のsyslogのIPやホスト名に変更すれば動くはず。
なお、TKGでTanzu Packageを利用する際の全般的な注意点として、設定ファイルの先頭に---がないとエラーになることがあるので注意すること（今回も追記している）。
また、[SERVICE]にHTTP_Server Onを追記しないとreadiness probeに引っかかって動かなかったとの報告を頂いた。
同様の現象になった場合は、その設定を追記して試すことをオススメする。
修正後のfluent-bit-default-values.yamlを使ってFluent Bitパッケージのインストールを行う。
NAMESPACE="my-packages"
tanzu package install fluent-bit \
--package-name fluent-bit.tanzu.vmware.com \
--version $FB_VERSION \
--values-file fluent-bit-default-values.yaml \
--namespace $NAMESPACE --create-namespace
上手くいくと、インストール中に以下のようなメッセージがsyslogで確認出来る。
$ kubectl exec -it rsyslog -- tail -f /var/log/remote.log
：（省略）
2023-01-09T10:05:01.465345Z - - {"level":"warn","ts":"2023-01-09T10:05:01.465Z","caller":"etcdserver/util.go:166","msg":"apply request took too long","took":"183.897905ms","expected-duration":"100ms","prefix":"read-only range ","request":"key:\"/registry/pods/vmware-system-tmc/agentupdater-workload-27887645-g4ppg\" ","response":"range_response_count:1 size:2671"}
Fluent Bitがetcdのログを拾ってsyslogに転送している。これによりFluent Bitとsyslog間の転送の疎通もこれで確認できた。