More than 3 years have passed since last update.

【Golang】GCP用のフォーマットでログ出力する

Last updated at 2020-07-04Posted at 2020-07-04

概要

GCPにはログ管理用プロダクトCloud Logging(旧Stackdriver Logging)があります。
GKEやCloud Runを使う場合、標準出力で出したログを自動で収集してくれてとても便利です。

これだけでも全然嬉しいのですが、GCPの定義しているフォーマットで構造化したログを出力すればもう少しいい感じに出来るので試してみます。

GCPのログについて

https://cloud.google.com/logging/docs/agent/configuration#special-fields
GCPのfluentdではこの「構造化ペイロード」のJSONフォーマットで出力すれば、
Cloud Loggingのログ構造であるLogEntryに対応付けてくれます。

LogEntry

https://cloud.google.com/logging/docs/reference/v2/rest/v2/LogEntry
今回は以下3点のfieldを意識します。

severity
- ログレベル
- INFOやERROR、FATALなどが定義してある
  - ログレベル詳細
- Cloud Logging上ではUIでログレベルによる絞り込みが容易に可能
timestamp
- おそらくtimestampを定義していない場合はfluentdがログを検出したタイミングやCloud LoggingにLogEntryが登録されたタイミングのログがtimestampに登録されるはず
- timestampを出力に含めておけばログ出力したタイミングを残せる
jsonPayload
- ログ出力したいメッセージ
- 前途の構造化ペイロードのmessageに対応付けられる

HttpRequest

https://cloud.google.com/logging/docs/reference/v2/rest/v2/LogEntry#httprequest
HTTPのリクエストはこの構造で出力するとCloud Loggingでかなりいい感じに表示してくれます。

(背景色が灰色なログ)

Error Reporting

https://cloud.google.com/error-reporting
GCPではリアルタイムにエラーを管理するのにError Reportingの使用を推奨しています。
エラー発生時の通知はもちろん、エラー発生頻度や発生したコード位置なども表示してくれます。

このError Reportingへのエラー報告はクライアントライブラリを使う方法がありますが、
特定フォーマットのログを標準出力しCloud Logging経由で報告する方法もあります。
https://cloud.google.com/error-reporting/docs/formatting-error-messages

特定フォーマットは以下のReportedErrorEventになります。
https://cloud.google.com/error-reporting/reference/rest/v1beta1/projects.events/report?hl=ja#ReportedErrorEvent

ただし、埋めるところが多いので...
@typefieldでtype.googleapis.com/google.devtools.clouderrorreporting.v1beta1.ReportedErrorEventをvalueに持ったJSONフォーマットのログを出力することでもOKです。
https://cloud.google.com/error-reporting/docs/formatting-error-messages#@type