GAEのログをlatencyを条件にしてBigQueryで検索する

色々考慮することがある

• FLATTEN
• FLOAT
• REGEXP_REPLACE
• module

Query

SELECT * FROM 
FLATTEN(
  FLATTEN(
    gaelog_from_bqstreaming.appengine_googleapis_com_request_log_20170318
    , metadata.labels.value
  )
  , protoPayload.line.time
)
WHERE FLOAT(REGEXP_REPLACE(protoPayload.latency, r's', '')) >= 60.0
AND protoPayload.moduleId is null

説明

• まずnestedなcolumnをflattenにする
• latencyのclumnがstringで末尾にご丁寧にsがついてるので取り除く
• stringをfloatに変換
• default moduleはnullなのでnullを条件にする

いつか役立つだろう

たぶん