この記事は、ラクス Advent Calendar 2024 シリーズ2の19日目の記事です。裏番組なので気楽にいきます。

いよいよ2024年も終わりが見えてきました。この記事では、今年をふりかえって、私の日々の開発業務をほんの少しだけ楽にしてくれた小さな改善たちを紹介したいと思います。2024年に新しく始めたものしばりで思い出そうとしたのですが、すでに全然思い出せないです…

logfmt: JSONログの整形

今年は、担当プロダクトのアプリログをJSON化して本番投入しました。今までは人間の読みやすさ重視だったのですが、メトリクスやログをGrafanaに一元化できるよう機械の扱いやすさ重視に変わりました。何気に本番環境のログをJSONにするのは初めてです。

…結果、人間としてはめちゃくちゃ読みづらくなりました。特に、複数行のスタックトレースが \n や \t で1行にまとめられてしまい、横スクロールが破綻するのでお手上げです。

{"datetime": "2024-12-17T15:37:04.548","message": "localhost:5432 への接続が拒絶されました。ホスト名とポート番号が正しいことと、postmaster がTCP/IP接続を受け付けていることを確認してください。","logger_name": "com.zaxxer.hikari.pool.HikariPool","thread_name": "pool-4-thread-2","level": "ERROR","stack_trace": "org.postgresql.util.PSQLException: localhost:5432 への接続が拒絶されました。ホスト名とポート番号が正しいことと、postmaster がTCP/IP接続を受け付けていることを確認してください。\n\tat org.postgresql.core.v3.ConnectionFactoryImpl.openConnectionImpl(ConnectionFactoryImpl.java:342)\n\tat org.postgresql.core.ConnectionFactory.openConnection(ConnectionFactory.java:54)\n\tat org.postgresql.jdbc.PgConnection.<init>(PgConnection.java:263)\n\tat org.postgresql.Driver.makeConnection(Driver.java:443)\n\tat org.postgresql.Driver.connect(Driver.java:297)\n\t...\n\tat java.base/java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1136)\n\tat java.base/java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:635)\n\tat java.base/java.lang.Thread.run(Thread.java:840)\nCaused by: java.net.ConnectException: Connection refused\n\t   ...\n\tat org.postgresql.core.v3.ConnectionFactoryImpl.tryConnect(ConnectionFactoryImpl.java:132)\n\tat org.postgresql.core.v3.ConnectionFactoryImpl.openConnectionImpl(ConnectionFactoryImpl.java:258)\n\t... 61 common frames omitted\n","trace_id": "a3e528e8b59f835967a3cf024de43885","version": "1.0.0"}

というわけで、こうです¹。

$ alias logfmt='jq . | sed "s/\\\\n/\\n/g; s/\\\\t/\\t/g"'

$ pbpaste | logfmt
{
  "datetime": "2024-12-17T15:37:04.548",
  "message": "localhost:5432 への接続が拒絶されました。ホスト名とポート番号が正しいことと、postmaster がTCP/IP接続を受け付けていることを確認してください。",
  "logger_name": "com.zaxxer.hikari.pool.HikariPool",
  "thread_name": "pool-4-thread-2",
  "level": "ERROR",
  "stack_trace": "org.postgresql.util.PSQLException: localhost:5432 への接続が拒絶されました。ホスト名とポート番号が正しいことと、postmaster がTCP/IP接続を受け付けていることを確認してください。
        at org.postgresql.core.v3.ConnectionFactoryImpl.openConnectionImpl(ConnectionFactoryImpl.java:342)
        at org.postgresql.core.ConnectionFactory.openConnection(ConnectionFactory.java:54)
        at org.postgresql.jdbc.PgConnection.<init>(PgConnection.java:263)
        at org.postgresql.Driver.makeConnection(Driver.java:443)
        at org.postgresql.Driver.connect(Driver.java:297)
        ...
        at java.base/java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1136)
        at java.base/java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:635)
        at java.base/java.lang.Thread.run(Thread.java:840)
Caused by: java.net.ConnectException: Connection refused
           ...
        at org.postgresql.core.v3.ConnectionFactoryImpl.tryConnect(ConnectionFactoryImpl.java:132)
        at org.postgresql.core.v3.ConnectionFactoryImpl.openConnectionImpl(ConnectionFactoryImpl.java:258)
        ... 61 common frames omitted
",
  "trace_id": "a3e528e8b59f835967a3cf024de43885",
  "version": "1.0.0"
}

多少くずれるけど十分過ぎます。実際には、GitHub Issueに貼ったり、チャットに貼ったりしてチームメンバーに共有することがほとんどなので、こうです²。

$ pbpaste | logfmt | pbcopy

gh-check: GitHubのあれやこれやのチェック

フロントエンドとバックエンドのリポジトリが分かれたり、運用や補助ツールのためのリポジトリが分かれたりと、開発が進んでいくとマイクロサービスでなくてもリポジトリが増えていきます。そうなってくると、GitHubの1つ1つのリポジトリをブラウザで見にいって、特定のラベルをもつIssueが増えていないかとか、ワークフローが失敗していないかとか、確認するのはいちいち面倒です。

というわけで、こうです。GitHub CLI を使って、シェルスクリプトで一括チェックします。

gh-check

#!/bin/bash

REPO_BACKEND=awesome-backend
REPO_FRONTEND=awesome-frontend
REPO_OPERATION=awesome-operation

echo "======================================================================"
echo "Closed Issue/PR without milestone"
echo "======================================================================"
for repo in "${REPO_BACKEND}"; do
    gh issue list --repo $repo --search "is:closed no:milestone";
    gh pr list --repo $repo --search "is:closed no:milestone";
done

echo
echo "======================================================================"
echo "Vulnerability Issue"
echo "======================================================================"
for repo in "${REPO_BACKEND}" "${REPO_FRONTEND}" "${REPO_OPERATION}"; do
    gh issue list --repo $repo --label "security"
done

echo
echo "======================================================================"
echo "Vulnerability scan actions"
echo "======================================================================"
for repo in "${REPO_BACKEND}" "${REPO_FRONTEND}" "${REPO_OPERATION}"; do
    echo $repo
    gh run list --repo $repo --workflow "Scan container image daily" --limit 1
done

結果はこんなイメージ。

$ gh-check
======================================================================
Closed Issue/PR without milestone
======================================================================

Showing 1 of 1 issue in awesome-backend that matches your search

ID     TITLE                           LABELS   UPDATED
#3644  bug: エラーメッセージに統一性が無い  discard  about 21 hours ago
no pull requests match your search in awesome-backend

======================================================================
Vulnerability Issue
======================================================================

Showing 2 of 2 issues in awesome-backend that match your search

ID     TITLE                  LABELS    UPDATED
#3616  awesome-backend:0.9.0  security  about 6 hours ago
#3598  awesome-backend:0.8.0  security  about 6 hours ago

Showing 1 of 1 issues in awesome-frontend that match your search

ID     TITLE                   LABELS    UPDATED
#3336  awesome-frontend:0.8.0  security  about 6 hours ago

no pull requests match your search in awesome-operation

======================================================================
Vulnerability scan actions
======================================================================
awesome-backend
STATUS  TITLE                       WORKFLOW                    BRANCH   EVENT     ID           ELAPSED  AGE
✓       Scan container image daily  Scan container image daily  develop  schedule  12382195765  1m28s    about 6 hours ago
awesome-frontend
STATUS  TITLE                       WORKFLOW                    BRANCH   EVENT     ID           ELAPSED  AGE
✓       Scan container image daily  Scan container image daily  develop  schedule  12382156609  1m20s    about 6 hours ago
awesome-operation
STATUS  TITLE                       WORKFLOW                    BRANCH  EVENT     ID           ELAPSED  AGE
✓       Scan container image daily  Scan container image daily  main    schedule  12382173232  1m4s     about 6 hours ago

本当はこれ自体をGitHub Actionsに組み込んで成否を自動判定させる方がよいと思いますが、複数リポジトリにアクセスさせるときの認証が面倒なので、いったん自分のトークンでローカル実行する簡易対応にとどめています。

copy-markdown-url: 完全に自分好みURLコピー

世の中にはURLをコピーするための数多のブラウザ拡張がありますが、タイトル文字列とURLをWebページのどこから抽出するか柔軟に選べるものはありません（嘘です、探してないです）。大抵は、HTMLのtitle要素から抽出すると思いますが、サイト名などの付属情報がいっぱい付いてしまい、チャットなどで連携するとノイズになりがちです。

そしてWebデータベースともなると、データ項目を自由に設定できるため、どこをタイトルとして抽出すべきかは個々のデータベースごとに変わります。Webデータベース側でいい感じに設定できるといいのですが、私が使っているものはできません。

というわけで、user.jsを使って力技で何とかします。

この手のスクリプトを書くときに、トリガーとなるボタンなり何なりをWebサイト上に埋め込むのが面倒だなといつも思っていたのですが、実はコンテキストメニューに追加できることを知りました。結構便利です。

copy-markdown-url.user.js

// ==UserScript==
// @name         Copy Markdown URL
// ...
// @match        *://*/*
// @run-at       context-menu
// @grant        GM_setClipboard
// ==/UserScript==
(function() {
    'use strict';

    // (URL, タイトル文字列) のペアを抽出
    function extractURL() {
        const url = window.location.href;
        const title = document.title;
        if (url.match(/https:\/\/github.com\/.+\/pull\/.+/)) {
            // GitHub Pull Request
            const match = title.match(/^(.+) by (.+) · Pull Request #(\d+) · (.+)\/(.+)$/);
            if (match) {
                return [ url, `${match[5]}#${match[3]}: ${match[1]}` ];
            }
        } else if (url.match(/^https:\/\/webdb.example.com\/.+/)) {
            // Webデータベース
            const mainDocument = parent.document.querySelector('iframe#main').contentDocument;
            const pageTitle = mainDocument.querySelector('.fw-pankuzu-box').innerText;
            const link = mainDocument.querySelector('#js-copy-page-url').getAttribute('data-url');
            if (pageTitle.includes("調査依頼")) {
                // このWebデータベースからハードコーディングで特定項目の情報を抽出
                const id = mainDocument.querySelectorAll('.table-box td')[0].innerText.trim();
                const summary = mainDocument.querySelectorAll('.table-box td')[8].innerText.trim();
                if (id && summary) {
                    return [ link, `調査依頼${id}: ${summary}` ];
                }
            } else if (pageTitle.includes(...)) {
                ...
            }
        } else if (...) {
            ...
        } else if (...) {
            ...
        }
        return [ url, title ];
    }
    // URLを抽出してMarkdown形式でクリップボードにコピー
    const [ url, title ] = extractURL();
    const text = `[${title}](${url})`
    GM_setClipboard(text, "text");
})();

私は気づきました。Webデータベースごとにこの分岐を足していくのはつらい、つらすぎる。これは完成しないと。

broken-ci: 不安定なCIのチャット通知

REST APIを開発するときに、「ワンパスはDBも含めた自動テストを書く」をチーム方針としています。テストコードを頑張って書くのはよいのですが、やはりDBを含めたテストにかかる時間が伸び続け、とうとうPRで全テストが通るのを待てなくなりました。

苦渋の決断として、PRではDBなしのテストコードだけを実行し、DBありのテストコードはマージ後に統合ブランチで実行することにしました。が、案の定マージ後にテストがコケます。しかも、CIエラーがマージ者にしか通知されないため、どうしても気付くのが遅れたり、「CIコケてるよ」連絡を個別にしたりと、いろいろ億劫でした。

というわけで、よくある話ですが、チャットに自動通知します。

今回面倒なのは、GitHubはインターネット側、チャットのMattermostはイントラネット側で稼働しているため、GitHub Actionsから普通には通知を送れないという点です。仕方がないので、テスト実行と通知するジョブを分離し、通知ジョブだけはイントラネット上の self-hosted runner を使って実行することで、疎通の問題を回避します。

.github/workflows/ci.yml

jobs:
...
  test:
    ...
  notify:
    runs-on: [ self-hosted, awesome-runner ]
    timeout-minutes: 1
    needs: [ test ]
    if: ${{ failure() && (github.ref_name == 'main' || startsWith(github.ref_name, 'develop')) }}
    steps:
      - name: "Notify to Mattermost"
        run: |
          url="${GITHUB_SERVER_URL}/${GITHUB_REPOSITORY}/actions/runs/${GITHUB_RUN_ID}"
          label="${GITHUB_REPOSITORY} > ${GITHUB_REF_NAME} > actions/runs/${GITHUB_RUN_ID}"
          msg="${{ github.event.head_commit.message }}"
          curl -s -i -k -X POST -H 'Content-Type: application/json' \
            -d "{\"channel\": \"awesome-channel\", \"username\": \"不安定なCI\", \"icon_emoji\": \":fire:\", \
                \"text\": \"@実装チーム CIが失敗しました (triggered by \`@${GITHUB_ACTOR}\`)  #broken-ci\n* [${label}](${url})\n\`\`\`\n${msg}\n\`\`\`\"}" \
            ${{ secrets.MATTERMOST_WEBHOOK_URL }}

まとめ

2024年に取り組んだちょっとした改善を紹介しました。日々の開発で不便に思ったことをどう楽にできるか考えているときほど楽しい瞬間はないですよね。来年もやっていき。

\ を二重にエスケープしなければいけない関係で、ワケがわからない感じなのは認めます。 ↩
pbcopy, pbpaste はMacのCLIでクリップボードを操作できる最高のコマンドです。 ↩