0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

sitemap の lastmod をデプロイ日で埋めるのをやめて、git の履歴からページ・言語ごとに出すようにした

0
Posted at

はじめに

個人で運営している Web サービスの sitemap.xml を見直したところ、1,099 URL のうち 1,047 URL の <lastmod> が「最後にデプロイした日」になっていました。1 日に何度かデプロイすると、そのたびにほぼ全ページが「今日更新された」と主張することになります。

Google のドキュメントには、lastmod は「一貫して正確だと確認できる場合に」使う、と書かれています。毎回全部が今日の日付になる sitemap は、その条件を満たしていません。

そこで、各ページの中身が最後に変わった日を、git の履歴からページ・言語ごとに計算するようにしました。この記事はその方法と、やってみて気づいた落とし穴のまとめです。

環境は TanStack Start(Vite)+ Cloudflare Workers、12 言語です。考え方自体は Vite を使う他のフレームワークでも同じです。

なぜビルド時に計算するのか

Cloudflare Workers の実行環境には git がありません。なので sitemap を返すタイミングでは履歴を読めません。

ビルド時に git から日付を計算し、Vite の define で JSON としてバンドルに埋め込む、という形にしました。

1. ファイルごとの最終コミット日時をまとめて取る

ファイルごとに git log -1 を叩くと、ファイル数が多いと遅くなります。--name-only を付けた git log を 1 回だけ実行して、新しいコミットから順に「まだ見ていないファイル」の時刻を記録していきます。

// scripts/sitemap-lastmod.mjs(簡略版)
import { execFileSync } from 'node:child_process';

function git(args) {
  return execFileSync('git', args, {
    encoding: 'utf8',
    maxBuffer: 256 * 1024 * 1024,
    stdio: ['ignore', 'pipe', 'ignore'],
  });
}

/** ファイルパス → 最終コミット時刻(epoch 秒) */
export function fileTimes(paths) {
  const out = new Map();
  let time = null;
  const log = git(['log', '--format=@%ct', '--name-only', '--', ...paths]);
  for (const line of log.split('\n')) {
    if (line.startsWith('@')) time = Number(line.slice(1));
    else if (line && time !== null && !out.has(line)) out.set(line, time);
  }
  return out;
}

/** 未コミットの変更があるファイル(これはビルド日扱いにする) */
export function dirtyFiles() {
  const out = new Set();
  const status = git(['status', '--porcelain=v1', '-z', '--untracked-files=all']);
  for (const entry of status.split('\0')) {
    if (entry.length > 3) out.add(entry.slice(3));
  }
  return out;
}

git log が出すパスはリポジトリのルートからの相対パスなので、ルートで実行します。

2. ページごとに「そのページの中身」のファイルを集める

ここが一番悩んだところです。ページの中身を決めているのは、ルートファイル 1 つではありません。

  • ルートファイル(例: src/routes/pricing.tsx)
  • そこから import しているコンポーネントや設定ファイル
  • 翻訳ファイルのうち、そのページが使うキー
  • ページ専用の JSON や MDX

最初は「ルートファイルから import をたどって、届いたファイル全部」にしました。すると、ヘッダーやフッターなど全ページ共通のファイルを 1 行直しただけで、全ページの日付がまた今日になってしまいます。最初の問題に逆戻りです。

そこで、import されているページ数が多いファイルは「レイアウト」とみなして外すことにしました。

/** 3 ページより多くから使われているファイルは、そのページの中身ではない */
const PAGE_FAN_IN_LIMIT = 3;

export function keepPageSpecific(filesByPage) {
  const count = new Map();
  for (const files of filesByPage.values()) {
    for (const f of files) count.set(f, (count.get(f) ?? 0) + 1);
  }
  const kept = new Map();
  for (const [page, files] of filesByPage) {
    kept.set(page, files.filter((f) => count.get(f) <= PAGE_FAN_IN_LIMIT));
  }
  return kept;
}

閾値 3 は、「設定を 1 つ共有している 2 ページ」は残し、「40 ページで使うテンプレート」は落とす、というくらいの値です。

例外が 1 つあります。トップページや一覧ページは、全ページのカードを import しています。素直に数えると、各ページ専用のファイルが「多くのページで共有されている」ように見えてしまいます。なので、一覧系のページは別に数えるようにしました。

import のたどり方は、正規表現で import ... from '...' と import('...') を拾い、@/ などのエイリアスを解決するだけの簡単なものです。import type はビルドで消えるので数えません。

3. 言語ごとに分ける(翻訳キー単位の git blame)

12 言語あるので、ドイツ語の文言だけ直したのに日本語ページの日付まで変わるのは避けたいところです。

翻訳はフラットな JSON(messages/ja.json など、1 行 1 キー)なので、git blame --porcelain で行ごとのコミット時刻を取り、それをキーに対応させました。ページが使うキーの中で一番新しい時刻が、その言語でのページの日付になります。

de.json の "pricing.title" を修正
  → /de/pricing の lastmod だけ今日になる
  → /ja/pricing はそのまま

4. ページの日付を決めて、ビルドに埋め込む

const toDay = (sec) => new Date(sec * 1000).toISOString().slice(0, 10);

export function pageLastmod(filesByPage, buildDate) {
  try {
    const all = [...new Set([...filesByPage.values()].flat())];
    const times = fileTimes(all);
    const dirty = dirtyFiles();
    const result = {};
    for (const [page, files] of filesByPage) {
      if (files.some((f) => dirty.has(f))) {
        result[page] = buildDate;
        continue;
      }
      const newest = Math.max(0, ...files.map((f) => times.get(f) ?? 0));
      result[page] = newest ? toDay(newest) : buildDate;
    }
    return result;
  } catch {
    return {}; // git が使えない環境では全ページ従来どおりビルド日
  }
}
// vite.config.ts
const BUILD_DATE = new Date().toISOString().slice(0, 10);

export default defineConfig({
  define: {
    __SITE_BUILD_DATE__: JSON.stringify(BUILD_DATE),
    // dev サーバーでは計算しない(sitemap をインデックスされるのは本番だけ)
    __SITE_PAGE_LASTMOD__: JSON.stringify(
      process.argv.includes('build') ? pageLastmod(FILES_BY_PAGE, BUILD_DATE) : {}
    ),
  },
});

sitemap を返すルートでは、埋め込まれた値を引くだけです。

declare const __SITE_BUILD_DATE__: string;
declare const __SITE_PAGE_LASTMOD__: Record<string, string>;

const lastmod = __SITE_PAGE_LASTMOD__[path] ?? __SITE_BUILD_DATE__;

ビルド日は「デプロイの間は固定」の値です。リクエスト時刻を使うと、sitemap を取得するたびに日付が変わってしまうので使いません。

落とし穴

CI の shallow clone

GitHub Actions の actions/checkout は、デフォルトで fetch-depth: 1 です。履歴が最新の 1 コミットしかないので、全ファイルが同じ日付になります。CI でビルドするなら fetch-depth: 0 が必要です(私はローカルからデプロイしているので、この問題は起きていません)。

コードだけの変更でも日付が進む

ページ専用ファイルの型を直しただけ、整形しただけ、という変更でも日付は今日になります。実際、ツールページ約 30 ページのリファクタリングで、それらの日付が一斉に進みました。「ファイルが変わった ≠ 表示内容が変わった」なので、ここは割り切りです。

逆に、共有ファイルの変更は拾えない

4 ページ以上で共有しているファイルに、あるページの価格が書いてあった場合、その価格を変えてもどのページの日付も進みません。ページ固有の文言は、ページ固有のファイルに置くのが安全です。

新しいページの登録漏れ

ページ専用の JSON を置くディレクトリは、ページとの対応表に登録する方式にしています。登録を忘れると、文言を直しても日付が進みません。対応表にないディレクトリがあるとテストが落ちるようにしました。

結果

  • 1,099 URL のうち 1,047 URL がデプロイ日、という状態はなくなりました。各 URL が、その言語での最終更新日を持っています。
  • ビルド時間の増加は数秒程度です(git log 1 回と、翻訳ファイルごとの git blame)。
  • インデックスへの効果は、まだ測っている途中です。lastmod を正しくしたからといって、すぐにクロールされるわけではありません。新しいドメインでは「検出 - インデックス未登録」が多いのは被リンクや評価の問題で、こちらは別に取り組んでいます。

おわりに

コードは、写真 1 枚から SNS のトレンド動画を作る個人開発のサービス aiMakeVideo で使っているものを簡略化したものです。

「ページの中身」をどう定義するかはサイトによって違うと思います。他の方法で lastmod を管理している方がいたら、コメントで教えてもらえると嬉しいです。

参考

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?