はじめに
普段は勤め先の総務部門で自社サイトの管理を担当している文系事務職です。
「自社サイトのオフラインコピーを作成して閉域網の社内イントラで閲覧できるようにする」という、検索してもあまり出てこないような社内課題に取り組んだ記録です。同じ課題に苦しむどなたかの参考になれば幸いです。
なお筆者はAP、SCに合格している程度の知識で、情シスとしての実務経験はありません。運用の詰めが甘い点等につきましてはご容赦ください。
1. 背景:わが社のウェブサイト事情
わが社のサイトは長年、ホームページビルダーで静的HTMLや画像ファイルを総務の社員が手作業で作成し、FTP転送するという古典的な手法で更新していました。
お堅い業種であり、セキュリティ上の理由から、社員が普段使いするPCは完全閉域網でインターネットから物理的に隔絶されています(VPN接続等の裏口もありません)。グループウェアや業務電算システムも自社内にサーバーを立てて閉域網で運用する形です。
ウェブサイト更新用の端末を含め、インターネットにつながるPCも別系統で配備されていますが、そちらは数人に1台の共用端末です。
とはいえ、自社サイトをご覧になったお客様からの電話等による問い合わせに対応する都合上、社員も自席からいつでも自社サイトを閲覧できる必要があります。そこでこれまでは、社内共有フォルダにもホームページビルダーで作成した静的HTMLや画像ファイルを置き、「ホームページ写し」として社員の閲覧に供する形にしていました。
つまり、これまで「社内向けコピー」は、公開用サイトのコンテンツ作成の副産物として自然に手に入る状態にありました。
2. 転機:CMS導入検討で「写し」が作れなくなる
総務部門には基本的に文系事務職しか配属されません。配属ガチャの中で綱渡り的に続けてきたホームページビルダーでの更新管理も危うくなってきたため、CMS導入を検討することにしました。
しかしCMSを導入すると、ページのHTMLはCMS側で生成される形になります。これは、これまでのように「ホームページビルダーで作成した静的HTMLを社内共有フォルダに置く」という運用ができなくなることを意味します。
現代において、「インターネットにアクセスできる端末は数人に1台で共用」というのも珍しいのではないかと思いますが、かといって「イントラで社員がホームページを見られなくなるならCMSは導入できない」というのもナンセンスです。
そこで、CMSが生成したサイトから改めてオフラインコピーを作り直す方向で代替案を検討することにしました。
3. 検討した選択肢
まず前提として、必要だったのは以下です。
- 「サイト内の特定の1ページ」ではなく、サイト全体を取得したい
- ホームページをご覧になり問い合わせをしてくるお客様対応のため、社員がウェブブラウザでハイパーリンクをたどりながら閲覧できる状態にしたい
- 総務の文系事務職のITリテラシーの高低にかかわらず、引き継ぎ可能な手順で回せること(担当者が異動したら崩壊、は論外)
この前提で検討した選択肢を並べます。
| 選択肢 | 検討結果 |
|---|---|
| HTTrack(GUIのサイトコピーツール) | HTMLはダウンロードできたものの、スタイルシートが正しく当たらず表示が崩れた状態になり断念 |
wget --mirror |
採用。CUIだが再帰取得とリンク変換を細かく制御できる |
| CMSの静的HTML書き出し機能 | 今回採用したCMSには当該機能なし。RFIの結果、当該機能を有するCMSでは他のより重要な機能要件を満たさず |
| 全ページPDF化 | リンクをたどる閲覧体験が損なわれる&約400ページのサイトには無理がありすぎるため不採用 |
HTTrackは設定次第で改善できた可能性もありますが、コマンドとして手順書に残せるwgetのほうが引き継ぎに向いていると判断した面もあります。
wgetをどう用意したか
Windows の PowerShell には wget という名前が存在しますが、これは Invoke-WebRequest のエイリアスであって”本物”の GNU wget ではありません。そのため --mirror や --convert-links といったオプションは使えません(コマンドプロンプトにはそもそもwgetがありません)。
今回はインターネット接続可能・管理者権限で各種アプリをインストール可能な総務部門の「ホームページ更新用端末」にWSLをインストールして使うことにしました。
4. 環境
| 項目 | 内容 |
|---|---|
| 作業端末 | ホームページ更新用端末(インターネット接続あり/管理者権限で各種アプリのインストールが可能) |
| OS | Windows 11 |
| 実行環境 | WSL2, Python3(後述) |
| 対象サイト規模 | HTML 約400ページ / 取得後の総容量 約2GB |
閉域網の社員PCではソフトのインストールができないため、ホームページ写しの作成作業はすべてこの「ホームページ更新用端末」で行っています。この端末が自由に使えたことが、今回の取り組みが成立した最大の前提条件です。
5. wgetコマンド
Gemini先輩との議論を経て、次のコマンドで自社サイトのオフラインコピーを取得することにしました(自社サイトのURLは https://www.example.jp/ に置き換えています)。
wget --no-check-certificate -e robots=off --mirror --page-requisites --convert-links --adjust-extension \
--no-parent --wait=1.0 --random-wait \
https://www.example.jp/
各オプションの意図は以下のとおりです。
| オプション | 意図 |
|---|---|
--mirror |
サイト全体を再帰的に取得 |
--page-requisites |
CSS・画像・JSなど、ページ表示に必要なファイルも取得 |
--convert-links |
ダウンロード後、リンクをローカル閲覧用に書き換え |
--adjust-extension |
拡張子のないURLに .html を付与し、ブラウザで直接開けるようにする |
--no-parent |
起点URLより上位の階層をたどらない |
--wait=1.0 --random-wait |
自社サイトへの負荷を抑えるための待機 |
-e robots=off |
対象は自社サイトであり、自社の判断で取得しているため無効化 |
--no-check-certificate |
原因未解明ですが、外すとエラーとなりダウンロードができないため止む無く追加 |
6. つまずきポイント:絶対URLが残り、ページが表示されない
社内共有フォルダにwgetしたファイル一式を置いてHTMLファイルを開いてみたところ、画面は真っ白、タイトルバーが延々とクルクル表示となり、正しく表示されませんでした。
F12開発者ツールを見ると、Web上のファイルを読み込もうとして読み込めず、処理が止まっていたようです。HTMLファイルを確認すると、https:// から始まるリンクが多数残っていました。自社ドメイン宛のものについては、対象ファイル自体はwgetでダウンロードされているので、相対パスに置き換えれば読み込めそうでした。
--convert-links を指定しているのに、なぜ絶対URLが残るのかについて調べたところ、これはオプションの仕様上の限界のようでした。
- どうやら
--convert-linksは HTML の属性値(href/srcなど)を対象としており、JavaScript や CSS の中に文字列として書かれたURLは書き換えない - ダウンロード対象にならなかったリソース(=自社ドメイン外のファイル)へのリンクは、絶対URLのまま残る
wget単体では最後の一歩が埋まらず、これを埋めるための後処理が必要なようでした。
7. つまずきの解決:リンク書き換えスクリプト
Gemini先輩に「こういうわけだからHTMLファイル内のリンク先を一括で変換するスクリプトを作ってほしい」と依頼し、下記のコードを作成してもらいました。
Pythonにしたのは自分が一番なじみのある言語だったからで、それ以上の理由はありません。
import os
import re
import sys
# wget はドメイン名と同名のディレクトリに保存するため、
# ここに挙げたドメイン宛の絶対URLを「そのファイルから見た相対パス」に置き換える。
# 複数ドメインで運用している場合は追記する。
TARGET_DOMAINS = [
"www.example.jp",
]
# 書き換え対象の拡張子
TARGET_EXTENSIONS = {".html", ".htm", ".js", ".css"}
# 外部スクリプトの読み込みタグ(閉域網からは到達できないため無効化する)
EXTERNAL_SCRIPT_PATTERN = re.compile(
r"""<script[^>]+src=["']https?://[^"']+["'][^>]*>\s*</script>""",
re.IGNORECASE,
)
DISABLED_MARKER = "<!-- offline copy: 外部スクリプトの読み込みを無効化 -->"
def is_internal(text):
"""自社ドメイン宛の記述かどうか"""
return any(f"//{domain}/" in text for domain in TARGET_DOMAINS)
def disable_external_scripts(content):
"""自社ドメイン以外を読み込む script タグをコメントに置き換える"""
def _replace(match):
tag = match.group(0)
return tag if is_internal(tag) else DISABLED_MARKER
return EXTERNAL_SCRIPT_PATTERN.sub(_replace, content)
def absolute_to_relative(content, rel_root):
"""自社ドメイン宛の絶対URL・プロトコル相対URLを相対パスに変換する"""
for domain in TARGET_DOMAINS:
# https:// → http:// → // の順に処理する(順序を変えると二重置換になる)
for prefix in (f"https://{domain}/", f"http://{domain}/", f"//{domain}/"):
content = content.replace(prefix, f"{rel_root}{domain}/")
return content
def root_relative_to_relative(content, rel_root):
"""ルート相対パス(="/...")を相対パスに変換する"""
return content.replace('="/', f'="{rel_root}{TARGET_DOMAINS[0]}/')
def fix_paths_for_production(base_dir="."):
print("\nオフライン閲覧用のパス修正を開始します...")
for root, _, files in os.walk(base_dir):
for file in files:
if os.path.splitext(file)[1].lower() not in TARGET_EXTENSIONS:
continue
file_path = os.path.join(root, file)
# このファイルから見た、コピー全体のルートまでの相対パス
rel_depth = os.path.relpath(base_dir, root)
rel_root = "./" if rel_depth == "." else rel_depth.replace("\\", "/") + "/"
try:
with open(file_path, "r", encoding="utf-8", errors="ignore") as f:
original = f.read()
# 順序が重要:外部参照を無効化してから、自社ドメインのURLを相対化する
content = disable_external_scripts(original)
content = absolute_to_relative(content, rel_root)
content = root_relative_to_relative(content, rel_root)
if content != original:
with open(file_path, "w", encoding="utf-8", errors="ignore") as f:
f.write(content)
print(f"修正完了: {file_path}")
except Exception as e:
print(f"エラー ({file_path}): {e}")
if __name__ == "__main__":
print("=" * 50)
print(" ウェブサイト オフライン閲覧用修正ツール")
print("=" * 50)
print("※ このスクリプトは対象ファイルを直接上書きします。")
print("※ wgetで取得した直後のコピーに対して、1回だけ実行してください。")
answer = input("処理を実行してもよろしいですか? (yキー → Enter で実行 / それ以外 → Enterで中止): ")
if answer.lower() == "y":
fix_paths_for_production()
print("\n" + "-" * 50)
input("処理が完了しました。終了するにはEnterキーを押してください...")
else:
print("\n処理を中止しました。")
input("終了するにはEnterキーを押してください...")
sys.exit()
やっていることは3つです。
-
外部ドメインを読み込む
<script>タグをコメントに置き換える — 残しておくと閉域網では読み込み待ちが発生し、ページの処理が止まってしまうため - 自社ドメイン宛の絶対URL(
https://www.example.jp/)・プロトコル相対URL(//www.example.jp/)を、そのファイルから見た相対パスに置換 - ルート相対パス(
="/...")を、www.example.jp/配下への相対パスに置換
wget後にこのスクリプトを実行したところ、社内共有フォルダに置いた※ページは**「ほぼ」正常に表示できる**ようになりました。
※ホームページ更新用端末から閉域網への持ち込み手順は社内ルールに関わるため割愛します。
このスクリプトの注意点(同じことをやる方向けに)
そのまま流用される方がいるかもしれないので、弱点を正直に書いておきます。
- 上書き(破壊的)で、バックアップを取りません。 前提として「wgetで取り直した新品のコピーに対して1回だけ実行する」運用です。同じディレクトリで2回実行した場合の挙動は保証していません
-
errors="ignore"を指定しているため、UTF-8として読めない文字は黙って捨てられます。全ページUTF-8であることが前提です - 正規表現でHTMLを扱っているため、タグの書き方が想定と違えばマッチしません。 自社サイトの実際の出力に合わせた実装です
- 外部スクリプト以外の外部参照は無効化していません。 これらは読み込みに失敗しても表示が止まらなかったため放置していますが、環境によっては待ち時間が発生します
8. 残った課題
JavaScriptで動的生成される部分が再現できない
自社サイト内の「新着情報一覧」等の部分は、オフラインコピーでは何も表示されませんでした。どうやらJavaScriptで動的に生成している箇所のようであり、このような箇所は静的ファイルのコピーでは再現できないためです。
現状はここを割り切っています。このあたりは今後の課題です。
この方法が通用するサイト/通用しないサイト
参考までに、別のサイトでも同じ手法を試してみたところ、オフラインコピーでは表示が崩れてしまいました。
わが社のサイトでうまくいったのは、以下の条件が揃っていたためだと考えています。
- サーバーサイドで完結した静的寄りの構成で、JavaScriptへの依存が限定的
- 外部ドメインから読み込むリソースが少なく、無効化しても表示に影響しなかった
9 まとめ
- 完全閉域網の環境でCMSを導入しても、
wget --mirror+ 後処理スクリプトで「ホームページ写し」の運用は維持できました - ただし
--convert-linksだけではリンクが直りきらないため、JS/CSS内の絶対URLを書き換える後処理が事実上必須でした - 成立するかはサイトの作りに強く依存します。 「うちでもできる」と即断せず、小さく試してから判断してください
情シス経験のない文系事務職の試行錯誤ですので、もっと素直な方法があるかもしれません。