プロジェクトの概要

本プロジェクトは、Azure Functions（Linux Consumptionプラン）上でPlaywrightと@sparticuz/chromiumを活用し、とあるWebサイトの自動取得・差分検出・CSV保存を行うバッチを構築したものです。HTTPトリガーで実行し、サーバーレスによる自動化と省力化を目指しました。

システム構成と技術選定

Azure Functions（Node.js 20.x, TypeScript, Linux Consumption）
Playwright＋@sparticuz/chromiumによるヘッドレスブラウザ自動化
データやデバッグファイルはAzure Blob Storageに保存

クラウド上での自動化を実現するため、Node.jsとTypeScriptをベースに、軽量なChromium環境を@sparticuz/chromiumで構築。取得データやデバッグ用ファイルはすべてBlob Storageに集約し、運用の効率化を図りました。

実装内容と工夫

TypeScript、Playwright、Chromium、Azure Functionsのセットアップ
HTTPトリガーFunction（HTTPTrigger01）の実装とデプロイ
Playwright/PuppeteerのwaitForSelector挙動差やUser-Agent設定、タイムアウト対応
取得データの保存先をAzure Blob Storageに変更
デバッグ用HTML/PNG/JSONファイルのアップロードと外部確認対応
APIデータ取得・保存処理のリファクタリング
ドキュメント・CSVデータの更新
npm install & build、Azure Functionsへのデプロイ

とくに、PlaywrightのwaitForSelectorの挙動やUser-Agentの調整、タイムアウト対策など、クラウド環境特有の課題に細かく対応しました。デバッグファイルをBlob Storageに保存することで、外部からも動作状況を確認できるようにしています。

得られた成果

Azure Functions上でPlaywright/Chromiumによる自動化バッチの構築・運用に成功
HTTPリクエストで最新の店舗情報や差分を即時取得可能
取得データのCSV自動保存と過去データ比較が容易に
デバッグファイルをBlob Storage経由で外部から確認可能

サーバーレス環境での自動化により、運用コストの削減と作業効率の向上を実現しました。

直面した課題とその対応

最大の課題は、Azure FunctionsのIPアドレスがAPI側で許可されておらず、API経由でのデータ取得ができなかった点です（現状プロジェクトは凍結中）。

問題解決までのプロセス

エンドポイントの動作確認
　Azure Functions（HTTPTrigger01）をデプロイ後、HTTPリクエストで動作確認。ローカルでは正常に取得できたが、Azure上では失敗。
エラー内容の調査
　実行ログやレスポンス内容を確認し、タイムアウトやネットワークエラー（ECONNREFUSED/ECONNRESET等）を特定。PlaywrightのデバッグファイルをBlob Storageに保存し、外部から内容を確認。
コード・設定の再点検
　User-Agentやタイムアウト、APIエンドポイントURL、リクエストヘッダー等を再確認。ローカルとAzure Functionsの環境差異も洗い出し。
ネットワーク経路の仮説検証
　Azure Functionsから外部APIへのアクセス制限を想定し、IPアドレス帯やAPI側のアクセス制御（IPホワイトリスト等）を調査。
API提供元への問い合わせ・検証
　Azure Functions App Service上のSSHでcurlコマンドを実行し、APIエンドポイントに直接アクセス。API側でAzure FunctionsのIPアドレスが許可されていないことが判明。
結論と今後の対応
　クラウド上（Azure Functions）からのAPIアクセスがブロックされているため、現状は自動取得不可と判断。API側でIP許可が得られれば、クラウド上での完全自動化が実現可能です。

今後の展望

API側でAzure FunctionsのIP許可が得られれば、クラウド上での完全自動化が実現できます。今後もサーバーレス技術とヘッドレスブラウザの活用による業務効率化に挑戦していきたいと考えています。