0
1

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

@enaporp_(エナポープ)

AI時代の最強スクレイピングツール、Firecrawlを導入してみた

0
Posted at

Firecrawlとは

Firecrawlは、Webサイトの情報を取得するためのスクレイピングツールです。
ただ、ただのスクレイパーではなく、検索 JS対応 ブラウザ操作 構造化抽出 までまとめて扱えるのが特徴です。スクレイピングって結局いつも道具が増えるという問題を減らしやすく、特に「AIに読ませる前提」でWebデータを扱いたいときに相性がいいです。

2026年3月13日時点で、公式サイトでは「Turn websites into LLM-ready data」を前面に、つまりWebサイトの情報をAIがそのまま扱いやすいデータに変換できることをアピールしていて、GitHubのも約9.1万 stars。Redditでも「Firecrawl is great」という前提で他の候補を比べるスレッドが立っていて、「とりあえず候補に入る道具」まではもう来ている印象です。

この記事では、まず「Firecrawlって何ができるの？」をざっくり整理して、そのあとで公式サイトどおりに導入する手順と、実際に触って見えた強みをまとめます。

Firecrawlが強いのは「ただのスクレイパー」で終わっていないから

Firecrawlを雑にひとことで言うと、AI時代向けのWebデータ取得基盤 です。
公式ドキュメントの説明をまとめると、強みはこのへんに集約されます。

つらかったこと Firecrawlだとどうなるか
HTMLは取れたけど、ナビやフッターが邪魔 MarkdownやJSONなど、LLMでそのまま使いやすい形に寄せやすい
JSで描画されるサイトが面倒 JavaScriptレンダリング込みで取れる
サイトごとに対策が違ってしんどい proxy、anti-bot、dynamic content対応をまとめて吸収してくれる
検索結果だけ見ても本文が足りない search で検索して、そのまま結果本文まで取れる
クリックしないと出ない情報がある Browser Sandboxでクリック、入力、認証、スクレイプまで進められる
AIツールにWeb取得をつなぐのがだるい MCP Server と Skill + CLI の導線が最初からある

ここが大事で、今までは

  • 検索は別API
  • スクレイピングは別ライブラリ
  • 動的サイトはPlaywright
  • 抽出後の整形は自前

みたいに分かれがちでした。Firecrawlはその分断をかなり減らせます。

実務だと、これだけで「作るもの」より「つなぐもの」の比率が下がるのがありがたいです。

「最強」と言い切るには雑さもあるんですが、少なくとも「AIに食わせる前提でWebデータを取る道具」としては、かなり上位に入ると思います。

Firecrawlを導入して良さそうだと感じたポイント

1. 検索して、そのまま本文まで回収できる

これ、地味にかなり効きます。
普通のWeb検索APIだとタイトルとスニペット止まりになりがちですが、Firecrawlは Search 機能で検索した結果に対して本文回収まで寄せられます。

要するに、

  • 関連ページを見つける
  • 開いて本文を取る
  • LLM向けに整える

を分けて考えなくてよくなります。

RAG用の情報収集や競合調査、記事リサーチで「検索したあと結局もう一段処理がいる」問題がかなり減ります。
AI時代のスクレイピングって、もう「HTMLを取れたら終わり」じゃないので、ここはかなり重要です。

2. 「ページはあるけど素直に取れない」をまとめて処理しやすい

公式のQuickstartでも、Firecrawlの価値として proxies anti-bot JavaScript rendering dynamic content をまとめて面倒見る点が強調されています。

このへん、スクレイピングで一番時間を食うところです。
データ取得そのものより、「なぜこのサイトだけ崩れるのか」を追う時間の方が長いことが普通にあります。

Firecrawlはそこをサービス側で吸収してくれるので、

  • SPA
  • JSレンダリング前提のページ
  • ページごとに構造が微妙に違うサイト

みたいな相手でも、まず試す一手としてかなり強いです。

3. クリックや入力が必要なページまで扱える

Firecrawlは Browser Sandbox も持っています。
これがあると、単純なスクレイピングでは取れないページでも、

  • ボタンを押す
  • フォームを埋める
  • ログイン後の画面をたどる
  • フィルタを切り替える

まで含めて処理できます。

しかも公式ドキュメントでは「ローカルのChromiumインストール不要」「サーバー側でPlaywright実行」と明記されています。
各環境でブラウザ依存にキレる会を開かなくていいのは、かなり実務的です。

4. AIエージェントとの接続が早い(簡単すぎる)

Firecrawlは単にAPIを叩けるだけでなく、

  • MCP Server
  • Skill + CLI

の導線がちゃんとあります。

公式Quickstartでも、AIエージェントから使うなら Skill + CLI を最速ルートとして案内しています。
つまり「スクレイピング基盤を持っている」だけではなく、「Claude / Codex / Cursor みたいな道具にすぐつなげる」まで含めて設計されている、ということです。

ここはかなり大きいです。
最近の実務だと、Webデータは人間が直接読むより、まずエージェントに渡すことの方が増えています。

この「AIエージェント前提で導入しやすい」感じが、FirecrawlをただのスクレイピングAPIより一段上に見せています。

実際に導入しよう！

1. APIキーを取る

まずは公式サイトでAPIキーを発行します。

  • API keys: https://www.firecrawl.dev/app/api-keys

2. AIエージェントで使うなら Skill + CLI を入れる

Quickstartで案内されているコマンドはこれです。

npx -y firecrawl-cli@latest init --all --browser

これでFirecrawlのSkillとCLIをまとめて入れられます。
導入後は、使っているエージェントを再起動します。

「CLIだけでいい」場合は以下です。

npm install -g firecrawl-cli

3. ログイン

以下のどの方法でもokです。fc-YOUR-API-KEYには先ほど取得したAPIキーを入れましょう。

# Interactive login (opens browser or prompts for API key)
firecrawl login

# Login with browser authentication (recommended for agents)
firecrawl login --browser

# Login with API key directly
firecrawl login --api-key fc-YOUR-API-KEY

# Or set via environment variable
export FIRECRAWL_API_KEY=fc-YOUR-API-KEY

設定後、認証状態はこれで確認できます。

firecrawl --status

4. まずは1ページ取ってみる

最初は scrapeを試してみましょう。

firecrawl scrape "https://example.com"

メインコンテンツだけ欲しいなら、--only-main-content を付けるとかなり見やすくなります。

firecrawl "https://example.com" --only-main-content

他にも、

  • --wait-for 3000: JS描画待ち
  • --screenshot: スクリーンショットも取得
  • --format markdown,links: Markdownとリンク一覧を同時出力
  • -o output.md: ファイル保存

あたりがすぐ使えます。

5. 次に検索も試す

Firecrawlの強さが見えやすいのは search です。
ここで「ただのスクレイパーではないな」と感じやすいはずです。

firecrawl search "web scraping tutorials"

検索だけで終わらず本文まで欲しいならこうです。

firecrawl search "documentation" --scrape --scrape-formats markdown

これで「検索して、見つけたページの中身まで拾う」を一気に回せます。
記事リサーチ、RAG前処理、競合調査あたりでかなり便利です。

6. クリックが必要なら Browser Sandbox

単純な取得で足りないなら、次はBrowserです。

firecrawl browser launch-session
firecrawl browser execute "open https://example.com"
firecrawl browser execute "snapshot"
firecrawl browser execute "click @e5"
firecrawl browser execute "scrape"

Playwrightコードを直接流すこともできます。

firecrawl browser execute --node 'await page.goto("https://example.com"); console.log(await page.title());'

この流れまで公式CLIでまとまっているので、「別でPlaywright環境を育てるか…」になりにくいのです。
この時点で、Firecrawlは「スクレイピングの一機能」ではなく「Web取得の実務基盤」っぽく見えてきます。

どんな人に刺さるか

個人的には、Firecrawlが刺さるのはこのへんです。

  • AIエージェントにWeb調査をやらせたい
  • RAG用にサイトの本文をきれいに回収したい
  • 検索結果のスニペットでは足りず、本文まで欲しい
  • 動的サイトやフォーム操作が混ざる
  • なるべく1つの道具で揃えたい

逆に、

  • ただ1つの静的ページを雑に取るだけ
  • 既存のPlaywright基盤がかなり完成している

みたいなケースなら、必ずしもFirecrawl一択ではないです。
でも「検索」「抽出」「ブラウザ操作」「AI連携」のどれか2つ以上が絡むなら、候補に入れる価値はかなり高いと思います。

コスト感はどうか。Freeプランと有料プラン

プラン 料金 含まれるクレジット 同時実行数 向いているケース
Free $0 500 credits（買い切りではなく初回の無料枠） 2 とりあえず触る、検証する
Hobby $16 / 月 3,000 credits / month 5 個人開発、小さめのツール
Standard $83 / 月 100,000 credits / month 50 本番運用を回し始める
Growth $333 / 月 500,000 credits / month 100 高頻度・高ボリューム運用
Scale $599 / 月 1,000,000 credits 150 データ基盤としてかなり使うチーム

※ 価格はいずれも公式Pricingページ上では Billed yearly と表示されています。つまり月額表示ですが、年払い前提です。

まず良いのは、Freeプランで500 creditsあることです。
公式FAQでは「最初の500 scraped pagesは無料」と案内されていて、1ページ1クレジットが基本なので、触って雰囲気を見るには十分です。

気をつけたい点もあります。

  • pay-per-use の都度課金プランはない
  • 通常の月次クレジットは翌月に繰り越されない
  • Search は 10 results で 2 credits
  • Browser は 1 browser minute で 2 credits

つまり、たまに触るだけならFreeかHobbyで十分ですが、検索やBrowserを混ぜてエージェント運用に乗せると、思ったより早くクレジットは減ります。

個人的な感覚だと、

  • 記事執筆や軽い調査の補助なら Free か Hobby
  • 社内ツールや本番機能に組み込むなら Standard
  • クローリングや継続的な収集を大きく回すなら Growth 以上

ですかね〜pay-per-useがないのはきつい。。。

まとめ

Firecrawlの良さは、単にスクレイピングできることじゃありません。
Webデータ取得の周辺で毎回バラけていた作業を、AI時代向けの1セットにまとめやすいことです。

特に強いのはこの3つです。

  1. 検索から本文取得までつなげやすい
  2. JSや動的サイト、ブラウザ操作まで面倒を見やすい
  3. MCPやSkill + CLIでAIエージェントにつなぎやすい

Webを読むだけなら道具はいくらでもあります。
でも「AIに読ませる前提」で、しかもその前処理まで含めて短時間で組みたいなら、Firecrawlはかなり有力です。

全部自分で組めば自由度は高いです、はい
仕事で欲しいのは、自由より先に速度と再現性なのれす。

参考

0
1
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
Sign upLogin
0
1

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?