普段からDifyを使って業務用ツールやエージェントを作っています。
たとえば、「製品ページを調べてレポートを自動生成する」、「Web上の情報を集めて要約・分析する」といった用途が多いです。
ただ、実際に運用してみると、さまざまな壁に直面しました。

アクセスがブロックされて、結果が空で返ってくる
CloudflareなどのBot対策に阻まれてページが取得できない
TikTokやYouTubeのコメントを分析したくても、API制限でデータが取れない

結果として、「手動でデータを集めて → Difyにアップロードする」という、本来は避けたかった作業が発生してしまっていました。
そこで試してみたのが、Dify上のプラグインツールである「Bright Data Web Scraper」を組み込む方法です。
結論から言うと、Webスクレイピング用途においては、かなり相性が良いと感じました。

本記事では、Difyでの設定ポイントから、Amazonデータ取得を例にした具体的な使い方までをまとめて紹介します。

そもそも何が嬉しいの？

通常の検索ツール（Tavilyなど）も非常に優秀ですが、「技術ドキュメントを深く読み込みたい」や「ECサイトの価格を正確に追いたい」といったケースでは、Cloudflareなどの強力なBot対策が入っているサイトに阻まれ、アクセスを拒否されてしまうことがよくあります。

その点、Bright Dataでは次のような強みがあります。

Scraping Browser: CAPTCHAを自動で突破し、ページをレンダリングしたあとのHTMLを取得できる
Serp API: GoogleやBingの検索結果を、地域を指定したうえで取得できる
AIフレンドリー: 最初からMarkdownや整形済みのJSONでデータを返してくれる
主要プラットフォーム向けの専用スクレイパーが充実: Amazon、TikTok、Instagram、Meta、X、YouTube、Reddit、Google Maps、Booking.com、eBay、Best Buy、LinkedIn、Yahoo Financeなど、ビジネス用途で参照されることの多いサービスに対応した専用ツールが多数用意されている

これらをDifyのワークフローに組み込めば、「〇〇を調べて」と指示するだけで、裏側ではプロキシを活用して必要な情報を自動取得してくれる、実用性の高いエージェントを構築できます。

手順

1: Bright DataのAPIキーを準備する

まずはBright Dataでアカウントを作成し、APIキーを取得します。

管理画面の「アカウント設定」からAPIキーを発行

2: Dify側の基本構成

今回は「ユーザー入力　→　Bright Data Web Scraper設定　→　Bright Data MCPが取ってきた結果を簡単に整形する」という最小構成で進めています。こちらをベースに、Slack通知やSpreadsheet保存を足すことで、より実用的な自動化フローにも発展させられます。

2.1 Bright Data Web ScraperでのAPIキー認証設定

変数入力する前に、まずBright Data Web ScraperでのAPIキー認証を設定する必要があります。

上記保存したらBright Data Web Scraperノード右上の「ワークスペースのデフォルト」というプルダウンを開き、先ほど保存したAPIキーを選択します。これで認証設定は完了です。

次はBright Data Web Scraperで用意されている3種類のツールについて、それぞれ順番に説明していきます。

2.2.1 Structured Data Feed

ユーザー入力

Data Request Description(必須): 抽出したいデータはどのような種類の情報なのかを具体的に記載します。
例えば：
- 商品ページから、**商品名・価格・在庫状況・レビュー評価（星の数と件数）**を抽出したい。
- ニュース記事から、記事タイトル・公開日・著者名・本文テキストを取得したい。
- 飲食店情報サイトから、店舗名・住所・営業時間・平均予算・口コミ数を収集したい。
- 採用ページから、職種名・勤務地・必須スキル・給与レンジ・応募締切日を抽出したい。
Target URL（実質必須）: データを抽出したい対象のURLを指定します。URLが提供されている場合、ツールが自動的に最適な抽出方法を判定します。

Structured Data Feedsの設定上は任意ですが、GitHubのsource codeを確認したところ、required_params = ["url"]となっているため、実際には指定しないとエラーになってしまいます。
Additional Parameters (JSON)（任意）: 特定の抽出要件に対応するための、JSON形式の追加指定用パラメータです。

公式説明の通りに入力してみましたが、エラーになりやすいため、一旦空にしています。

上記の変数は、それぞれproduct_info、product_url、additional_parametersとして、ユーザーの入力欄に設定しています。

出力結果

ユーザーが入力したproduct_infoとproduct_urlをそのまま変数として設定します。
出力変数にはtext,files, jsonがありますが、取得結果の多くはtextに格納されてるため、後続でDifyの「コード実行」ノードで結果を整形します。

整形コード:

import json

def main(text: str):
    start = text.index("```json") + len("```json")
    end = text.index("```", start)
    json_str = text[start:end].strip()
    json_result = json.loads(json_str)

    return {
        "result": json_result
    }

入出力例:

product_info: 商品名・価格・在庫状況・レビュー評価（星の数と件数）を抽出したい
product_url: 広洋水産いくらアメリカチャム 200g×2 醤油漬けイクラ白糠町北海道

▶️ 出力結果:

{
  "result": {
    "about_the_author": null,
    "all_badges": null,
    "amazon_choice": false,
    "amazon_prime": false,
    "answered_questions": 0,
    "asin": "B0DM6LH73H",
    "availability": "在庫あり。",
    "badge": "ベストセラー1位",
    "bought_past_month": 3000,
    "brand": "広洋水産",
    "bs_category": null,
    "bs_rank": null,
    "buybox_prices": {
      "final_price": 16000,
      "unit_price": "￥16,000 / 個"
    },
    "buybox_seller_rating": null,
    "city": null,
    "climate_pledge_friendly": false,
    "country_of_origin": "アメリカ合衆国",
    "coupon": null,
    "coupon_description": null,
    "currency": "JPY",
    "customer_says": null,
    "customers_say": {
      "keywords": {
        "mixed": null,
        "negative": null,
        "positive": null
      }
    },
    "date_first_available": "2024/11/6",
    "delivery": [
      "無料配送 12月27日 土曜日にお届け",
      "または 最も早い配送 明日 8:00 - 12:00の間にお届け（14 時間 43 分以内にご注文の場合） 詳細を見る"
    ],
    "description": "自慢の醤油ダレで仕上げた贅沢いくら 広洋水産の「いくら醤油漬け」は、アメリカ産の鮭卵を使用した大粒いくらを、自慢の醤油ダレで味付けした贅沢な一品です。 大粒いくらの魅力 いくら本来の味わいを パック内のほとんどの酸素を窒素に置き換える窒素置換包装と、瞬間冷凍技術を採用。酸化を防いで鮮度を保つ最新技術により、解凍時もよりドリップの少ない、いくら本来の新鮮な美味しさをそのままお届けします。 便利な小分け包装 毎日の料理に便利！必要な分だけ解凍 1パック200gの小分け包装で、家庭用冷凍庫にも収まりやすく、必要な分だけ解凍してお使いいただけるため、毎日の料理にも便利です。400gでいくら丼約8杯分となります。 いくらのレシピ例 多彩な料理にぴったり！贅沢なひと品 海鮮丼やお寿司、パスタなど多彩な料理に活用ができ、ご家族で贅沢な一皿をお手軽に楽しめます。また、贈答用としても喜ばれる一品です。 解凍方法 じっくり解凍でプチプチ食感を楽しむ いくらは冷蔵庫で約12時間かけゆっくり解凍することで、プチプチの食感と濃厚な味わいをそのまま楽しむことができます。解凍後はお早めにお召し上がりください。 アメリカチャム 200g×2 アメリカチャム 200g アメリカチャム 200g×4 鱒いくら 200g 鱒いくら 200g×2 鱒いくら 200g×4 購入オプション 購入オプション 購入オプション 購入オプション 購入オプション 購入オプション カスタマーレビュー — — — 5つ星のうち4.4 32 5つ星のうち4.4 32 5つ星のうち4.4 32 価格 ￥16,000￥16,000 ￥10,500￥10,500 ￥32,000￥32,000 ￥10,000￥10,000 ￥18,000￥18,000 ￥36,000￥36,000 原料産地 アメリカ産 アメリカ産 アメリカ産 ロシア産 ロシア産 ロシア産 粒の特徴 大粒 大粒 大粒 小粒 小粒 小粒 内容量 400g 200g 800g 200g 400g 800g 製法 窒素置換包装＋急速冷凍 窒素置換包装＋急速冷凍 窒素置換包装＋急速冷凍 冷却塩水洗浄＋窒素凍結 冷却塩水洗浄＋窒素凍結 冷却塩水洗浄＋窒素凍結",
    "domain": "https://www.amazon.co.jp/",
    "downloadable_videos": null,
    "editorial_reviews": null,
    "features": [
      "【天然アラスカサーモン使用】：雑味が少なく、自然で濃厚な味わい。",
      "【大粒でぷちっと弾ける食感】：ひと粒ひと粒がしっかりしており、食べ応え抜群。",
      "【窒素置換包装＆急速冷凍】：酸化を防ぎ、鮮度と旨みを閉じ込め、採れたてのようなおいしさをキープ。",
      "【長期保存可能】：製造日から冷凍（-18℃以下）で2年。1パック200gの小分け包装で必要な分だけ解凍でき、ストックにも便利。また解凍後は未開封であれば10℃以下で4日以内、開封した場合は2・3日でお召し上がりください。",
      "【たっぷりサイズ】：400gでいくら丼なら約8杯分。ご家庭用はもちろん、贈り物にも最適。"
    ],
    "final_price": 16000,
    ・・・一部省略
    "input": {
      "asin": "",
      "language": "",
      "url": "https://www.amazon.co.jp/gp/product/B0DM6LH73H/?ie=UTF8&almBrandId=oOXbMNXnBg&fpw=alm&th=1&smid=A12UTYEGCWA99G&ref_=cct_cg_tatsumim_1b1&pf_rd_p=a5f41b58-1999-4dad-860b-e3f89aff974b&pf_rd_r=YSCXV36PGPKAZ7TM9HR3",
      "zipcode": ""
    },
    "is_available": true,
    "language": null,
    "manufacturer": "広洋水産",
    "max_quantity_available": null,
    "number_of_sellers": 1,
    "other_sellers_prices": [
      {
        "delivery": "無料配送 12月27日 土曜日にお届け. または 最も早い配送 明日 8:00 - 12:00の間にお届け（14 時間 43 分以内にご注文の場合） 詳細を見る",
        "num_of_ratings": 0,
        "price": 6750,
        "price_per_unit": 6750,
        "seller_name": "北海道しらぬか町商店｜Shiranuka Store",
        "seller_rating": 0,
        "seller_url": "https://www.amazon.co.jp/gp/aag/main?ie=UTF8&seller=A1QLV2BMLICEBN&isAmazonFulfilled=1&asin=B0DM6LH73H&ref_=olp_merch_name_0",
        "ships_from": "Amazon",
        "unit": "個"
      },
      {
        "delivery": null,
        "num_of_ratings": 0,
        "price": 16000,
        "price_per_unit": 16000,
        "seller_name": "北海道白糠町/Shiranuka, Hokkaido",
        "seller_rating": 0,
        "seller_url": null,
        "ships_from": "北海道白糠町/Shiranuka, Hokkaido",
        "unit": "個"
      }
    ],
    "parent_asin": "B0DM6LH73H",
    "plus_content": true,
    "premium_brand": false,
    "prices_breakdown": null,
    "product_description": [
      {
        "type": "image",
        "url": "https://m.media-amazon.com/images/S/aplus-media-library-service-media/40c86697-eaed-42c5-99d0-801f8eea40fe.__CR0,0,970,600_PT0_SX970_V1___.jpg"
      },
      ...一部省略
      {
        "type": "image",
        "url": "https://m.media-amazon.com/images/I/41OhHmVougL.__AC_SR150,300___.jpg"
      }
    ],
    "product_details": [
      {
        "type": "ブランド",
        "value": "広洋水産"
      },
      {
        "type": "梱包サイズ",
        "value": "24 x 17 x 12 cm; 200 g"
      },
      {
        "type": "産地（地方）",
        "value": "北米"
      },
      {
        "type": "商品タイプ",
        "value": "ホール"
      },
      {
        "type": "メーカー",
        "value": "広洋水産"
      },
      {
        "type": "商品の重量",
        "value": "200 g"
      },
      {
        "type": "ASIN",
        "value": "B0DM6LH73H"
      },
      {
        "type": "Amazon.co.jp での取り扱い開始日",
        "value": "2024/11/6"
      },
      {
        "type": "梱包サイズ",
        "value": "24 x 17 x 12 cm; 200 g"
      },
      {
        "type": "メーカー",
        "value": "広洋水産"
      },
      {
        "type": "ASIN",
        "value": "B0DM6LH73H"
      },
      {
        "type": "製造元リファレンス",
        "value": "FN-ikura-US-400_FBA"
      },
      {
        "type": "原産国名",
        "value": "アメリカ合衆国"
      },
      {
        "type": "ブランド",
        "value": "広洋水産"
      },
      {
        "type": "風味",
        "value": "醤油漬けいくら"
      },
      {
        "type": "原産地",
        "value": "北米"
      },
      {
        "type": "個数",
        "value": "2"
      },
      {
        "type": "商品の形状",
        "value": "ホール"
      }
    ],
    "product_dimensions": "24 x 17 x 12 cm; 200 g",
    "rating": 0,
    "return_policy": null,
    "reviews_count": 0,
    "root_bs_category": null,
    "root_bs_rank": null,
    "seller_id": "A1VC38T7YXB528",
    "seller_name": null,
    "seller_url": "https://www.amazon.com/sp?ie=UTF8&seller=A1VC38T7YXB528&asin=B0DM6LH73H",
    "ships_from": null,
    "sponsered": false,
    "sponsored": false,
    "store_url": null,
    "subcategory_rank": null,
    "sustainability_features": null,
    "timestamp": "2025-12-24T15:01:58.646Z",
    "title": "広洋水産 いくら アメリカチャム 200g×2 醤油漬け イクラ 白糠町 北海道",
    "url": "https://www.amazon.co.jp/%E5%BA%83%E6%B4%8B%E6%B0%B4%E7%94%A3-%E3%81%84%E3%81%8F%E3%82%89%E9%86%A4%E6%B2%B9%E6%BC%AC%E3%81%91-400g%EF%BC%88200g%C3%972%EF%BC%89-%E5%8C%97%E6%B5%B7%E9%81%93-%E7%99%BD%E7%B3%A0%E7%94%BA/dp/B0DM6LH73H?th=1&psc=1&language=JPY",
    "variations_values": null,
    "video": false,
    "video_count": 0,
    "videos": null,
    "zipcode": null
  }
}

ご覧のとおり、Structured Data Feedsを使えば、ページ内の画像を含め、ほぼすべての情報を取得できます。
あとは「コード実行」ノードや「LLM」ノードを組み合わせて、必要な情報だけを抽出し、次のステップへつなげていくほうが、より実用的だと感じます。

2.2.2 Scrape As Markdown

ユーザー入力

Website URL(必須): データを抽出したい対象のURLを指定します。

出力結果

出力変数はStructured Data Feedsと同様に、text,files, jsonの３種類があります。
取得結果の多くは text に格納されるため、後続でDifyの「LLM」ノードを使って内容を整形しています。

結果を確認してみましょう!

Amazon.co.jp: 広洋水産 いくら アメリカチャム 200g×2 醤油漬け イクラ 白糠町 北海道 : 食品・飲料・お酒           \n\n ![](//fls-fe.amazon.co.jp/1/batch/1/OP/A1VC38T7YXB528:357-6805036-9862958:KPG9W7VRGHH32AKP2MXA$uedata=s:%2Frd%2Fuedata%3Fstaticb%26id%3DKPG9W7VRGHH32AKP2MXA:0)     ![](https://m.media-amazon.com/images/G/09/gno/sprites/nav-sprite-global-1x-reorg-privacy._CB546377955_.png)       \n\n## 次に移動\n\n*   [メインコンテンツ](#skippedLink)\n*   [この商品について](#featurebullets_feature_div)\n*   [この商品について](#nic-po-expander-heading)\n*   [この商品について](#productFactsDesktopExpander)\n*   [購入オプション](#buybox)\n*   [類似商品と比較する](#product-comparison_feature_div)\n*   [ビデオ](#va-related-videos-widget_feature_div)\n*   [レビュー](#customerReviews)\n*   [この商品について](#visual-rich-product-description,#bookDescription_feature_div)\n\n* * *\n\n## キーボードショートカット\n\n*   [\n    \n    検索\n    \n    Alt + /\n    \n    \n    \n    ](javascript:void\\(0\\))\n*   [\n    \n    カート\n    \n    Shift + Alt + C\n    \n    \n    \n    ](javascript:void\\(0\\))\n*   [\n    \n    ホーム\n    \n    Shift + Alt + H\n    \n    \n    \n    ](javascript:void\\(0\\))\n*   [\n    \n    注文\n    \n    Shift + Alt + O\n    \n    \n    \n    ](javascript:void\\(0\\))\n*   カートに入れる\n    \n    Shift + Alt + K\n    \n*   ショートカットの表示/非表示\n    \n    Shift + Alt + Z\n    \n\n商品間を移動するには、キーボードの上矢印または下矢印を使用します。\n\n \n\n[.co.jp](/ref=nav_logo)\n\nお届け先: 静岡市 420-0861 場所を更新する\n\n   \n\n \n\nAmazon ふるさと納税\n\n検索するカテゴリーを選択します。 すべてのカテゴリー Amazon ふるさと納税 プライム感謝セール Audibleオーディオブック Amazon デバイス Kindleストア Prime Video Alexaスキル Amazon定期おトク便 デジタルミュージック アプリ&ゲーム 本 洋書 音楽 クラシック DVD コンピューター&テレビゲーム PCソフト パソコン・周辺機器 エレクトロニクス&カメラ 文房具・オフィス用品 キッチン&家庭用品 ペット用品 ヘルスケア&パーソナルケア ビューティー 食品・飲料・お酒 ベビー&マタニティ ファッション 女性服、靴、ジュエリー 男性用服、靴、ジュエリー ベビー服、靴、ジュエリー 玩具 ホビー 楽器 スポーツ&アウトドア 車＆バイク DIY、工具、ガーデニング 大型家電 クレジットカード ギフトカード 産業・研究開発用品 Amazonアウトレット Amazon海外ダイレクト\n\nAmazon.co.jpを検索 \n\n[\n\nJP\n\n](/customer-preferences/edit?ie=UTF8&preferencesReturnUrl=%2F&ref_=topnav_lang)\n\n[\n\nこんにちは, ログイン\n\nアカウント＆リスト](https://www.amazon.co.jp/ap/signin?openid.pape.max_auth_age=0&openid.return_to=https%3A%2F%2Fwww.amazon.co.jp%2Fgp%2Fproduct%2FB0DM6LH73H%2F%3FalmBrandId%3DoOXbMNXnBg%26fpw%3Dalm%26ie%3DUTF8%26pf_rd_p%3Da5f41b58-1999-4dad-860b-e3f89aff974b%26pf_rd_r%3DYSCXV36PGPKAZ7TM9HR3%26redirect%3Dtrue%26smid%3DA12UTYEGCWA99G%26th%3D1%26ref_%3Dnav_ya_signin&openid.identity=http%3A%2F%2Fspecs.openid.net%2Fauth%2F2.0%2Fidentifier_select&openid.assoc_handle=jpflex&openid.mode=checkid_setup&openid.claimed_id=http%3A%2F%2Fspecs.openid.net%2Fauth%2F2.0%2Fidentifier_select&openid.ns=http%3A%2F%2Fspecs.openid.net%2Fauth%2F2.0)\n\n[返品もこちら 注文履歴](/gp/css/order-history?ref_=nav_orders_first)[\n\n0\n\n](/cart/localmarket?almBrandId=oOXbMNXnBg&ref_=dnav_alm_cart)\n\n [すべて](/gp/site-directory?ref_=nav_em_js_disabled)  \n\n*   [Amazonポイント](/Amazon%E3%83%9D%E3%82%A4%E3%83%B3%E3%83%88/b/?ie=UTF8&node=2632478051&ref_=nav_cs_jppoints_unrec)\n    \n*   [ヘルプ](/%E3%83%98%E3%83%AB%E3%83%97/b/?ie=UTF8&node=642938&ref_=nav_cs_help_wt_t2)\n    \n*   [ふるさと納税](/fmc/furusato?ref_=nav_cs_tatsumi_discobar)\n    \n*   [ランキング](/ranking?type=top-sellers&ref_=nav_cs_bestsellers)\n    \n*   [Amazon Basics](/amazon_basic?ref_=nav_cs_amazonbasics)\n    \n*   [タイムセール](/gp/goldbox?ref_=nav_cs_gb)\n    \n*   [新着商品](/ranking?type=new-releases&ref_=nav_cs_newreleases)\n    \n*   [Prime Video](/gp/video/storefront?ref_=nav_cs_prime_video)\n    \n*   [プライム](/prime?ref_=nav_cs_primelink_nonmember)\n    \n*   [ミュージック](/music/player?ref_=nav_cs_music)\n    \n*   [本](/%E6%9C%AC-%E6%9B%B8%E7%B1%8D-%E9%80%9A%E8%B2%A9/b/?ie=UTF8&node=465392&ref_=nav_cs_books)\n    \n*   [Amazonファッション](/%E3%83%95%E3%82%A1%E3%83%83%E3%82%B7%E3%83%A7%E3%83%B3/b/?ie=UTF8&node=2229202051&ref_=nav_cs_fashion)\n    \n*   [ホーム&キッチン](/%E3%83%9B%E3%83%BC%E3%83%A0-%E3%82%AD%E3%83%83%E3%83%81%E3%83%B3-%E6%B6%88%E8%80%97%E5%93%81%E3%83%BB%E3%82%A2%E3%82%AF%E3%82%BB%E3%82%B5%E3%83%AA-%E3%82%AD%E3%83%83%E3%83%81%E3%83%B3-%E7%94%9F%E6%B4%BB%E9%9B%91%E8%B2%A8/b/?ie=UTF8&node=3828871&ref_=nav_cs_home_kitchen)\n    \n*   [パソコン・周辺機器](/PC%E5%91%A8%E8%BE%BA%E6%A9%9F%E5%99%A8-%E3%83%91%E3%82%BD%E3%82%B3%E3%83%B3%E5%91%A8%E8%BE%BA%E6%A9%9F%E5%99%A8-%E9%80%9A%E8%B2%A9/b/?ie=UTF8&node=2127209051&ref_=nav_cs_pc)\n    \n*   [食品＆飲料](/%E9%A3%9F%E5%93%81-%E9%A3%B2%E6%96%99-%E3%83%89%E3%83%AA%E3%83%B3%E3%82%AF-%E3%82%B9%E3%82%A4%E3%83%BC%E3%83%84-%E3%81%8A%E8%8F%93%E5%AD%90-%E9%85%92/b/?ie=UTF8&node=57239051&ref_=nav_cs_grocery)\n    \n*   [ギフトカード](/%E3%82%AE%E3%83%95%E3%83%88%E3%82%AB%E3%83%BC%E3%83%89/b/?ie=UTF8&node=2351652051&ref_=nav_cs_gc)\n    \n*   [おもちゃ&ホビー](/%E3%81%8A%E3%82%82%E3%81%A1%E3%82%83-%E9%80%9A%E8%B2%A9/b/?ie=UTF8&node=13299531&ref_=nav_cs_toys)\n    \n*   [ドラッグストア](/%E3%83%89%E3%83%A9%E3%83%83%E3%82%B0%E3%82%B9%E3%83%88%E3%82%A2-%E3%82%B5%E3%83%97%E3%83%AA%E3%83%A1%E3%83%B3%E3%83%88-%E6%97%A5%E7%94%A8%E5%93%81-%E5%8C%BB%E8%96%AC%E5%93%81-%E9%80%9A%E8%B2%A9/b/?ie=UTF8&node=160384011&ref_=nav_cs_hpc)\n    \n*   [車＆バイク](/%E8%BB%8A%E7%94%A8%E5%93%81-%E3%82%AB%E3%83%BC%E3%82%B0%E3%83%83%E3%82%BA-%E3%83%89%E3%83%A9%E3%82%A4%E3%83%96%E7%94%A8%E5%93%81-%E3%82%AB%E3%83%BC%E7%94%A8%E5%93%81-%E9%80%9A%E8%B2%A9/b/?ie=UTF8&node=2017304051&ref_=nav_cs_automotive)\n    \n*   [スポーツ＆アウトドア](/%E3%82%B9%E3%83%9D%E3%83%BC%E3%83%84-%E3%82%A2%E3%82%A6%E3%83%88%E3%83%89%E3%82%A2-%E8%87%AA%E8%BB%A2%E8%BB%8A-%E3%83%95%E3%82%A3%E3%83%83%E3%83%88%E3%83%8D%E3%82%B9%E3%83%BB%E3%83%88%E3%83%AC%E3%83%BC%E3%83%8B%E3%83%B3%E3%82%B0-%E3%82%B4%E3%83%AB%E3%83%95%E7%94%A8%E5%93%81%E9%80%9A%E8%B2%A9/b/?ie=UTF8&node=14304371&ref_=nav_cs_sports)\n    \n*   [ベビー&マタニティ](/%E3%83%99%E3%83%93%E3%83%BC%E7%94%A8%E5%93%81-%E9%80%9A%E8%B2%A9-%E3%83%96%E3%83%A9%E3%83%B3%E3%83%89-%E4%BA%BA%E6%B0%97-%E3%82%BB%E3%83%BC%E3%83%AB/b/?ie=UTF8&node=344845011&ref_=nav_cs_baby)\n    \n*   [お手頃価格の海外ブランド](/b/?node=21782663051&ref_=nav_cs_ibp_jp)\n    \n*   [Kindle本](/Kindle-%E3%82%AD%E3%83%B3%E3%83%89%E3%83%AB-%E9%9B%BB%E5%AD%90%E6%9B%B8%E7%B1%8D/b/?ie=UTF8&node=2275256051&ref_=nav_cs_kindle_books)\n    \n*   [DIY・工具](/DIY%E3%83%BB%E5%B7%A5%E5%85%B7-%E5%A4%A7%E5%B7%A5%E9%81%93%E5%85%B7-%E4%BD%9C%E6%A5%AD%E7%94%A8%E5%93%81%E3%83%BB%E5%AE%89%E5%85%A8%E7%94%A8%E5%93%81-%E9%9B%BB%E5%8B%95%E3%83%BB%E4%BD%9C%E6%A5%AD%E5%B7%A5%E5%85%B7-%E3%82%A8%E3%82%AF%E3%82%B9%E3%83%86%E3%83%AA%E3%82%A2/b/?ie=UTF8&node=2016929051&ref_=nav_cs_hi)\n    \n*   [Audible](/Audible-%E3%82%AA%E3%83%BC%E3%83%87%E3%82%A3%E3%82%AA%E3%83%96%E3%83%83%E3%82%AF/b/?ie=UTF8&node=7471076051&ref_=nav_cs_audible)\n    \n*   [ビューティー＆パーソナルケア](/%E3%82%B3%E3%82%B9%E3%83%A1-%E5%8C%96%E7%B2%A7%E5%93%81-%E9%80%9A%E8%B2%A9/b/?ie=UTF8&node=52374051&ref_=nav_cs_beauty)\n    \n*   [ペットフード・ペット用品](/%E3%83%9A%E3%83%83%E3%83%88%E3%83%95%E3%83%BC%E3%83%89-%E3%83%9A%E3%83%83%E3%83%88%E7%94%A8%E5%93%81/b/?ie=UTF8&node=2127212051&ref_=nav_cs_pets)\n    \n*   [Amazonで売る](/b/?_encoding=UTF8&ld=AZJPSOASL_C&node=2490612051&ref_=nav_cs_sell)\n    \n*   [定期おトク便](/auto-deliveries/landing?ref_=nav_cs_sns)\n    \n\n[![アマゾンマスターカード](https://m.media-amazon.com/images/G/09/JP-hq/2023/img/Amazon_Payments/XCM_Manual_1576247_3136463_5610611_400x39_ja_JP._CB589177761_.jpg)](/dp/B08P4CFBK6/ref=zen_swm_point&plattr=JPZENSWMPOINT/?_encoding=UTF8&ref_=nav_swm_cbcc_swm_cls_hs&pf_rd_p=68c5a208-c42a-4616-84e1-8aa69252b6e0&pf_rd_s=nav-sitewide-msg&pf_rd_t=4201&pf_rd_i=navbar-4201&pf_rd_m=A1VC38T7YXB528&pf_rd_r=KPG9W7VRGHH32AKP2MXA)\n\n  \n\n[![ふるさと納税](https://m.media-amazon.com/images/G/09/frst/brand/Icon_Logo_1580x241.png)](/alm/storefront/furusato?almBrandId=oOXbMNXnBg&ref=tatsu_dsk_sn_logo-50f1d)\n\n[カテゴリー](/fmc/furusato/categories?ref=tatsu_dsk_sn_category-a1ff7)\n\n[寄付金額](/fmc/furusato/price?ref=tatsu_dsk_sn_amount-03c17)\n\n[地域](/fmc/furusato/region?ref=tatsu_dsk_sn_region-afce9)\n\n[最短翌日お届け](/fmc/furusato/%E6%9C%80%E7%9F%AD%E7%BF%8C%E6%97%A5%E3%81%8A%E5%B1%8A%E3%81%91%E8%BF%94%E7%A4%BC%E5%93%81%E7%89%B9%E9%9B%86?ref=tatsu_dsk_sn_fastDelivery-bd15b)\n\n[Amazon限定](/fmc/furusato/Amazon%E9%99%90%E5%AE%9A%E8%BF%94%E7%A4%BC%E5%93%81%E7%89%B9%E9%9B%86?ref=tatsu_dsk_sn_exclusive-dcd3a)\n\n[トクベツな寄付額](/fmc/furusato/%E3%81%93%E3%82%8C%E8%89%AF%E3%81%84%E5%80%A4?ref=tatsu_dsk_sn_nicePrice-b410f)\n\n   \n\n              \n\n￥16,000￥16,000 個あたり￥16,000(￥16,000￥16,000 / 個)\n\n![](https://m.media-amazon.com/images/I/31ogozsJ3QL.png)\n\n無料配送 12月27日 土曜日にお届け  \n\nまたは 最も早い配送 明日 8:00 - 12:00の間にお届け（13 時間 36 分以内にご注文の場合） [詳細を見る](/gp/help/customer/display.html/ref=ddm_ft_dp?nodeId=201911210)\n\n[\n\nお届け先静岡市 420-0861-お届け先の更新\n\n\n\n\n\n\n\n](#)\n\n在庫あり。 \n\n \n\nAmazonの他の出品者\n\n* * *\n\n [からの2個のオプション   ￥6,750￥6,750](/gp/offer-listing/B0DM6LH73H/ref=dp_olp_NEW_mbc?ie=UTF8&condition=NEW)\n\n*    ![](https://m.media-amazon.com/images/I/51ql-QB+9LL._AC_SR38,50_.jpg)\n*    ![](https://m.media-amazon.com/images/I/51QU7+vwBEL._AC_SR38,50_.jpg)\n*    ![](https://m.media-amazon.com/images/I/41aM1krK+oL._AC_SR38,50_.jpg)\n*    ![](https://m.media-amazon.com/images/I/510MtBFD2PL._AC_SR38,50_.jpg)\n*    ![](https://m.media-amazon.com/images/I/51ImFOix9uL._AC_SR38,50_.jpg)\n*    ![](https://m.media-amazon.com/images/I/51UBPz45sIL._AC_SR38,50_.jpg)\n\n*    ![](https://images-na.ssl-images-amazon.com/images/G/01/x-locale/common/transparent-pixel._V192234675_.gif)\n*   \n\n \n\n#### 画像はありません\n\n選択したカラーの画像がありません。  \nカラー：\n\n*   ![広洋水産 いくら アメリカチャム 200g×2 醤油漬け イクラ 白糠町 北海道](https://m.media-amazon.com/images/I/81v-dyJa5SL._AC_SY300_SX300_QL70_ML2_.jpg)\n    \n\n*   このビデオを見るには、次をダウンロード [Flash Player](https://get.adobe.com/flashplayer)\n\n*   [ビデオ](#)\n*   [360°ビュー](#)\n*   [画像](#)\n*   [](#)\n\n![](https://m.media-amazon.com/images/S/sash//pLB3SkYb3bHZzHQ.svg)\n\n![](https://m.media-amazon.com/images/S/sash//swRPyHOrgnz358_.svg)\n\n  \n\n   \n\n# 広洋水産 いくら アメリカチャム 200g×2 醤油漬け イクラ 白糠町 北海道\n\n[広洋水産](/s/ref=bl_dp_s_web_0?ie=UTF8&i=jpdonation&k=%E5%BA%83%E6%B4%8B%E6%B0%B4%E7%94%A3)\n\n  \n\n  \n\n  \n\nベストセラー1位 \\- カテゴリ 魚卵\n\n過去1か月で3000点以上購入されました\n\n \n\n* * *\n\n￥16,000 ￥16,000\n\n個あたり￥16,000(￥16,000￥16,000 / 個)\n\n[Amazonによる発送](#)\n\n[安心・安全への取り組み](#)\n\n[お客様情報の保護](#)\n\nAmazonによる発送\n\n*   Amazon.co.jpが発送する商品の通常配送では、条件を満たした場合、日本国内へは無料で商品をお届けします。  \n      \n    初めてお買い物をされるお客様については、ご注文金額に関わらず通常配送が無料になります。詳しくは、[配送料について](/gp/help/customer/display.html?nodeId=201911210)をご覧ください。 Amazonプライム会員およびPrime Student会員の方は、配送オプションに関わらず配送料無料です。  \n      \n    商品の配送状況は[注文履歴](/gp/css/order-history)からも追跡できます。  \n    配送状況についての詳細は[こちら](/gp/help/customer/display.html?nodeId=201910530)をご覧ください。\n*   [詳細はこちら](/gp/help/customer/display.html?nodeId=201910160)\n\n安心・安全への取り組み\n\nAmazonは安心・安全のために取り組んでいます。ストレスや不安なくお買い物いただくため、商品の返品対応やカスタマーサポート、信頼性のあるカスタマレビューのための健全なコミュニティの運営、お客様のプライバシーの保護などに取り組んでいます。また配送、梱包、製品、物流拠点などさまざまな面で、サステナブルな未来への取り組みを進めています。 [詳細はこちら](/l/10750943051?ref_=worryfree_tw_unreco)\n\nお客様情報を保護しています\n\nAmazonはお客様のセキュリティとプライバシーの保護に全力で取り組んでいます。Amazonの支払いセキュリティシステムは、送信中にお客様の情報を暗号化します。お客様のクレジットカード情報を出品者と共有することはありません。また、お客様の情報を他者に販売することはありません。 [詳細はこちら](/gp/help/customer/display.html?nodeId=201909010)\n\n* * *\n\n[この商品について](javascript:void\\(0\\))\n\n*   【天然アラスカサーモン使用】：雑味が少なく、自然で濃厚な味わい。\n*   【大粒でぷちっと弾ける食感】：ひと粒ひと粒がしっかりしており、食べ応え抜群。\n*   【窒素置換包装＆急速冷凍】：酸化を防ぎ、鮮度と旨みを閉じ込め、採れたてのようなおいしさをキープ。\n\n*   【長期保存可能】：製造日から冷凍（-18℃以下）で2年。1パック200gの小分け包装で必要な分だけ解凍でき、ストックにも便利。また解凍後は未開封であれば10℃以下で4日以内、開封した場合は2・3日でお召し上がりください。\n*   【たっぷりサイズ】：400gでいくら丼なら約8杯分。ご家庭用はもちろん、贈り物にも最適。\n\n› [もっと見る](#productDetails)\n\n[表示件数を増やす](javascript:void\\(0\\))\n\n* * *\n\n[詳細](javascript:void\\(0\\))\n\n \n\nブランド\n\n広洋水産\n\n風味\n\n醤油漬けいくら\n\n原産地\n\n北米\n\n個数\n\n2\n\n商品の形状\n\nホール\n\n  \n\n[この商品に関する問題を報告する](#)\n\n   \n\n \n\n                       \n\n* * *\n\n## 商品の説明\n\n \n\n \n\n![いくら](https://images-na.ssl-images-amazon.com/images/G/01/x-locale/common/grey-pixel.gif)\n\n### 自慢の醤油ダレで仕上げた贅沢いくら\n\n広洋水産の「いくら醤油漬け」は、アメリカ産の鮭卵を使用した大粒いくらを、自慢の醤油ダレで味付けした贅沢な一品です。\n\n### 大粒いくらの魅力\n\n![大粒いくら](https://images-na.ssl-images-amazon.com/images/G/01/x-locale/common/grey-pixel.gif)\n\n### いくら本来の味わいを\n\nパック内のほとんどの酸素を窒素に置き換える窒素置換包装と、瞬間冷凍技術を採用。酸化を防いで鮮度を保つ最新技術により、解凍時もよりドリップの少ない、いくら本来の新鮮な美味しさをそのままお届けします。\n\n### 便利な小分け包装\n\n![小分け放送](https://images-na.ssl-images-amazon.com/images/G/01/x-locale/common/grey-pixel.gif)\n\n### 毎日の料理に便利！必要な分だけ解凍\n\n1パック200gの小分け包装で、家庭用冷凍庫にも収まりやすく、必要な分だけ解凍してお使いいただけるため、毎日の料理にも便利です。400gでいくら丼約8杯分となります。\n\n### いくらのレシピ例\n\n![いくらレシピ](https://images-na.ssl-images-amazon.com/images/G/01/x-locale/common/grey-pixel.gif)\n\n### 多彩な料理にぴったり！贅沢なひと品\n\n海鮮丼やお寿司、パスタなど多彩な料理に活用ができ、ご家族で贅沢な一皿をお手軽に楽しめます。また、贈答用としても喜ばれる一品です。\n\n### 解凍方法\n\n![いくら](https://images-na.ssl-images-amazon.com/images/G/01/x-locale/common/grey-pixel.gif)\n\n### じっくり解凍でプチプチ食感を楽しむ\n\nいくらは冷蔵庫で約12時間かけゆっくり解凍することで、プチプチの食感と濃厚な味わいをそのまま楽しむことができます。解凍後はお早めにお召し上がりください。\n\n![](https://m.media-amazon.com/images/I/51ql-QB%2B9LL.__AC_SR150,300___.jpg)\n\nアメリカチャム 200g×2\n\n![](https://m.media-amazon.com/images/I/51ql-QB%2B9LL.__AC_SR150,300___.jpg)\n\nアメリカチャム 200g\n\n![](https://m.media-amazon.com/images/I/51QU7%2BvwBEL.__AC_SR150,300___.jpg)\n\nアメリカチャム 200g×4\n\n![](https://m.media-amazon.com/images/I/51531nXQXeL.__AC_SR150,300___.jpg)\n\n鱒いくら 200g\n\n![](https://m.media-amazon.com/images/I/51531nXQXeL.__AC_SR150,300___.jpg)\n\n鱒いくら 200g×2\n\n![](https://m.media-amazon.com/images/I/41OhHmVougL.__AC_SR150,300___.jpg)\n\n鱒いくら 200g×4\n\n[購入オプション](/dp/B0DM6LH73H?ref=emc_s_m_5_i_atc)\n\n[購入オプション](/dp/B0FNLLP9VP?ref=emc_s_m_5_i_atc)\n\n[購入オプション](/dp/B0DPCGGHM4?ref=emc_s_m_5_i_atc)\n\n[購入オプション](/dp/B0DPCGS3NY?ref=emc_s_m_5_i_atc)\n\n[購入オプション](/dp/B0DPCGRJ55?ref=emc_s_m_5_i_atc)\n\n[購入オプション](/dp/B0DPCGLGXB?ref=emc_s_m_5_i_atc)\n\nカスタマーレビュー\n\n—\n\n—\n\n—\n\n_5つ星のうち4.4_ 32\n\n_5つ星のうち4.4_ 32\n\n_5つ星のうち4.4_ 32\n\n価格\n\n￥16,000￥16,000\n\n￥10,500￥10,500\n\n￥32,000￥32,000\n\n￥10,000￥10,000\n\n￥18,000￥18,000\n\n￥36,000￥36,000\n\n原料産地\n\nアメリカ産\n\nアメリカ産\n\nアメリカ産\n\nロシア産\n\nロシア産\n\nロシア産\n\n粒の特徴\n\n大粒\n\n大粒\n\n大粒\n\n小粒\n\n小粒\n\n小粒\n\n内容量\n\n400g\n\n200g\n\n800g\n\n200g\n\n400g\n\n800g\n\n製法\n\n窒素置換包装＋急速冷凍\n\n窒素置換包装＋急速冷凍\n\n窒素置換包装＋急速冷凍\n\n冷却塩水洗浄＋窒素凍結\n\n冷却塩水洗浄＋窒素凍結\n\n冷却塩水洗浄＋窒素凍結\n\n* * *\n\n## 商品情報\n\n# 詳細情報\n\nブランド\n\n\u200e広洋水産\n\n梱包サイズ\n\n\u200e24 x 17 x 12 cm; 200 g\n\n産地（地方）\n\n\u200e北米\n\n商品タイプ\n\n\u200eホール\n\nメーカー\n\n\u200e広洋水産\n\n商品の重量\n\n\u200e200 g\n\n# 登録情報\n\nASIN\n\nB0DM6LH73H\n\nAmazon.co.jp での取り扱い開始日\n\n2024/11/6\n\n# 保証とサポート\n\n返品:Amazon.co.jpで購入した食品および飲料について、原則としてお客様都合による返品および交換は承っておりません。商品到着後は速やかに商品の状態をご確認ください。トラブルや不具合のある商品については、[カスタマーサービス](/gp/css/contact-us-access)までご連絡ください。なお、返品条件は、Amazon.co.jpが発送する商品と、Amazonマーケットプレイス出品者が発送する商品で異なります。食品＆飲料の返品について、くわしくは[こちら](/gp/help/customer/display.html?ie=UTF8&nodeId=200278270)。\n\n# ご意見ご要望\n\n                                            \n\n**[さらに安い価格について知らせる?](javascript:void\\(0\\))**\n\n![](https://m.media-amazon.com/images/I/51ql-QB+9LL._SS75_.jpg)\n\n広洋水産 いくら アメリカチャム 200g×2 醤油漬け イクラ 白糠町 北海道\n\n**シェア:**\n\n* * *\n\nさらに安い価格を見つけられた場合は、当サイトまでお知らせください。お客様からの情報を参考にして、さらにリーズナブルな価格でご提供できるよう努力します。\n\n## さらに安い価格はどこでご覧になりましたか？\n\nFields with an asterisk \\* are required\n\nPrice Availability\n\n インターネット店舗\n\nURL \\*:\n\n税込価格 (¥) \\*:\n\n送料 (¥):\n\n価格を見た日付 (MM/DD/YYYY):\n\n01 02 03 04 05 06 07 08 09 10 11 12\n\n/\n\n01 02 03 04 05 06 07 08 09 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31\n\n/\n\n 小売店の実店舗\n\n店舗名 \\*:\n\nEnter the store name where you foun

Markdown形式でWeb情報を取得できていますが、このままでは不要な情報も多く含まれています。
そこでここでは、LLMを使って必要な情報だけを抽出するようにしています。

prompt:
提示した商品ページから、**商品名・価格・在庫状況・レビュー評価（星の数と件数）**を抽出したい。

result:
- **商品名**: 広洋水産 いくら アメリカチャム 200g×2 醤油漬け イクラ 白糠町 北海道
- **価格**: ￥16,000
- **在庫状況**: 在庫あり
- **レビュー評価**: 4.4星（32件）

2.2.３ Search Engine

ユーザー入力

Search Query(必須): 検索クエリ
このツールは、指定したクエリを使って、GoogleやBingなどで検索を行うためのものです。
入力として必要なのは、検索クエリだけになります。

出力結果

例：
検索クエリ：広洋水産いくらアメリカチャム

▶️ 結果

以下は、検索結果から抽出したタイトルとURLのリストです。
1. **広洋水産 いくら アメリカチャム 200g×2 醤油漬け イクラ 白糠町**
- [Amazon.jp](https://www.amazon.co.jp/%E5%BA%83%E6%B4%8B%E6%B0%B4%E7%94%A3-%E3%81%84%E3%81%8F%E3%82%89%E9%86%A4%E6%B2%B9%E6%BC%AC%E3%81%91-400g%EF%BC%88200g%C3%972%EF%BC%89-%E5%8C%97%E6%B5%B7%E9%81%93-%E7%99%BD%E7%B3%A0%E7%94%BA/dp/B0DM6LH73H)
2. **総合1位常連／ 鮭 いくら 醤油漬け 200g / 400g / 800g / 1.6kg**
- [楽天市場](https://item.rakuten.co.jp/f016683-shiranuka/8700-30009172/)
3. **いくら醤油漬（チャム） 【業務用食材の仕入れなら八面六臂】**
- [八面六臂株式会社](https://hachimenroppi.com/detail/105573/)
4. **いくら醤油漬けの美味しさの秘密｜知られざる製法と魅力**
- [note](https://note.com/gafuuai/n/n07891827c5ed)
5. **北海道のふるさと納税返礼品のイクラ**
- [ねとらぼ](https://nlab.itmedia.co.jp/articles/3613830/3/) 
6. **広洋水産 ONLINE SHOP**
- [koyo-online.jp](https://www.koyo-online.jp)
これらの情報は、広洋水産のいくらに関連する商品や記事へのリンクです。

実際にGoogleで検索した結果は：

まとめ

DifyにBright Dataを使うことで、これまで手動取得していたデータやBot対策で取得できなかったデータをRAGやエージェントにそのまま流し込めるようになりました。

一方で、「取得した大量データをどう後処理するか」、「どこまでをLLMに任せるか」といった設計は、まだまだ工夫の余地があります。
このあたりは引き続き検証しつつ、実運用に耐える形を模索していこうと思います。

参考

BrightData_Dify_Plugin