著者：Aileen Li（グロースマーケター）
DifyはBright Dataと提携し、新たにBright Data Web Scraperプラグインをリリースしました。これにより、ユーザーはDifyマーケットプレイスを通じてリアルタイムの構造化ウェブデータに直接アクセスし、Knowledge Pipeline（ナレッジパイプライン）を外部ナレッジソースで強化できるようになります。
Bright Dataは世界をリードするWebデータインフラプラットフォームです。ECサイトやSNS、検索エンジンなどから、構造化されたリアルタイム情報への企業向けアクセスソリューションを提供しています。 今回の参入により、マーケットプレイスのエコシステムがさらに充実し、個人から企業まであらゆる開発者が外部ウェブデータをナレッジパイプライン（Knowledge Pipeline）へシームレスに取り込めるようになりました。この提携によって、より多様なナレッジソースを活用し、強力で信頼性の高いエージェントワークフローの構築が可能となります。
ナレッジパイプラインを拡張機能で強化する
ナレッジパイプラインは、Difyの最新RAG（検索拡張生成）エンジニアリングワークフローです。文脈構築の全過程を可視化し操作でき、Dify Workflowの視覚的なキャンバスインターフェースを採用しています。PDF・PPT・Excel・HTMLなどの断片的かつ非構造化なデータを、AIモデルで扱いやすいナレッジデータへと変換します。情報の連結、ドキュメント解析、チャンク分割、埋め込み（データをモデルが理解できる形式に変換する処理）など、各工程がノードとして構成されており、テキスト・画像・表・スキャンデータごとに最適なプラグインを選択可能です。
リリース以来、Difyマーケットプレイスは世界中の開発者から好評を博し、現在は500以上のプラグイン（モデル、ツール、エージェント戦略、拡張機能、データソースなど）を擁する活発なエコシステムへと成長しています。
Difyマーケットプレイスは、開発者が迅速かつ柔軟に革新的なAIソリューションを構築・カスタマイズ・スケールアップできる環境を提供します。開発者はナレッジパイプラインをレゴブロックのように組み立て、モデルによるコンテンツ強化や、コードによるルールベースのクリーンアップも適用できます。さらに、透明性が高く調整可能なワークフローの作成を通して、RAGが抱える主要な課題――断片化された情報源、解析ロス、ブラックボックス処理――を解決できます。
Bright Data Web Scraperは、強力な新しいデータソースプラグインとして加わりました。これにより、ワークフローはウェブ全体からリアルタイムの構造化情報をシームレスに取得し、ナレッジパイプラインを最新の外部ナレッジで強化できるようになります。
Bright DataをDifyに統合するための簡単ステップ
以下のステップでBright DataとDifyを連携し、ナレッジパイプラインでリアルタイムウェブデータを活用できます。
ステップ1：拡張機能をインストールする
Difyマーケットプレイスにアクセスし、Bright Data Web Scraperプラグインをインストールします。
ステップ2：インストールの確認をする
インストール後、「Installed Extensions（インストール済み拡張機能）」リストにプラグインが表示されていることを確認してください。
ステップ3：Bright Dataアカウントを設定する
Bright Dataアカウントにサインインし、APIキーを取得してデータ収集の設定を行います。
-
アカウント設定画面に移動します。
-
APIキーセクションで、右上の「APIキー追加」ボタンをクリックします。
-
ユーザー名、権限、有効期限（必要に応じて「Unlimited」も選択可能）を設定し、「保存」をクリックします。
-
表示されたAPIキーは一度しか表示されません。必ずコピーし、安全に保管してください。
*詳細はBright Data公式ドキュメント「APIキーの生成方法」をご参照ください。
ステップ4：Bright DataをDifyに統合する
Difyの「設定」→「構成」画面で、Bright DataのAPIキーを入力し、両者の連携設定を完了します。
ステップ5：ナレッジパイプラインの構築を開始する
設定が完了したら、Dify内でナレッジパイプラインを作成し、Bright Dataのデータソースを追加。構造化されたリアルタイムデータの収集を開始し、AIワークフローをさらに強化できます。
Bright Dataについて
Bright Dataは世界有数のウェブデータ収集企業であり、eコマース、SNS、検索エンジンなどからリアルタイムで構造化情報を企業や開発者に提供しています。エンタープライズレベルのスクレイピングインフラと7,200万以上のプロキシネットワークを活用し、大規模かつ高精度で、コンプライアンスを確保した外部データの収集を実現します。
世界20,000社を超える企業（フォーチュン500、学術機関、スタートアップ等）から信頼されており、市場調査、EC、金融、ブランドモニタリングなど多様な分野でデータドリブンな意思決定を支えています。詳しくは公式サイトをご覧ください。
Dify について
DifyはAIネイティブなアプリケーション開発を支援するオープンソースプラットフォームです。アプリケーションの作成から運用・管理までを簡単かつ一元的に行えます。拡張性に優れたプラグインエコシステムにより、開発者や企業はAI機能の統合やワークフローのカスタマイズも容易です。AI導入の障壁を低減し、ユーザーがより効率的かつ柔軟にインテリジェントアプリケーションを構築できる環境を提供しています。
公式サイト | GitHub | ドキュメント | X（旧Twitter） | Discord | Linkedin | Youtube