1
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

Databricks社内のDatabricks活用方法とは? DAIS 2025で語られた「ドッグフーディング」の裏側

Last updated at Posted at 2025-06-16

はじめに

この記事はDatabricksの公式ブログ記事を元にした非公式の日本語要約であり、すべての著作権・知的財産権はDatabricksに帰属します。

2025年6月に開催されたDatabricksの年次イベント「Data + AI Summit 2025 (DAIS 2025)」。
この記事では、イベントで語られた「Databricks自身が自社製品をどう使っているのか?」というテーマ、いわゆる「ドッグフーディング」の実践についての会話内容を解説します。

本記事では、以下の点について解説します

  • Databricksが自らを「最大の顧客」と位置付ける理由
  • 社内での具体的なDatabricks活用事例(サイロ破壊、AI活用など)
  • 優れたデータプラットフォームチームの共通点

「自社のドッグフードを食べる」——Databricksは自社の最大顧客である

Databricksの社内データプラットフォーム機能のリーダーであるBruce Wongは、イベントでこう語っています。

実はおもしろい事実なんですけど、私たちのワークスペースは、コンピュート、ストレージなど、あらゆる尺度でトップ3に入るワークスペースです。なので私たちは事実上、Databricks自体の最大の顧客なのです。

Tech業界には「ドッグフーディング(Dogfooding)」という言葉があります。これは、自社で開発した製品を自分たち自身が日常的に徹底して使うことで、不具合や改善点などを発見することです。

Databricksではこれを「ログフード(Logfooding)」と呼び、自社製品を極限まで使い倒すことで、製品の課題を誰よりも早く見つけ出し、改善のサイクルを高速で回しています。

自分たちのような大規模で複雑なユースケースで製品が機能すれば、それは他のすべての顧客にとっても同様に機能するはず。この自信こそが、Databricks製品の信頼性の源泉となっているのです。

【具体例】Databricksは社内でどう使われているのか?

では、具体的にどのような活用をされているのでしょうか?DAISで語られた3つの事例を見ていきましょう。

1. 11個のサイロを破壊! 1つのレイクハウスへの大統合

かつて、Databricks社内には11ものレイクハウスが乱立し、データが組織ごとにサイロ化していました。「どのデータがどこにあるんだ?」 という状態だったのです。

そこで、「1つのチーム、1つのやり方(One team, one way)」という方針のもと、これらを1つの巨大なレイクハウスに統合しました。その結果、全社で統一されたデータとAIの活用基盤が完成し、組織間の連携が劇的に改善されました。

2. あらゆる社員のためのプラットフォームへ

Databricksは、様々なスキルレベルの社員が使えるように設計されています。

非エンジニア向け

マーケティング担当者など、SQLやPythonを書かない社員でも、自然言語で質問するだけでインサイトを得られる「AI/BI Genie」のような機能を活用しています。

(例)
「このイベントとあのイベントからどれくらいの収益を得ていますか?」
「どの電子書籍が最も多く見られていますか?」

SalesforceやMarketo、Slackなど、様々なデータソースと連携し、誰でも簡単にデータに基づいた意思決定ができます。

高度なエンジニア向け

一方で、コアエンジニアやサポートチームといった、非常に高い技術力を持つ社員もいます。彼らが満足できるよう、高度で専門的なユースケースにも応えられる柔軟な環境を提供しています。

3. 社内ツールが製品機能に!「Arya」の事例

社内のニーズから生まれたツールが、製品の新機能として昇華されるケースもあります。その代表例が「Arya」と呼ばれる社内ツールです。

これは、アナリストレポート(Gartner, Forresterなど)に関する特定の調査を行う際に、キュレーションされた精度の高い回答を返すための仕組みでした。もともとは社内の課題解決のために作られた「ログフード」機能でしたが、その有効性が証明され、同様の課題を抱える顧客の声と結びつき、製品ロードマップに組み込まれたのです。

最高のデータプラットフォームチームの共通点

DAISのセッションでは、「最高のデータプラットフォームチームの共通点」についても語られました。

最高のデータプラットフォームチームの条件

  • 本当に価値のある仕事に集中できる
    ・面倒な作業や定型業務はプラットフォームに任せる文化がある

  • 監査やセキュリティを「当たり前」にクリアする
    ・Databricksなら、開発工数をかけずに監査ログを標準で取得可能
    ・エンジニアは監査ログの構築ではなく、より創造的な課題に時間を使える

  • インフラ(ストレージ、クラウドプロバイダー)を意識しない
    ・プラットフォームが抽象化してくれるため、チームは「何を解決するか」に集中できる

紹介セッション情報:Summit Live:DatabricksによるDatabricksの活用法

場所:サンフランシスコ
日時:2025年6月11日(水) 午後12時25分

動画の日本語翻訳内容 さて、そのことについて面白いのは、私たちは製品エンジニアや製品管理と非常に密接に協力して、そのロードマップがどのようなものになるかを定義するのを助けているということです。そして、私たちは会社として、私たちが考える未来がどのようなものになるか、すべての会社が運営するために、道を切り開き、先駆けています。だから、データブリックスをその限界まで押し上げているんですね。データブリックス内で。もちろんです。実はおもしろい事実なんですけど、データブリックスは、私たちのワークスペースは、コンピュート、ストレージなど、あらゆる尺度でトップ3に入るワークスペースです。ですから、私たちは事実上、データブリックス自体の最大の顧客なのです。それもすごいですね。そうですね。それが「ドッグフード」というスラングの由来なんですね。私は入社したとき、それが何を意味するのかを学ばなければなりませんでした。私は「なぜみんな犬の餌の話をしているのだろう」と思いました。あ、そうですね。なぜそれを説明していただけますか?はい、つまり、ええと、テック業界では、他にも場所があると思いますが、例えば、「自分の犬の餌を食べる」とか、「自分のシャンパンを飲む」とかいう言葉があります。そして、私たちはそれを「ログフード」と呼んでいます。それは、そのための手段です。そして、私たちは製品を可能な限り多くの方法で使ってみようとしています。そうすれば、それが実際に何を意味するのか、そしてそれに伴う課題は何なのかを把握し、それが製品を大幅に改善することにどのようにフィードバックされるのかを知ることができます。そして、私たちは、それが私たちの規模でうまくいけば、それはおそらくすべての顧客にもうまくいくだろうと言いたいのです。そうですね。そして、私にとってそれは、製品を開発するための最善の方法の2つのうちの1つです。顧客にフィードバックを求め、製品アドバイザリーカウンシル、これは素晴らしいです。そして、自分たちの従業員に。ですから、私はマーケティング部門に所属しており、私たちは、ええと、マーケティングが大好きで、非技術的な、非常に技術的な人々、ええと、プロダクトマーケティング、マネジメント、TMM、非常に技術的な人々がいます。そして、私たちはまた、ええと、伝統的なマーケティングやイベントの人々もいます。彼らはPythonコードやSQLコードを書く必要はありません。そして、例えば、私たちは独自のデータでAIBI Genie、AIBIダッシュボードなどを持っています。それは営業担当者かもしれません。Salesforce、Marketo、ええと、Slackメッセージ。そして、あなたは質問をすることができます。つまり、このイベントとあのイベントからどれくらいの収益を得ていますか?どの電子書籍が最も多く見られていますか?そして、私たちがそれを行うことによって、ええと、これはあまり意味をなさないとか、こうする方が良いとか、そうする方が良いとか、そしてそれがデータプラットフォームにフィードバックされるとかを見ることができます。私たちはそれをすべて統合します。それは素晴らしいです。ええ、もちろんです。そして、私は、ええと、私たちが話していることの1つは、データに参加することで、本当に私たちのキャリアを築いているということです。正しく、非常にシンプルに言うと、ですね。そして、それは、マーケティングデータと製品データを結合できるかということです。顧客の洞察について、顧客が製品をどのように利用しているかについて、それがマーケティングキャンペーンのためなのか、あるいは営業活動のためなのか、あるいは、どのように製品の進化について考えるかについて、それらのことをサポートするために、結合できるかということです。そして、だから、私たちが見てきたことの多くは、例えば、顧客のどの部分がAIを日々のワークフローの一部として使い始めているかということです。それはAIBIのロードマップにどのように情報を提供しますか?それは、ええと、すべての、例えば、私は実際に全体の製品ロードマップ全体にわたるもの全体が、AIによって本当に変換され、可能になっていると思います。そして、データプラットフォーム組織としての私たちは、素晴らしいことです。製品からのこれらの素晴らしい機能がすべてあります。それは実際に、データブリックス内でそれを有効にし、それを使用し、その旅を生き、その道を切り開くために何を意味しますか?だから、データプラットフォームの分野にいることは本当に本当にエキサイティングな時期です。私のチームと私自身、これは私たちが望んでいた仕事です。私たちは、ご存知の通り、私たちの多くはエンジニアリングのほぼどこにでも行けたでしょう。そして、私たちは「いや、これは」と言いました。私たちはまさに中心にいるのです。これは私たちがしたかったことです。そして、非常に多くの素晴らしい人々、マーケティングの素晴らしい人々、営業の素晴らしい人々、エンジニアリングの素晴らしい人々と協力することは本当に素晴らしいです。そして、それがすべて実現するのを見ています。ライト。そして、私たちは、私は「製品の初期の部分を見ることができる」と言いたいです。私たちは、ええと、良い部分、悪い部分、そして醜い部分を見ることができます。しかし、私たちはまた、何か良いものを見つけたときに、そして内部で機能するレシピを解明したときに、実際に多くの話を持っています。そこでは、ええと、製品が製品よりも先に機能しました。私たちは、「ここには何かがあると思う。私たちは社内でそれを解決する必要がある」と言いました。そして、私たちは実際に、それが社内で機能し、そして私たちは製品マネージャーと協力し、彼らは「私たちの顧客もあなた方と同じことを言っていました」と言いました。あなた方はこれを解決するために何をしましたか?そして、私たちは「ああ、これが私たちの戦略です。ここに私たちのドキュメントがあります。ここに私たちのコードがあります」と言いました。そして、それが実際に製品ロードマップと製品にその道を切り開きました。それは素晴らしいことだと思います。ええ、もう1つの例は、私たちがAryaと呼んでいるものです。それは私たちのARのようなもので、私たちのアナリストのようなものです。データサイエンスのアナリストではありませんが、ガートナー、フォレスター、IDCなどのようなもので、つまり、Rag、ファインチューニング、伝統的なAIBI Genieがありますが、その後、特定のリサーチを行う必要がある状況があります。アナリスト企業がISOに準拠していますか、などという質問をしたり、どうやって回答をキュレートするかという質問をすると、非常にキュレートされた特定の回答が欲しいと思います。そして、それはドッグフード、ログフードの機能でした。そして今、顧客が製品がどのように改善されたかという恩恵を受けているのを見ています。そして、ええと、それについて話すと、ええと、あなたは忙しかったですし、あなたのチームもサミットで忙しかったです。約12のプレゼンテーションがあり、あなたが2つ行ったと思います。1つは湖畔の家にいることについてで、もう1つはコストを推測するために立ち止まることについてでした。あのタイトルが大好きでした。自分の湖畔の家で泳ぐ、でしたっけ?自分の湖畔の家で泳ぐ。そうですね。それで、あの話は、ええと、火曜日にしました。ええと、それは、つまり、データブリックスでデータブリックスをどのように使用しているか、そしてデータブリックスのインスタンス全体をどのように構築し、アーキテクチャ設計したかについての、いわゆる10,000フィートの視点でした。ええと、そして、それは私たちにとって実際にユニークなことだと思います。つまり、もしデータプラットフォーム組織として存在していなかったら、ええと、各グループはおそらく独自のレイクハウスを作っていたでしょう。そして、私たちはサイロを持っていました。私たちはサイロを持っていました。私たちは、すべてのデータを結合するための1つの素晴らしいレイクハウスを持っていませんでした。そして、会社として協力して働きませんでした。私たちは11の異なるレイクハウスを持っていました。そして、それは「どのレイクハウスにどの目的で行くべきか」というようなものでした。そして、私たちは、「いや、私たちは、これが正しい意見のあるやり方だと思います」と答えました。つまり、1つのチームと1つのやり方を持つことです。会社でデータとAIを実践するための1つの方法です。さて、私たちはすべての異なるペルソナを理解する必要があります。私たちは、つまり、非技術的なユーザーから、Geanyのようなものを有効にする必要がある、より技術的なユーザーまで、自然言語処理などを持っています。しかし、私たちはまた、私たちが実際にサービスを提供している非常に技術的な人々を会社に持っています。つまり、私たちのサポートは、これまで出会った中で最も技術的なサポートの人々の一部です。私たちのエンジニアリングコアは、非常に、非常に技術的です。では、どのようにして、すべての人が機能できるプラットフォームを構築するのですか?しかし、それらは非常に、非常に異なるユースケースです。そして、データブリックスは私たちに実際にそれを行うことを可能にします。そして、私たちは実際に顧客のペルソナだけでなく、私たち自身の会社のペルソナについても製品チームと多くの作業を行ってきました。それは信じられないほどです。多くの人が見ていることを知っています。データプラットフォームチームにいる人もいれば、データプラットフォームチームを運営している人もいれば、データプラットフォームチームを始めようとしている人もいます。何が見えますか?最高のデータプラットフォームチームの共通点は何ですか?はい。えっと、まず最初に言っておきたいのは、私は、えっと、贔屓目なしに、最高のデータプラットフォームチームはDatabricksを使っていると信じています。そして、えっと、ご存知の通り、私は言えますが、この製品を3年近く使ってきて、ご存知の通り、初めて使い始めたときは、Databricksについて好きなことと、少し荒削りな部分もあるな、ということがありました。でも、そのコラボレーションと、異なる製品チームと協力することで、本当に最高のデータプラットフォームを持つことができました。そして、すべての異なる表面で作業できるということは、Databricksがただで箱から出してくれます。そしてそれは、私のチームが、はるかに興味深い仕事に集中できるということです。良い例は、私たちがセキュリティチームと、特定のデータを使用している人々の監査可能性について作業していたことです。そして、私たちは「まあ、これは素晴らしいことだ」と言いました。なぜなら、Databricksを使用しているため、監査ログは無料で提供されるからです。私は監査ログフレームワーク、ロギング標準、あるいはそれらのどれかを構築するために、エンジニアリングの労力を費やす必要はありませんでした。私たちは基本的に、Databricksで可能な限り多くのことを行うという決定、つまりアーキテクチャの決定を下し、監査は私たちが行うことになっています。はい、それは素晴らしいです。それは非常に具体的な例ですが、ストレージについて心配したくないなど、他にも多くの例があります。実際には、データが保存されているハードドライブについて気にしません。そうですね。私は気にします。私は実際に、どのクラウドプロバイダーのストレージを使うかについては気にしません。そうですね。ええと、そして、Databricksは私たちが、例えば、ズームアウトして、本当に根本的な視点から、何が一番重要なのか、機会は何なのか、私たちが対処している問題は何なのかを考えることを可能にしてくれます。そして、私たちはそれらの価値に本当に集中することができます。そして、監査ログがあるかどうか、ストレージが正しいかどうかなどを心配するのではなく、製品チーム、製品は実際に私たちにそのレバレッジを与え、その価値に集中することを可能にしてくれます。はい、私はセキュリティのバックグラウンド出身なので、監査とログは通常、最も苦痛なことの1つであり、セキュリティ組織としてできることであると言えます。そして、あなたは多くの摩擦と人からの反発を受けます。なぜなら、あなたは本質的に挑戦的であり、多くのオーバーヘッドを必要とし、人々をアクセスしたいと思うであろうものから切り離すことを必要とする何かを構築しているからです。そして、箱から出してそれを持っていることは、信じられないほどです。ああ、それはテーブルステークスですね。そして、ご存知の通り、エンジニアリングの観点から、データプラットフォームの専門家の観点から見ると、ご存知の通り、私たちは非常にセキュリティ意識が高く、セキュリティと協力し、法務とも常に協力しています。私たちは監査の重要性を知っています。そして、必要であれば、監査のために必要なことを絶対に行います。しかし、Databricks上にいるという事実は、私たちがそうする必要がないことを意味します。そうですね。ですから、データプラットフォームエンジニアにとって、監査ログを構築することは最もエキサイティングな仕事ではありません。しかし、私たちはもうそうする必要はありません。なぜなら、私たちはDatabricks上に構築しているからです。それは私たちにとって非常に堅固な基盤です。とても楽しみです。それは良かったです。私たちは、ラップアップの合図を受け取っています。まず、来てくれてありがとう。正直なところ、多くの人が「DatabricksはDatabricksをどう使うの?」と言っています。ええと、私は、私たち自身で、そして顧客やパートナーと一緒に製品を改善し続けていることが素晴らしいと思います。ええと、でも、はい、来てくれてありがとうございました。はい、呼んでいただいて本当にありがとうございます。お話しできてよかったです。はい。

DAIS2025URL:https://www.databricks.com/dataaisummit/agenda?type=virtual&page=1

ナレッジコミュニケーションでは、Databricks Data + AI Summit 2025 開催にあわせてセッションレポートや、イベント情報を公開しております!
ぜひナレッジコミュニケーションDAIS2025 特設サイトからチェックしてみてください!

https://www.knowledgecommunication.jp/product/databricks-data-ai-summit-2025.html

1
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
1
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?