概要
Databricks Japan Blogにはいい記事があるのですが、過去のリストを一覧で見る機能がなかったため、こちらにアップデートしていきたいと思います。更新頻度は少ないため多少のズレはご容赦ください。
| No | date | title |
|---|---|---|
| 223 | 2023/07/13 | Databricks Unityカタログのボリュームのパブリックプレビューを発表. - Original Blog Link Data and AI Summit 2023では、Databricks Unity CatalogのVolumesを紹介した。この機能により、Unity Catalog内の表形式データとともに、非構造化データ、半構造化データ、構造化データなど、あらゆる非表形式データの発見、管理、処理、系譜の追跡が可能になります。本日、AWS、Azure、GCPで利用 |
| 222 | 2023/07/05 | Databricks Lakehouseでクレジットデータプラットフォームを構築する方法. - Original Blog Link dbdemos.aiのデモをご覧になり、ビジネスのためのクレジットデータプラットフォームを構築してください。 はじめに 世界銀行の金融包摂に関する報告によると、なんと17億人もの成人が銀行口座を持たないとされている。銀行口座を持たない個人の多くは、伝統的な金融機関から融資を受けることが難しく、法外な金利で融資を行うインフォーマルな金融業者に頼ることにな |
| 221 | 2023/06/30 | Data + AI Summit 2023におけるデータエンジニアリングとストリーミングの最新情報. - Original Blog Link 今日は木曜日で、2023年データ＋AIサミットからの発表の週を終えたばかりです。今年のサミットのテーマは「ジェネレーションAI」であり、LLM、レイクハウスアーキテクチャ、そしてデータとAIにおけるすべての最新イノベーションを探求するテーマでした。 最新のジェネレーティブAIのイノベーションを支えるのは、最新のデータエンジニアリングスタックです。 最新 |
| 220 | 2023/06/29 | Project Lightspeed Update - Apache Spark Structured Streamingの高度化に向けて. - Original Blog Link このブログポストでは、1年前にProject Lightspeedを発表してからのSpark Structured Streamingの進歩について、パフォーマンスの向上からエコシステムの拡張、そしてそれ以降についてレビューします。具体的なイノベーションについて説明する前に、そもそも私たちがProject Lightspeedの必要性に至った背景を少し |
| 219 | 2023/06/29 | 新しいUniversal Format と Liquid Clusteringを備えたDelta Lake 3.0の発表. - Original Blog Link Linux Foundation オープンソース Delta Lake Project,の次のメジャーリリースである Delta Lake 3.0 を発表できることを嬉しく思います。(preview中) このリリースに対する Delta Lake コミュニティの貴重な貢献に心から感謝いたします。 Delta Lake 3.0 では、以下の強力な機能が導 |
| 218 | 2023/06/29 | Apache Sparkのための新しいプログラミング言語としての「英語」翻訳: Masahiko Kitamura オリジナル記事：Introducing English as the New Programming Language for Apache Spark はじめに 私たちは、皆様のSpark体験を豊かにするために設計された革新的なツールである、Apache Sparkの英語SDKを発表できることを嬉しく思います。Apache Spark™は、世界208の |
| 217 | 2023/06/29 | 企業での責任あるAI導入を支援翻訳: Masahiko Kitamura オリジナル記事：Helping Enterprises Responsibly Deploy AI 人工知能（AI）の将来性は否定できないが、その大きな可能性には大きな責任も伴います。世界中の企業や組織は、AIの利用を加速させる一方で、技術が適切に使用されない場合に生じる可能性のある問題から保護しなければならないという、相反する圧力を感じていることでしょ |
| 216 | 2023/06/29 | 集まれ！Legendary Heroes of DATA + AI !! Vol 4日本のDatabricks Championの皆様に、目指したその理由や、これからの思いについて伺う「集まれ！Legendary Heroes of DATA + AI !!」。前回のポストから早5ヶ月。Legendary Heroes of Data＋AI の皆さんの輪もドンドン広がっています！ 今回は、Vol 4として、株式会社ナレッジコミュニケーション 小山 翼 様 をご紹介します。 —- |
| 215 | 2023/06/28 | Data and AI Summit 2023におけるUnityカタログの最新情報. - Original Blog Link データ管理に不可欠な、説明責任、コンプライアンス、品質、透明性といったガバナンスの基本原則は、今やAIにとっても同様に不可欠なものとなっています。DatabricksはUnity Catalogで、クラウドとデータプラットフォームにわたるデータとAIガバナンスのための業界唯一の統合ソリューションをリリースすることで、先駆的なアプローチを取りました。 組 |
| 214 | 2023/06/28 | UnityカタログにLakehouseフェデレーション機能を導入翻訳: Masahiko Kitamura オリジナル記事: Introducing Lakehouse Federation Capabilities in Unity Catalog データチームは、データの断片化、データの統合にかかる時間とコスト、多数のシステムにわたるデータガバナンスの管理の難しさなどが主な原因で、適切なデータに素早くアクセスするために多くの課題に直面しています。 そのため |
| 213 | 2023/06/28 | LakehouseIQのご紹介： あなたのビジネスを独自に理解するAIエンジン. - Original Blog Link 本日、LakehouseIQを発表いたします。LakehouseIQは、お客様のビジネスとデータのユニークなニュアンスを学習し、様々なユースケースで自然言語によるアクセスを可能にするナレッジエンジンです。LakehouseIQは、組織内のどの従業員でも自然言語でデータを検索、理解、照会することができます。LakehouseIQは、お客様のデータ、使用パ |
| 212 | 2023/06/28 | Lakehouse AI: Generative AIアプリケーション構築のためのデータ中心アプローチ翻訳: Masahiko Kitamura オリジナル記事: Lakehouse AI: a data-centric approach to building Generative AI applications ジェネレーティブAIは、あらゆるビジネスに変革をもたらすでしょう。Databricksは10年にわたりAIイノベーションのパイオニアとして、AIソリューションを提供するために何千ものお |
| 211 | 2023/06/28 | Databricks SQLのマテリアライズド・ビューとストリーミング・テーブルの紹介. - Original Blog Link AWSとAzure上のDatabricks SQL でマテリアライズド・ビューとストリーミング・テーブルが公開されたことをお知らせできることを嬉しく思います。ストリーミングテーブルは、クラウドストレージやメッセージキューからの増分インジェストを提供します。マテリアライズド・ビューは、新しいデータが到着すると自動的にインクリメンタルに更新されます。これら |
| 210 | 2023/06/28 | レイクハウスのデータ共有とコラボレーションの新機能のご紹介. - Original Blog Link Databricksは、データ、アナリティクス、AIを横断するデータ共有とコラボレーション(data sharing and collaboration)のための初のオープンソースアプローチを提供します。お客様は、ベンダーに依存することなく、プラットフォーム、クラウド、地域を超えて、ライブデータセット、AIモデル、アプリケーション、ノートブックを共有す |
| 209 | 2023/06/28 | Delta Live TablesとUnity Catalogを使用したガバメント・パイプラインの構築翻訳: Masahiko Kitamura オリジナル記事：Build governed pipelines with Delta Live Tables and Unity Catalog Delta Live Tables（DLT）のUnity Catalogサポートのパブリックプレビューを発表できることを嬉しく思います。このプレビューにより、どのようなデータチームでも、Delta Live |
| 208 | 2023/06/23 | DatabricksのLakehouseがTD銀行グループのデータ・トランスフォーメーションの新時代をどのように支えているか. Original Blog Link TDでは、組織全体で信頼できるデータを保護し、活用することの重要性を認識しています。データはTDを「より良い銀行」にするために不可欠なものであり、お客様をサポートするために有意義な洞察とインパクトを生み出すデータの育成に注力しています。このようなデータの管理、処理、分析、対処は、しばしば複雑で時間のかかるものでした。今日の環境では、お客様のニーズや刻々と変 |
| 207 | 2023/06/22 | Databricksを活用したジェットブルーにおけるイノベーションの加速. - Original Blog Link 航空業界におけるデータの役割には歴史があります。航空会社はメインフレームコンピュータの最初のユーザーの1つであり、今日、データの使用はビジネスのあらゆる部分をサポートするために発展してきました。データの質と量のおかげもあって、航空会社は世界で最も安全な交通手段のひとつとなっています。 今日の航空... |
| 206 | 2023/06/22 | ヘルスケアの未来はデータコラボレーションにかかっている：IQVIAとDatabricks Lakehouseでどのようにより良いアウトカムが実現されるかOriginal Blog: The future of healthcare relies on data collaboration: how IQVIA and the Databricks Lakehouse enable better outcomes 翻訳: motokazu.ishikawa ヘルスケアデータを取り込み、統合し、共有する能力は、新たなイノベーションを推進し、医学研究を |
| 205 | 2023/06/21 | Lakehouse Apps のご紹介. Original Blog Link Lakehouse Appsは、Databricksのネイティブアプリケーションを構築する新しい方法です。Lakehouse Appsは、Databricksのセキュリティとガバナンス機能をフルに活用し、革新的なデータおよびAIアプリケーションをDatabricks Lakehouse Platform上で構築、配布、実行する最も安全な方法を提供します。 |
| 204 | 2023/06/21 | DATA+AI SUMMIT セミナーガイド: データとAIのガバナンスおよび共有に関して. Original Blog Link 待ちに待ったData + AI Summitの開催が迫ってきました！ 6月26日から30日まで、基調講演、トークセッション、トレーニング、デモ、ワークショップの素晴らしいラインアップが用意されています。 データおよびAIのガバナンスと共有セッションに特にご興味がある方は、ぜひご覧ください！このブログでは、Databricksの社員、顧客、パートナーから最も |
| 203 | 2023/06/17 | Databricks Notebooksの新機能について. Original Blog Link Databricks Notebooksは、データチームやAIチームが効率的に共同作業を行えるオーサリングエクスペリエンスを開発者向けに提供しています。今月末に開催されるData + AI SummitでNotebooksのエキサイティングな新機軸を共有するために、このチームは懸命に働いています。 Weston HutchinsとNeha Sharmaが担 |
| 202 | 2023/06/16 | データ＆AIで世界にインパクトを与える：2023年Databricks Data Team for Good Awardのファイナリストを発表しました. Original Blogはこちら 毎年恒例のData Team Awardsは、さまざまな企業のデータチームが、世界で最も困難な問題に対してどのようなソリューションを提供しているかを紹介するものです。 6つのカテゴリーにおいて、さまざまな業種や地域の企業から300近い候補が提出されました。これらの組織はそれぞれ、データとAIの活用において顕著な革新性を示しており、私たちはこれらのストーリーを |
| 201 | 2023/06/16 | データ、アナリティクス、AIでビジネスを加速する：2023年Databricks Data Team Disruptor Awardのファイナリストを発表しました翻訳: Junichi Maruyama. Original Blog はこちら 毎年恒例のData Team Awardsは、さまざまな企業のデータチームが、世界で最も困難な問題に対してどのようなソリューションを提供しているかを紹介するものです。 6つのカテゴリーにおいて、さまざまな業種や地域の企業から300近い候補が提出されました。これらの組織はそれぞれ、データとAIの活用において顕著な革新性 |
| 200 | 2023/06/16 | DatabricksとGoogle Cloudでリアルタイムデータ処理のパワーを解き放つOriginal Blog, 翻訳: junichi.maruyama Databricks Lakehouse PlatformのGoogle Pub/Subコネクタの正式リリースをお知らせします。この新しいコネクタは、外部データソースコネクタの広範なエコシステムに追加され、Databricksから直接Google Pub/Subに簡単に登録し、リアルタイムでデータを処理・分析することができます |
| 199 | 2023/06/15 | ゲスト投稿： Laminiを使用してDatabricksのデータで独自のLLMをトレーニングするこれは私たちのスタートアップパートナーである Lamini からのゲスト投稿です。 上の写真のLLMは、Laminiのドキュメントで訓練されたものです。遊んでみてください。 Live now! S&P500の20％以上が今年（2023年）の第1四半期に決算説明会でAIを話題にしたのですから。LLMはあなたの製品に魔法をかけ、顧客を喜ばせ、トップラインを増加させることができます。顧客は、パーソナライ |
| 198 | 2023/06/14 | Data + AI Summit 2023におけるDatabricks SQLとデータウェアハウスの講演ガイドOriginal: A guide to Databricks SQL and Data Warehousing talks at Data + AI Summit 2023 翻訳: junichi.maruyama レイクハウス上のサーバーレスデータウェアハウスであるDatabricks SQLの一般提供を発表してから、わずか1年半しか経っていませんが、コミュニティでの採用と影響力に感激し、謙虚 |
| 197 | 2023/06/14 | Welcome Rubicon to Databricks: これからのAIストレージとサービングシステムにむけてOriginal: Welcome Rubicon to Databricks: The Future of AI Storage and Serving Systems 翻訳: saki.kitaoka RubiconのチームがDatabricksに参加することを発表でき、大変嬉しく思っています。大規模インフラ構築者であるAkhil GuptaとSergei Tsarevによって設立されたRub |
| 196 | 2023/06/13 | Databricksのワークフローを利用したLakehouseのオーケストレーションOriginal: Lakehouse Orchestration with Databricks Workflows 翻訳: junichi.maruyama 業界を問わず、組織はレイクハウス・アーキテクチャを採用し、すべてのデータ、アナリティクス、AIのワークロードに統一プラットフォームを使用しています。ワークロードを本番環境に移行する際、組織はワークロードのオーケストレーションの方法が、デー |
| 195 | 2023/06/12 | コミュニケーションにおける大規模言語モデルOriginal: Large Language Models in Communications 翻訳: junichi.maruyama 通信業界は、ユーティリティから付加価値サービスプロバイダーへの変革期を迎えており、データとAIは、より良い消費者、ネットワーク、パートナー体験を提供する中核となっています。データとAIが効率的な成長のために利用されているこの時代、Large Language |
| 194 | 2023/06/11 | Databricks Unity CatalogをオープンなApache Hive Metastore APIで拡張可能になりましたOriginal: Extending Databricks Unity Catalog with an Open Apache Hive Metastore API 翻訳: saki.kitaoka 本日、Databricks Unity CatalogのHive Metastore（HMS）インターフェイスのプレビューを発表しました。Apache Hiveは、業界で最も広くサポートされているカ |
| 193 | 2023/06/08 | Generative AI is Everything Everywhere, All at OnceOriginal: Generative AI is Everything Everywhere, All at Once 翻訳: saki.kitaoka Data and AI Summit on "Generation AI "に直接またはバーチャルで参加し、詳細をご確認ください。 変化の激しい金融の世界では、企業は自動化の促進、製品イノベーションの加速、業務効率の改善を通じて競争力を維持す |
| 192 | 2023/06/08 | Visual Studio Codeを使ってコードやノートブックをデバッグしましょうOriginal: Debug your code and notebooks by using Visual Studio Code 翻訳: saki.kitaoka 今年初めに、Visual Studio Code用の公式Databricks拡張機能をローンチしました。今日、この拡張機能を使って、インタラクティブなデバッグとローカルJupyter（ipynb）ノートブック開発をサポートする機能 |
| 191 | 2023/06/08 | Delta Live Tablesを用いたサイバーセキュリティのレイクハウス向けETLパイプラインの構築翻訳: Masahiko Kitamura オリジナル記事: Building ETL pipelines for the cybersecurity lakehouse with Delta Live Tables Databricksはこのほど、データエンジニア、データサイエンティスト、アナリストが、複雑なインフラを管理することなく、あらゆるクラウド上で信頼性の高いデータ、分析、MLワークフロ |
| 190 | 2023/06/08 | CrowdStrike Falconのイベントに向けてサイバーセキュリティのレイクハウスの構築翻訳: Masahiko Kitamura オリジナル記事: Building a Cybersecurity Lakehouse for CrowdStrike Falcon Events 今すぐDatabricksを導入して、こちらのノートブックを実行してみてください。 エンドポイントデータは、セキュリティチームが脅威の検出、脅威の狩猟、インシデント調査、およびコンプライアンス要件を満たすため |
| 189 | 2023/06/07 | サイバーセキュリティアプリケーション向けDatabricks Lakehouseプラットフォーム翻訳: Masahiko Kitamura 具体的なコードはIOCマッチングのソリューションアクセラレータのGitHub reoを参照ください。また、本ソリューションのPOC・トライアルについてはcybersecurity@databricks.com までご連絡ください。 金融機関、医療機関、政府機関がデータをクラウドに移行し、IoTセンサーや相互接続されたデバイスが増加しているため、サイバーセ |
| 188 | 2023/06/07 | Apache ParquetデータレイクをDelta Lakeにシームレスに移行するOriginal: Seamlessly Migrate Your Apache Parquet Data Lake to Delta Lake 翻訳: junichi.maruyama Apache Parquet は、今日のビッグデータの世界で最も人気のあるオープンソースのファイルフォーマットの1つです。列指向であるApache Parquetは、データの保存と検索を効率的に行うことができるた |
| 187 | 2023/06/07 | MLflow 2.4を発表：ロバストなモデル評価のためのLLMOpsツールOriginal: Announcing MLflow 2.4: LLMOps Tools for Robust Model Evaluation 翻訳: junichi.maruyama LLMは、あらゆる規模の企業にとって、強力なアプリケーションを迅速に構築し、ビジネス価値を提供する大きな機会を提供します。これまでデータサイエンティストは、非常に限られたタスクを実行するために何千時間もかけてモ |
| 186 | 2023/06/06 | メディア＆エンターテインメントにおける大規模言語モデルOriginal: Large Language Models in Media & Entertainment 翻訳: junichi.maruyama メディア＆エンターテインメント業界は、データを中心とした革命の真っ只中にあり、消費者をあらゆる体験の中心に据えています。あらゆる規模の組織が、パーソナライズされた1:1体験を大規模に提供する次の破壊的イノベーションを実現するために、今、探求を続 |
| 185 | 2023/06/06 | ついにスタート： ジェネレーティブAIラーニングの新提案Original: Now Available: New Generative AI Learning Offerings 翻訳: junichi.maruyama Databricks Academyで提供するGenerative AI学習の新ポートフォリオを発表 大規模言語モデルへの登録： Databricks AcademyのApplication through Productionを今す |
| 184 | 2023/06/05 | DatabricksとDell ECSストレージによるハイブリッドクラウドソリューションOriginal: Hybrid Cloud Solutions with Databricks and Dell ECS storage 翻訳: junichi.maruyama 先週行われたDell Technologies World 2023のオープニングキーノートから、デルとDatabricksの戦略的パートナーシップの発表がありましたのでご紹介します。私たちの共同のお客様は、パブリック |
| 183 | 2023/06/05 | Databricks Marketplaceのパワーをメディアとエンターテイメントに解放する - featuring LiveRampOriginal: Unleashing the Power of the Databricks Marketplace for Media and Entertainment - featuring LiveRamp 翻訳: junichi.maruyama 今日のデータ主導の状況において、企業はデータを統合し、オーディエンスのプロフィールを豊かにする有意義なインサイトを導き出すという課題に直面 |
| 182 | 2023/06/02 | 構造化ストリーミングにおける適応的なクエリの実行Original: Adaptive Query Execution in Structured Streaming 翻訳: junichi.maruyama Databricks Runtimeでは、Adaptive Query Execution (AQE) は、クエリ実行中にランタイム統計を使用してバッチクエリを継続的に再適正化するパフォーマンス機能です。Databricks Runtime |
| 181 | 2023/06/01 | Delta Live Table（DLT）を用いたGDPR・CCPAにおける「忘れられる権利」の取り扱いについてOriginal: Handling "Right to be Forgotten" in GDPR and CCPA using Delta Live Tables (DLT) 翻訳: junichi.maruyama ここ数十年でデータ量は爆発的に増加し、各国政府は個人データに対する個人の保護と権利を強化するための規制を設けています。General Data Protection Regula |
| 180 | 2023/06/01 | Cleanlab Studioを使ったより良いデータでより良いLLMをOriginal: Better LLMs with Better Data using Cleanlab Studio 翻訳: junichi.maruyama この投稿とそれに付随するノートブックとチュートリアルビデオは、Cleanlab Studioを使用して、大規模言語モデル（LLM、基礎モデルとも呼ばれる）のパフォーマンスを、それらが微調整されるデータを改善することによって改善する方法（ |
| 179 | 2023/05/31 | ようこそbit.io : 開発者エクスペリエンスへの投資Original: Welcoming bit.io to Databricks: Investing in the Developer Experience 翻訳: saki.kitaoka この度、bit.ioがDatabricksの一員となったことをお知らせできることを嬉しく思います。 Databricksでは、組織が最も困難な問題をデータで解決できるようにすることに常に重点を置いています。 |
| 178 | 2023/05/31 | ファイルアップロードとデータ追加UIでLakehouseに簡単に取り込むOriginal: Easy Ingestion to Lakehouse with File Upload and Add Data UI 翻訳: junichi.maruyama Lakehouseへのデータ取り込みは、多くの組織にとってボトルネックとなり得ますが、Databricksを使用すれば、様々なタイプのデータを迅速かつ容易に取り込むことができます。小さなローカルファイルでも、データベ |
| 177 | 2023/05/30 | グレート・アンロック: 製造業における大規模言語モデルOriginal: The Great Unlock: Large Language Models in Manufacturing 翻訳: junichi.maruyama 製造業は、自動化を進め、オペレーションを可視化し、製品・技術開発を加速させるための新しい方法を常に模索しています。そのため、企業は常に深い技術的進歩の最前線にいることが求められます。製造業で最近見られる技術的進歩のひとつに、 |
| 176 | 2023/05/29 | MMMとは何か、なぜマーケターにとって重要なのか？Original: What is a MMM and why does it matter for marketers? 翻訳: junichi.maruyama MMM（Marketing or Media Mix Modeling）とは、企業が複数のチャネルにまたがるマーケティングキャンペーンの効果を特定・測定するためのデータ駆動型の方法論です。MMMの目的は、企業が広告やマーケティング戦略 |
| 175 | 2023/05/26 | Databricksで構築： 最新のソフトウェア製品でデータとAIのイノベーションを促進するOriginal: Built on Databricks: Fueling Data and AI innovation in modern software products 翻訳: junichi.maruyama AIの時代が到来しています。すべての製品メーカーは、新しいデータとAIの能力をどのように活用するかを自問しなければ、その製品は生き残れないでしょう。従来の説明的な分析は、テーブル |
| 174 | 2023/05/26 | エグゼクティブのためのデータ、アナリティクス、AI変革ガイド 第5回：情報に基づいたビルドと購入の意思決定Original :The Executive’s Guide to Data, Analytics and AI Transformation, Part 5: Make informed build vs. buy decisions translate by junichi.maruyama データおよびAIトランスフォーメーション戦略の重要な要素として、データエコシステムのどのコンポーネン |
| 173 | 2023/05/25 | 顧客主導の成長を促進する： Databricks VenturesがCatalystに投資Original: Powering Customer-Led Growth: Databricks Ventures Invests in Catalyst 翻訳: junichi.maruyama Databricks Venturesは、既存顧客との関係を最適化することでソフトウェア企業の成長加速を支援する先進的なプラットフォームであるCatalystへの投資を発表します。Catalystは |
| 172 | 2023/05/25 | 企業のAI化を真の意味で加速する「モデルリスクマネジメント」EYのMario Schlener、Wissem Bouraoui、Tarek Elguebalyには、このジャーニーを通してのサポート、このブログとソリューションアクセラレータへの貢献に対して特別な感謝を申し上げます。 Original: Model Risk Management, a true accelerator to corporate AI 翻訳: junichi.maruyama |
| 171 | 2023/05/24 | カスタマーサービスとサポートで大規模言語モデル革命を推進する独自のLLM対応ボットを作りたいですか？エンドツーエンドのソリューションアクセラレータをこちらからダウンロードしてください OpenAI’s ChatGPT, Google’s Bard や今回の MosaicML’s MPT.のような大規模言語モデル（LLM）の可能性に、ビジネスリーダーは誰もが期待しています。大量のテキストを消化し、その情報に基づいて新しいコンテンツを生成するその能力は、既存の |
| 170 | 2023/05/23 | Databricksがファイルサイズの自動最適化によりクエリパフォーマンスを最大2.2倍向上させた方法テーブルファイルサイズの最適化は、長い間データエンジニアにとって必要だが複雑なタスクでした。テーブルの適切なファイルサイズに到達すると、大幅なパフォーマンス向上が実現しますが、これは伝統的に深い専門知識と大量の時間投資を必要としていました。 最近、Databricks SQLのためのPredictive I/O(Predictive I/O for Databricks SQL)を発表し、ポイント |
| 169 | 2023/05/23 | 一部の地域でDatabricks SQL Serverlessの一般利用開始を発表します！Original: Announcing the General Availability of Databricks SQL Serverless ! 翻訳: saki.kitaoka 本日、AWSおよびAzureの一部地域でDatabricks SQLのサーバーレスコンピューティングが一般利用可能になったことを発表することを大変嬉しく思います！ Databricks SQL (DB SQL) |
| 168 | 2023/05/23 | 2023年データ＋AIの現状：企業はAI新時代にどう備えるか？昨年末にChatGPTが公開されて以来、大規模言語モデル（LLM）への関心が歴史的に高まり、この話題は避けて通れないものとなっています。LLMの技術は比類ない速さで向上しているだけでなく、企業もかつてないほど独自のモデルを構築しています。今や、予測モデルはミッションクリティカルな業務を支え、過去にさかのぼってのレビューではなく、未来を見通す窓を組織に与え、より迅速で無駄のない業務を支援します。 こ |
| 167 | 2023/05/23 | Azure DatabricksのAzure Confidential Computingサポートに関するパブリックプレビューのお知らせ私たちは、Azure Databricks がAzure confidential computing(ACC）をサポートすることをプレビューで発表できることを嬉しく思います！この発表により、お客様はAzure DatabricksのワークロードをAzureコンフィデンシャル仮想マシン（VM）上で実行できるようになります。ACCのサポートにより、お客様は、使用中のデータを暗号化することで機密性とプ |
| 166 | 2023/05/17 | Databricks Notebooks向けの新しいデバッグ機能：Variable ExplorerOriginal: New debugging features for Databricks Notebooks with Variable Explorer 翻訳: saki.kitaoka 今日、Databricks NotebookのPython向けにVariable Explorer（変数エクスプローラ）の一般利用可能を発表することを非常に嬉しく思います。Variable Explore |
| 165 | 2023/05/16 | Apache SparkによるCOMTRADEファイルを用いたグリッドエッジ分析の高速化安定した電力供給は、現代の私たちの生活に欠かせないものです。しかし、電力網は常に進化しており、設立から100年以上経った現在では、発電事業者が確立された規格を遵守することが不可欠となっています。規格を遵守することで、送電線、配電線、変電所、変圧器など、送電網を構成する部品が協調して働き、 |
| 164 | 2023/05/16 | 機密データを保護するために、HabuとDatabricksはどのように連携しているか先日、Databricksとの提携を発表(announce)し、すべてのLakehouseにマルチクラウドデータクリーンルームコラボレーション機能を提供することを発表しました。Databricksとの統合は、Databricks's Lakehouse technology とHabuのクリーンルームオーケストレーションプラットフォームの長所を組み合わせ、クラウドやデータプラットフォーム間でのコラ |
| 163 | 2023/05/15 | Apache Spark Structured Streamingでレイテンシが1秒未満になりましたOriginal: Latency goes subsecond in Apache Spark Structured Streaming 翻訳: saki.kitaoka Apache Spark Structured Streamingは、オープンソースのストリーム処理プラットフォームの代表格です。the Databricks Lakehouse Platformのストリーミングを支える中核技 |
| 162 | 2023/05/15 | Apple HealthkitとDatabricksで健康やフィットネスの目標を追跡しようデータは、健康を含む私たちの生活の多くの側面を改善するために使用することができる強力なツールです。ウェアラブル・フィットネス・トラッカー、健康アプリ、その他のモニタリング・デバイスの普及により、私たちの健康に関するデータを収集し、分析することはかつてないほど容易になりました。これらのデータを追跡・分析することで、私たちは自分の健康とウェルネスに関する貴重な洞察を得ることができ、ライフスタイルや習慣 |
| 161 | 2023/05/12 | レイクハウスが保険業界のカスタマーサービス分析にNLPを活用した理由Download the Databricks Insurance NLP Solution Accelerator はじめに 現在の経済・社会情勢は、お客様の期待や嗜好を再定義しています。社会はデジタル化を余儀なくされ、それは保険会社における顧客サービスにも及んでいます。 しかし、データドリブンの考... |
| 160 | 2023/05/11 | CARTOとDatabricksによるフリート最適化近年、効率的な配送は企業にとってますます重要になってきており、特に物流企業や独自の流通網を持つ消費財（CPG）業界の企業にとって重要な課題となっています。 これらの企業にとって大きな課題は、輸送ルートを最適化し、コストを最小化しながらタイムリーな配送を実現することです。そのためには、距離、交通量、道路状況、使用する輸送手段の種類（トラック、鉄道、航空など）などの要素を考慮する必要があります。さらに |
| 159 | 2023/05/11 | クラスターポリシー オンボーディング入門はじめに このブログは、Databricks環境を管理・維持するために重要なトピックに焦点を当てる「Admin Essentials」シリーズの一部です。ワークスペース組織、ワークスペース管理、UCオンボーディング、コスト管理のベストプラクティスについては、以前のブログをご覧ください！ データは、洞察に変換されて初めて有用なものとなります。データの民主化とは、過度なプロセスのボトルネックや、高価で |
| 158 | 2023/05/10 | Databricks Fleet Clusters for AWSのご紹介この度、Databricks FleetクラスタのAWSでの一般提供開始を発表します。 フリートクラスタとは？ Databricks Fleet Clusters は、Databricksがインテリジェントに最適化し、プロセスを自動化することで、手動でインスタンスを選択する手間をかけずにSpot価格の潜在能力を引き出します。Databricksの1クラスタ内の複数のインスタンスにまたがるフレックス |
| 157 | 2023/05/10 | Databricks SQL AI Functionsで大規模に顧客レビューに対して行動するスーザンは毎朝、メッセージの嵐にさらされ、何から手をつけたらいいのかわからない！スーザンは、世界的な小売企業のカスタマーサクセススペシャリストです。彼女の主な目的は、顧客が問題に遭遇したときに、必ず満足し、個人的なサービスを受けられるようにすることです。 一晩で、ウェブサイト、アプリ、ソーシャルメディアへの投稿、電子メールなど、複数のチャネルで何百ものレビューやフィードバックが寄せられるようになり |
| 156 | 2023/05/09 | Unity Catalogを通じたデルタシェアリングで構造化ストリーミングを使うこの度、Azure、AWS、GCPにおいて、Structured StreamingをDelta Sharingで使用するためのサポートが一般提供（GA）されたことをお知らせします！この新機能により、Databricks Lakehouse Platform上のデータ受信者は、Unity Catalogを通じて共有されたDelta Tableからの変更をストリーミングできるようになります。 データ |
| 155 | 2023/05/09 | Delta Lakeとの統合でデータエコシステムを統一する組織がデータインフラを成熟させ、データレイクにこれまで以上に多くのデータを蓄積していく中で、Delta Lakeのようなオープンで信頼性の高いテーブルフォーマットは非常に必要になってきます。 すでに何千もの企業が本番でDelta Lakeを使用しており、（2022年6月に発表された）Delta Lakeのすべてをオープンソース化したことで、さまざまなドメインや垂直方向での採用がさらに進んでいます。 |
| 154 | 2023/05/05 | Unity Catalogにおけるデータ権限モデルとアクセス制御のためのヒッチハイカーズガイドデータの量、速度、多様性が増すにつれ、組織は、中核となるビジネス成果を適切に満たすために、確固たるデータガバナンスの実践にますます頼るようになっています。Unity Catalogは、Databricks Lakehouseを支えるデータとAIのためのきめ細かなガバナンス・ソリューションです。データアクセスを管理・監査するための一元的なメカニズムを提供することで、企業のデータ資産のセキュリティとガ |
| 153 | 2023/05/04 | レイクハウス・ガバナンス・エコシステムを強化する： Databricks VenturesがImmutaに投資Original: Strengthening the Lakehouse Governance Ecosystem: Databricks Ventures Invests in Immuta 翻訳: junichi.maruyama Databricks Venturesは、ImmutaのシリーズE資金調達ラウンドへの投資を発表し、業界をリードするデータセキュリティプラットフォームとの6年にわ |
| 152 | 2023/05/04 | "バーを上げる" へのエンパワーメント今回は、BricksterのÖzge Bekleyenの詳細なインタビューをお届けします！チューリッヒを拠点に、スペシャリストソリューションアーキテクトのチームを率いています。このブログで、ÖzgeはDatabricksでの経験や、Women's Network Employee Resource Groupへの参加について話しています。彼女のストーリーを読んで、彼女がどのようにハードルを上げる力 |
| 151 | 2023/05/04 | 新しいナビゲーションUIで目的のものを見つけましょうOriginal: Find what you seek with the new navigation UI 翻訳: saki.kitaoka Databricksの新しいUIがリリースされ、ナビゲーションがより簡単になります。 顧客はよりシンプルなナビゲーションを求めています。 Databricksでは、顧客中心の文化があります。ユーザーからのフィードバックを真摯に受け止め、Databrick |
| 150 | 2023/05/04 | Terraform Databricksのモジュールを発表Original: Announcing Terraform Databricks modules 翻訳: junichi.maruyama Databricks Terraformプロバイダーは1,000万インストールを突破し、一般提供開始後1年未満で大幅に採用が増えました。 この重要なマイルストーンはTerraformとDatabricksプロバイダーが、Lakehouse Platformの |
| 149 | 2023/05/04 | Databricks SQLのキャッシングを理解する： UIキャッシュ、リザルトキャッシュ、ディスクキャッシュOriginal: Understanding Caching in Databricks SQL: UI, Result, and Disk Caches 翻訳: junichi.maruyama キャッシングは、同じデータを何度も再計算またはフェッチする必要性を回避することで、データウェアハウスシステムのパフォーマンスを向上させるために不可欠な技術です。Databricks SQLでは、キャッ |
| 148 | 2023/05/03 | エグゼクティブのためのデータ、アナリティクス、AI変革ガイド 第4回：ガバナンスで良質なデータへのアクセスを民主化する本記事は、データとAIの変革イニシアチブを率いるシニアエグゼクティブと重要な洞察と戦術を共有する複数回シリーズのパート4です。シリーズのパート3はこちらでお読みいただけます。 効果的なデータおよびAIソリューションは、レポート、モデル、アルゴリズムの洗練度や複雑さよりも、利用可能な質の高いデータの量に依存しています。Googleの論文「The Unreasonable Effectiveness |
| 147 | 2023/05/03 | ようこそOkera： AIを中心としたアプローチでガバナンスを実現するOriginal: Welcome Okera: Adopting an AI-centric approach to governance 翻訳: junichi.maruyama Databricksは10年にわたり、世界中の組織のためにデータとAIの民主化に力を注いできました。そして、昨年11月のChatGPTのデビュー、そして最近のDolly 2.0の導入以来、すべてのお客様が、AIと大規 |
| 146 | 2023/05/03 | Databricks、dbt Labs、Fivetranと一緒にレイクハウスでモダンデータスタックを構築する5つの理由Original : Five Reasons to Build your Modern Data Stack on the Lakehouse with Databricks, dbt Labs and Fivetran translate by junichi.maruyama 数年前、クラウドベースのモダンデータ・プラットフォームによって、アナリティクスとそれを支えるツールが実務者の手に渡る |
| 145 | 2023/05/02 | Databricksクラスタinitスクリプトの安全化This blog was co-authored by Elia Florio, Sr. Director of Detection & Response at Databricks and Florian Roth and Marius Bartholdy, security researchers... |
| 144 | 2023/05/02 | リテールメディアネットワークの力を引き出す： データ駆動型広告がリテールプロモーションの展望を変える方法薄利多売と顧客獲得競争の激化により、小売業者は常に新しい収益化の方法を模索し、時代の先端を走っています。CPG企業がより柔軟で消費者をターゲットにすることを求める中、従来はトレードプロモーションに費やされていたマーケティング予算は、FacebookやGoogleなどのデジタル広告に一部移行しています。 このような販促費のシフトは、小売業者の犠牲の上に成り立っています。米国では、FacebookとG |
| 143 | 2023/05/01 | edXの新しい専門家主導の大規模言語モデル（LLMs）コースに登録するedXの入門コースに今すぐ登録する！コースは2023年夏開始予定です edXの新しい大規模言語モデルコース Large Language Model (LLM)アプリケーションが無数の産業を破壊する中、生成AIは重要な基盤技術になりつつある。LLMベースのアプリケーションの需要は急増しており、それを構築できるエンジニアの需要も高まっています。 今日、私たちは新しいLarge Language Mo |
| 142 | 2023/04/28 | ソフトウェア開発およびDevOpsのベストプラクティスをDelta Live Tableパイプラインに適用Databricks Delta Live Tables（DLT）は、データエンジニアが記述・維持する必要のあるコード量を減らすことで、堅牢なデータ処理パイプラインの開発を根本的に簡素化します。また、環境間でコードとパイプラインの構成をシームレスに推進できるようにしながら、データのメンテナンスとインフラ運用の必要性を低減します。しかし、パイプラインに含まれるコードのテストを行う必要があり、それを効 |
| 141 | 2023/04/27 | Databricks Marketplaceのパブリックプレビュー発表この度、オープンソースのDelta Sharing規格を利用した、あらゆるデータ、アナリティクス、AIのためのオープンマーケットプレイス、Databricks Marketplaceのパブリックプレビューを発表します。Databricks Marketplaceは、データ消費者とデータ提供者の広大なエコシステムを結集し、データセット、ノートブック、MLモデルなど、さまざまなデータ資産を、プラットフ |
| 140 | 2023/04/26 | 大規模言語モデル(LLM)による商品検索の強化ChatGPTやDollyなどのテキスト生成能力は実に素晴らしく、AIの分野での大きな一歩として当然のように認識されています。しかし、これらのモデルによってもたらされる未来への興奮が落ち着くにつれて、多くの組織が、これらのテクノロジーを今日どのように活用できるのか、という疑問を持ち始めています。 多くの新技術と同様、大規模言語モデル（LLM）の完全な応用範囲は現時点では不明ですが、以前のブログで紹 |
| 139 | 2023/04/26 | Predictive I/O for Updatesのパブリックプレビューのお知らせ前回、Predictive I/Oと呼ばれる新技術により、CDWのお客様がノブなしで選択的読み取りを最大35倍まで改善できることをご紹介しました。本日は、もう一つの革新的な飛躍であるPredictive I/O for Updatesのパブリックプレビューを発表し、MERGE、UPDATE、DELETEのクエリパフォーマンスを最大10倍高速化することができるようになりました。 Databricks |
| 138 | 2023/04/26 | Predictive I/O for Readsの一般提供開始を発表本日、Databricks SQL (DB SQL)向けのPredictive I/Oの一般提供を開始します：機械学習を利用した機能で、ポイントのルックアップをより速く、より安くすることができます。Predictive I/Oは、Databricksが大規模なAI/MLシステムを構築してきた長年の経験を活用し、追加のインデックスや高価なバックグラウンドサービスなしで、Lakehouseを最もスマー |
| 137 | 2023/04/26 | Databricks ❤️ Hugging FaceジェネレーティブAIが世界を席巻しています。データ＆AIカンパニーである私たちは、オープンソースの大規模言語モデル「Dolly」と、そのファインチューニングに使用した研究・商用利用のための社内クラウドソーシングデータセット「databricks-dolly-15k」をリリースし、この旅に参加しています。モデルもデータセットも、Hugging Faceで公開されています。そして今日、私たちはHugg |
| 136 | 2023/04/26 | Databricksが実現するデータとAIの運用モデルとは：Part 1"今、（AIの）ボトルネックは、テクノロジーではなく、マネジメント、実装、ビジネスイマジネーションにあります。" -Erik Brynjolfsson データとAIは、ここ数年、ほとんどの組織にとって戦略的な必須事項として浮上しています。大企業も中小企業も、データおよびAIの専門家を多数採用し、データプラットフォームのアップグレードと進化に多大な投資を行ってきました。 これまでのところ、投資のほと |
| 135 | 2023/04/26 | Lakehouseの価値を最大化するためのデータアーキテクチャパターンLakehouseの優れた成果の1つは、従来のBI、機械学習＆AIといったモダンなユースケースのワークロードを1つのプラットフォームで組み合わせることができることです。このブログ記事では、「1つのプラットフォームに2つのサイロがある」というリスクを軽減するアーキテクチャ・パターンを説明しています。本ブログで紹介するアプローチに従えば、機械学習やAIを利用するデータサイエンティストは、組織のビジネス |
| 134 | 2023/04/25 | Delta Live Tablesを使用して、複数のストリーミングプラットフォームから同時にデータを処理する今日の組織における大きな課題の1つは、ビジネスのスピードに合わせた意思決定を可能にすることです。ビジネスチームや自律的な意思決定システムは、意思決定や迅速な対応に必要なすべての情報を、ソースとなるイベントが発生すると同時に、リアルタイムまたはほぼリアルタイムで必要とすることが多い。このような情報は、ストリーム処理用語でイベントと呼ばれ、ソースからデスティネーションへ非同期でリレーされ、一般的にメッ |
| 133 | 2023/04/24 | Databricks Workspaceの新しいFilesエクスペリエンスを発表本日、Databricksのワークスペースにおけるファイルの一般的な利用可能性を発表することを嬉しく思います。ファイルのサポートにより、DatabricksユーザーはPythonソースコード、リファレンスデータセット、その他あらゆるタイプのファイルコンテンツをノートブックと一緒に直接保存できるようになります。また、Databricksは、インラインコード実行をサポートする新しいリッチファイルエディ |
| 132 | 2023/04/23 | 異常検知でエネルギーロスを未然に防ぐ電力会社におけるエネルギー損失は、主に不正と漏電の2つに分類されます。不正（またはエネルギー窃盗）は悪意があり、メーターの改ざん、隣家への盗聴、さらには住宅地での商用負荷（栽培ハウスなど）の実行など、さまざまな可能性があります。メーターの改ざんは、従来は担当者が手作業でチェックしていましたが、最近のコンピュータビジョンの進歩により、ライダーやドローンを使ってチェックを自動化することができます。 エ |
| 131 | 2023/04/21 | YipitDataがDatabricks Unity Catalogを活用しデータサービスの拡張を実現This blog is authored by Anup Segu, Co-Head of Data Engineering at YipitData Original Blog : YipitData leverages Databricks Unity Catalog to Scale... |
| 130 | 2023/04/20 | Databricks上のPyTorch - Spark PyTorch Distributor の紹介背景と動機 ディープラーニングのアルゴリズムは複雑で、トレーニングに時間がかかりますが、これらのアルゴリズムが実現する価値のために、研究室から生産現場へと急速に移行しつつあります。学習済みのモデルを使用して微調整する場合でも、ネットワークをゼロから構築する場合でも、学習時のメモリと計算負荷はすぐにボトルネックとなります。このような制約を克服するための手段として、一般的な最初の防御策は、分散学習を活 |
| 129 | 2023/04/19 | SAPと共にオープンデータエコシステムを開発する製造業、エネルギー、ライフサイエンス、小売業など、さまざまな業界で、企業がビジネスの耐久性、回復力、持続可能性を重視し、重要な意思決定にデータを活用するようになってきています。これらの業界の企業における重要なデータの大半は、SAPアプリケーションからもたらされています。 SAP Datasphereは、財務、サプライチェーン、CRM、人事など、ERPやその他の機能アプリケーション群にまたがるSAP |
| 128 | 2023/04/19 | |
| 127 | 2023/04/19 | Spark NLPでDatabricks Lakehouse Platform上のVision Transformers（ViT）をスケールさせるイントロダクション 2017年のことですが、Google AIの研究者グループが、すべての自然言語処理（NLP）の基準を変えるトランスフォーマーモデルのアーキテクチャを紹介する論文を発表しました。これらの新しいTransformerベースのモデルは、NLPタスクに革命を起こしているように見えますが、コンピュータビジョン（CV）での使用はかなり制限されたままでした。これらの新しいTransforme |
| 126 | 2023/04/18 | MLflow 2.3の紹介：LLMのネイティブサポートと新機能による強化MLflowは月間 1,300 万ダウンロードを超え、エンドツーエンドの MLOps の主要なプラットフォームとしての地位を確立しており、あらゆる規模のチームがバッチおよびリアルタイム推論用のモデルを追跡、共有、パッケージ化、およびデプロイできるようにしました。MLflowは、何千もの組織で日々採用され、多様なプロダクション機械学習アプリケーションを推進しており、産業界と学界から500人以上の貢献 |
| 125 | 2023/04/18 | Spark Connect がApache Spark 3.4で利用可能になりました昨年、Data and AI SummitでSpark Connectが紹介されました。最近リリースされたApache SparkTM 3.4の一部として、Spark Connectは一般的に利用できるようになりました。また、最近Databricks ConnectをSpark Connectをベースに再アーキテクトしました。このブログ記事では、Spark Connectとは何か、どのように機能す |
| 124 | 2023/04/18 | Databricks Connect “v2” でどこからでも Databricks を使用しようこの度、Databricks Connect "v2 "のパブリックプレビューを発表することができ、開発者はどこでも動作するアプリケーションからDatabricksのパワーを利用できるようになりました。 これまで、SQL以外の言語からDatabricksにリモートで接続する方法はありませんでした。Databricks Connect libraryをアプリケーションに組み込み、Databricks |
| 123 | 2023/04/18 | AI Functions のご紹介： 大規模な言語モデルをDatabricks SQLで統合する大規模言語モデルの分野で素晴らしい進歩が見られる中、お客様から、SQLアナリストが日々のワークフローでこの強力なテクノロジーを活用できるようにするにはどうしたらよいかという問い合わせがありました。 本日、私たちはAI Functions のパブリックプレビューを発表できることを嬉しく思います。AI Functionsは、DBに組み込まれたSQL関数で、SQLから直接Large Language M |
| 122 | 2023/04/14 | Delta Live Tablesで10億レコードのETLを1ドル未満で実行した方法Original: How We Performed ETL on One Billion Records For Under $1 With Delta Live Tables 翻訳: junichi.maruyama 今日、DatabricksはETL（Extract、Transform、Load）の価格とパフォーマンスの新しい標準を打ち立てました。お客様は10年以上前からDatabricks |
| 121 | 2023/04/13 | Apache Spark™ 3.4 for Databricks Runtime 13.0の紹介) 本日、Databricks Runtime 13.0の一部として、Databricks上でApache Spark™ 3.4が利用可能になったことを発表します。Spark 3.4のリリースに多大な貢献をされたApache Sparkコミュニティーの皆様に心より感謝申し上げます。 Sparkのさらなる統一、Sparkをどこでも使えるアプリケーションの実現、生産性の向上、使い方の簡素化、新機能の追 |
| 120 | 2023/04/13 | Generative AI（生成AI）時代の小売業Generative AI（生成AI）とは？ ChatGPTのような大規模言語モデル（LLM）は、Generative AI（生成AI）という大きなトピックとともに、最近大きな注目を集めている。ユーザーが提供したプロンプトに対して、一見思慮深く、十分な情報を持った、さらには人間のような応答を生成するその能力は、本当に驚くべきものです。多くの企業がこれらをゲームチェンジするテクノロジーとして認識して |
| 119 | 2023/04/13 | Free Dolly: 世界初の真にオープンな指示でチューニングされたLLM2週間前、ChatGPTのような人間のインタラクティブ性(指示追従性)を示すように、$30以下でトレーニングされた大規模言語モデル(LLM)であるDollyをリリースしました。本日、研究と商用利用にライセンスされた、人の手で生成された指示データセットでファインチューンされた、史上初のオープンソース、指示追従LLMであるDolly 2.0をリリースします。 Dolly 2.0はEleutherAIの |
| 118 | 2023/04/11 | 機械学習を向上させる合成データこの1年で最も話題になった、ChatGPTやDALL-Eのような生成AIの進化を試したことがある人も多いでしょう。これらのツールは、複雑なデータを消費し、より多くのデータを生成することで、驚くほど知的なもののように感じられるのです。これらやその他の新しいアイデア（diffusion models、generative adversarial networks、GAN）は、遊んでみると楽しく、恐ろし |
| 117 | 2023/04/07 | エグゼクティブのためのデータ、アナリティクス、AI変革ガイド 第2回：ユースケースの特定と優先順位付け本連載は、データおよびAIの変革イニシアチブを率いるシニアエグゼクティブと重要な洞察と戦術を共有するための複数回シリーズのパート2です。シリーズのパート1はこちらでお読みいただけます。 データ、アナリティクス、AIによるビジネス変革を実現するための重要なステップは、ビジネス価値を高めるユースケースを特定することです。ただし、現状（人、プロセス、データ、インフラ）で達成可能なユースケースに優先順位を |
| 116 | 2023/04/07 | クラスターポリシーのGeneral Availabilityのお知らせこの度、クラスターポリシーが一般公開されることになりました。 Why Databricks cluster policies? Databricksのクラスタポリシーによって、管理者は以下のことが可能になります： エンドユーザーのクラスタ構成を制御することで、コストを抑えることができます。 エンドユーザーによるクラスタ作成の効率化 コスト管理のためにワークスペース全体にタグ付けを強制する。 Dat |
| 115 | 2023/04/04 | 機械学習で母親を助ける：CareSourceはハイリスク妊娠のヘルスケア改善のためにどのようにMLOpsを活用したかこのブログ投稿はCareSourceのRuss Scoville (Vice President of Enterprise Data Services)、Arpit Gupta (Director of Predictive Analytics and Data Science)、and Alvaro Aleman (Senior Data Scientist) との共同によるものです。 Ori |
| 114 | 2023/04/04 | 製造業向けレイクハウスあらゆる業界が、生成的AI、データ共有、生産性、予測分析といったトピックについてどう考えるかが問われています。しかし、これは製造業において特に何を意味するのでしょうか？なぜこのようなシフトが重要なのでしょうか？なぜ、未来がそれに左右されるのでしょうか？ 製造業は、次のSKU、機械、自動車、飛行機といった主要な生産単位を効率的に提供するだけでなく、より高い成長性、より安定した収益源、外部ショックに対 |
| 113 | 2023/03/29 | Visual Studio CodeからDatabricks上でSQLクエリを実行する本日、人気のSQLTools拡張機能のプレビュードライバを使用して、Visual Studio CodeからDatabricks上のSQLクエリを実行できるようになったことをお知らせします。このプレビュー・リリースは、先日公開されたVS CodeのDatabricks拡張機能を補完するもので、これによりユーザーはDatabricksが管理するコンピュート上でローカルに開発したコードを同期して実行す |
| 112 | 2023/03/28 | エグゼクティブのためのデータ、アナリティクス、AI変革ガイド 第1回： モダナイゼーションのためのBlueprint今、組織はこれまで以上に、市場機会や新たなリスクに迅速に適応し、現代のダイナミックな経済において適応し、革新し、繁栄するためのより良い地位を築く必要があります。ビジネスリーダーは、デジタルトランスフォーメーションは、コストを削減し、ビジネス価値を高めながら、ビジネスを実行するための新しいテクノロジー基盤を構築する機会であると捉えています。 しかし、相反する組織の優先順位、レガシーベースの情報システ |
| 111 | 2023/03/24 | Dolly：オープンなモデルで ChatGPT の魔法を民主化概要 Databricks では、従来のオープンソースの大規模言語モデル（LLM）を利用して ChatGPT のような命令追従能力を実現できることを確認しました。高品質な学習データを使用して 1 台のマシンで 30 分ほどトレーニングするだけです。また、命令追従能力の実現には、必ずしも最新のモデルや大規模なモデルは必要ないようです。GPT-3 のパラメータ数が 1750 億であるのに対し、私たちの |
| 110 | 2023/03/20 | Hugging FaceとDeepSpeedによる大規模言語モデルのファインチューニングChatGPTのセンセーショナルなリリースを受け、大規模言語モデル（LLM）が現在脚光を浴びています。多くの人が、このようなモデルを自分のアプリケーションでどのように活用できるかを考えています。しかし、これは変換器ベースのモデルのいくつかの進歩の一つに過ぎず、他の多くのモデルは、チャットだけでなく、翻訳、分類、要約などのタスクでオープンかつ容易に利用できます。 以前のブログでは、人気のあるHugg |
| 109 | 2023/03/19 | データブリックス上での教師なし外れ値検出異常値検出の手法は多くの業界に浸透しています。不正行為、サービス低下、交通渋滞、ネットワーク監視などのユースケースを問わず、洞察を得るため |
| 108 | 2023/03/11 | レイクハウス探訪 - Databricksの全貌に迫る本稿では、Databricksレイクハウスの構成要素を紐解き、それぞれが担う役割や提供機能にディープダイブする。 レイクハウスとは こちらの記事でも触れているように、レイクハウスはこれまでのデータプラットフォームの課題を解決するために、データウェアハウスとデータレイクの長所を組み合わせた新たなデータプラットフォームである。以下の図に示しているように、レイクハウスではテーブルなどの構造化データ、ログ |
| 107 | 2023/03/10 | データ×AIプロジェクトに携わる人々はどのようにDatabricksを活用するのか数多くの企業が、競争優位性を確保し、イノベーションを促進するためにデータとAIを活用しようとしている。データとAI活用のユースケースやプロジェクトは多岐にわたるが、そのようなプロジェクトに従事する人々のペルソナやスキルセットは共通している。本稿では、データ×AIプロジェクトに従事するのはどのような人たちなのか、彼らはどのような課題を抱えているのかを説明し、Databricksレイクハウスプラットフ |
| 106 | 2023/03/09 | Unity Catalogによる分散型データガバナンスと孤立した環境の実現データ、アナリティクス、AIに業務を依存する組織では、効果的なデータガバナンスが不可欠です。多くの組織で、集中型データガバナンスの価値提案に対する認識が高まってきています。しかし、最高の意図を持っていても、適切な組織プロセスとリソースがなければ、集中型ガバナンスの導入は困難な場合があります。多くの組織では、最高データ責任者（CDO）の役割がまだ確立されておらず、誰が組織全体のデータガバナンス方針を |
| 105 | 2023/03/07 | Databricks SQLステートメント実行API - パブリックプレビューを発表本日、AWSとAzureで利用可能なDatabricks SQLステートメント実行APIのパブリックプレビューを発表します。Databricks SQLウェアハウスにREST APIで接続し、Databricks Lakehouse Platformが管理するデータにアクセスし、操作することができるようになりました。 Databricks SQLステートメント実行APIは、データへのアクセスを簡素 |
| 104 | 2023/03/03 | Databricksワークスペースのディザスターリカバリーの実装Original: Implementing Disaster Recovery for a Databricks Workspace 翻訳: junichi.maruyama この投稿はDisaster Recovery Overview, Strategies, and Assessment や Disaster Recovery Automation and Tooling for a Da |
| 103 | 2023/02/28 | 製造業におけるサイバーセキュリティスマート製造への取り組みが進む中、サイバーセキュリティは製造業者のオペレーショナルリスクプロファイルの中心的存在となっています。Deloitteの調査によると、製造業者の48％がこのような運用リスクをスマートファクトリー構想の阻害要因として考えていることが明らかになっています。そのため、製造業におけるサイバーセキュリティ市場は成長態勢にあり、2027年には298億5000万ドルに達すると予想されて |
| 102 | 2023/02/28 | DatabricksとApache Spark ClustersにおけるRayのサポートを発表Rayは、スケーラブルなAIおよびPythonワークロードを実行するための著名なコンピュートフレームワークで、さまざまな分散機械学習ツール、大規模なハイパーパラメータチューニング機能、強化学習アルゴリズム、モデル提供などを提供します。同様に、Apache Spark™は、Spark MLlibや、XGBoost, TensorFlow, PyTorchなどの機械学習フレームワークとの深い統合を通じ |
| 101 | 2023/02/05 | Hugging Faceトランスフォーマーのパイプラインを使ったNLPを始めよう自然言語処理（NLP）の進歩は、企業がテキストデータから価値を引き出すための前例のない機会を解き放ちました。自然言語処理は、テキストの要約、人や場所などの固有名詞の認識、感情分類、テキスト分類、翻訳、質問応答など、幅広い用途に使用できます。多くの場合、大規模なテキストデータセットで事前に訓練された機械学習モデルから、高品質の結果を得ることができます。これらの事前学習済みモデルの多くは、オープンソー |
| 100 | 2023/01/31 | データレイクにライフサイエンスの知識グラフを構築する本投稿はDatabricksとwisecube.aiの共同によるものです。創業者のVishnu Vettrivel、プリンシパル・データサイエンティストのAlex Thomasへの貢献に感謝します。 Original Blog : Building a Life Sciences Knowledge Graph with a Data Lake 翻訳 : motokazu.ishikawa 製薬企 |
| 99 | 2023/01/31 | 集まれ！Legendary Heroes of DATA + AI !! Vol3日本のDatabricks Championの皆様に、目指したその理由や、これからの思いについて伺う「集まれ！Legendary Heroes of DATA + AI !!」。お楽しみいただいておりますでしょうか？ Vol1、Vol 2 でご紹介した皆様からのコメントからは熱い想いが溢れていますよね。私たちにとっては本当に心強い存在であるとともに、正に、Legendary Heros of DA |
| 98 | 2023/01/30 | Databricks Notebooksのアップグレードを紹介 - 新しいエディタ、PythonフォーマットなどDatabricks Notebooksは、データおよびAIプロダクトを構築するすべての人に、シンプルで統一された環境を提供します。本日、Notebooksのエクスペリエンスに関するアップデートを紹介します： オートコンプリートの高速化、シンタックスハイライトの改善、コードの折りたたみなど、より速くコーディングできるようになった新しいエディター。 Blackを使ったPython Code Form |
| 97 | 2023/01/26 | 時系列予測ライブラリ Prophet と Spark との連携1. 時系列予測と Prophet 時系列予測は、周期性や季節性変動がある事象に対して予測を行います。例えば、ある商品の毎月の売り上げを考えると、商品の特性で夏に売り上げが上がり、また、週末や休日前になると多く売れるなど、さまざまな季節性、周期性要因が売り上げに関与してきます。時系列予測では、こうした季節性、周期性要因をうまくモデル化することが求められます。 Prophet は、こうした時系列予測 |
| 96 | 2023/01/17 | 集まれ！Legendary Heroes of DATA + AI !!現在、世界では約200名の精鋭がDatabricks Championとしてご活躍されていますが、その動きは日本でも然り。日本のDatabricks Championの皆様に、目指したその理由や、これからの思いについて伺う「集まれ！Legendary Heroes of DATA + AI !!」。Vol.2としてアクセンチュア株式会社 様をご紹介します！ データブリックスの目指す世界は、私たち単 |
| 95 | 2023/01/05 | コーニングがDatabricks LakehouseプラットフォームでエンドツーエンドのMLを構築した方法オリジナルブログはこちら コーニングは約200年にわたり、材料科学における世界有数のイノベーターであり続けています。これらのイノベーションには、トーマス・エジソンの電灯用の最初のガラス電球、最初の低損失光ファイバー、触媒コンバーターを可能にするセルラー基板、モバイル機器用の最初の破損防止カバーガラスなどが含まれます。コーニングでは、限界に挑戦し続けるとともに、機械学習のような破壊的技術を駆使して、 |
| 94 | 2022/12/28 | Community Editionで始めるDatabricksDatabricksはあらゆるデータ・分析・データサイエンスのワークロードに対応可能なオープンかつシンプルなLakehouseを提供しています。そして、Databricksではその機能を無償でお試しいただけるよう、2通りの方法を用意しております。 2週間の無償トライアル: Databricksのフル機能をお試しいただけます。 Community Edition: 機能が限定されますが、期限なし・無 |
| 93 | 2022/12/12 | 一般提供を発表：Unity Catalog でのデータリネージ本日、AWS と Azure で利用可能な Unity Catalog において、データリネージの一般提供を開始したことをお知らせします。データリネージの一般提供により、Databricks レイクハウスプラットフォーム上のミッションクリティカルなワークロードに対して、最高レベルの安定性、サポート、エンタープライズレディネスを期待することができます。データリネージガイド（AWS |
| 92 | 2022/12/08 | Unityカタログの分散・非集中管理に向けた自動化ガイドUnity Catalogは、あらゆるクラウド上のレイクハウスにあるすべてのデータとAI資産に対して、統一されたガバナンスソリューションを提供します。顧客がUnity Catalogを採用する際、コードアプローチとしてのインフラストラクチャを使用して、これをプログラム的かつ自動的に行いたいと考えています。Unity Catalogでは、Unity Catalogのオブジェクトの最上位コンテナである |
| 91 | 2022/12/06 | 集まれ！Legendary Heroes of DATA + AI !!データブリックスの目指す世界は、私たち単体ではなし得ません！そこで、共にゴールを共有し、共に走っていく皆様に向けて「Databricks Champion」というプログラムを設けております。 現在、世界では約200名の精鋭がDatabricks Championとしてご活躍されていますが、日本でもその動きは盛り上がってきており、Databricks Championが増えてきています。 本ブログで |
| 90 | 2022/11/30 | PySparkでのメモリプロファイリングPySparkのプログラムのパフォーマンスには多くの要因があります。PySparkは様々なプロファイリングツールをサポートしており、プログラムのタイトループを公開し、パフォーマンス改善の意思決定を行うことができます（詳細を見る）しかしプログラムの性能の重要な要因の1つであるメモリは、PySparkのプロファイリングでは見落とされていました。Sparkドライバ上のPySparkプログラムは、通常のP |
| 89 | 2022/11/08 | パンプキンパイにAIはない、でもあるはずだ：MLとAIを使って斬新なアプリケーション体験を提供するOriginal: There’s No AI in Pumpkin Pie, But There Should Be: Delivering Novel Application Experiences Using ML & AI 翻訳: junichi.maruyama ホリデーシーズンが到来し、私たちの体を温め、ウエストラインに挑戦する、豊かでおいしい食べ物がたくさん出てきました。Databr |
| 88 | 2022/10/03 | Databricks Workflows によるレイクハウスの本番 dbt プロジェクトのオーケストレーション信頼性の高いレイクハウスのオーケストレーターである Databricks Workflows が、パブリックプレビューで dbt プロジェクトのオーケストレーションをサポートするようになったことをお知らせします。このプレビューでは、データチームがノートブックから ML モデルまで、レイクハウスの全ての機能とともに dbt プロジェクトを調整することができます。この機能により、オープンソース dbt |
| 87 | 2022/08/08 | AI の活用とデータを一元化することでビジネスを成功に変える方法デジタルネイティブ企業がアナリティクスとAIを大規模に活用し、真のデータ駆動型企業へと飛躍している様子を紹介します。ここでは、Databricks Lakehouse を活用し、コスト効率と回復力の高いモダンなデータプラットフォームでビジネスの成長に拍車をかけたアジア太平洋地域のデジタルネイティブ企業 5 社に焦点を当てたいと思います。 データと人工知能（AI）は、ビジネスに不可欠な意思決定の最前 |
| 86 | 2022/06/28 | レイクハウス用データクリーンルームの紹介翻訳: Masahiko Kitamura オリジナル記事：Introducing Data Clean Rooms for the Lakehouse Lakehouseのデータクリーンルームを発表することで、企業はプライバシーを保護した方法で、顧客やパートナーとあらゆるクラウド上で簡単にコラボレーションできるようになります。データ・クリーン・ルームの参加者は、データのプライバシーを維持しながら |
| 85 | 2022/06/24 | Databricks レイクハウスプラットフォームでのデータウェアハウスのモデリングと実装レイクハウスは、データレイクとデータウェアハウスの長所を組み合わせた、新しいデータプラットフォームパラダイムです。多くのユースケースやデータプロダクトを格納できる、大規模なエンタープライズレベルのデータプラットフォームとして設計されています。データレイクとデータウェアハウスを統合した、単一のエンタープライズデータリポジトリとして使用することができます。 データドメイン リアルタイムストリーミングの |
| 84 | 2022/05/20 | 金融機関 TD Bank におけるクラウド化 - データ環境のモダナイゼーション事例1955 年以来、TD Bank グループは、変化する世界において成功する自信を顧客とコミュニティに提供することを目指してきました。10 年が経過するごとに要求は厳しく、複雑さは増していますが、TD は一貫してこの課題に取り組んでいます。 このブログでは、Databricks 金融サービス＆サステナビリティ部門 GTM グローバルヘッドのジュンタ・ナカイ（Junta Nakai）が、TD Bank |
| 83 | 2022/05/20 | Delta Lake で Databricks にスタースキーマを実装するための簡単な 5 ステップデータウェアハウスの開発者の多くは、常に存在するスタースキーマに精通しています。1990 年代にラルフ・キンボールによって紹介されたスタースキーマは、ビジネスデータをディメンション（時間や商品など）とファクト（金額や数量のトランザクション）に非正規化するために使用されます。スタースキーマは、反復的なビジネス定義の重複を減らすことで、データの保存、履歴の維持、更新を効率的に行い、集計とフィルタリング |
| 82 | 2022/04/25 | J&J 社におけるデータの民主化によるサプライチェーン最適化の事例本ブログは、ジョンソン・エンド・ジョンソン社の先端技術（データ、インテリジェントオートメーション、先端技術インキュベーション）部門シニアディレクター、 Mrunal Saraiya 氏の執筆によるゲストブログです。 ジョンソン・エンド・ジョンソン（J&J）は、グローバルな消費財および医薬品プロバイダーの中核的企業として 150 年以上にわたり、世界中の企業、患者、医師、人々にサービスを提供していま |
| 81 | 2022/04/05 | Delta Live Tables の一般提供開始を発表Databricks は本日、Delta Live Tables（DLT）の Amazon AWS と Microsoft Azure クラウドにおける一般公開、および Google Cloud におけるパブリックプレビューの提供開始を発表しました。このブログでは、DLT が大手企業のデータエンジニアやアナリストをどのように支援し、本番環境に対応したストリーミングとバッチパイプラインの簡単な構築や |
| 80 | 2022/03/22 | レイクハウスによるデータの民主化がアムジェンの医薬品開発・提供を加速この記事は、アムジェン（Amgen）社のプロダクトオーナー Jaison Dominic 氏と、ディスティングイッシュドソフトウェアエンジニア Kerby Johnson 氏によるゲスト執筆記事です。 世界最大の独立系バイオテクノロジー企業であるアムジェンは、長い間、イノベーションの代名詞とされてきました。40 年にわたり、新しい医薬品製造プロセスを開拓し、命を救う医薬品を開発し、世界中の何百万人 |
| 79 | 2022/02/23 | Databricks SQL の新機能「クエリプロファイル」でクエリを理解するDatabricks SQL は、 Databricks のレイクハウスプラットフォームにおける SQL のデータウェアハウス機能とファーストクラスのサポートを提供します。これにより、アナリストは従来のクラウドデータウェアハウスよりもわずかなコストで新たな知見を迅速に発見し、共有できるようになります。 このブログは、Databricks SQL に関するコンテンツシリーズの一部です。Databri |
| 78 | 2022/01/13 | 小売・リテール業界向けレイクハウスによる課題解決と生産性の向上小売業のビジネスは、早朝からフル稼働しています。配送トラックは店舗や家庭に商品を届けるために拠点を出発し、店舗では開店の準備やその日の需要に応じた在庫の確認などが行われます。このように年中無休で稼働する小売業界にも、ここ数年で大きな変化が起きています。 世界的なパンデミックが小売業界に与えた影響は大きく、10 年分の変化が一度に起こったといっても過言ではない状況となっています。また、消費者の意識も |
| 77 | 2021/12/17 | データレイクハウスでコンピュータビジョンアプリケーションを実現するブログ「Tackle Unseen Quality, Operations and Safety Challenges with Lakehouse enabled Computer Visi... |
| 76 | 2021/12/16 | データブリックス、ガートナー2021 年 MQ クラウドデータベース管理システム部門（DBMS）のリーダーにデータブリックスは、ガートナーのマジック・クアドラント 2021 年「クラウドデータベース管理システム（DBMS）」部門においてリーダーに位置づけられました。これにより、データブリックスは、「クラウドデータベース管理システム（DBMS）」および「データサイエンス・機械学習プラットフォーム」の両部門のリーダーとして評価された唯一のクラウドネイティブベンダーとなりました。 レポートは、こちらから無償で |
| 75 | 2021/11/16 | Databricks と同等の価格性能を持つという Snowflake の主張に対する反論データブリックスでは、Databricks SQL のレイクハウスプラットフォームが、データウェアハウスの公式世界記録を更新したことを 2021 年 11 月 2 日にブログで発表しました。この結果は、Transaction Processing Performance Council (TPC) によって公式に監査、報告されており、tpc.org にて 37 ページのドキュメントとしてオンライン |
| 74 | 2021/11/08 | データベースのベンチマーク情報を公開 ― 反競争的 DeWitt 条項を不要にDatabricks では、テクノロジーについて語るときにしばしば「the future is open」（未来はオープン）というフレーズを使用します。オープンなデータアーキテクチャがプロプライエタリなアーキテクチャを凌駕するという私たちの信念を表現したものです（Databricks は先日、TPC-DS の公式記録を更新しました）。「オープン」であるべきは、コードだけではありません。業界全体にお |
| 73 | 2021/11/02 | Databricks が DWH パフォーマンスの公式記録を更新Databricks は本日、「Databricks SQL」がデータウェアハウス（DWH）のベンチマークである TPC-DS の 100TB クラスで世界記録を更新したことを発表しました。Databricks SQL は、これまでの世界記録の 2.2 倍のパフォーマンスを達成。他の多くのベンチマーク達成ニュースとは異なり、この記録は TPC 評議会によって正式に認められています。 These r |
| 72 | 2021/10/19 | Apache Spark™ 3.2 の概要Apache Spark™ 3.2 が、Databricks ランタイム 10.0 の一部として Databricks 上で利用できるようになりました。Spark 3.2 のリリースにあたり、Apache Spark コミュニティの皆様の多大な貢献に感謝します。 Maven での Spark のダウンロード数が急増しています。月間のダウンロード数は 2,000万に達し、対前年比では 2 倍の成長率 |
| 71 | 2021/10/11 | 空間分割 - デカルト積を回避しながらポリゴンデータの結合・解析を効率化する方法この記事は、オードナンス・サーベイ、Microsoft、データブリックスの共同執筆によるものです。オードナンス・サーベイのシニアデータエンジニア Charis Doidge 氏、同シニアデータサイエンティスト Steve Kingston 氏、Microsoft 高度分析・AI 担当クラウドソリューションアーキテクト Linda Sheard 氏のご協力に感謝します。 このブログでは、オードナンス |
| 70 | 2021/10/07 | 時系列予測ライブラリ Prophet と Spark との連携1. 時系列予測と Prophet 時系列予測は、周期性や季節性変動がある事象に対して予測を行います。例えば、ある商品の毎月の売り上げを考えると、商品の特性で夏に売り上げが上がり、また、週末や休日前になると多く売れるなど、さまざまな季節性、周期性要因が売り上げに関与してきます。時系列予測では、こうした季節性、周期性要因をうまくモデル化することが求められます。 Prophet は、こうした時系列予測 |
| 69 | 2021/10/07 | Databricks Repos 一般公開、Files の新機能も一般プレビューDatabricks Repos は、一般プレビューとして利用可能になって以来、Databricks の数千のユーザーの皆様によって、開発やプロダクションワークフローの標準化に活用いただいています。その Databricks Repos を本日一般公開しました。 Databricks Repos は、データチームが常に抱えている課題を解決するために開発されました。データエンジニア、データサイエンテ |
| 68 | 2021/10/06 | レイクハウスを市民データサイエンティストに — 8080 Labs 買収データドリブンな組織では、組織のあらゆる部分にデータが浸透しています。データドリブンな組織への転換は、有意義なビジネス成果を生み出すための重要なステップとなります。業界を問わず、消費者の要求に応え、イノベーションを推進し、変化し続けるコンプライアンス要件を満たすという課題を同時に解決すべく尽力する企業の間で、データリテラシーというバズワードが生まれました。経験豊富なデータエンジニア、データサイエン |
| 67 | 2021/09/29 | Terraform による Databricks ワークスペースの環境構築（AWS 編）Databricks ワークスペースは、1 つの独立した Databricks 環境を提供します。 そのため、要件によっては複数のワークスペースを同時に作成・運用するケースもあります。 こうした状況では、Databricks ワークスペースを Code として管理（IaC）し、自動化することで運用がスムーズになります。 Databricks では、運用現場で求められる機能をツールとして提供する L |
| 66 | 2021/09/22 | 臨床データによる腫瘍学の知見抽出に NLP を活用このブログで参照しているソリューションアクセラレータのノートブックは、オンラインでご参照いただくか、ノートブックをダウンロードしてお使いの Databricks アカウントにインポートすることで、すぐにご利用いただけます。 米国における死亡原因および疾病原因の第 1 位は悪性腫瘍（がん）です。その数は驚異的で、今年、米国では新たに診断されるがん患者は約 200 万人になると予想されています。また、 |
| 65 | 2021/09/20 | Part 1：Databricks Notebook と Azure DevOps で Databricks に CI/CD を実装ブログ内に掲載されているコードの詳細は、こちらからご覧ください。 このブログは、エンドツーエンドの MLOps ソリューションを Databricks Notebook と Repos API を使用して設定、構築する方法を解説するブログシリーズの Part 1 です。今回は、Notebook をベースとした Databricks における CI/CD（継続的インテグレーション／継続的デリバリ）フ |
| 64 | 2021/09/16 | アシュリオン社、レイクハウスでビッグデータのための ETL 導入 – データマート設計などこの記事は、アシュリオン（Asurion）社エンジニアリング部門シニアディレクター Tomasz Magdanski 氏による特別寄稿によるものです。 アシュリオン（Asurion）社では、デバイスの保険やインストール、修理、交換、24 時間 365 日のサポートの提供を通じて、お客様がセキュアに、かつ快適に最新テクノロジーを利用できるよう支援しています。1 万人のエキスパートで構成されるサポート |
| 63 | 2021/09/16 | 金融サービスのリスク管理に AI を活用する 4 つのメリット効果的なリスク・コンプライアンス管理について詳しくは、こちらのページをご覧ください。 銀行などの金融サービスにおける中核的な機能は、詐欺、マネーロンダリングなどの金融犯罪から顧客を守ることによる資産の保護、リスクの特定、損失の軽減です。相互に絡まり合ったデジタルな現在の世界において、金融サービスにおけるリスク・コンプライアンスの管理は、これまでになく複雑でコストのかかる取り組みとなっています。20 |
| 62 | 2021/09/09 | データレイクハウスによるリアルタイムPOS分析. Original Blog Link 製品供給の減少や倉庫のキャパシティの低下といったサプライチェーンの混乱に加え、シームレスなオムニチャネル体験に対する消費者の期待が急速に変化していることから、小売企業は自社のオペレーションを管理するためのデータ活用方法を見直す必要に迫られています。 パンデミック（世界的大流行）以前は、小売企業の71%が、オムニチャネル目標を達成するための最大の障害として、 |
| 61 | 2021/09/08 | Databricks SQL の最新イテレーション、新たな性能、速度改善Data+AI サミット 2020 Europe で発表した Databricks SQL は、マルチクラウドのレイクハウスアーキテクチャの運用を可能にし、データウェアハウスの性能とデータレイクの経済性を同時に実現します。Databricks では、レイクハウスを活用した知見の抽出および共有を容易にすることを目標に、データアナリスト向けに、最適化された SQL UI や主要な BI ツールの充実し |
| 60 | 2021/09/07 | FAIR 原則に基づく効率的なデータ管理をレイクハウスで実現科学における発見とイノベーションの原動力となるデータ。そのデータの価値は、データ管理戦略によって左右されます。データ管理戦略は、データの品質、アクセスの容易さ、結果の再現性を確保するための重要な要素であり、信頼できる科学的なエビデンスを得るうえで欠かすことができません。 あらゆる分野の科学者が大規模なデータセットにアクセスできるようになったことで、管理や制御の煩雑さ、再現不能なデータワークフローを |
| 59 | 2021/09/02 | 外部から Databricks 上の MLflow を使用するMLOps を効果的に実施するためのフレームワークである MLFlow はあらゆる環境での機械学習を一元的に管理することが可能です。Databricks ではこの MLflow をマネージドサービスとして提供しており、Databricks 上での機械学習はもちろん、Databricks 環境以外での機械学習についても連携することが可能です。 この記事では、 Databricks の外部環境（ローカ |
| 58 | 2021/08/30 | データレイクで増分 ETL のメリットを活かす - CDC の課題など従来のデータウェアハウスでの増分 ETL といえば、CDC（change data capture、変更データキャプチャ）を利用する方法が一般的になっています。しかし、スケーラビリティ、コスト、状態の把握や機械学習との連携が困難であることなどの問題があり、この CDC により増分 ETL を実行する方法は、必ずしも理想的とはいえません。一方、データレイクでの増分 ETL は、これまで、ビッグデータ |
| 57 | 2021/08/30 | データレイクハウスに関する FAQFAQ （よくある質問） データレイクハウスとは？ データレイクとは？ データウェアハウスとは？ データレイクハウスとデータウェアハウスの違いは何ですか？ データレイクハウスとデータレイクの違いは何ですか？ データアナリストは容易にデータレイクハウスを利用できますか？ データレイクハウスとデータウェアハウスの価格性能の比較を教えてください。 データレイクハウスはどのようなデータガバナンス機能をサポ |
| 56 | 2021/08/25 | Databricks で構築するエンドツーエンドの深層学習パイプライン深層学習（DL）モデルは、金融サービスにおける不正検知、メディアにおけるパーソナライゼーション、ヘルスケアにおける画像認識など、あらゆる業界のユースケースに適用されています。このような応用範囲の拡大により、深層学習技術の使用は、ほんの数年前に比べてはるかに容易になっています。TensorFlow や Pytorch などよく使用される深層学習フレームワークは、精度の高いパフォーマンスを発揮できるま |
| 55 | 2021/08/12 | Databricks Beacons プログラムのご紹介学術界とオープンソースコミュニティをルーツとする Databricks は、その成功が、データサイエンティスト、データエンジニア、開発者、データアーキテクト、データアナリスト、オープンソースの貢献者、データエバンジェリストなど、コミュニティによって支えられていることを理解しています。Databricks Beacons プログラムは、データと AI のコミュニティを向上させるために尽力している方々 |
| 54 | 2021/08/11 | BI ツールの広帯域接続を実現するにはTableau や Microsoft Power BI などのビジネスインテリジェンス（BI）ツールは、従来のデータウェアハウスから大規模なクエリ結果を抽出するのに多くの時間を要することで知られています。これは、通常、データ転送のボトルネックとなる SQL エンドポイントを介してシングルスレッドでデータを取得するためです。Databricks の SQL エンドポイントに使用している BI ツー |
| 53 | 2021/08/06 | Hadoop からレイクハウスへの移行：成功のための 5 つのステップHadoop （ハドゥープ）からレイクハウスアーキテクチャのようなモダンなクラウドベースのアーキテクチャへの移行は、技術的な判断ではなく、ビジネス的な判断です。以前のブログ、It’s Time to Re-evaluate Your Relationship With Hadoop では、組織がHadoop との関係を再評価する必要がある理由を解説しました。技術やデータ、ビジネスのステークホルダー |
| 52 | 2021/07/23 | クラウドスケールでのサイバーセキュリティのためのSIEMの強化翻訳: Masahiko Kitamura オリジナル記事：Augment Your SIEM for Cybersecurity at Cloud Scale この10年間で、セキュリティインシデント・イベント管理ツール（SIEM）は、企業のセキュリティ運用における標準的なものとなっています。しかし、SIEMには常に否定的な意見もあります。しかし、クラウドが爆発的に普及したことで、「クラウドスケ |
| 51 | 2021/07/22 | Delta Lake で機械学習の課題を解決既存のデータレイクファイルストレージ上に構築されるオープンソースのストレージレイヤーである Delta Lake や機械学習の開発で使用される MLflow が話題に上る機会が増えています。しかし、多くのケースでは 2 つが別々の製品として取り上げられています。本ブログでは、機械学習の開発の際に起こりうるデータのバージョン管理や OOM エラーなどの課題において Delta Lake と MLfl |
| 50 | 2021/07/19 | 最新の Data Lakehouse で健康データの力を解き放つ患者 1 人に対して年間およそ 80 MB の医療データが生成されるといわれています。数千人規模の患者の生涯に換算すると、貴重な知見の源となるペタバイト級の患者データが生成されることになります。膨大なデータから知見を抽出することで、臨床業務の効率化、創薬研究の加速、患者の転帰の改善が図れます。これを可能にするためには、データを収集するだけでなく、準備段階として、データの前処理が必要です。ダウンスト |
| 49 | 2021/07/16 | AI と機械学習のための大規模な特徴量エンジニアリング特徴量エンジニアリングは、機械学習のプロセスの中で最も重要なステップの 1 つであり、多くの時間を要します。データサイエンティストやアナリストは、さまざまな特徴量を組み合わせた実験を重ねてモデルを改善し、ビジネスに有益な情報を提供する BI レポートの作成を目指します。そのような状況下で、データサイエンティストが扱うデータの規模および複雑さが増大し、次のような事柄が課題となっています。 特徴量をシ |
| 48 | 2021/07/13 | 公開プレビュー：Databricks ジョブによる複数タスクのオーケストレーションドキュメントを読む 企業におけるビジネスインテリジェンス（BI）や、人工知能（AI）への取り組みの強化に伴い、シンプルで明確かつ信頼性の高いデータ処理タスクのオーケストレーションへのニーズが高まっています。Databricks のユーザーの選択肢はこれまで、複数のタスクを１つの Notebook で実行する、もしくは、別のワークフローのツールを使用して、ユーザーの環境全体をさらに複雑にするしかあり |
| 47 | 2021/07/01 | 医療分野におけるNLP（自然言語処理）の大規模な活用方法とはThis is a co-authored post written in collaboration with Moritz Steller, AI Evangelist, at John Snow Labs. Don't miss our virtual workshop, Extract... |
| 46 | 2021/06/29 | ベイズ階層モデルによる COVID-19 疾患パラメタの推定前のブログでは、COVID-19（新型コロナウイルス感染症）疾患のダイナミクスを PyMC3 でモデル化する方法を解説しました。今回は、同じユースケースを使用して、ベイズ階層モデルによる COVID-19 疾患パラメタの推論方法および、プールモデル／非プールモデルと比較した場合のメリットについて、次のような順序で解説します。 1) SIR モデルを常微分方程式（ODE）で生成した合成データに当ては |
| 45 | 2021/06/29 | データ分析の目的とプロセスこちらはデータブリックスユーザー会の第一回イベントで発表された内容となります。こちらからサンプルノートブックをダウンロードできます。 データ分析はビジネス上の課題を解決するための手段の 1 つです。 データ分析というと予測モデル構築が脚光を浴びがちですが、データをビジネス価値につなげる長い道のりのほんの一部です。 この記事では、データ分析を通じでビジネス価値創出につなげるために辿るプロセスを、実例 |
| 44 | 2021/06/24 | 機械学習プラットフォームの選択における 3 つの原則機械学習のプラットフォーム、オペレーション、ガバナンスに関するブログシリーズの第二弾です。Rafi Kurlansik によるこのシリーズの第一弾、「Need for Data-centric ML Platforms」（データセントリックな機械学習プラットフォームの必要性）はこちらからお読みいただけます。 某サイバーセキュリティ企業でデータプラットフォーム部門のシニアディレクターを務めるお客様か |
| 43 | 2021/06/17 | Databricksのファイルシステムこちらからサンプルノートブックをダウンロードできます。 Databricksでファイルを取り扱う際には、Databricks File System (DBFS) を理解する必要があります。 本記事では、DBFSの概要をご説明するとともに、具体的な使用例をご説明します。 Databricks File System (DBFS) Databricks File System (DBFS) はDat |
| 42 | 2021/05/24 | 機械学習を活用した小売業者・ブランドのためのアイテムマッチングアイテムマッチングは、オンラインマーケットプレイスの中核的な機能です。小売業者は、最適化された顧客エクスペリエンスを提供すべく、新規／更新された商品情報を既存のリストと比較して、一貫性を確保し、重複を回避します。また、オンライン小売業者は、競合他社のリストと比較して、価格やインベントリの差異を確認します。複数のサイトで商品を提供しているサプライヤーでは、商品がどのように提示されているかを調べて、自 |
| 41 | 2021/05/19 | データレイクとデータウェアハウスの違いとデータレイクハウスへの進化このブログは、Forest Rim Technology（フォレスト・リム・テクノロジー社）のデータチームの寄稿によるものです。同社の創業者兼 CEO ビル・インモン氏、最高データ戦略責任者メアリー・レビンズ氏の貢献に感謝します。 最初の課題 ビッグデータを扱う人が最初に直面したデータの課題は、整合性でした。データの量が少なく、ソースのバリエーションも限られていた頃は、構造化データのテーブルで構成 |
| 40 | 2021/04/26 | データレイクハウスと機械学習の融合による再現性の強化機械学習が組織やプロジェクトにこれまでにない価値をもたらすことが証明されています。機械学習には、イノベーションの加速、パーソナライゼーション、需要予測など、さまざまなユースケースがあります。しかし、課題もあります。それは、使用されるデータのソースが無数に存在し、ツールや依存関係のエコシステムも絶え間なく変化することから、ソリューションは流動的かつ、元の状態への再現性が低くなってしまうことです。 機 |
| 39 | 2021/04/22 | Community Editionで始めるDatabricksDatabricksはあらゆるデータ・分析・データサイエンスのワークロードに対応可能なオープンかつシンプルなLakehouseを提供しています。そして、Databricksではその機能を無償でお試しいただけるよう、2通りの方法を用意しております。 2週間の無償トライアル: Databricksのフル機能をお試しいただけます。 Community Edition: 機能が限定されますが、期限なし・無 |
| 38 | 2021/04/14 | Databricksで PyTorch を習得する 7 つの理由新しい概念、言語、システムについて学ぶ場合、どのような学習方法が有効でしょうか。新しいタスクを学ぶ際に、既に習得しているスキルとの類似点を探すのではないでしょうか。 学習者に好まれる学習過程の特性として、「親しみやすさ」、「わかりやすさ」、「シンプル」、の 3 つの共通点があります。これまでに習得した知識との共通点による親しみやすさは、新たな知識の習得に対する敷居を低くします。わかりやすさにより、 |
| 37 | 2021/04/13 | 地理空間クラスタリングによる金融不正の識別本ブログで参照する Notebook にスキップできます。 For most financial service institutions (FSI), fraud prevention often implies a complex ecosystem made of various components –- a mixture of traditional rules-based contr |
| 36 | 2021/04/07 | Koalas（PySpark）がDask よりも高速な理由 – SQL クエリ最適化などKoalas は、Apache Spark 上で pandas API を実装するデータサイエンスライブラリです。Koalas を利用することで、データサイエンティストは、使い慣れた API を介してあらゆる規模のデータセットを扱うことができます。今回私たちは、ビッグデータ分析の際によく使用される pandas API を実装した並列計算ライブラリの Dask と、PySpark の Koalas |
| 35 | 2021/02/24 | ソリューションアクセラレータ： 通信業界のための顧客離脱の予測本ブログで参照する Notebook にスキップできます。 米通信大手 T-Mobile によるキャリアフリーの導入は、単なるマーケティングキャンペーンにとどまらず、米国通信市場のダイナミクスを根本的に変えるきっかけとなりました。かつての通信業界は、安定した公益事業のように成長し、携帯電話の本体料金を無料にするための通話プランによって、利用者を 2 年間の契約で縛ってきました。しかし、次の 3 つ |
| 34 | 2021/02/18 | Hadoop（ハドゥープ）からの移行に伴う潜在価値とはHadoop（ハドゥープ）とは、分散処理技術（分散処理基盤）とも呼ばれ、テキストや画像、動画などの非構造化データの格納と処理ができるオープンソースのプラットフォームのことです。ファイルの管理には、分散ファイルシステム HDFS（Hadoop Distributed File System）が使用されていることが特徴です。長年にわたり、この Hadoop（ハドゥープ）はビッグデータの分析を支えるデフ |
| 33 | 2021/02/17 | Databricks on Google Cloud を 発表しましたDatabricksはこのたび、Databricks on Google Cloudの提供を開始しました。このDatabricksとGoogle Cloudの共同開発によるサービスは、データエンジニアリング、データサイエンス、分析、機械学習のためのシンプルでオープンなレイクハウスプラットフォームを提供し、これにより、Databricksのケイパビリティと、Google Cloudが提供するデータ分 |
| 32 | 2021/02/04 | レイクハウスによるデータレイク・データウェアハウスの統合このブログは、CIDR レポート「Lakehouse: A New Generation of Open Platforms that Unify Data Warehousing and Advanced Analytics」（レイクハウス：データウェアハウスと高度な分析を統合する新世代のオープンプラットフォーム）の著者の許可を得て、レポートの内容をベースに執筆したブログシリーズの第一弾です。 |
| 31 | 2021/02/03 | 分散型 ML の生産性を高める Ray と MLflow の統合This is a guest blog from software engineers Amog Kamsetty and Archit Kulkarni of Anyscale and contributors to Ray.io In this blog post... |
| 30 | 2021/02/01 | データブリックスとアクセンチュアの連携で大規模な機械学習の運用を効率化データブリックスはこのたび、アクセンチュアとのパートナーシップを発表しました。このパートナーシップを通じて世界中のエンタープライズ企業に、私たちのサービスと再利用可能なコンポーネントを提供できることが期待されています。また、データ戦略、データ設計、データプラットフォームの最新化、および AI を専門とするアクセンチュアのデータ・AI 部門は、データブリックスの統合データ分析プラットフォームを活用し |
| 29 | 2020/12/14 | Disney+ 事例：Databricks と AWS で構築したストリーミングデータの分析プラットフォームで顧客エクスペリエンス向上ディズニープラス（Disney+）のソフトウェアエンジニアリングディレクターであるマーティン・ザプレタル（Martin Zapletal）氏が、AWS re:Invent 2020 に登壇し、同社におけるユビキタスな高速データを活用した顧客エクスペリエンスの改善への取り組みについて講演しました。 ディズニープラスでは、Databricks on AWS を基盤とするアーキテクチャによって、数百万の |
| 28 | 2020/11/19 | Databricks の MLflow モデルレジストリと CI/CD 機能で MLOps を簡素化MLflow は、実験のメトリクスやパラメータ、アーティファクトの追跡、モデルをバッチまたはリアルタイムでサービングシステムに展開する機能を提供し、組織における機械学習（ML）ライフサイクルの管理を支援します。MLflow モデルレジストリは、実験段階からデプロイメントへのハブとして、モデル展開のライフサイクルを管理する中央リポジトリを提供します。 MLOps、機械学習ライフサイクル管理において、 |
| 27 | 2020/10/29 | データサイエンティスト向け：Databricks Notebook を使いこなす 10 のヒント「最高のアイディアにはシンプルなものがある」という格言があるように、たとえ小さくても大きな違いを生むことがあります。今年行った数回のリリースの過程で、Databricks をシンプルにするために、大きな違いにつながる小さな機能を Notebook に追加しました。 このブログと付随する Notebook では、簡単なマジックコマンドを紹介し、データサイエンティストの開発時間を短縮し、開発者のエクス |
| 26 | 2020/10/20 | リアルワールドデータ分析によるハイリスク患者の検知低コストのゲノムシークエンスや AI を活用した医療用画像診断の普及により、精密医療への関心が高まっています。Databricks では、精密医療の領域において、データや AI を活用して疾患に対する最適な治療法を発見することを目指しています。精密医療は、希少疾患やがんと診断された患者の治療のアウトカムを改善してきましたが、精密医療はリアクティブ型の医療です。精密医療を受けるには、患者が病気である |
| 25 | 2020/09/10 | レイクハウスと Delta Lake の内部構造Databricks は以前のブログで、企業におけるレイクハウス（LH）採用の増加状況について解説しました。このブログの内容は、技術系のオーディエンスから大きな反響がありました。多くの方がレイクハウスを次世代のデータアーキテクチャとして賞賛してくださったのですが、データレイクと何ら変わらないのではいうご意見もいただきました。そこで、Databricks のエンジニアと創業者が、データレイクとは一線 |
| 24 | 2020/08/28 | データ分析と AI の活用で COVID-19 影響下の公衆衛生監視を改善Databricks における公共セクター（州・地方政府）部門のリーダーである私は、米国の政府による新型コロナウイルスと COVID-19 の危機への取り組みを身近に見る機会があります。この危機に立ち向かい、命を救うために業務遂行している彼らの姿勢には常に敬服させられます。 暗いニュースが続く中、COVID-19 に関して公衆衛生機関がもたらした重要な新たな成果の報告もあります。米国疾病予防管理セ |
| 23 | 2020/08/24 | カスタマーリテンション（顧客維持）による LTV の向上と最大化 – ML のハイパーパラメータで解約率を予測顧客のロイヤルティや維持率が高い企業では、収益が同業他社に比べ 250% 早く成長し、10 年間での株主利益率も 2 倍から5 倍に達します。顧客のロイヤルティを獲得し、定着数を最大にすることは、企業と顧客ベースの両方に多くの利益をもたらします。 ではなぜ多くの企業にとって顧客の維持が難しいのでしょうか？ARPU（顧客 1 人あたりの平均売上高）を指標とする通信会社などのサブスクリプションベースの |
| 22 | 2020/08/20 | Azure 環境でのモダン IIoT 分析 - Part 3モダン IIoT（産業用 IoT）アプリケーションのための Azure データ分析に関するブログを 3 部構成でお届けしています。前回の Part 2 では、フィールドデバイスからリアルタイムの IIoT データを Azure に取り込み、データレイク上で直接実行する複雑な時系列処理について解説しました。Part 3 となる今回は、機械学習を活用した予測メンテナンスで風力タービンの収益を最大にする |
| 21 | 2020/07/22 | Apache Spark™ 3.0 のデータ型：日付とタイムスタンプApache Spark は、構造化データと非構造化データの処理に使用される非常に一般的なツールです。構造化データの処理に関しては、整数、LONG、DOUBLE、STRING といった多くの基本的なデータ型をサポートしています。Spark は、開発者が理解するのが難しいことが多い DATE や TIMESTAMP などの複雑なデータ型もサポートしています。このブログでは、日付型とタイムスタンプ型に |
| 20 | 2020/07/21 | Apache Spark™ と R によるユーザー定義関数の最適化と実用化 —ミネソタ・ツインズにおける投球シナリオのスケーリング–Part 2序章 Part 1 では、ミネソタ・ツインズの BOG（Baseball Operations Group）が、選手の成績をより正確に評価するために、過去 1,500 万回の投球ごとに 2 万回、合計 3,000 億回のシミュレーションを実行する必要があったことをお話ししました。BOG のアイディアはシンプルです。 過去 1,500 万回の投球から選手の成績をイメージ化できれば、各選手の分布に従っ |
| 19 | 2020/06/24 | Delta Engine の概要本日、Databricks は Delta Engine を発表しました。Delta Engine は、Apache Spark 完全互換のベクトル化クエリエンジンで、最新の CPU アーキテクチャに対応し、Databricks Runtime 7.0 に含まれている Spark 3.0 のクエリオプティマイザおよびキャッシング性能の最適化機能を連携させます。その相乗効果により、データレイク、特に |
| 18 | 2020/06/24 | ミネソタ・ツインズにおける投球シナリオのスケーリング - Part 1野球の試合における統計分析 メジャーリーグベースボール（MLB）では、投球フォーム、球種や回転数などの投球内容、各選手の打球の動作に至るまで、1 回の投球当たり数十メガバイトのデータが生成されています。1 試合、1 シーズンの間に、これらのデータからいかにして実践可能な気づきを導き出すのでしょうか。2019 年度アメリカン・リーグ中地区優勝チームのミネソタ・ツインズ内の BOG（Baseball |
| 17 | 2020/06/18 | Apache Spark 3.0 概要｜Python API の強化・PySpark API の拡充など新機能搭載Apache SparkTM 3.0.0 が Databricks Runtime 7.0 で利用できるようになりました。Spark 3.0.0 はオープンソースコミュニティでの多くのコントリビュートが結実したものです。3,400 以上のパッチが含まれ、Python API および ANSI SQL の機能拡充に加え、開発や調査が行いやすくなるような工夫が施されています。オープンソースプロジェクト |
| 16 | 2020/04/15 | MLflow モデルレジストリをエンタープライズ機能に拡張Databricks の MLflow モデルレジストリにエンタープライズレベルの新機能が追加されました。Databricks の統合分析プラットフォームをご利用いただいている場合、MLflow モデルレジストリはデフォルトで有効になります。 このブログでは、モデル管理を一元化するハブとしての MLflow モデルレジストリのメリットをご紹介し、組織内のデータチームによるモデル共有やアクセス制御、 |
| 15 | 2020/04/14 | COVID-19 のデータセットが データブリックスで利用可能に ― データコミュニティによる貢献2020年4月14日初稿、2020年4月21日更新 新型コロナウイルス感染症（COVID-19）の感染拡大による混乱の中、データエンジニアやデータサイエンティストの多くが「データコミュニティとして何ができるだろうか」と自問し続けています。データコミュニティは、この短期間で実際に大きな貢献をしており、その代表例として、米国ジョンズ・ホプキンス大学のシステム科学工学センター（CSSE）が提供するデータ |
| 14 | 2020/01/30 | データレイクとデータウェアハウスとは？それぞれの強み・弱みと次世代のデータ管理システム「データレイクハウス」を解説Databricks では近年、独立した新しいデータ管理のためのオープンアーキテクチャである「データレイクハウス」を利用する多くのユースケースを見てきました。今回は、この新しいアーキテクチャと、かつてのアプローチであるデータウェアハウス（DWH: Data Warehouse）、データレイク（Data Lake）それぞれと比較して優れている点について解説します。 データウェアハウス（DWH）とは |
| 13 | 2020/01/27 | Facebook Prophet と Apache Spark による高精度で大規模な時系列予測・分析とはDatabricks の時系列予測・解析 Notebook を試してみる 時系列予測・分析技術の進展により、小売業における需要予測の信頼性は向上しています。しかし、より正確なインベントリ管理を実現したい企業にとっては、予測の精度とタイミングが課題となっています。従来のソリューションにおいては拡張性や正確性の面で制約がありましたが、Apache Spark™ と Facebook Prophet の |
| 12 | 2019/12/05 | データブリックスを活用した大規模な地理空間情報・ジオデータの処理と分析近年のテクノロジーの進化と統合により、リアルタイムで正確な地理空間情報・ジオデータを活用した市場が活性化しています。地理空間情報・ジオデータは日々、数十億ものハンドヘルドデバイスや IoT 機器、航空機や人工衛星に搭載された何千ものリモートセンシングプラットフォームから、数百エクサバイト生成されています。このような地理空間ビッグデータの拡大に、近年の機械学習の進展が加わり、業界ではこれを活用した新 |
| 11 | 2019/09/24 | Delta Lake でのスキーマ（schema）DB の適用・展開とはデータブリックスの Notebook シリーズを試す データは常に進化し、蓄積されていきます。私たち人間の日々の経験と似ているかもしれません。私たちは、自身の周りの世界の変化についていくために、常に新しいデータを取り込み、認識し、ときにはその中から新たな概念や解釈を得ます。このような認識モデルは、まさにテーブルのスキーマそのものです。どちらも、新しく得る情報の分類と処理のしかたを決める役割を持って |
| 10 | 2019/08/21 | Delta Lake を深堀り：トランザクションログの解析トランザクションログは、ACIDトランザクション、スケーラブルなメタデータ処理、タイムトラベルなど、Delta Lake の最も重要な機能の多くに共通する要素であるため、Delta Lake を理解するうえで重要な鍵となります。この記事では、Delta Lake のトランザクションログとは何か、ファイルレベルでどのように動作するのか、そして、複数の同時読み取りと書き込みの問題に対してどのようにエレ |
| 9 | 2019/06/14 | Databricks Connect：ホスト型 Apache Spark™ をアプリ、マイクロサービスにDatabricks Connect は、ネイティブな Apache Spark API を任意の Notebook、IDE、カスタムアプリから利用可能にするための新たなライブラリです。今回はその概要をご説明します。 概要 ここ数年、Apache Spark 向けにさまざまなカスタムアプリケーションコネクタが開発されています。spark-submit、REST ジョブサーバー、Notebook ゲ |
| 8 | 2019/05/02 | 機械学習モデル、決定木（ディシジョン・ツリー）による分析を活用した金融詐欺検知の大規模展開Databricks の Notebook を試してみる 人工知能（AI）を活用した金融不正行為検知の大規模展開は、いかなるユースケースにおいても容易なことではありません。膨大の履歴データの取捨選択、絶えず進化する機械学習と深層学習技術の複雑さ、不正行為の実例の少なさなどが、不正行為パターンの検知を困難にしています。金融サービス業界においては、セキュリティに対する懸念の高まりや、不正行為がどのよう |
| 7 | 2019/04/24 | Koalas：pandas から Apache Spark への容易な移行 – データラングリング（カテゴリ変数の導入）データブリックスは本日開催された Spark + AI Summit において、PySpark の DataFrame API を拡張してpandas と互換性を持たせる新しいオープンソースプロジェクトの Koalas（コアラズ） を発表しました。 Python のデータサイエンスはここ数年で急速に拡大し、pandas は今ではエコシステムの要となっています。データサイエンティストはデータセットを |
| 6 | 2019/02/04 | 大規模なデータレイクのための Delta タイムトラベルのご紹介実験再現、ロールバック、データ監査のためのデータバージョニング Apache Spark の上に構築された次世代統合分析エンジンである Databricks Delta Lake にタイムトラベル機能を導入し、全てのユーザーの皆様にお届けできることを嬉しく思います。この新機能により、Delta はデータレイクに保存されているビッグデータを自動的にバージョンアップし、そのデータの任意の履歴バージョン |
| 5 | 2018/11/01 | SQL でピボット（PIVOT）を使用したデータ変換：行から列への変換Databricks の Notebook を試してみる 2018/11/10/更新 ピボット（PIVOT）は、Apache Spark 1.6 から DataFrame 機能として実装されています。一意の値を1 つの列から複数の個々の列に変換し、テーブル値式を回転させる機能です。 Apache Spark 2.4 リリースでは、この便利なピボット機能を SQL でも利用できるようになりました。こ |
| 4 | 2018/07/19 | 広告効果測定：機械学習モデル作成による広告・マーケティングデータ分析方法（クリック予測）データブリックスの Notebook シリーズを試す 広告部門では、膨大な量の多様なマーケティングデータや Web 広告の効果を測定／分析するために、拡張性が高く柔軟なプラットフォーム・方法を必要としています。ビッグデータを活用したマーケティング効果測定（分類、クラスタリング、認識、予測、推薦などの高度な分析）によって、ビジネスの成果に結びつく、データからの深い洞察の抽出が可能となります。さまざま |
| 3 | 2018/06/05 | MLflow の概要：機械学習ライフサイクル管理のためのオープンソースプラットフォームとはデータブリックスの「マネージド型 MLflow」とは MLflow とは、実験の追跡、モデルの管理やデプロイメントといった、機械学習におけるライフサイクルを管理するためのオープンソースのプラットフォームです。機械学習（ML）の開発を経験した人は誰でも、その複雑さを知っています。ソフトウェア開発における通常の懸念事項に加えて、機械学習開発には、複数の新たな懸念が伴います。データブリックスの数百社のお |
| 2 | 2017/10/30 | PySpark で Pandas UDF を使用する※ Spark 3.0 では、新しい Pandas UDF が導入されました。詳細はブログ「New Pandas UDFs and Python Type Hints in the Upcoming Release of Apache Spark 3.0」をご覧ください。 ニューヨークの Two Sigma Investments, LP のソフトウェアエンジニア、Li Jin 氏によるゲストコミ |
| 1 | 2017/01/19 | リアルタイムストリーミング ETL を実現するツールData+AI Summit、Spark+AI Summit のアーカイブを視聴できます。こちらのサイトをご覧ください。 Databricks の Notebook を試してみる 現在、多くの企業がビッグデータの活用を目指してデータの継続的収集に取り組んでいます。収集した膨大なデータは、その中から有用な情報をタイムリーに抽出してこそ価値を生み出します。そこで、データ収集パイプラインから行動につなが |