The Executive’s Guide to Data, Analytics and AI Transformation, Part 1: A blueprint for modernization - The Databricks Blogの翻訳です。

本書は抄訳であり内容の正確性を保証するものではありません。正確な内容に関しては原文を参照ください。

これまで以上に、組織はモダンかつ動的な経済状況において、適合、革新、繁栄するために自身をより良い場所に位置付けられるように、市場の機会や出現するリスクにクイックに適応する必要があります。ビジネスリーダーは、デジタルトランスフォーメーションをコストを削減し、ビジネス価値を右増加させつつも自分たちのビジネスを実行できる新たな技術基盤を構築する機会と捉えています。

しかし、競合する組織の優先度、レガシーな情報システム、分散したデータ環境は実現を困難なものとします。このため、データ分析者やAIエグゼクティブは、モダンなデータアーキテクチャを容易にデプロイし、移行するための包括的な戦略の立案と実行が必要となります。このブログシリーズでは、ご自身のジャーニーに乗り出す際に検討すべきキーとなる洞察と戦術を共有します。

まず初めに、すべてのデータとプラットフォームのモダン化の取り組みの基盤となる6つの戦術を提案します。

エグゼクティブの同意とサポートを取り付けましょう
大企業が変化することは困難です - しかし、不可能ではありません。成功するためには、CEOと経営陣を含む最高レベルのマネジメントからの揺るぎない同意とサポートを得る必要があります。このサポートによって、戦略の立案に必要なレバレッジを得ることができ、真にビジネスを実行する方法を変革できるアーキテクチャを決定し、ソリューションを実装することができます。これなしには、成功の見込みの薄い非常に効果なサイエンスプロジェクトを実行することになってしまいます。イニシアチブをサポートする追加の作業は、ビジネスだけではなくその中の人々において結果として得られるメリットをクリアーにすることで相殺されることになります。このトランスフォーメーションは、人々が日々どのように仕事を行うのかに関して、ポジティブな変化をもたらさなくてはなりません。
マルチクラウドの「全部乗せ」で行きましょう
COVID-19のパンデミックは、デジタルビジネスを加速するクラウドベースのソリューションの急速な導入を促しました - 今では企業はこの時間を活用して、オンプレミスとクラウドベースのサービスの使い方を再評価しています。クラウドベンダーは企業に対して、Infrastructure-as-a-Service (IaaS)、Platform-as-a-Service (PaaS)、そしてSaaSソリューションを含む様々なメリットを提供しています。これらのメリットは、特にオープンソースソフトウェアの活用と組み合わせることで、企業が最新のテクノロジーを活用するスピードを向上しつつも、現在の予算に敏感な時代における投資を削減することができます。

同時に、企業はベンダーロックインにも気づいており、避けられないビジネス上の理由が存在する際には、クラウド間を移動できるように自身のアプリケーションを抽象化したいと考えています。マルチクラウドの世界にようこそ - 企業はデータに対してさらなる主権と、どこでもワークロードを実行できる柔軟性を提供し、別のクラウドプロバイダーを使用している企業を買収した際のインテグレーションを容易にし、顧客の個人情報に対するリスクを削減するために、自身のデータフットプリントを多様化する必要を求める可能性のある規制の出現によるコンプライアンス対応をシンプルなものにします。このため、データのポータビリティと様々なクラウドプロバイダーでワークロードを実行できる能力は、さらに重要なものとなっています。
ビジネスアプリケーションをモダン化しましょう
組織がクラウドの導入を加速し始める際、シンプルな「リフト&シフト」は避けるべきです。オンプレミスのアプリケーションの多くは、クラウドを前提として設計されていません。それらはそもそも、セキュリティ、回復性、スケーラビリティ、フェイルオーバーの取り扱い方法が異なります。それらのアプリケーションのデザインは通常、GDPRやCCPA標準のような規制の要件に準拠することが困難な方法でデータを格納しています。そして、このようなアプリケーションの機能や能力は、性質上一枚岩であり、密結合になっています。逆に、モダンなクラウドアプリケーションは設計上モジュール化されており、アプリケーションの機能へのアクセスが容易なRESTfulなWebサービスやAPIを使用しています。

最初のステップとして、企業は自分のビジネスクリティカルなアプリケーションの一覧を作成し、ビジネスインパクトに基づいて優先度を付け、クラウドベースのデプロイメントに一貫性のある方法でモダン化していきます。これらのアプリケーションは企業において膨大な量のデータを生成、格納、消費するものとなります。クラウドベースのアプリケーションデザインに対して一貫性のあるアプローチを用いることで、必要なときにデータを取り出すことが容易になります。
データレイクにすべてのデータを取り込みましょう

データドリブン、分析ドリブン、AIドリブンの企業は、サイズ、形状、スピードに関係なく、可能な限りクイックにすべてのデータを格納、処理できる必要があります。多くの場合、データは様々なビジネスアプリケーションにサイロ化されており、アクセスが困難あるいは時間を要するものとなっています。同様に、データに対する非常に限定的な問い合わせのみをサポートする事前定義済みのスキーマを用いているデータウェアハウスのようなデータストアにデータがロードされる時間を企業は待っている暇がありません。問題をさらに複雑にしているのは、事前定義されているデータストアにフィットさせるために新たなデータをどのように操作するのか？ということです。どうすれば可能な限り迅速に新たな洞察を見出すことができるのでしょうか？
「合わせ目」の時間を最小化しましょう

データ変換処理を開始する際には、どのくらい時間がかかるのか、自分の組織にどれだけのリスクとコストをもたらすのかを理解することが重要です。既存のデータエコシステムをモダンなデータストックに移行するステップごとのアプローチは、ある一定の期間において新旧の2つの環境で同時にオペレーションを行う必要が出てきます。これによって、ビジネスに一時的ではありますが一連の副作用が生じることになります:
- 2つのインフラストラクチャで処理を行うので、オペレーションコストが激増します。
- 非常に異なる2つのエコシステムにで複数のデータコピーが存在することになるので、データガバナンスのリスクが増加します。
- プラットフォームには非常に異なるセキュリティモデルとサイバー防御策が存在することになるので、サイバー攻撃の範囲とベクトルが増加します。
- 複数環境を実行することによる課題によってIT部門の負荷が増加します。
- ビジネスパートナーがどの環境を使用し、どのデータワークロードを使用すべきかを確実に理解するように正確なコミュニケーションが必要となります。
IT部門における負荷のいくつかを軽減するために、いくつかの企業ではレガシーシステムに「光を当て続ける」ための追加の人員拡張を行いつつも、新規システムが実装、ロールアウトされるようにしています。これは重要なことですが、ビジネス継続性のための短期間の体験であることを覚えておくことが重要です。
レガシープラットフォームをシャットダウンしましょう

合わせ目の時間を最小化するゴールを維持しながらも、プロジェクトの計画とスケジュールにはレガシープラットフォームをシャットダウンするステップと手順を含める必要があります。例えば、多くの企業では自身のオンプレミスHadoopデータレイクをクラウドベースのオブジェクトストアに移行しています。

例としてオンプレミスのHadoopシステムを考えると、レガシーシステムのシャットダウンのアプローチは通常、以下のようになります:
1. Hadoop環境で実行されているジョブを所有しているステークホルダー(ビジネス部門とIT部門)を特定します。
2. 緊急の修正や非常に重要な新規ビジネスユースケースを除き、Hadoop環境には変更が行われないことを宣言します。
3. Hadoop環境にデータを流入しているソースシステムとそれぞれのデータフローの一覧を作成します。
4. Hadoop環境に現在格納されているデータの一覧を作成し、変更頻度を理解します。
5. データを操作しているソフトウェアプロセス(ジョブ)の一覧を作成し、ジョブの利用者とアウトプットを理解します。
6. モダンデータアーキテクチャに移行すするジョブの優先度をつけます。一つづつ、データインプット、ジョブ実行、ジョブの出力、後段の利用者を新アーキテクチャに移植します。
7. 物事が円滑に動作していることを検証するために、一定時間、レガシーのジョブと新規のジョブを並列で実行します。
8. レガシーなデータフィード、ジョブ実行、利用をシャットダウンします。待ちます。一服しましょう。
9. すべてのジョブが移行されるまで、綺麗にして繰り返します。
10. Hadoopクラスターをシャットダウンします。

マルチクラウド戦略を促進するために、EMRやDataprocのようなクラウドネイティブのビッグデータシステムから移行する際に同様のプロセスを踏むことができます。しかし、レガシー環境に変更を加える、あるいはレガシー環境を延命するプレッシャーがあった際に、企業が戦線を維持する忍耐を持つことが重要なことになります。これらのレガシーシステムが退役する強固な日程を設定することで、チームが新たなモダンデータアーキテクチャにオンボードする強制力として働きます。エグゼクティブの同意は、レガシープラットフォームのシャットダウンにおいても重要な役割を担います。

まとめ

数年に及ぶ戦略をスタートしたばかり、あるいはそのプロセスの途中にいるにしても、このテンプレートを好きなタイミングで適用することができ、企業の広大なポートフォリオに対して一度に一つつ取り組む際に繰り返すことができます。マルチクラウドに「全部乗せ」し、データレイクにすべてのデータを統合し、エグゼクティブのスポンサーシップを確実にすることで、予測不可能で動的なビジネス環境におけるビボットを通じたデータモダン化戦略の強固な基盤を実現することになるでしょう。

実際のところ、数千のお客様がすでにビッグ(とスモール)データにおける最新のイノベーションに適合することで、自身のデータとAIの能力を革新しています: そのイノベーションとは、データウェアハウスとデータレイクアーキテクチャを統合したDatabricksレイクハウスとユースケースです。別々で冗長なデータ環境を管理することで、それぞれのセキュリティやガバナンスのコントロールが分離し、それぞれの環境に費用が発生していたというのは、我々のお客様の過去のストーリーです。詳細に関してはコンタクトしてください。

より詳細を知りたいですか？我々のeBook Transform and Scale Your Organization With Data and AI をチェックしてください。

Databricksクイックスタートガイド

Databricksクイックスタートガイド

Databricks無料トライアル

Databricks無料トライアル