データ基盤 Advent Calendar 2020 1日目の記事となります
ここではデータ基盤を運用していく上で陥りやすいアンチパターンをいくつか紹介したいと思います
データ基盤をどう作るかはについては以下の書籍がとてもとっつきやすく参考にもなると思うので、よかったら読んでみてください
はじめに
ここでは社内向けのデータ基盤を前提としています
データ基盤は大前提として、使われないと意味がありません
使われるためには使ってくれるユーザがいないとはじまりません
データ基盤を作る上で、ユーザは超大事です
アンチパターン集
データ基盤はユーザに対して価値を提供して真価が発揮されます。
だが、データ基盤を長く運用していると以下のような事が起こることがあります
ユーザのクレームに対して温度差がある
- ユーザからしたらものすごい障害につながりかねない障害に対しても、通常の障害と同じように対応してしまう
- クレームではないと思っていたら、裏ですごいdisられていた
- 常に同じクレームを受け続けている(受けている方が大したことないと思っている)
これらの事を続けていると、だんだんと信用がなくなっていきユーザが離れていったり、あらたなデータ基盤が誕生したりします
ユーザの声は前のめりに聞ける体制を作ると解消出来るかもしれません
ユーザの今後の計画に対応出来ない
- 新しいサービスのデータも入れたいが、パイプラインがないしDWHの容量が足りない
- ユーザが新しいBIエンジンを投入したが、基盤側のエンジンが耐えられない
- エンハンスをしないといけない案件をキャッチアップ出来ておらず、要員を準備出来ていない
せっかくユーザがデータ基盤を信頼し、使いはじめてくれているところなのにもったいないです
ユーザと一緒に計画をたてるような立場になると解消出来るかもしれません
ユーザが無茶なことをしてユーザに対してキレる
- 数億件のcross joinをかまされdwhが落ちる
- 勝手に権限変更をされbatch処理が動かなくなる
ユーザはデータ基盤運用者が思う以上にいろんなことをします
ユーザが無茶をしても大丈夫なようにガードレールの設置をする、ユーザ教育を一緒にするなどするとユーザとの信頼性もあがり基盤の安定性も上がってくるかと思います
使えることが当たり前になってきて、使えないときだけユーザから怒られる
- 安定したデータ基盤を作るとユーザはいつでも使えるのをあたりまえに思えてきて、月に1時間でも使えないとクレームを言ってくる
- 障害が起きたことが目立つようになり、減点方式での評価となる
きちんとユーザや経営陣にどんだけ頑張ってこのように運用しているか伝え続けましょう
またSLAをあえて低めに設定する、SLAを設定しないというのも一つの手段かもしれません
とにかくモダンな基盤にする
- 新しい技術をいれても、ユーザにとっていい事はないかもしれない
- 基盤の使い方がころころ変わるとユーザがついてこれない
- 世間の常識は社内の非常識であるかも知れない
新しい技術は楽しいし、触りたいです。今後の基盤の進化を見据え検証するのはいいと思いますが、装着するには本当に基盤の価値があがるかユーザが使いこなせるかを見極めてからのほうがよいでしょう
おわりに
いくつかアンチパターンをあげさせてもらいました。
どのようにユーザと二人三脚でデータ基盤を作っていけばいいかは以前登壇させていただいた内容が記事になっているのでよかったらこちらもご参照ください
“5つのC”で考えるデータ分析基盤の構築