データエンジニアリングロードマップ(引用元: 今からはじめる、データエンジニアリング・ロードマップ)
データエンジニアとして最も大切なのは 【分析課題の整理】
- 手段から入ると、使用者に使われない分析基盤が出来上がる
- 目的は何で、誰の、どんな課題を解決するのか、といったゴール設定がとても大切
初級データエンジニア
- 前提知識→データの統合、蓄積→データの提供
- 上記が[[最小構成]]で実装できるレベル
- 社内外でメンターや顧問を探して、最短ルートで学びながら失敗の少ないデータ分析基盤ベストプラクティスを身につけること
中級データエンジニア
- 初級データエンジニアの領域を、より多くのデータ種類や量をふまえてシステム構築、運用保守ができる
- さらに、発生する課題の解決として、データ品質や利便性の向上→組織への浸透まで実装できるレベル
- 分析の品質や効率性を上げて、組織そのもののグロースを意識することも重要ポイントであり、組織とともに分析基盤が成長する状態を作ること
上級データエンジニア
- キャリアパスは2種類
- ジェネラリスト
- 中級データエンジニアまでの領域を一通り学んでおり、チームを指揮しながら組織においてインパクトの大きいデータ分析課題を解決することができる
- スペシャリスト
- 要素技術の一部に関して、最新の技術を駆使しながらより難易度の高い課題を解決する能力が必要
- 膨大な量のデータを、一定時間内に高速に処理するETLに関する能力など
自身の当面の目指すところ
- 初級データエンジニアとして名乗れるようになること
- スキルセット
- SQLに関する最低限の知識
- DWHにデータ統合を行い、ETLを使いデータを提供
- Change Data Caputure
- Data Streaming
- 統合したデータを可視化するためのBIツールの活用
- DWH内にデータマートを作成し、分析しやすい形にデータを整備（データモデリング）
- ジョブを管理し自動化するための、ワークフローオーケストレーション
参考記事