記事のモチベーション
転職までの年休消化中に準備として学んだことを言語化していきたいと思います。
自己紹介
現在42歳でもうすぐ43歳になりますが、いまさらデータエンジニアへ転職がきまって現在年休を消化中になります。データサイエンティスト希望でしたが、データエンジニアの仕事をすることになりそうなので事前準備を年休消化中にやりたいと思っています。
さいしょにデータエンジニアとは
データエンジニアとは、データを分析する基盤をつくるエンジニアになります。
データ活用するためにデータを整理するための基盤をつくることが役割となります。
データサイエンスとデータエンジニアは違う。
必要なスキル
【データエンジニアに求められるスキル】
基本的なプログラミングスキル
Python、SQL
データベースに関するスキル
DWH、
インフラやクラウドに関する知識
Google Cloud、AWS など
フレームワークに関する知識
分散処理等はクラウド前提だと、仕組みを理解しておけばいい？
データ分析、可視化
Pyuthon,BIツール、ML等整備したデータがどのように使われるか知っておくことが重要！
【これからのデータエンジニアに求められるスキル】
データエンジニアリングの世界にも、LLMの波がきているそうです。Data Engineering Study #22を聞いて、身が引き締まる思いです。具体的には、BigQueryをたたくのも、AIがプログラミングしてくれる時代、データ分析も、プロンプトエンジニアリングでできるような時代になってきている。
といいつつ自分も最近はコードはChatGPTに書いてもらっているのでそらそうだなとは思います。
下記のようなことが必要だと、言われていました。
・データ分析のスキルを伸ばす。（論文を書けるレベル）
・特定の産業、文約に特化する。（ドメイン知識で差別化）
・上流の「ビジネス/プロダクト」の策定（コンサル的な動き）
・AI化する側に回る。（LLMのパイプライン化ができるとか）
これは、データエンジニア、データサイエンスができる、おじさんになればいいのかなと思いました。
結論
これからのデータエンジニアに求められるスキルを意識しつつも、まずは、データエンジニアの基礎を習得をこの2か月で目指します。
やっていること・やったこと・おもったこと（随時更新）
・データエンジニアに関する全体的な知識の取得
１．Data Engineering StudyのYouTube 視聴中です。
#22 これからのデータの関係のエンジニアに求められることを意識しておくことが大切
２．TROCCOのアーカイブ 視聴中です。
・基本的なプログラミングスキル
SQLのコードを基本的なものをかけるようにしたい
・データベースに関するスキル
「Google Cloudではじめるデータエンジニアリング入門」勉強中
Google Cloudの無料枠でBigQueryをトライ中
TROCCOの無料アカウントでトライ中
データレイクモダナイゼーション（オンプレからクラウドへのデータ移行も調査）
・インフラやクラウドに関する知識
「AWSの仕組みと技術がしっかりわかる教科書」
・フレームワークに関する知識
「ビックデータのシステム開発がしっかりわかる教科書」
・データ分析、可視化
・データ分析のスキルを伸ばす。（論文を書けるレベル）
・特定の産業、文約に特化する。（ドメイン知識で差別化）
＜製造業＞
「中小企業が始める！生産現場のIoT」 勉強中
・上流の「ビジネス/プロダクト」の策定（コンサル的な動き）
・AI化する側に回る。（LLMのパイプライン化ができるとか）
あとでもう一回トライしたいこと
・データベースに関するスキル
「Google Cloudではじめるデータエンジニアリング入門」の各ELT,ETLを自分のデータでやってみる。
忘記録
Google Cloudの各種ETL、ELTの使い分けを少し掘り下げて記事にする。
Google CloudのCloud Composer、Data Cloud Fusionとdbtの違いってなに？