備忘録
絶賛転職活動中の私が備忘録として残しております。
職種未経験で転職を行う際に閲覧した資料等のまとめ
■現在の学習内容（データ職に向けて）
・BigQuery × Python による主成分分析（PCA）やクラスタ分析を実施し、Looker Studio を用いたユーザー傾向の可視化を経験。
・dbt を用いたデータ変換とモジュール化、Airflow によるパイプライン自動化の学習を進行中。
・Python／SQL の継続演習により、複雑なクエリやデータ処理スクリプトの精度を向上。
・データガバナンスや実務事例の学習を通じ、基盤構築から運用までの理解を強化。
・Qiita に学習内容を備忘録として公開し、学習を継続中。
＜今＞
・BIツールLooker Studioには軽く触れたが、よりBI知識と他BIツールを知りたく、Tableauについて学習。学習記事
学習(ハンズオン)
Done
Done: BigQueryのデータをpythonで主成分分析を行なった。主成分分析とはなんぞやとなった。データの活用的な知識が必要だと再認識。
Done GA4からデータを取得しての内容のため、マーケティング的な分析を表面的に学べた、Pythonでクラスター分析によってセグメントの可視化を行なった。Looker Studioは、Salesforceのレポート、ダッシュボード機能（経験あり）に似ていたが、自由度は高そうだった。
Done データアナリストよりの話が多かったが、部分的に飛ばしつつ実例に関して理解やイメージが膨らんだが、実践的ではなかった。
Done備忘録 SQL文内でメソッドやfor文作れるのは面白いと思った。データ加工に関して他の対応のイメージが豊富ではないが、適材適所な感じかなと思った。
知らない技術触るのは楽しいな〜
Airflow✖️dbtCore対応中
サンプルは構築済み。dbtで始めるデータパイプライン構築〜入門から実践〜で実装したdbtCloudの内容をためにし反映。
次Looker Studio以外のBIツールにしっかりと触れたい。
TODO
お客様とコミュニケーションが取れるデータエンジニアになるため、データ分析や活用に関しての知識を入れるのとBigQueryのデータをdbtで加工やワークフローの勉強を行う（Airflowを検討だが、Prefectが気になっている）。
また、pythonとSQLを手を動かして温めておきたい。
PENDING
- gitの学習も復習。PySparkの重要性や pythonでETLのやり方とかも学びたい！
学習(閲覧)
Data Engineering Study
様々な会社の実例がわかり仕事のがイメージしやすい。
本
【購入済】ゆずたそ著『データマネジメントが30分でわかる本』
【未購入】データ分析基盤入門＜基本編＞
参考記事
ロードマップ記事
小林寛和（こばやしひろかず）さんのロードマップ記事。Data Engineering Studyの第一回に参加している方だったので参考にさせていただきました。上記記事でゆずたそ著『データマネジメントが30分でわかる本』を購入し閲覧。全体像をやんわり理解。
最初に学ぶべきもの体系的理解
本に関する参考記事
使用求人サイト
基本的にデータエンジニア職種未経験の求人は少ない。転職回数も多かったため結構狭き門
- Findy
- Green
- Wantedly
- Symbiorise
その他
AI活用
ChatGPT PlusプランなのでCodexを使おうとしてます。
AIでChrome拡張機能を作ったけど、プロンプトの修正か人のソースの理解が必要。泥沼化しそうだったので、既存の拡張機能で代用。
優先度低めだけどUdemyで学びたいAIのこと
AIチャットbotをRAGためて作りたい。
