【学習メモ】データ分析基盤の全体像 総まとめ
データ分析基盤は学ぶべき内容の幅が広いですが、一旦全体像をまとめました。 進化が速い分野ですが、月日が経ってもあまり変わらない内容を中心に書いています。 参考書籍： データマネジメント大全 デー...
4
0
Comment0
73 search resultsShowing 1~20 results
Stocked
You need to log-in
【メモ】データエンジニアリング関連 書籍リスト
データエンジニアリングに関連する書籍で個人的に参考になったものを目的別にリストアップしました（随時更新予定）。 タイトルからリンク飛べます。 １、データ基盤の概要を学ぶ 1-1.まずは全体像を学...
3
3
Comment0
【SQL】相関サブクエリをウィンドウ関数に書き直す
以下で相関サブクエリについてまとめています。 今回は、書籍達人に学ぶSQL徹底指南書にて、相関サブクエリはウィンドウ関数で書き換えることができ、パフォーマンス性が優れるとありましたので、過去記事...
0
0
Comment0
【メモ】SQLパフォーマンスチューニング
参考書籍：達人に学ぶSQL徹底指南書 レスポンスが遅くなる主原因 ・メモリ配分が悪い ・ストレージ構成が不適切 最大のボトルネックになり得るのは、ストレージへのアクセス。 そのため、高速アクセス...
0
0
Comment0
【情報整理用】データ基盤の全体像
1. 生成（ソース） カテゴリ 具体例 補足 アプリケーション トランザクションDB、ログファイル、ユーザー行動データ CRM、ERPシステムからのデータ（例: Salesforce, SAP）...
0
0
Comment0
【学習メモ】Footballデータを使用したPythonでのETL処理及び分析
目的： データパイプライン構築の学習 実装内容： JリーグのデータをWebサイトから抽出し、加工、データベースへの格納とそこからの抽出・集計・分析までの一連の流れを実装。 分析テーマ： ボールポ...
0
0
Comment0
【学習メモ】AWSでのデータパイプライン構築
前回Pythonを用いたETL処理を行ってみた。 （学習メモ）Footballデータを使用したPythonでのETL処理及び分析 今回は、AWSを使用してデータパイプラインの構築を行ってみたい。...
0
0
Comment0
【読書メモ】データエンジニアリングの基礎
『データエンジニアリングの基礎』を読んだので、学んだ内容を書き記していく。 自分自身データ分析業務に従事しているが、データの欠損や、複数のデータソースにデータが散在していることなどにより、分析す...
4
3
Comment0
【読書メモ】会社を変える分析の力
会社を変える分析の力 データ分析とは データ分析 ≠ 数値計算 データ分析 = データから問題を改名するプロセス ステップ： 1、データを収集する 2、数値計算 3、問題を解明する ・意味のある...
0
0
Comment0
【読書メモ】DX時代のデータマネジメント大全（戦略層）
DX時代のデータマネジメント大全 第5章「データマネジメント 戦略層」のメモです。 書籍リンク：DX時代のデータマネジメント大全 データマネジメント戦略策定の4つのステップ １、現在地の把握 ２...
0
0
Comment0
【メモ】データ活用のためのデータ整備
書籍：実践的データ基盤への処方箋 第1章「データ活用のためのデータ整備」のメモです。 全体の流れ １、ユースケース、そのためのデータ活用方法を検討 ２、そこから逆算する形でデータ収集、整備の投資...
0
0
Comment0
【読書メモ】データ指向アプリケーションデザイン
データ指向アプリケーションデザインを読んだので、メモをまとめてみました。 600ページを超える内容で、全体で12章ありますが、本記事では序盤の4章までをまとめています。 本書では膨大な知識が語ら...
2
0
Comment0
データ活用におけるPPDACサイクル
参考図書： DX時代のデータマネジメント大全 DX、データドリブン経営、データ利活用から理解する データマネジメントを学ぶ中でこちらの本が非常に為になったので、その中で解説されていたPPDACサ...
2
0
Comment0
【SQL】相関サブクエリ
サブクエリと相関サブクエリの違いは？ もし、ある商品が全体の売り上げの平均値より上かどうかを見たい場合には通常のサブクエリを使うことができるが、「同じ商品分類の中で」平均値より上かどうかといった...
1
0
Comment0
【SQL】ウィンドウ関数
特定の範囲のデータに対して計算などを行えるウィンドウ関数についてまとめる。 ウィンドウ関数は別名分析関数またはOLAP(Online Analytical Processing)とも呼ばれる。 ...
0
1
Comment0
メモ：データ分析基盤概要（２）
今回のテーマ： ビジネスに繋げるためのデータ活用策と、それをデータ基盤に落とし込む際の考え方 ユースケース ここでのユースケースは、データ分析基盤の用途を指す。 例えば、食品メーカーで考える施策...
1
0
Comment0
メモ：データ分析基盤概要（１）
目次： 1.データ分析基盤とは 2.データ分析基盤構築プロジェクトの基本ステップ 3.データエンジニアリング領域 4.データレイク・データウェアハウス・データマート 5.データパイプライン 6....
6
6
Comment0
データサイエンス+周辺知識を勉強するために参考にしている本・教材まとめ
データサイエンティストについて調べると必要なスキルとしてエンジニアリング力、データサイエンス力、ビジネス力と言われているので、幅広く勉強するようにはしています。以下書籍、動画などもビジネス分野も...
57
67
Comment0
数理最適化の概要とPythonでの実装
数理最適化とは 数理最適化は、現実の問題を数学的なモデルに変換し、そのモデルを解析して最適な解を見つける手法です。このアプローチは、多くの分野で利用されており、製造業、物流、金融、医療、エネルギ...
5
6
Comment0
PMPとは？PMPについての知識 ダイジェスト版
PMPの概要 PMP（Project Management Professional）とは： 米国のPMIというプロジェクトマネジメント協会が認定するプロジェクトマネジメントの専門家であることを...
0
3
Comment0
73 search resultsShowing 1~20 results
Qiita is a knowledge sharing service for engineers.
- You can follow users and tags
- You can stock useful information
- You can make edit suggestions for articles