前提
- データエンジニアリングに関する情報収集と一般的な情報収集の方法を両方記載してます
- 一般的な情報収集方法に関しては他にも転用可能かと思います
きっかけ
データエンジニアリングに関する情報はオンラインコミュニティ含めて世の中に増えつつあると思います。
私も現職(2023年12月時点)でデータエンジニアリングを主業務として行っておりますが、
効率よく情報収集をしたいと思ったのでここにどのように情報収集をしているかまとめます。
一般的な情報収集方法
まず、一般的な情報収集として私が用いているのは以下3点です。
- 書籍（Kindleなどの電子書籍含む）
- 体系的学習
- X(旧Twitter)
- 時事情報収集
- 各種ブログ記事など
- 時事情報収集
それぞれどのように情報収集をしているかもう少し詳しく記載します。
1. 書籍
一番は書籍で体系的に学習するのが好きなので書籍を利用しています。
書籍でキャッチアップするのも２通り方法があります。
1.1. Kindleや物理本を購入して読む
基本的にはKindleなどで購入することが多いです。
ただし、最近ではXでO'reillyの洋書に良書があるような情報もキャッチアップしたりするので
O'reillyのサブスクに登録し、洋書をDeeplで翻訳しながら読んだりすることもあります。
O'reillyの書籍は和訳が2~3年遅れでされることはザラなので、重宝しています。
1.2. 本要約サービスを用いた学習
ビジネスドメインの情報やコンサルの知識などに関してサッと情報をキャッチアップするのに
flierという書籍の要約サービスを利用しています。
前はAudibleなどのオーディオブックなども利用していたのですが、
情報のエッセンスだけ理解したかったりする場合があったりするので
そういった場合には上記の要約サービスは重宝しています。
書籍に関しては伝えたい内容を実例を用いて腹落ちさせるパートが長い本などもあって
個人的にはその部分が冗長に感じてしまいます。
エッセンスだけ抽出してあとは実践して理解したい方には向いていると思います。
2. X(旧Twitter)
これはみなさん活用されているかもしれませんが念の為。
XにはListsという機能があります。
これを使用すると、X上で気になるトピックに気になるひとの投稿を集約できるため
トピックごとに必要な情報を集約してみることが可能となります。
私は今のところ以下のようなListsを作成して日々確認するようにしています。
増やしすぎても追いきれないので以下くらいがちょうど良いボリューム感です。
- AI
- AI関連
- Data Eng&Mng
- データエンジニアリング&マネジメント関連
- Tableau、データ分析
- データ分析関連
Lists作成方法は以下をご参照ください。
通常のTLはノイズ過多のため、Lists作成をお勧めします。
探索的に情報を調べるんだ、と通常のTLを眺めても時間が溶けるだけです。
3. 各種ブログ記事など
ここが時事的な情報確認には一番利用することになるかと思います。
ソースが異なるだけで、方法としては似通っています。
この各種ブログ記事についても、有益なソースを日々効率的にキャッチアップできるように
以下方法で対応しています。
Feedlyを使って効率よく情報収集する
FeedlyはRSSリーダーツールです。
Feedlyに気になるブログやメディアのRSSをFeedlyに登録することで、
その情報をFeedlyのみでキャッチアップすることが可能となります。
Feedlyのメリットとして以下です。
- カテゴリごとに分類が可能なので、RSSで取得した情報をさらにFeedlyでカテゴライズして確認できる
- 以下で紹介するPocketを利用することで取捨選択した情報のみを日々確認することが可能
次にFeedlyと連携することでさらに効率的にキャッチアップできるツールを紹介します。
Pocketで取捨選択した情報のみをキャッチアップする
Pocketはオンライン上で記事を保存できるサービスです。
Feedlyで見たい記事だけをPocketに保存して確認する際に使用します。
Feedly内のUIでPocketに標準で対応しているため、以下のような手順で記事の確認まで可能です。
- Feedlyで収集しているRSSの記事を眺める
- 良さげな記事があればPocketにそのままツール上で追加
- 後でPocket（アプリもあります）でPCまたはスマホで確認する
PocketのアプリをPCとスマホ両方にインストールしておけば
異なる場所にいて片方しか使えなくても記事が確認できます。
朝からFeedlyのリストを消化してPocketに突っ込んでおけば
それ以降はPocketのリストを消化することに集中できます。
上記の方法は以下をご参考にしていただければと思います。
データエンジニアリングに関する情報収集
上記の一般的な情報収集方法を用いて、データエンジニアリングという領域に関して
それぞれ具体的にどのような情報を仕入れているかを一部紹介します。
1. 書籍
ビッグデータを支える技術
私が現職に入る前に読んだ本です。
こちらは特定のクラウドサービスなどに依存した内容ではないので、ビッグデータにまつわる技術要素の基本的な所のキャッチアップにちょうど良いです。
この本を読んだことでGoogle Cloud認定資格のProfessional Data Engineer資格の学習も前提知識があって入ってきやすかったです。
Fundamentals of Data Engineering
リンクはAmazonですが、私は英語を読むのが苦手なのでO'reillyで読みました。
データエンジニアリングに関するトピックを幅広く扱っており、
Fundamentalsと言いつつすごいボリューミーな本です。
本書のリンク先のメディアなども参考になるので良い書籍でした。
他に読んでみたいもの
以下は読んだわけではないのですが、最近Xでデータ職種で課題図書を作ろうというムーブメントがあるように思えた(投稿者の意図するものではないかもしれないが)ので、備忘としてリンクを貼っておきます。
2. X(旧Twitter)
XのListsに追加している人に関しては、なんとなく恥ずかしいのでここでは公開しないことにします。
もしどうしてもみたいということであれば以下のアカウントの「View Lists」からご確認ください。
3. 各種ブログ記事など
上記のXについては少し逃げが入ってしまったので、こちらは少し集めに紹介します。
まずカテゴリとしては以下を用意しています。
- DataManagement&Engineering
- Tech Blog
- IT
- Infra
- GCP
- AI
上記のカテゴリのうち、1と2を紹介します。
1. DataManagement&Engineering
Mediumの#data-engineeringトピック
Mediumも時事情報が多くあるので、重宝しています。
Feedlyでは上記のトピックのRSSが取れるようにしています。
正直Mediumだけでも情報が多いのでお腹いっぱい感はあります。
redditのdataengineeringトピック
redditにはトピックごとの相談事とそれの解法が集約されています。
ハウツーな知識を仕入れたかったり、単に問題として取り組むような時に利用します。
くだらない内容も多いため、取捨選択が必要ではあります。
2. Tech Blog
データエンジニアリングが関係ないものも多いのですが、
単純に読むのが楽しい会社のテックブログを集めて読んでます。
primeNumber
troccoというサービスを開発している会社のテックブログです。
データ系のサービスを開発していることもあり、内容の殆どがデータ系でとても勉強になります。
風音屋
Xでデータエンジニアリングをキャッチアップしている人であれば知らない人はいないであろう
ゆずたそ氏が経営されている会社のテックブログです。
情報密度が濃くて毎回消化するのが大変です。
DevelopersIO
ここも情報が多いので、興味があるものだけ読まないとお腹いっぱいになります。
どうやってこんなテックブログの量を生み出してんだろうと。
メルカリエンジニアリングブログ
データエンジニアリング関連のトピックも多いので結構みてます。
メルカリ自体よく利用するので、内部の仕組みが知れるのはちょっと楽しいです。
余談ですが、メルカリはYoutubeもやってて以下の動画は面白かったです。
最後に
以上、情報収集に関する内容に関してまとめてみました。
最近は生成AIの内容が取り沙汰されすぎて他の情報が埋もれがちですが
情報は選ぶことと同じくらい捨てることも大事だと思いますので
書籍も買って満足せず、情報も集めて満足せず
しっかり自分のものにしていきながら着実に成長していきたいです。
年始から新しい会社での就業も始まりますので
さらに気を引き締めて頑張っていこうと思います。
拙い内容の記事を最後まで見ていただきありがとうございました。