この記事について

Cloudera のソリューションエンジニアが、毎週木曜日に X（旧Twitter）のSpace でゆる〜く開催している #データエンジニアRadio のアーカイブです。

お散歩や通勤のおともに聞いていただき、データエンジニアリングの最新情報に触れたり、ITの歴史や昔話を楽しんだりしていただければ幸いです。

また、Twitter でハッシュタグ #データエンジニアRadio を検索していただくと、配信に関わるツイートも眺めることができて二度美味しいのでおすすめです♪

アーカイブ

第29回クラウド研修の振り返り

2024/10/10(木) 配信メインスピーカー：ALL

インドとオーストラリアとシンガポールから同僚がやってきて、まる２日みっちりやってきたクラウド研修の振り返り

第28回ものづくりワールド大阪生中継！

2024/10/3(木) 配信メインスピーカー：ALL

雨の降る大阪から、出展中の「ものづくりワールド大阪」のもようをお届け！

第27回製造業のデータ活用

2024/9/26(木) 配信メインスピーカー：ALL

10/2〜4に出展するものづくりワールド大阪に向けて、メンバーの意気込みなどをおはなし！

番外編

2024/9/19(木) 配信スピーカー：さの

合宿先の軽井沢から、これまでの Radio の振り返りや、佐野の個人的な思いなどを率直に語った番外編です。

第26回わいわい雑談

2024/9/12(木) 配信メインスピーカー：ALL

ゆる〜い雑談をしようかなぁと思っていたら、キー重複や件数アンマッチなど意外とがっつりしたデータエンジニアリングの話になりました。

第25回データ型の話

2024/9/5(木) 配信メインスピーカー：びん

データエンジニアリングにおいて、型などを含むスキーマの管理はとっても大切。今回は、日付系の型でハマった話をお届けです。

第24回 NiFi Meetup 振り返り

2024/8/29(木) 配信　メインスピーカー：ALL

前日8/28(水)に行われた NiFi Meetup Japan の熱気と興奮冷めやらぬまま、振り返りと、今後のミートアップをもっとよくするには？という話。

第23回わいわい雑談〜シンガポールから１週間、調子どう？〜

2024/8/22(木) 配信　メインスピーカー：ALL

シンガポールの疲れもあって、今日は雑談回。ゆるゆるトークになるかと思いきや、データエンジニアとしての心構えや、製造業における今アツいデータ活用の話など、意外と盛りだくさんのトークになりました。

第22回シンガポール見聞録

2024/8/8(木) 配信　メインスピーカー：ALL

会社のイベントでシンガポールに行ってきたメンバーが、シンガポールの街やアジアのIT動向についての気づきを語り合います。

第21回 NiFi はいいぞ

2024/8/1(木) 配信　メインスピーカー：びん

NiFi の「ココをおさえればもっと便利に使える」というポイントを、びん先輩がレクチャー！ラウンドロビンとシングルノードの使い分け・・・なるほど！

第20回データエンジニアの仕事ここが好き・ここがツライ

2024/7/25(木) 配信　メインスピーカー：さの

データエンジニアの仕事って、実際どうなん？という方たちに向けて、データエンジニア経験者のメンバーが好きなところ・ツライところを赤裸々におはなし！

第19回 NiFi2.0 の話

2024/7/18(木) 配信　メインスピーカー：よしだ

NiFi2.0 って、実際 NiFi 1.x系と何が変わったの？追加されたプロセッサーや整理されたプロセッサー、エクスポートのやりかたなど、具体的な変更ポイントをおさらい！

第18回 Apache Ozone の話

2024/7/4(木) 配信　メインスピーカー：すぎやま

最近話題の Iceberg とは違うんだけど実は似てる？スモールファイル問題やパフォーマンスの問題を解決するストレージレイヤーのソリューション・Apache Ozone についてのおはなし！

第17回 MLflow / MLOps の話

2024/6/27(木) 配信　メインスピーカー：びん

所属企業がMLOpsの会社を買収したことに伴い、MLOpsってなんだ？を改めて勉強。「モデルのためのDB」があることに驚き、そこからやっぱり Iceberg につながるのか・・・！といったお話まで。

第16回 Iceberg Catalog の話

2024/6/20(木) 配信　メインスピーカー：よしだ

Iceberg の中枢をなす Iceberg Catalog について、どんな選択肢があるのかや、使い分け方などを一緒に学んだ回です。
まとめの記事はこちら！
https://qiita.com/IQ_Bocchi/items/b7846533005d9d964f90

第15回 Iceberg本が届いたので読んでみた〜第1章 Iceberg 誕生の歴史と概要〜

2024/6/13(木) 配信　メインスピーカー：さの

予約購入していたオライリーの Iceberg 本が、ついに届きました〜！ということで、まずは概要編の第一章の内容をダイジェストでお届け！
みんなで楽しく「ナイスバーグ！」と叫びあった記録として、こちら↓のまとめもあわせてご覧ください。
https://togetter.com/li/2382957

第14回 Iceberg Summit 参加してみた

2024/6/6(木) 配信　メインスピーカー：すぎやま

開催されたばかりの Iceberg Summit で、ビッグデータの最前線に触れてきたレポート。いまどきらしい配信スタイルや、 Iceberg の産みの親・Ryan Blue の熱いメッセージなどをゆるく楽しくお届けしています。

第13回生成AIのいまさら聞けない話

2024/5/30(木) 配信　メインスピーカー：びん

「生成AI イコール ChatGPT」の一歩先へ。生成AIが動く仕組みや、企業で活用する際のポイント、データ分析に関連する活用方法などをやさしく説明した回です。

第12回お台場の中心でデータ愛を叫ぶ

2024/5/23(木) 配信　メインスピーカー：よしだ

お台場で3日間にわたって開催された、ガートナー社主催のD&A(データ&アナリティクス)サミットに参加したメンバーたちが、イベントで感じたデータ活用の最前線と、日本企業に向かって叫びたい熱い思いを海浜公園の夕焼けの中で叫びました。

第11回食材がベクトルになる？！ベクトルデータのすごさ！

2024/5/16(木) 配信　メインスピーカー：さの

（本編は7:12頃〜）

今、ベクトルDBが熱い！今話題のLLM（ChatGPTなど）を実務レベルで活用したり、「ほうれん草のおひたしは小松菜でも作れる」という情報を得たり、さまざまな場面に応用できるベクトルDBについて、わかりやすくご紹介✨
ツイートのまとめもあわせてご覧ください。
https://togetter.com/li/2367366

第10回最近気になるデータエンジニアリングの話題（主に Iceberg ）

2024/5/9(木) 配信　メインスピーカー：すぎやま

最近 Iceberg にどハマりしているすぎやまさんから、Iceberg に関する最新情報やイベント情報のお知らせをお届け✨

第9回実は簡単に始められるストリーミング

2024/4/25(木) 配信　メインスピーカー：Bin

「ストリーミング」という言葉がまだ浸透していなかった時代に、 Zookeeper を使ってストリーミングを自前で実装？！そんな経験談を経て、今のストリーミングがいかに便利で簡単になったかをご紹介しつつ、第0回で浮上した「真のストリーミングとは？」の伏線もついに回収！

第8回初心者にやさしいストリーミングの前提知識

2024/4/18(木) 配信　メインスピーカー：さの

前回の「ストリーミングことはじめ」で浮上した「Kuduはなんで速いのか？」という疑問に答えるべく、「そもそも Kudu が何で、どういう必要に迫られて登場したのか」を初心者なりに勉強して発表しました。絵も駆使しているので、ツイートまとめと合わせてご覧ください✨

第7回ストリーミングことはじめ

2024/4/11(木) 配信　メインスピーカー：Bin

ストリーミングの話でご飯3杯はいけるという Bin さんによる「ストリーミングことはじめ」！ラッキーセブンの放送回ながら、途中で「ラムダとカッパの呪い」と思しき怪現象も…？
まだまだ続く予感に満ちたストリーミング話の導入として、ぜひお聞きください。

第6回 DE温故知新あの技術の誕生秘話！

2024/4/4(木) 配信　メインスピーカー：よしだ＆すぎやま
https://twitter.com/i/spaces/1vOxwjvXZDoJB

最新技術がクラウドでよりどりみどりの現在ですが、そんな技術がどのように生まれてきたのか？誰の何の課題を解決するために、どんな苦労を経て生まれたのか？そんな歴史を、いちエンジニアの目撃証言を通じてお伝えしています。

第5回 Iceberg について語ろう

2024/3/28(木) 配信　メインスピーカー：すぎやま

オープンソースで今いちばん熱いのは、Iceberg！（Iceだけど！）
Iceberg が何かわからない人も、ひとまず冷凍のハンバーグとは違うということさえわかってもらえれば・・・！

第4回 Trino本発売記念

2024/3/21(木) 配信　メイン（ゲスト）スピーカー：高田美紀さん

『分散SQLクエリエンジン Trino徹底ガイド』の翻訳に参加された高田美紀さんを特別ゲストにお迎えし、Trinoの基本から運用のコツ、翻訳プロジェクトのお話などを伺いました。
この日のハッシュタグは、 #Trino本発売記念です。

第3回クラウドやらかし事件簿

2024/3/14(木) 配信　メインスピーカー：Bin

エンジニアなら誰しも一度はあるはずの、やらかし（or やらかされ）体験。
一流のデータエンジニアを目指すなら、一回くらい本番DBを drop しておくべき！？（←やめましょう）

第2回ビッグデータの歴史

2024/3/7(木) 配信　メインスピーカー：よしだ

金融企業でのストリーミングデータ分析導入から、ベンダーサイドまで様々な経験をされてきたわれらがリーダー吉田さんによる、ビッグデータの歴史トーク♪

第1回 SMAPが解散したとき、サーバールームで起きていたこと

2024/2/29(木) 配信　メインスピーカー：すぎやま

第0回でアメリカに来られなかった杉山さんの自己紹介を兼ねて、ビッグデータの運用に関するリアルなネタをぶっちゃけトーク✨

第0回 Cloudera 社員がマイアミで、真のストリーミングとは何かを語る

2024/2/15(木) 配信

Cloudera 本社のあるアメリカの地から、テストを兼ねて第0回の配信✨
どんな感じになるのか探り探りの配信でしたが、「真のストリーミングとは？」という熱い議論も。