2024年に参加した勉強会をデータカタログで振り返る

この記事について

• この記事はdatatech-jp Advent Calendar 2024の12月25日分として記載しています
• 🎅{Merry Christmas!)

---

• connpass上で確認できる自分の活動実績を簡単に可視化してみました

• 自分のconnpassのサイトは以下です
  https://connpass.com/user/ShumpeiKubo/?page=1

• 2024年に参加した勉強会は59ありました

  • 59個程度で良かったです〜。まだ手作業で済むサイズなので。
  • 1年の営業日をだいたい260日（365 * 5/7）と考えると、59日はその23%に当たるので、週に1回以上のペースで勉強会に参加していたようです。

---

データの整備

• これを以下のように整形、保存しました
  • connpass の自分のページをコピペして、テキストに貼り付けて整形
  • それをさらにエクセルに貼り付けて整形
  • タイトルなどはメインタイトル、サブタイトル、など、分析しやすいように列を適当に増やしました。
  • そういう事をしながら、こう思いました。
    • 「ああ、オリジナルのタイトルは保存しておけばよかったな」
      
• 正直このコピペして整形する時間が作業時間の8割くらいでした。
• まじでデータ整備って全体工数の8割くらいかかりますよね。。。

---

• エクセルでcsv保存にするとなぜか文字化けしたので、

shumpei.kubo@ShumpeinoMacBook-Pro Downloads % head connpass2024.csv 
???t,?j??,?J?n????,???,?T?u?^?C?g??1,?T?u?^?C?g??2,?T?u?^?C?g??3,?ꏊ,?o?^?l??,????l??,?Q????,?Q??????
2024/12/17,??,19:00,?f?[?^????,???Z?ƊE?̃f?[?^?}?l?W?????g?őO??,#4,,?I?????C?? ,124,230,54%,??
2024/12/7,?y,20:00,?O??IT?T?o?C?o???p??,?m?yNight,vol.6,?e?[?}?u?????v?y?O??IT?T?o?C?o???p?? ?ԊO?ҁz,?I?????C?? ,14,,#DIV/0!,??
2024/12/3,??,19:00,?Z?p?Ɩ{?ƔL,?Z?p???Ƃ????̘b ?~?̖?,,, ?????s?`??Ճm??2-6-1 ?Ճm??q???Y ?X?e?[?V?????^???[ 36F  ,63,105,60%,??
2024/11/20,??,19:00,datatech-jp,Data Contract???ዤ?L??,,,?????s?`?擌?V??1-5-2 ?????V?e?B?Z???^?[ 35?K  ,44,45,98%,??
2024/11/19,??,15:00,???? ?a?^,?????OK?I?G???W?j?A?????????Ă????ׂ?IBM Planning Analytics?̃R?c?ƃc?{,,,?I?????C?? ,7,50,14%,??
2024/11/14,??,12:00,?t?@?C???f?B?^Findy,ISUCON?폟?R?c?̓??̒??`?????o?[?W?߂?????????̔閧?܂Ł`,,,?I?????C?? ,799,,#DIV/0!,_
2024/11/6,??,19:00,CARTA HOLDINGS,DATA ENGINEER NIGHT,#1,#DataEngineerNight,?????s?`??Ճm??2-6-1 ?Ճm??q???Y ?X?e?[?V?????^???[ 36F   ,61,100,61%,??
2024/10/30,??,19:00,Finatext Holdings Ltd.  ,DataOps Night,#5,?Z?L?????e?B?ƃA?W???e?B?𗼗????邽?߂̃v???N?e?B?X,?????s???c???i?k1????8??10?? (?Z?F?s???Y??i?r?? 9?K)   ,251,340,74%,??
2024/10/29,??,19:00,Forkwell Community,Data Engineering Study,#26,?f?[?^???p?ɂ?????l???f?[?^?̎?舵??,?I?????C?? ,474,,#DIV/0!,??
shumpei.kubo@ShumpeinoMacBook-Pro Downloads % 

• Macのターミナル上でviを起動してそこに貼り付けて.tsv 形式で保存しました

shumpei.kubo@ShumpeinoMacBook-Pro Downloads % cat connpass2024.tsv 
日付	曜日	開始時間	主催	サブタイトル1	サブタイトル2	サブタイトル3	場所	登録人数	上限人数	参加率	参加実績
2024/12/17	火	19:00	データ横丁	金融業界のデータマネジメント最前線	#4		オンライン 	124	230	54%	◯
2024/12/7	土	20:00	外資ITサバイバル英語	洋楽Night	vol.6	テーマ「復活」【外資ITサバイバル英語 番外編】	オンライン 	14		NA	◯
2024/12/3	火	19:00	技術と本と猫	技術書とお金の話 冬の夜			 東京都港区虎ノ門2-6-1 虎ノ門ヒルズ ステーションタワー 36F  	63	105	60%	◯
2024/11/20	水	19:00	datatech-jp	Data Contract事例共有会			東京都港区東新橋1-5-2 汐留シティセンター 35階  	44	45	98%	◯
2024/11/19	火	15:00	清水 和真	これでOK！エンジニアが押さえておくべきIBM Planning Analyticsのコツとツボ			オンライン 	7	50	14%	◯
2024/11/14	木	12:00	ファインディ／Findy	ISUCON常勝軍団の頭の中〜メンバー集めから解き方の秘密まで〜			オンライン 	799		NA	✗
2024/11/6	水	19:00	CARTA HOLDINGS	DATA ENGINEER NIGHT	#1	#DataEngineerNight	東京都港区虎ノ門2-6-1 虎ノ門ヒルズ ステーションタワー 36F   	61	100	61%	◯
2024/10/30	水	19:00	Finatext Holdings Ltd.  	DataOps Night	#5	セキュリティとアジリティを両立するためのプラクティス	東京都千代田区九段北1丁目8番10号 (住友不動産九段ビル 9階)   	251	340	74%	◯
2024/10/29	火	19:00	Forkwell Community	Data Engineering Study	#26	データ活用における個人情報データの取り扱い	オンライン 	474		NA	◯
2024/10/28	月	19:00	外資ITサバイバル英語	「データエンジニアリングの基礎」を読もう	第10章		オンライン 	3	15	20%	◯
2024/10/22	火	19:00	株式会社ZOZO	【オフライン開催】ZOZO Tech Meetup ～データガバナンス / データマネジメント～			 東京都千代田区紀尾井町1-3 ガーデンテラス紀尾井町17F  	88	70	126%	◯
2024/10/21	月	19:00	外資ITサバイバル英語	「データエンジニアリングの基礎」を読もう	第9章		オンライン 	2	15	13%	◯
2024/10/7	月	19:00	外資ITサバイバル英語	英語でデータ可視化を学ぼう	第25回	【最終回】	オンライン 	2	12	17%	◯
2024/10/3	木	19:00	インフラエンジニアBooks	30分でわかる「AWS継続的セキュリティ実践ガイド」			オンライン 	211		NA	✗
2024/9/30	月	19:00	外資ITサバイバル英語	「データエンジニアリングの基礎」を読もう 			オンライン 	3	15	20%	◯
2024/9/26	木	19:00	Sansan株式会社	データマネジメントのリアル 〜BtoB企業3社の歩みとこれから〜 			東京都渋谷区神宮前5-52-2 青山オーバルビル 13F  	53	60	88%	◯
2024/9/9	月	19:00	外資ITサバイバル英語	英語でデータ可視化を学ぼう	第24回		オンライン 	3	12	25%	◯
2024/9/3	火	18:00	日本データマネジメント・コンソーシアム	エンタメ業界のデータマネジメント最前線			オンライン 	245	300	82%	✗
2024/9/3	火	18:00	日本データマネジメント・コンソーシアム	エンタメ業界のデータマネジメント最前線			渋谷ストリーム	56	58	97%	◯
2024/9/2	月	19:00	外資ITサバイバル英語	「データエンジニアリングの基礎」を読もう			オンライン 	2	15	13%	◯
2024/8/26	月	19:00	外資ITサバイバル英語	英語でデータ可視化を学ぼう	第23回		オンライン 	2	12	17%	◯
2024/8/21	水	19:30	datatech-jp	みんなの考えた最強のデータ基盤アーキテクチャ	2024前半おまとめ拡大版SP！		オンライン 	1236		NA	◯
2024/8/19	月	19:00	外資ITサバイバル英語	「データエンジニアリングの基礎」を読もう			オンライン 	3	15	20%	◯
2024/8/15	木	19:00	松尾研	LLMコミュニティ松尾研LLMコミュニティBeginning LLM	Level 7		オンライン 	639	1100	58%	✗
2024/8/5	月	19:00	外資ITサバイバル英語	英語でデータ可視化を学ぼう	第22回		オンライン 	2	12	17%	◯
2024/7/30	火	12:00	ファインディ／Findy	データ利活用のミソ DataOps実現のための取り組みとは？ Lunch LT			オンライン 	421		NA	◯
2024/7/29	月	19:00	外資ITサバイバル英語	「データエンジニアリングの基礎」を読もう			オンライン 	3	15	20%	◯
2024/7/26	金	19:00	激突！データ基盤プロレス大会	激突！データ基盤プロレス大会	【第一回】		オンライン 	243	11103	2%	✗
2024/7/22	月	19:00	外資ITサバイバル英語	英語でデータ可視化を学ぼう	第21回		オンライン 	2	12	17%	◯
2024/7/11	木	12:00	さくらインターネット	さくらのテックランチ	vol.7	〜ガバメントクラウドとチームビルディング〜 	オンライン 	43		NA	✗
2024/7/10	水	19:00	Finatext Holdings Ltd.  	DataOps Night	#4	データプロダクト/分析基盤開発の舞台裏	東京都中央区築地1-13-1(銀座松竹スクエア)	360	1070	34%	◯
2024/7/8	月	19:00	外資ITサバイバル英語	「データエンジニアリングの基礎」を読もう			オンライン 	4	15	27%	◯
2024/7/1	月	19:00	外資ITサバイバル英語	 英語でデータ可視化を学ぼう	第20回		オンライン 	2	12	17%	◯
2024/6/24	月	19:00	外資ITサバイバル英語	英語で技術書を読もう	第34回	Fundamentals of Data Engineering	オンライン 	1	15	7%	◯
2024/6/19	水	20:00	インフラエンジニアBooks	30分でわかる「つくって、壊して、直して学ぶ Kubernetes入門			オンライン 	136		NA	✗
2024/6/17	月	19:00	外資ITサバイバル英語	英語でデータ可視化を学ぼう	第19回		オンライン 	4	12	33%	◯
2024/6/10	月	19:00	外資ITサバイバル英語	英語で技術書を読もう	第33回	Fundamentals of Data Engineering	オンライン 	2	15	13%	◯
2024/6/9	日	22:30	技術書典	【定期開催】技術に出会える - 技術書典16スペシャルオンラインイベント			 YouTube Live 	81		NA	◯
2024/6/3	月	19:00	外資ITサバイバル英語	英語でデータ可視化を学ぼう	第18回		オンライン 	4	12	33%	◯
2024/5/27	月	19:00	外資ITサバイバル英語	英語で技術書を読もう	第32回	Fundamentals of Data Engineering	オンライン 	3	15	20%	◯
2024/5/20	月	19:00	外資ITサバイバル英語	英語でデータ可視化を学ぼう	第17回		オンライン 	4	12	33%	◯
2024/5/13	月	19:00	外資ITサバイバル英語	英語で技術書を読もう	第31回	Fundamentals of Data Engineering	オンライン 	3	12	25%	◯
2024/5/8	水	21:00	技術書同人誌博覧会	技書博ラジオ	技書博１０直前スペシャル！	全サークル紹介	オンライン 	43		NA	◯
2024/4/30	火	20:00	外資ITサバイバル英語	しごとスキルアップ夜会	4月	「実力も運のうち」を考える	オンライン 	28		NA	◯
2024/4/23	火	19:30	CARTA HOLDINGS	DATA ENGINEER NIGHT	#0	#DataEngineerNight	東京都港区虎ノ門2-6-1 虎ノ門ヒルズ ステーションタワー 36F 	112	120	93%	◯
2024/4/23	火	19:00	#ssmjp	ssmonline	#41		オンライン 	56		NA	✗
2024/4/22	月	19:00	外資ITサバイバル英語	英語でデータ可視化を学ぼう	第16回		オンライン 	5	12	42%	◯
2024/3/28	木	18:30	datatech-jp	みなさん、データのメタデータ管理ってどうやってますか？			オンライン 	786	1000	79%	◯
2024/3/25	月	19:00	外資ITサバイバル英語	英語でデータ可視化を学ぼう	第14回		オンライン 	4	12	33%	◯
2024/3/19	火	20:00	外資ITサバイバル英語	しごとスキルアップ夜会	3月	 覚悟を決めて生きる	オンライン 	13		NA	◯
2024/3/11	月	19:00	外資ITサバイバル英語	英語でデータ可視化を学ぼう	第13回		オンライン 	7	12	58%	◯
2024/3/4	月	19:00	外資ITサバイバル英語	英語で技術書を読もう	第27回	Fundamentals of Data Engineering	オンライン 	9	12	75%	◯
2024/2/26	月	19:00	外資ITサバイバル英語	英語でデータ可視化を学ぼう	第12回		オンライン 	6	12	50%	◯
2024/2/7	水	19:00	総関西サイバーセキュリティLT大会	総関西サイバーセキュリティＬＴ大会	第39回		大阪市北区梅田3-1-3 ノースゲートビルディング（受付19階） 	118	1054	11%	✗
2024/2/5	月	19:00	外資ITサバイバル英語	英語でデータ可視化を学ぼう	第11回		オンライン 	8	12	67%	◯
2024/2/1	木	19:00	AWSコスト削減 天下一武道会	AWSコスト削減 天下一武道会	第1回 		東京都港区東新橋1丁目5-2 汐留シティセンター35階 	3692		NA	✗
2024/1/29	月	19:00	外資ITサバイバル英語	英語で技術書を読もう	第26回	Fundamentals of Data Engineering	オンライン 	4	12	33%	◯
2024/1/22	月	19:00	外資ITサバイバル英語	英語でデータ可視化を学ぼう	第10回		オンライン 	12	12	100%	◯
2024/1/16	火	20:00	datatech-jp	みんなの考えた最強のデータアーキテクチャ	24新春-最新版SP！【大好評につき定員再び増枠x2】		オンライン 	1054	1200	88%	◯
2024/1/15	月	19:00	外資ITサバイバル英語	英語で技術書を読もう	第25回	Fundamentals of Data Engineering	オンライン 	4	12	33%	◯
shumpei.kubo@ShumpeinoMacBook-Pro Downloads % 

• それを検証用のデータカタログの、プロジェクトと呼ばれる作業場所にUploadして可視化しました。
• プロジェクトというのは、このスライド右下の「プロジェクト」に該当します。（下図）
  

データ内容の簡単な可視化

• 以下、画像をクリックして拡大して見てみてください。

データのプレビュー

データのプロファイル（統計情報）

• 以下、列の中で気になるところを見てみます

「主催」列

• 「外資ITサバイバル英語」主催のイベントが一番多いですね。
• これは「英語で技術書を読もうシリーズ」等の定期開催に出席していたのが大きかったと思います。!

「場所」列

• 「オンライン」がほとんどなのですが、なぜか3つある。。。
• （スペースが前後に入ったりしているのか？）
  • これは後で修正します。
    

• 以下、場所が虎ノ門ステーションタワーも2つエントリしていますが、varchar(34)とvarchar(35)なので、おそらくスペースが紛れているのでしょうね。
  • これも後で修正します。
    

「参加実績」列

• 8割以上は参加していましたが、しかし参加できなかったのが10回もあったとは…

データの品質

• データの品質についてはきちんとセットアップしていないので、おおまかな概略だけを表示します
• なお、品質を表示するには別途「メタデータエンリッチメント」という処理を実施する必要がありますが、ここでは割愛します。

データの精製

• 「場所」列で「オンライン」という項目が3つに分かれていたり、「虎ノ門ヒルズステーションタワー」という場所も同じはずなのに2項目に分かれていたり、一部品質に課題がありましたので、それを修正します。
• 今回使用したデータはtsvファイルでタブ区切りなので、そこがスペースと見分けがつかなかったのもあるのではないかと思います。

Data Refinery

• データカタログに同梱されているデータ精製ツール「Data Refinery」を使って、「場所」列から、「サブストリングの置換」で余計な空白（スペース）を除去してみました。
• 「Data Refinery」の詳細については、こちらをご参照ください。
  

精製後の「場所」列（きれいなデータになっている）

• オンラインの比率は8割くらいあることがわかりました。

• 「虎ノ門ヒルズステーションタワー」も1項目にまとまりました。
  

最後に

• 2024年は頻度で言えば「英語で技術書を読もう」が大半を占める活動実績ではありましたが、それ以外に参加した勉強会も非常に学びが多かったです。
• 当然connpassに載らない勉強会にも多数参加していまたので、これで全てというわけではないのですが。
• 英語で技術書を読もう！シリーズも終わったし、来年は全く異なる傾向になるんだろうなー。
• 来年もよろしくお願いいたします。