今年も振り返ります。
概要
件数の推移はこんな感じです。昨年よりもややトーンダウン。
昨年のまとめはこちらです。
昨年はGPT-4の論文翻訳やDollyのインパクトが大きかったでしょうか。それでもPVは増えているのは嬉しいことです。
詳細分析
PVといいねの観点から深掘りします。
日毎の推移
例によってほぼ毎日書いています。年初のスパイクははじめてのDatabricksでした。その後の3/27のPVのスパイクは複数の記事によるものでした。
10月頭はDatabricks Apps(アプリ)がやってきましたがスパイクになっています。
PVといいねの分布
やはり、この二つのメトリクスは相関しています。
PVは大体500がボリュームゾーン、いいねは特筆すべきところはありませんでした。
タグ
Databricksが多いのは当たり前ですが、それ以外はLLMとSparkが目立ちます。Databricks生成AIクックブック は読み応えがあったのでガーッと訳しました。
ピックアップ記事
はじめてのDatabricks
年明けアウトプットということで。Databricksは機能が多いので、初めて触る方向けにガイドとして執筆しました。
[翻訳] The Shift from Models to Compound AI Systems
2023年はLLM、RAGの年だったと思うのですが、今年はエージェントシステムの萌芽が見えてきた年だと言えます。こちらは「モデルから複合AIシステムへのシフト」というタイトルのBerkeley Artificial Intelligence Researchのブログ記事の翻訳です。複合AIシステム(compound AI system)という名前でエージェントシステムの特徴を説明しています。
AWS TokyoリージョンのDatabricksでサーバレスSQLが利用できるようになりました！
2024年はサーバレス化が進んだ年でもありました。ようやくAWS Tokyoリージョン、追ってAzure TokyoリージョンでもサーバレスSQLウェアハウスが使えるようになりました。(他のサーバレス機能も早くきて欲しい)
Apache Spark徹底入門を出版しました！
この年で初めて出版社から本を出すことができました。
DBRXのご紹介: 新たなSOTAオープンLLM
Dollyに次いで、完全にスクラッチで開発したLLM「DBRX」を発表しました。
DSPyによるRAGの構築、最適化および評価
DSPy、きちんと勉強しよう。
50歳ITエンジニアが語る「Apache Spark徹底入門」出版への道
ポエム
データ分析とは何か：ビジネス課題の特定からEDAまで
改めて、データ分析とは何かを振り返ってみました。
Databricks生成AIクックブック
RAGの開発、運用に関するクックブックを夜鍋して翻訳しました。
AWS東京リージョンにノートブック用サーバレスがやってきました！
ノートブック用サーバレスやサーバレスモデルサービングなどもとうとう日本に到着。
Databricksジョブでfor eachタスクがサポートされました！
これは個人的に嬉しかった新機能。ジョブでループを実装できるようになりました。
Databricks AI/BIダッシュボードを外部アプリケーションに埋め込めるようになりました！
Databricks AI/BIの進化も激しかったです。
Databricks Apps(アプリ)がやってきました！
そして、これも心待ちにしていた機能。(まだ日本に来ていませんが)streamlitやgradioでアプリが組めるようになりました！
Hugging Face Diffusers、Databricks Appsとモデルサービングで構築する顔ハメ看板アプリ
マルチモーダルのアプリケーションも増えてきましたね。
[2024年12月版] Databricksとは何か？
そして、今年もDatabricksとは何かをまとめました。
Databricksリリースノート(毎日更新)
英語のリリースノートを自動で翻訳して更新するようにしました。
Databricksアドベントカレンダー2024の振り返り
アドベントカレンダーは過去最高の盛り上がりを見せました。ありがとうございました！
まとめ
詳細分析などは後でアップデートします。個人的には、以下のようなトピックが多かった印象です。
- エージェントシステムの黎明期
- 昨年に引き続き色々なLLMが出現
- Databricks AI/BI(ダッシュボードとGenie)がどんどん進化。アシスタントも進化。
- Sparkを改めて勉強