リンクアンドモチベーションの木村と申します。
1年ほどバックエンドエンジニアをやっています。
2024年のAdvent Calendarへの投稿です。

今年のアドカレの社内テーマは「試す」ということで、『screenpipe』というOSSを使ってみました。
このツールは、PC作業中の画面や音声情報を記録・管理し、効率的な検索を可能にするものです。

背景

以前社内ハッカソンで、

など、「思い出すのに時間がかかる・思い出せない」を解決したい！という気持ちから、
常にデータを収集し、常に質問から収集したデータを返せるツールを作りました。

二日間で実装できたのは2方向からの情報のインプットとアウトプットです。

なんとその延長とも言えるツールがハッカソンの次の日くらいに社内の人がXで見つけておりました。それが冒頭の『screenpipe』です。

公式ドキュメント

左から

となっています。

重要なのはプライバシーを守るために、全てのデータをローカルに保存している点です。
ハッカソンで同じような観点が出ていました。

デスクトップアプリがあるようなので、ダウンロードして動かしてみました。機能は検索機能や保存したデータをテーブル上で見られる機能などがありました。

右上のボタンから、アクセス制限の状態やレコーディングのコントロールができるようです。

Startを押して保存データを確認してみると、

下記動画にある通り、自動で保存されたデータがどんどん追加されていることがわかります。

ハッカソンの時に、「ずっと保存し続けるのはいいけど、容量がボトルネックだよね」という話をしていました。このscreenpipeを使った時の使用する容量やいかに

だいたい4MB/分なので、60分で240MB。
1日8時間で1.9GBとすると、100日で約190GBです。
すぐにPCが容量不足になりそうです。

やはり、この途方もない量のデータをどう扱うかが今後の課題ですね。

公式ドキュメントでは、「解像度を下げれば軽くなるよ」と書かれています。

効率が100倍くらいになれば勤める期間分くらいは溜められそうですが、いつになることやら。未来に期待です。

こちらの検索機能で自動レコードしたデータから欲しい情報を検索できるようです。

ここでは、僕がOpenAIのAPI Keyを使って0.08ドルだけ使うことに成功した記録が残されています。

ページ下部にAIを駆使して問いを投げられるようです。

※この機能は残念ながらOpenAIのAPI Keyを登録してもうまく読み込まれず、溜まりに溜まったデータをAIでうまく引き出すことが叶いませんでした。（泣）

まだAI機能が不完全ですが、うまく連携してくれれば、いい感じでデータをまとめてくれそうです。先ほど取り上げた通り動画はデータ量がものすごいので、コストが少し心配です。

現状まだ容量やAIコストが嵩張るところに課題があります。
しかし、業務中扱う情報をここまで徹底的に蓄積してくれて、かついつでも引き出せるエージェントが存在する世界を垣間見ることができたように思います。