4
1

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

Bobalyticsでコーディングエージェントの貢献を可視化できるらしい

4
Posted at

生産性向上の悩み

弊社でコーディングエージェント(Bob)が盛んにつかわれるようになって、
数か月がたちました。(いや、ほんと便利です。)

最近、よく以下の質問に出くわします。

結局どのくらい生産性が上がったの?
AIが出したコードは使えるの?
結局、AIを動かすコストが高いんじゃないの?

私だけではなく、コーディングエージェントを利用しているすべての方々が聞かれる質問ではないでしょうか?

実際、体感としてめちゃめちゃ開発早くなったな~というのはあるものの、
定量値に落とし込むのは、割と至難です。

作業見積値と作業実績値を比較して削減値を算出!!
というのが一番王道ですが、毎回時間記録するのは地味に手間。。

と、悩める私の元に、BobにBobalyticsという機能が追加されたと知らせが届きました。
(2026/7/24時点では、エンタープライズ利用向けの機能になります)

銀の弾丸になってほしいBobalytics

Bob Analyticsじゃなくて、Bobalytics という良いリズム感につられて中身を見てみました。

機能としては、3つの観点で、自分自身のBobの利用指標とチーム全体の利用指標が確認できるようです。

機能1: Adoption Rate

Bobの利用率が見れます。一回でもBobを使っていればgithubのように草が生えています。
個人であれば、計測期間の内、何日bobを利用したかの割合が、
チームであれば、ライセンス数に対して、どのくらいBobが使われているかの割合が確認できます。

ついでにGitを使っていれば、どのリポジトリーでBobが使われているかも分析できます。

機能2: Bob factor

あ、ここはBobactorじゃないんや。。。たしかにわかりにくいもんな。。
と思ったのはさておき、大本命の機能です。

ユーザーがコミットしたコードの内、Bobが書いたコードの割合がわかります。
つまり、ユーザーがAIの回答をそのまま採用した割合がわかります。
(人の見落としは有るかと思いますが。。テスト後のコードとかを対象にすれば、ほとんどAIの精度といっても過言ではない気もしています。)

機能3: Bob Coin Spend

Bobのトークンのようなもの(Bob Coin)の消費量が確認できます。
どのリポジトリのコミットにいくらかかったかまでも確認できるようです。

機能2との合わせ技でROIも出せなくはなさそう。。。

早速、自分のチームのBobalyticsをチェックしてみよう

6月後半に2weekでデモ開発をしていた際のBobalyticsを見てみました。
(テストは雑にしかやっていないので、あくまで参考値として・・・)

image.png

2.4万行のコードを書いたうち、50%以上のコードがBobが書いたものを採用していました。
おお。。案外使えていそうですね。

利用も200Bob Coinとのことです。
もし50%を人間がやっていたとしたら、単純計算で更に2週間かかっていたわけですが、、
そのワークロードと200BCにかかる費用を考えるとROIは何倍になるんでしょう。。
(1BobCoinのレートが正確にわからないのですが、おそらく10倍は軽く超えているはず)

雑な計算ですが、ちゃんと使い方を考えれば、生産性向上は図れそうだなと感じてます。

まとめ

テスト実施をするともう少し下がったりすると思うので、テスト後にこの値を評価するなどして正しい情報に置き換えていきたいです。
また、実際のROIの測定においても有意義な使い方ができそうなので、この辺りのメトリクスの使い方は現場のプロジェクトで動かしながらブラッシュアップしていこうと考えております。

皆さんも是非、Bobalyticsを使って最近のコーディングエージェント開発を分析いただけたら幸いです!

4
1
1

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
4
1

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?