世界初のAIソフトウェアエンジニアさん「Devin」

Devin AI と Cognition社

Devin AI(以下：Devin)は、AIスタートアップ企業のCognition社が開発した、完全自立型のエンジニアAI。
それを作るCogintion社は元TwitterElad Gil氏やDoordash（アメリカ最大のフードデリバリーサービス）共同創設者のTony Xu氏を含むテクノロジー業界のリーダーらの支援を受けて設立されたばかりのAIスタートアップ企業。

Devinの特徴

今日、ChatGPTやGithub Copilot、Geminiなど様々なAIによるコードアシスタントツールが出てきましたが、Devinはそれよりも遥かに上をいっており、

• コードの作成,デバッグ,デプロイのプロセス簡略化
• 生成したコードに関連するバグを自律的に発見し、Fix
• Github上のisuueのリンクを貼ると修正に必要なコンテキストを生成

などを行うことができる正にソフトウェアエンジニアの仕事をしてくれます。
ソフトウェアエンジニアが行なっていた、設計/実装/デバッグ/テスト/デプロイなどなど、ほぼ全てのタスクをこなせると考えると、
これを知った多くのエンジニアが「俺らの仕事もなくなるん...？」となったのかと思います。
(僕もなりました)

Devinはコードエディター、ターミナル、Webブラウザ、チャットが内包されており、
プロンプトをDevinに渡すことで、上記に記載のコード生成などを行うことができるようです。

(Youtubeより)

左上：チャットスペース
左下：Webブラウザ
右上：ターミナル
右下：コードエディタ

左上：チャットスペースで解決したい問題を投げて、問題解決へのプロセスを提示してくれます。

左下：Webブラウザで関連したAPIの情報を検索して...。

右下：コードエディタでコーディングして.....。

右上：ターミナルでコマンド利用を入力したりして...。

エラーが出た場合、自分でエラーなっている箇所にprintを記述し、どのような問題が起きているのか検証したりしてエラー箇所を勝手にFixしちゃったり。
もうヤバいっすね笑

Devinのパフォーマンス

SWE-benchで編集対象となるファイルリストを受け取ることができるアシスト機能があるのですが、他のAIはアシストありでの数値に対して、この13.86%は「アシストなし(ファイルリスト受け取らず自分でファイルリストをナビゲートする)」であり、 他のAIツールよりも遥かにハイパフォーマンスであることを示しています。

SWE-bench　... GitHub から収集された現実世界のソフトウェアの問題に関する大規模な言語モデルを評価するためのベンチマーク。
ホームページでは、2294のisuues/Pull Requestsと12のポピュラーなPython repositoriesによって構成されていると紹介されています。

出典：SWE-bench

（所感）　これからのソフトウェアエンジニア

あくまでも私の所感です。
どこの会社のCEOかは忘れてしまいましたが、「AIに仕事を奪われるのではなく、AIを使いこなす/AIを作る側の人間に仕事を奪われる」と言っていたのを思い出したと同時に、日に日にこの発言が現実化していっている実情をますは認識することが重要だと感じています。

かと言って、ソフトウェアエンジニアの仕事が全くなるかと言うとそうではないかと思います。
結局、Devinを使ってソフトウェアを構築するアイデアは人間が考えているわけですし、Devinで生成されたものが自分(あるいは組織)で考えていたもの通りになっているか判定するのは人間だと現場は感じているので、
コーディング力よりも設計力や0 → 1を作る力が強い人材がより求められていくのではと思います。
あとは、Devinをもっと効率的に精度を高く使うことを可能にするAIエンジニアもでしょうか。

人間が行う仕事の見方や評価、価値が変わっていくきっかけにもなりえるのかなとも深読みしちゃいます。
まだまだ技術や設計に生半可な私も悲観的にならず、危機感持って学んでいきます。

参考記事

Cognition Blog

Cognition Youtube

Devinは現在、正式にリリースされておらす、Cognitionに利用の申請する必要があるようです。