Github Copilotすごいよね
Github Copilotの長所
- 生産性が上がる!
Github Copilotの欠点
10$/month(or 100$/year)かかる
僕如きの生産性をいくら向上させても10$/monthの元を取れる気がしないよー😢
ということで、無料で使えるやつがないか調査して、実際に試せるものは試して定量的に評価して表にしました。
評価基準はすごく適当なので正確なものではないですが、参考になればと思います。
extension一覧、それぞれの簡単な解説、評価結果の順に記載します。
2023/08/06時点でのCopilot系Extension一覧
網羅的ではありません。
vscodeのextensionの検索画面で"copilot"とか"AI"とかを入力して、出てきたものを上から見ていって探しました。
- Github Copilot
- Fauxpilot
- Tabby
- AWS Toolkit(のCodeWhisperer)
- Tabnine
- Blackbox
- Codeium
- CodeGeeX
- EasyCode Copilot Chat
各Extension簡単解説
Github Copilot
一番有名なやつですね、githubが持ってるサーバー上でモデルが動くのでよわよわPCでも大丈夫です。
現時点では、登録して30日間は無料なので、無料期間中に調査しました。
ちなみに学生は無料らしいです。
Fauxpilot
localのPCのGPUでモデルを動かすので、NVIDIA GPUの入っていないPCだとそもそも動かないと思います。
GPUの最低要件は以下のようです。
- 2GB VRAM
- Compute Capability 6以上
選択できるモデルはいろいろあるのですが、今回の調査では私の持っているGPUの都合上、最低要件で動くSelesForce CodeGenモデルを選択しました。
Tabby
こちらもlocalで動かす系のものです。cpuでも動かせるとのことだったのですが、私のPCではうまく動かなかったので調査を断念しました。
AWS ToolkitのCodeWhisperer
AWS Toolkitという拡張機能に入っている機能です。
AWSのサーバー上でモデルを動かしてくれているっぽいので、よわよわPCでも使えます。
個人なら無料で使えます。
Tabnine
無料版と有料版があり、無料版では単語ごとの補完機能しかないようです。有料版については、公式のPricingのページになぜか飛ぶことができなかったのでよくわかりません。
無料版はしょぼすぎるため今回は調査を割愛しました。
Blackbox
chat機能もついてます。
chat機能は無料なんですが、コード補完機能は有料で1$/monthかかります。しかも回数制限があって、無制限でコード補完したい場合、2$/monthのPlanに加入しないといけないようです。
お金がかかるので割愛します。
Codeium
アカウント登録が必要ですが、無料でコード補完機能が使えます。
chat機能もついていてお得感はあります。
どっかのサーバー上でモデルを動かしてくれるタイプです。
CodeGeeX
Codeiumとだいたい同じです。
EasyCode Copilot Chat
chat機能がメインそう。コード補完機能も実験的に公開しているようですが、登録しても動きませんでした。私が何か間違っている可能性もありますが、今回は調査を断念しました。
評価結果
結果
先に載せておきます。
| name | 複数候補表示 | 補完切替 | はやさ | 賢さ | 挿入ミスなし |
|---|---|---|---|---|---|
| Github Copilot | T | T | 5 | 5 | T |
| Fauxpilot | F | F | 5 | 2 | F |
| AWS Codewhisperer | F | T | 0 | 4 | F |
| Codeium | F | T | 3 | 4 | T |
| CodeGeeX | T | F | 1 | 0 | T |
テスト方法
atcoderの適当な問題の回答コードをPythonで用意し、これを写経しながら各extensionを使用しました。
評価基準は以下5つです。
- 複数候補表示機能があるか
- 補完切替機能があるか
- 補完のはやさ
- 補完の賢さ
- 挿入ミス(バグ?)がないか
複数候補表示機能
Github CopilotのCtrl+Enter機能です。
複数の補完候補を同時に確認して選択することができる機能です。
補完切替機能
Github CopilotのAlt+],Alt+[機能です。
現在表示されている補完を別のものにできます。
はやさの定義
特定のタイミングを5つ指定して、そのタイミングで補完がすぐに表示されるかどうかを見ました。
そのタイミングですぐ表示されたら、1点加点として、5点満点で評価しました。
賢さの定義
これもはやさ同様、特定の補完が正しく提示できるかを確認しました。5点満点です。
挿入ミス
一部のextensionでは、補完を行うと閉じ括弧が余ってしまう現象が発生しました。補完を確定して文章に挿入する処理がうまくいってないのだと思います。私の環境がおかしいだけかも...?
まとめ
表を再掲
| name | 複数候補表示 | 補完切替 | はやさ | 賢さ | 挿入ミスなし |
|---|---|---|---|---|---|
| Github Copilot | T | T | 5 | 5 | T |
| Fauxpilot | F | F | 5 | 2 | F |
| AWS Codewhisperer | F | T | 0 | 4 | F |
| Codeium | F | T | 3 | 4 | T |
| CodeGeeX | T | F | 1 | 0 | T |
Github Copilotが強いことを改めて確認させられました。補完が優秀すぎて、ここは補完が出ないだろうと思っている箇所でも自分が書こうとしていた通りの補完が出てびびります。
Fauxpilotは私のGPU的に一番軽量なモデルしか使えなかったので、あまり賢くなかったです。賢くなくても、補完はかなりはやかったので是非使いたいんですが、挿入ミスが発生して閉じ括弧が無駄に生成されてしまうのが致命的です😢
AWSのは頭でっかちで遅すぎるので使えないです。挿入ミスも発生しました。
Codeiumは微妙に遅いんですが、他はまあまあいいので、Github Copilotの無料枠が切れたらこれを使おうかなと思います。
CodeGeeXは、遅すぎるし補完も的外れだったので残念です。
結論
お金があるならGithub Copilot一択!
お金がないけど強いGPUを持っているならFauxpilotを試そう!
何にも持ってない人はCodeiumがおすすめ!