copilot.vim 導入によって打たなくてよくなった文字数をカウントする

ストーリー

「はぁ？効果測定？そんなの効果あるに決まってるだろ？」

というわけでまぁ効果があるのか測定しろとのことなので、とりあえず github copilot を導入したことによって打たなくてよくなったキータイプの回数を数えてみることにしました。¹

やりたいこと

私は copilot.vim で github copilot を使ってます。
とりあえず tab キーを押して補完を採用したときに copilot が自分の代わりに打ってくれた文字列をファイルに１か月くらいどんどん貯めていけば、後で wc コマンドで文字数カウントできそうですね。

下記の方法は vim-9.0.0749 で動作確認しました。neovim とかは違うのかな。わかんない

copilot.vim を編集

vim ~/.vim/pack/github/start/copilot.vim/autoload/copilot.vim

まずはファイル末尾に下記の function を新規追加します。

" Function to append Copilot completions to a log file
function! Copilot_AppendCompletion(completion)
  let l:logfile = expand("~/.copilot_completions.log")
  call writefile([a:completion], l:logfile, "a")
endfunction

次に、下記の場所に

    " HERE -------------------------------
    call Copilot_AppendCompletion(text)
    " HERE -------------------------------

という行を１行追加します。

function! copilot#Accept(...) abort
  let s = copilot#GetDisplayedSuggestion()
  if !empty(s.text)
    unlet! b:_copilot
    let text = ''
    if a:0 > 1
      let text = substitute(matchstr(s.text, "\n*" . '\%(' . a:2 .'\)'), "\n*$", '', '')
    endif
    if empty(text)
      let text = s.text
    endif

    call copilot#Request('notifyAccepted', {'uuid': s.uuid, 'acceptedLength': copilot#doc#UTF16Width(text)})
    call s:ClearPreview()
    let s:suggestion_text = text

    " HERE -------------------------------
    call Copilot_AppendCompletion(text)
    " HERE -------------------------------

    return repeat("\<Left>\<Del>", s.outdentSize) . repeat("\<Del>", s.deleteSize) .
            \ "\<C-R>\<C-O>=copilot#TextQueuedForInsertion()\<CR>" . (a:0 > 1 ? '' : "\<End>")
  endif
  let default = get(g:, 'copilot_tab_fallback', pumvisible() ? "\<C-N>" : "\t")
  if !a:0
    return default
  elseif type(a:1) == v:t_string
    return a:1
  elseif type(a:1) == v:t_func
    try
      return call(a:1, [])
    catch
      return default
    endtry
  else
    return default
  endif
endfunction

suggestion_text が確定した直後ですね。リンクで言うと、この辺。
https://github.com/github/copilot.vim/blob/release/autoload/copilot.vim#L511

以上です

動作風景

test.c を github copilot で編集してみましょう。

動画の上半分は、 tail -F で ~/.copilot_completions.log をモニターして、リアルタイムにどんな感じにファイル追記されているのかを見せているだけです。

ちゃんと tab キーを押した瞬間にファイルに追記されていますね。

１か月後とかに

wc ~/.copilot_completions.log

とかで文字数を数えてみましょう

ちなみに、copilot.vim では１回で複数行の補完採用が行われたときには、改行コードはヌル文字 \0 に置換されて１行で表示されます。なので、wc で出てくる行数は補完採用行数ではなく補完採用回数ということになります。

もし補完採用行数が欲しければ、 wc ~/.copilot_completions.log で出てくる行数に

xxd -p ~/.copilot_completions.log | grep -o "00" | wc -l

の結果を足しましょう。

1. まぁこんなことしなくても組織管理者へはどれだけ補完がなされたかの統計情報が AcceptRate としてレポートされるらしいんですが。組織管理者じゃないし見方わかんないので ↩