Githubのアナリティクスチームで、人間行動を研究してる方と解析ツールを開発している方のスピーチのメモ。
見逃し、聞き逃し多数のため、間違いもあるかもしれない。あくまで参考程度。
スライドのURL (http://sssslide.com/speakerdeck.com/chrissiebrodigan/github-insights-from-researching-growth)
人間の体験について、数字から何かを見つける。
数字で見つけられないパターンを探す。
グロースための3つの考え
* 定量的と定性的を組み合わせる
* マイルストーンを設定する
* ツールを作成して自動化する
「プルリクエストが少ないのはなぜなのか」を課題とした。
トラフィックとサインナップは多いが、プルリクエストは多くない。
GitHubは、知り合いの開発者のために始めたので、初期ユーザーのことは
よくわかっていたが、現在のユーザーのことを知るのは、難しい。
現在は、開発者以外の人も使っている。GitHubに登録しても、頭のよい人でも、うまく使えず、二度と使われなくなる。新しいユーザーがどんな人なのか、何が欲しいのか、学ぶ必要がある。
5つの入力
* 定量的データ(アナリティクス)
* 定性的データ(ストーリー)
* A/Bテスト
* 直感と経験(専門性)
* 共感(ユーザーへの気遣い)
データには価値があるが、賢く使う必要がある。
簡単なプロジェクトでゆっくり慎重に始める。
GitHubとはワークフローであるので、将来のアクティビティを予測するワークフローに注目する。
マイルストーン
* ユーザーマイルストーン(アクティビティ)
* ソーシャルマイルストーン(スターやフォロー)
* ワークフローマイルストーン(コメント、イシュー、プルリクエスト)
* コードマイルストーン(リポジトリやプッシュ)
マイルストーンを共通ボキャブラリーとして(チームで)パフォーマンスについて話す。
ある時期の米国の登録ユーザー5%でのアンケート結果
* プログラミングしたい 68%
* Git未経験 76%
* コードが書ける 60%
* オープンソースを開発したい 50%
* プロジェクト持っていない 58%
マイルストーンとアンケートデータとインタビューでペルソナを作る。
データが得られても分析が大変な作業だから、ツールが必要。
A/Bテストする内部ツールなどの開発。
(変更に際し)4つのキーになる質問
* それはいい変更か
* どのくらい、いい変更か
* 統計的には、どうか
* 全体像を把握しているか
統計ができない社員も含め、社員全員が、ユーザーを研究できるようにするツール(Frequency)を開発。
課題「登録から4週間以内にプルリクエストするユーザーを増やせるか」
ユーザーを3つのグループに分けてテスト実施
1. コントロール群(今までと同じ登録後の説明画面)
2. 新しいブートキャンプ(新しい登録後の説明画面)
3. Hello Worldチュートリアル(実際にやってみる説明)
3.は、2〜5%ほどスターをつけるのが下がるが、プルリクエストは75〜86%高くなる。
GitHub では、リテンション(戻ってくるユーザー数)よりプルリクエストが重要。
学んだこと
* 定量的と定性的を合わせる
* マイルストーンを作る
* ツールを開発する
3つのこと
* あなたのユーザーが使い続ける理由は何か
* あなたのマイルストーンは何か
* あなたに必要なツールは何か