ランダムに抽選する関数の確率テスト(Golang)

自作した社員抽選Slack Botの抽選確率がランダムになっているか調査するテストを書いてみました

Go + AWS LambdaでSlackの社員抽選botを作った話
https://blog.acall.jp/2019/11/develop-slack-lottery-bot/

テスト対象関数

main.go

package main

import (
    "math/rand"
    "time"
)


func lotteryOneUserFromUsers(userIDs []string) string {
    rand.Seed(time.Now().UnixNano())
    userID := userIDs[rand.Intn(len(userIDs))]
    return userID
}

スライスを渡すと要素の1つがランダムで返ってきます
とてもシンプルな関数です

テストコード

main_test.go

package main

import (
    "fmt"
    "math"
    "testing"
)

func Test_lotteryOneUserFromUsers(t *testing.T) {
    // initialize
    userIDs := []string{"a", "b", "c", "d", "e"}
    counts := make(map[string]int)
    for _, id := range userIDs {
        counts[id] = 0
    }

    // sampling
    const loopCnt int = 1000
    var i int
    var userID string
    for i < loopCnt {
        userID = lotteryOneUserFromUsers(userIDs)
        counts[userID]++
        i++
    }

    // calculation
    const allowErrRate = 0.05
    var probability float64
    var errRate float64
    expectProbability := float64(1) / float64(len(userIDs))

    fmt.Printf("ID: count, percentage\n")
    for k, v := range counts {
        probability = float64(v) / float64(loopCnt)
        errRate = math.Abs(expectProbability - probability)
        fmt.Printf("%s: %d ", k, v)
        fmt.Printf("%v per \n", probability*100.0)
        if errRate > allowErrRate {
            t.Errorf("Error Rate is too big. Label: %s, Error Rate: %f", k, errRate)
        }
    }
}

初期化

userIDs := []string{"a", "b", "c", "d", "e"}
counts := make(map[string]int)
for _, id := range userIDs {
    counts[id] = 0
}

userIDsに適当な引数定義しています
このuserIDsの抽選を何度も繰り返し、確率を求めます

countsは当選回数を格納するmapです

サンプリング

const loopCnt int = 1000
var i int
var userID string
for i < loopCnt {
    userID = lotteryOneUserFromUsers(userIDs)
    counts[userID]++
    i++
}

loopCntにループ回数を定義し、当選回数をcounts追加するループを回しています

確率の計算

const allowErrRate = 0.05
var probability float64
var errRate float64
expectProbability := float64(1) / float64(len(userIDs))

fmt.Printf("ID: count, percentage\n")
for k, v := range counts {
    probability = float64(v) / float64(loopCnt)
    errRate = math.Abs(expectProbability - probability)
    fmt.Printf("%s: %d ", k, v)
    fmt.Printf("%v per \n", probability*100.0)
    if errRate > allowErrRate {
        t.Errorf("Error Rate is too big. Label: %s, Error Rate: %f", k, errRate)
    }
}

変数	説明
probability	計算した確率
expectProbability	理想確率
errRate	計算した確率誤差
allowErrRate	許容確率誤差

確率の理想値と実際の確率の差を求めて許容確率誤差を超えていないか確認するだけです

実行

go test . -v でテストを実行してみます
-vはテストPASS時にも標準出力を表示するオプションです

$ go test . -v
=== RUN   Test_lotteryOneUserFromUsers
ID: count, percentage
a: 202 20.200000000000003 per
b: 205 20.5 per
c: 209 20.9 per
d: 212 21.2 per
e: 172 17.2 per
--- PASS: Test_lotteryOneUserFromUsers (0.01s)
PASS
ok      lottery 0.021s

PASSしてますね
許容確率誤差をもっと小さくしてみると失敗するようになります

許容誤差0.01の場合

$ go test . -v
=== RUN   Test_lotteryOneUserFromUsers
ID: count
c: 193 19.3 per
d: 219 21.9 per
e: 190 19 per
a: 182 18.2 per
b: 216 21.6 per
--- FAIL: Test_lotteryOneUserFromUsers (0.01s)
    handler_test.go:41: Error Rate is big. Label: d, Error Rate: 0.019000
    handler_test.go:41: Error Rate is big. Label: a, Error Rate: 0.018000
    handler_test.go:41: Error Rate is big. Label: b, Error Rate: 0.016000
FAIL
FAIL    lottery 0.021s
FAIL

まとめ

「このbot確率偏ってるんじゃない？」と聞かれた時はこの結果を見せて正しいロジックであることを証明したいと思います