【デレステ】デレステのガシャが確率操作している証拠を発見できなかった

みなさんデレステやってますか？
私は2016/07/30以降、毎日の納税を全て記録しています。
私が金を支払っている唯二つのスマホアプリのうちのひとつです(もうひとつはCOMIC FUZ)。

そしてソシャゲと言えば確率操作です。
デレステのガシャは果たして信頼できるものなのでしょうか？(タイトルでネタバレ)

なお私は数学素人なので、どこか間違っているかもしれません。
その場合は誰かがコメントで優しく教えてくれるはず。

2019-2020年の出現確率調査

今回は2019年と2020年の2年分の納税について調査してみようと思います。

デレステのガシャはSSR3%、SR10%、R87%の出現率になっています。
欲しいのはSSRですから、それ以外は気にせず、成功率3%の二項分布と考えることにします。

ということでまずは納税結果を集計します。
数え方は単にExcelで=COUNTIF(C:C,"SSR")ってやっただけです。

2019年

レア度	枚数	割合
R	742枚	84.32%
SR	107枚	12.16%
SSR	31枚	3.52%
合計	880枚	-

2020年

レア度	枚数	割合
R	1002枚	83.78%
SR	160枚	13.38%
SSR	34枚	2.84%
合計	1196枚	-

2020年の枚数が激増しているのは、2019/09/27にメモリアルガシャが導入されたためです。
2年で引いた納税は2076枚となりました。
ちなみに納税額は1枚約60円なので………………おっとこれ以上考えてはいけない。

さて、2019年、2020年共に3%からはわりとずれていますね。
試行回数が少なければたまたまと言うこともあり得ます。
しかし、試行回数を増やせば限りなく3%に近付いていくはずです
今回は1000枚も引いているのにだいぶずれていますが、この程度では収束に足りないのでしょうか？
それとも裏で何か操作が行われているのでしょうか。

調査方法はP値を使います。
調べると帰無仮説とか検定統計量とかよく変な単語が出てきてよくわからなくなりますが、ざっくり言うと、仮定が起こりそうな割合のことです。
SSRの出現率が3%だと仮定してP値を計算し、その結果が0.01より小さければ最初の仮定が誤りである、すなわちSSRの出現率は3%ではない、という背理法のような考え方です。
P値は意味ねーぞみたいな話もいろいろあるみたいですが、よくわからないので気にしないことにします。

さて、起こりそうな割合ってどういうことでしょうか。
私はデレフェス(SSR出現率が6%)中に10連でSSRを3枚引いた(確率は1.68%)ことがあるのですが、このP値を求めると0.018です。
相当低い値ですが、あり得ないこともないということです。

それでは20連引いてSSRが6枚出現するという事態は起こるでしょうか。
割合としては10連でSSRを3枚と同じなので、実際に起こっても不思議ではなさそうな気がしますよね。
しかしP値を求めてみると0.00087、これは明らかに不自然だという結果になります。
このように、割合としては同じでも試行回数によって異なるP値になるのが特徴です。

でも実際試してみると、試行回数が少ないときのP値って当てにならないかんじがします。
たとえば10連でSSR4枚(確率は0.19%)とか5枚(確率は0.014%)って実在するのですが、SSR4枚のP値は0.0020、そして5枚のP値は0.00015です。
もっと極端な例として、ガシャを2枚だけ引いて2枚ともSSRになるときのP値は0.0036です。
これらの結果によるとSSR出現率が6%であるという帰無仮説は棄却され、理論的にはSSR出現確率は6%ではないということになります。

でも10連くらいだったら、回す人も多いのでたまたま起こっても不思議ではないですよね。
たぶん計測を始めてから結果が出るまでと結果が出てから計測を始めたときの違いとかそんなやつだと思いますが、試行回数が少ないときのP値に関する信頼性に関する話とかってどこかにあるのでしょうか？

おっとだいぶ話が逸れましたが、今回計算するのは試行回数が1000回近いものです。
これくらいあればP値の信頼性も相当高いと考えて問題ないでしょう、きっと。

import scipy.stats as stats

print ("2019年：%s" % stats.binom_test(31, 880, 0.03))
print ("2020年：%s" % stats.binom_test(34, 1196, 0.03))

2019年のP値は0.37、2020年のP値は0.87となりました。
いずれも0.01よりはずっと上であり、全くもって不自然ではない出現枚数ということです。

ということで、デレステのSSR出現率は操作されていない、あるいは少なくとも露見するような操作は行われていないだろう、という結果になりました。

限定SSRの出現確率はどうなのよ

ところでデレステのSSRはざっくり分けて3種類が存在します。
それぞれ恒常・限定・フェス限と呼ばれています。

恒常SSRは最も一般的なSSRで、一度提供されてしまえば、その後のガシャでは常に出現する可能性があります。

限定SSRは、新しく追加されたあと一週間ほどの期間しか出現しません。
その期間が過ぎてしまえば、基本的にその後入手することはできません。
一年から数年後に復刻という形で再登場することがありますが、後から手に入れたくなっても、そのときをじっと待つしかありません。

フェス限も限定ではあるのですが、こちらは数ヶ月に一度行われる、SSR出現確率が普段の倍の6%になるシンデレラフェスというイベント中に出現します。
従って、限定という名ではありますが比較的入手しやすくなっています。

上記より、恒常とフェス限については操作する意味があまりないと考えられます。
つまり、もしかしたら限定SSRだけ特に出現が絞られているのではないかという疑惑が考えられるわけです。
特定のキャラだけ出現率を絞ってガシャを回させるなんてのはよく聞く話ですからね。

これについての検証は難しい、というか私では立証不可能です。
私は重課金者ではなく、また基本的にシンデレラフェスのときしかガシャを回さないので、限定ガシャの試行回数がないんですよね。

今年はたまたま2020年6月にあった愛を誓うピュア・ブライダルガシャという限定ガシャを回していたので、そちらの結果を使って確認してみましょう。
試行回数は300回なので、信頼性という点ではあまり高くないと思います。

このガシャでは、ここで新登場した限定キャラ3人については出現確率が高めにピックアップされていて、それぞれ0.4%となっています。
そして残りのSSR202種類が合計で1.8%という熾烈な確率です。
300枚引いたら平均としてピックアップがそれぞれ1.2枚ずつ、ピックアップ以外のSSRが5.4枚の合計9枚が引けるということになります。
もちろん確率はそんなに単純にはいかないのと、そもそも試行回数が少なすぎるので、300枚でピックアップ0枚なんてことも普通に起こり得ます。

ということで300枚引いた結果がこちら。

レア度	枚数	割合
R	229枚	76.33%
SR	62枚	20.67%
SSR	9枚	3%
合計	300枚	-

取得したSSRは以下のとおり。

恒常	[ネクスト☆ページ]荒木比奈
恒常	[ネクスト☆ページ]荒木比奈
限定	[祝福の花をあなたに]イヴ・サンタクロース
恒常	[トゥインクル☆ラブリー]横山千佳
恒常	[想いは深く、歌声は遠く]瀬名詩織
限定	[祝福の花をあなたに]イヴ・サンタクロース
限定	[千年の誓約]黒埼ちとせ
限定	[エターナル・マイラブ]川島瑞樹
限定	[千年の誓約]黒埼ちとせ

import scipy.stats as stats

print ("愛を誓うピュア・ブライダルガシャ：%s" % stats.binom_test(9, 300, 0.03))

P値は1.0、すなわち最大値です。
300連でSSR9枚って、完全に期待値の中央ですからね。

なお、9枚のうちピックアップが5枚です。
ピックアップを5枚取得するP値は0.42であり、こちらも余裕であり得る範囲内です。
というかピックアップを3種類とも総取りしてしまったので、出現率を絞ってるどころかむしろ上揺れしていますね。

以上より、限定SSRの出現確率の操作はしていない、あるいは少なくとも愛を誓うピュア・ブライダルガシャにおいては出現確率の操作をしていないだろう、という結果になりました。
限定SSRの中でも特に[エターナル・マイラブ]川島瑞樹だけ確率が小さく設定されている、みたいな可能性も考えられますが、そこまでくると試行回数が足りなすぎて意味のある数値は出せないでしょう。

ちなみに300連でピックアップ3種類総取りできる確率は34%、ピックアップが1枚も出てこない確率は2.6%、そもそもSSR自体が1枚も出ない確率は0.01%です。
ピックアップをそれぞれ1枚以上取得するP値とかはどう計算すればいいんだろう？

結論

納税、および限定ガシャ愛を誓うピュア・ブライダルガシャについては、共に確率操作はされていない、あるいは少なくとも悟られるような確率操作はされていない、という結果になりました。
これだけをもって『全てのガシャにおいて不正は存在しない』と言い切ることはできませんが、可能性としては『ほとんどありそうにない』と考えてよいのではないでしょうか。

おまけ

と、ここまで事前に書いていたのですが、2021/01/04(つまり今日だ)300連ガシャを回したところ、たいへんな下揺れが起こりました。

レア度	枚数	割合
R	228枚	76.0%
SR	62枚	20.7%
SSR	10枚	3.3%
合計	300枚	-

SSR率3%の通常時であれば普通の光景ですが、しかしこれ、実際はSSR出現率が倍の6%になるデレフェス期間だったのです。
P値はなんと0.051で、許容範囲の最下限に近い値です。
これはひどい。
ていうかこれSSR率3%だろ。
きっとそうにちがいない。
動かぬ証拠を掴んでやったぞ！¹

1. 動かぬ証拠になってない。 ↩