検定を126回やってみた。「有意な偏り」は、偶然でも6個出る
偏りの検定で「有意」と出ると、何かを見つけた気になります。でも、検定は回数をやれば、偶然だけでも有意が出ます。当サイトの全データで検定を126回やって、その数字で確かめました。検定のやり方そのものは、30年分のデータで見えた、ナンバーズの数字の偏りと収束に書いています。
126回のうち、「有意」（p値が0.05未満）になったのは6回でした。偶然だけなら6.3回出る計算で、ほぼ同じ数です。検定の回数を考えた補正をかけると、有意は0回になりました。「有意が出た」というだけでは、偏りが本物かどうかは決まりません。
なった回数
回数の目安
回数
p値は、何を言っているのか
p値は、「完全にランダムだったとして、今回と同じか、それ以上に極端な偏りが出る確率」です。p値が0.03なら、ランダムでもその程度の偏りは100回に3回出ます。「偶然である確率が3%」という意味ではありません。
有意の基準にされる0.05は、20回に1回です。偏りのない完全なランダムでも、検定を20回やれば平均で1回は「有意」と出ます。検定を何回もやるときの落とし穴は、ここにあります。
やったこと
全履歴を、重ならないように区切って、区切りごとに「数字は均等に出ているか」を検定しました。
- ナンバーズ3・4 500回ごとに区切り、桁ごとに0〜9が均等かをカイ二乗検定。ナンバーズ3が14区間×3桁、ナンバーズ4が14区間×4桁で、合わせて98回
- ロト6・7 100回ごとに区切り、数字ごとの出現数が均等かを検定。ロト6が21区間、ロト7が7区間で、合わせて28回
合計126回です。区切りで余った分は除きました（ナンバーズは各103回分、ロト6は50回分）。ロトのp値は、コンピュータでランダムな抽せんを6万回分作り、そのばらつきと比べて出しています。
結果：「有意」は6回出た
| 対象 | 区間 | p値 |
|---|---|---|
| ロト6 | 第701〜800回 | 0.0032 |
| ナンバーズ3 一の位 | 第4,501〜5,000回 | 0.0088 |
| ナンバーズ3 十の位 | 第2,001〜2,500回 | 0.016 |
| ナンバーズ4 十の位 | 第6,001〜6,500回 | 0.017 |
| ロト7 | 第201〜300回 | 0.023 |
| ロト6 | 第1,701〜1,800回 | 0.038 |
この表だけを見せれば、「ロト6の第701〜800回は、p値0.0032の有意な偏り」と書けます。ただ、これは126回のうちの6回です。0.05未満が出る回数の目安は、126×0.05で6.3回。ほぼ同じです。0.01未満も2回で、目安の1.3回と変わりません。
126個のp値を、0.1刻みで数えました。偶然だけなら、どの区間にも12.6個ずつ散らばるはずです。
いちばん少ない区間が5個、多い区間が19個で、片寄りは見えません。偏りが本物なら、0に近い区間に集まります。そうはなっていません。
ランダムな乱数でも、同じ結果になる
本当にそう言えるのか、コンピュータが作った完全なランダムのデータで、同じ126回の検定を5,000回繰り返しました。
- 有意（0.05未満）の回数は平均6.3回で、95%のケースが2〜11回に収まりました。今回の6回は、その真ん中です
- 1回以上有意が出る確率は99.8%。1つも出ないほうが珍しい結果です
- 今回の最小のp値（0.0032）より小さい値は、3回に1回の割合で、ランダムデータにも出ました
- p値が0.001未満になるものは、8回に1回のランダムデータに出ました
本物のデータと、乱数で作ったデータは、区別がつきませんでした。
検定の回数を数えて、補正する
回数が多いときの対処で、いちばん簡単なのはボンフェローニ補正です。基準を、検定の回数で割ります。126回なら0.05÷126で、約0.0004。これより小さいp値だけを「有意」とします。
今回の最小は0.0032だったので、補正後に有意なものは0でした。ランダムデータで、補正後に有意が1つでも出る確率は約5%。基準どおりに抑えられています。
補正すると、本物の偏りの見逃しも増えます。それでも、「何回検定したか」を数えておくことは外せません。切り口を変えて何通りも試し、いちばんきれいな結果だけを見せると、回数が見えなくなります。偶然の偏りが実力に見えてしまうのは、そのときです。
「有意」でも、予想に使えるとは限らない
仮に有意な偏りが見つかっても、予想に使えるのは、その偏りが次に持ち越されるときだけです。これも確かめました。ナンバーズ3・4の全履歴で、桁ごとに「直近で多い数字（少ない数字）」を選び、次の回の同じ桁に出たかを数えています。ランダムなら10%です。
| 選び方 | ナンバーズ3 | ナンバーズ4 |
|---|---|---|
| 直近の勢いで、最も多い数字（①出現頻度と同じ重み付け） | 10.15% | 10.31% |
| 直近100回で、最も多い数字 | 9.85% | 9.87% |
| 直近100回で、最も少ない数字 | 10.18% | 10.09% |
試行数はナンバーズ3が約2.1万回、ナンバーズ4が約2.8万回。95%の誤差は±0.4ポイント前後。同数のときは乱数で1つ選んだ。①は上位3つから重み付きで選ぶが、ここでは最上位の1つだけを見た。
どの選び方でも10%前後で、誤差の範囲でした。多い数字も少ない数字も、次の回の出やすさは変わりません。
検定の結果を読むときの確認点
- 何回検定した中の1つか。有意が出た1回だけを見せられていないか
- 切り口は、見る前に決めたものか。データを見てから、切り方を変えていないか
- 別の期間、別のデータでも、同じ偏りが出るか
- 偏りの大きさはどのくらいか。有意でも、期待値より数%多いだけなら、使い道はほとんどない
- その偏りは、次の回に持ち越されるか
当サイトの予想の成績も、同じ見方で出しています。ロジックごとの的中を、ランダムな数字と並べているのはそのためです。結果は予想を事前に記録して、ランダムと並べてみたにまとめています。
ナンバーズやロトの抽せんは完全にランダムで、過去の偏りから将来の結果を予測することはできません。宝くじの購入は20歳以上、余裕資金の範囲で、娯楽として楽しんでください。