「まだ有意差がありません」の表示から変わらないのですが、いつ頃終わるかの目安はありますか？¶
- どの程度のデータを収集すれば良いかはケース・バイ・ケースであり、一概に決めることは困難です。以降では一般論を記述します。
- A/Bテストを実施する期間については、平日と週末とではユーザーの行動が異なることが考えられますので期間は2週間程度を推奨します。
- A/Bテストの結果を得るために最低限必要な送信数は、場合によりますが各パターンについて 100 - 1,000 程度になります。送信数がこれを大きく超えて結果が出ていない場合には、差がないとみるべきでしょう。
注釈
統計的には次のパラメーターから必要な配信数の見積もりが可能です。
- 有意水準
- 検出力
- 対象とする指標 (CVR, 開封率など) の見込みの値
- どの程度の差を認めた場合に意味があるとみなすかの閾値
上記の100 - 1,000という数値は上記のパラメーターについて典型的なものを与えたときに計算される数値です。