「まだ有意差がありません」の表示から変わらないのですが、いつ頃終わるかの目安はありますか?¶
どの程度のデータを収集すれば良いかはケース・バイ・ケースであり、一概に決めることは困難です。以降では一般論を記述します。
A/Bテストを実施する期間については、平日と週末とではユーザーの行動が異なることが考えられますので期間は2週間程度を推奨します。
有意差の判定には、各パターンについて最低でも 100 件以上の配信数(サンプル数)が必要です。
Reproの有意差判定は、判定を繰り返し確認しても誤りの確率が増えないように設計された手法(逐次検定)を用いています。この性質上、1回だけ検定を行う手法と比べて、判定が出るまでに必要なデータ量は多くなる傾向があります。
配信数が十分に多いにもかかわらず有意差が出ない場合には、パターン間に意味のある差がないとみるべきでしょう。