Продолжительность тестирования

Продолжительность тестирования (test duration) — это период, в течение которого проводят A/B тест, чтобы собрать достаточно данных для статистически достоверного вывода. Правильный срок теста критичен: слишком короткий даст ненадежный результат, слишком длинный — затянет принятие решений.

От чего зависит

• Объем трафика — чем его больше, тем быстрее набирается выборка.
• Размер эффекта — мелкую разницу выявить сложнее, нужно больше данных.
• Цикличность — тест должен покрывать полные недельные циклы.

Частая ошибка — остановить тест раньше времени, увидев первые обнадеживающие цифры. На малой выборке результат легко случаен и может смениться на противоположный. Поэтому тест доводят до заранее рассчитанного объема данных и статистической значимости, а не прекращают по первым цифрам. Обычно тест длится минимум одну-две полные недели, чтобы учесть колебания по дням.