Доверительный интервал

Доверительный интервал (confidence interval) — это диапазон, в котором с заданной вероятностью (обычно 95%) находится истинное значение измеряемого показателя. В маркетинге он показывает, насколько можно доверять результату теста или замера.

Пример: A/B тест показал, что новый вариант дает конверсию 5% против 4%. Но если доверительные интервалы вариантов сильно перекрываются, разница может быть случайной, а не реальной. Узкий интервал означает надежный результат, широкий — что данных мало.

Понятие критически важно в A/B тестировании и любых выводах на выборке: без учета статистической достоверности легко принять случайное колебание за настоящий эффект и внедрить бесполезное или вредное изменение. Поэтому тесты доводят до достаточного объема данных, а решения принимают, только когда разница статистически значима, а не по первым цифрам.