Статистическая достоверность

Статистическая достоверность (confidence level, уровень доверия) — это степень уверенности в том, что результат теста или измерения не случаен, а отражает реальную закономерность. Обычно в маркетинге требуют уровень достоверности не ниже 95%.

Уровень 95% означает: если повторить тест много раз, в 95 случаях из 100 результат подтвердится. Чем выше требуемая достоверность, тем больше данных нужно собрать, но тем надежнее вывод.

Понятие критично в A/B тестировании: изменение внедряют только когда преимущество варианта достигло нужного уровня достоверности. Иначе легко принять случайное колебание за реальный эффект. Статистическая достоверность тесно связана с доверительным интервалом и статистической значимостью. Именно поэтому тесты доводят до достаточного объема данных, а не останавливают по первым обнадеживающим цифрам.