Статистическая значимость

Статистическая значимость (statistical significance) — это признак того, что обнаруженная разница между вариантами реальна и вызвана изменением, а не случайными колебаниями. Если результат статистически значим, ему можно доверять и на его основе принимать решения.

Проще говоря, значимость отвечает на вопрос: достаточно ли велика разница и достаточно ли данных, чтобы считать, что один вариант действительно лучше другого, а не победил случайно. Обычно порогом считают достоверность 95%.

Понятие лежит в основе корректного A/B тестирования. Частая ошибка — остановить тест, увидев разницу на малой выборке: без статистической значимости эта разница может быть случайной и исчезнуть при большем объеме данных. Значимость связана с нулевой гипотезой, доверительным интервалом и стандартной погрешностью. Она защищает от внедрения изменений, которые на деле ничего не улучшают.