Стандартная погрешность

Стандартная погрешность (standard error) — это статистическая мера, показывающая, насколько результат, полученный на выборке, может отличаться от истинного значения по всей аудитории. Она отражает степень неопределенности измерения.

Чем больше выборка, тем меньше стандартная погрешность и тем надежнее результат. Например, конверсия 5%, измеренная на 100 визитах, имеет большую погрешность, чем та же конверсия на 100 000 визитах.

Понятие важно в A/B тестировании и любом анализе на выборке: стандартная погрешность лежит в основе расчета доверительных интервалов и статистической значимости. Она объясняет, почему нельзя доверять результату на малых данных: разница между вариантами может целиком укладываться в погрешность и быть случайной. Учет погрешности защищает от поспешных выводов и внедрения бесполезных изменений.