Что значит «шумная» метрика и как это проявляется на небольшом рекламном бюджете?

Короткий ответ

Шумная метрика — это показатель, который сильно колеблется от случайности (малого объёма данных), а не от реальных изменений в кампании; на маленьких объёмах это особенно заметно у CTR и конверсии.

Как это работает подробнее

При малом количестве показов или кликов один-два случайных клика или конверсии сильно меняют проценты (CTR, CR), создавая иллюзию резкого роста или падения эффективности. Похожая ситуация возникает при сравнении двух похожих аудиторий или гео с небольшим объёмом показов — различие в пару процентов может быть просто статистическим шумом, а не реальной разницей в эффективности.

Что использовать на практике

• Практика. На практике не стоит делать выводы по метрике, рассчитанной на выборке из нескольких десятков событий — нужно смотреть на больший период или больший объём данных перед выводами. Полезное правило — ориентироваться на минимальный объём показов или кликов (например, несколько сотен кликов), ниже которого проценты в отчёте не стоит воспринимать как надёжные.
• Пример. Объявление А: 40 показов, 2 клика (CTR 5%); объявление Б: 4000 показов, 80 кликов (CTR 2%). Несмотря на «лучший» CTR у А, на таком малом объёме этот результат не показателен.

Подводные камни

• Риск. Частая ошибка — реагировать (менять ставки, останавливать объявление) на колебание CTR с 2% до 4% при 50 показах, хотя это может быть случайностью.