Сообщить об ошибкеКороткий ответ
Interaction effect означает, что эффект одного фактора (например, заголовка) зависит от значения другого фактора (например, изображения) — то есть лучшая комбинация не всегда равна сумме «лучшего заголовка» и «лучшего изображения» по отдельности; это проверяется сравнением результатов комбинаций, а не только средних по каждому фактору отдельно.
Как это работает подробнее
В MVT-анализе помимо «главных эффектов» (среднее влияние каждого фактора отдельно) считают и эффект взаимодействия, который показывает, усиливают ли или гасят друг друга два изменения при совместном использовании. Отрицательное взаимодействие особенно часто встречается, когда два ярких/агрессивных изменения конкурируют за внимание пользователя одновременно, перегружая восприятие вместо усиления эффекта.
Пример. Заголовок 1 + Изображение 1: CVR 4.0% Заголовок 1 + Изображение 2: CVR 4.8% Заголовок 2 + Изображение 1: CVR 5.2% Заголовок 2 + Изображение 2: CVR 4.1% (неожиданно ниже) Комбинация «лучший заголовок (2) + лучшее изображение по отдельности (2)» на деле даёт худший результат - явный пример отрицательного взаимодействия, которое нельзя было предсказать, тестируя факторы раздельно.
Что использовать на практике
- Практика. Если ресурсов хватает только на простой анализ, как минимум стоит явно сравнить результат «лучшая комбинация по факту» с гипотетической суммой «лучший вариант фактора 1 + лучший вариант фактора 2 по отдельности», чтобы не предполагать автоматически аддитивность эффектов. При подозрении на взаимодействие факторов полезно явно включить в MVT-анализ все комбинации, а не только «лучшие по отдельности» варианты, даже если это требует больше трафика.
Подводные камни
- Частые ошибки. Ошибка — протестировать заголовок А/B и изображение А/B по отдельности в двух разных тестах, а затем просто «сложить» оба победивших элемента, предполагая, что их совместный эффект будет не хуже, хотя взаимодействие может быть отрицательным. Ошибка — распространять вывод о взаимодействии факторов, полученный на одной аудитории или гео, на другие сегменты без дополнительной проверки, так как характер взаимодействия может быть специфичен для конкретной аудитории.