Результаты A/B-теста одной и той же аудитории и похожих креативов в Meta и TikTok сильно различаются между собой и нестабильны от недели к неделе — как подойти к диагностике и выводам?

Короткий ответ

Нужно проверить, была ли соблюдена методология теста (одинаковый бюджет и период, достаточный объём данных для статистической значимости), учесть различия в алгоритмах ранжирования и форматах площадок, и не делать выводов по одной неделе данных без проверки устойчивости результата во времени.

Как это работает подробнее

«одна и та же аудитория» на разных платформах на практике не идентична — сигналы и таргетинг строятся на разных данных, а алгоритмы оптимизации по-разному интерпретируют одну и ту же цель; кроме того, у TikTok и Meta разная культура потребления контента, поэтому «похожий» креатив без адаптации к формату может работать по-разному не из-за случайности, а из-за системного несоответствия формату.

Что использовать на практике

• На практике. для честного сравнения нужно убедиться, что объём данных достаточен для статистической значимости на каждой платформе, и что сравнение идёт за одинаковый период с сопоставимым бюджетом; нестабильность от недели к неделе может объясняться естественной волатильностью при небольшом объёме данных — для этого смотрят на кумулятивный результат за несколько недель, а не на каждую неделю отдельно.
• Пример. За неделю 1 TikTok показал CPA 600 ₽ против 900 ₽ у Meta на 8 конверсиях каждая, а за неделю 2 — наоборот.
• Проверка. посчитать суммарный CPA за 4 недели на каждой платформе и проверить статистическую значимость разницы с учётом общего числа конверсий — при малом общем количестве разница может оказаться незначимой, и нужно либо продлить тест, либо увеличить бюджет для накопления данных.

Подводные камни

• Частая ошибка. делать вывод «TikTok хуже/лучше Meta» по одной неделе теста с малым числом конверсий; использовать абсолютно одинаковый креатив без адаптации по формату и считать это «чистым» сравнением.