Чёрная пятница:предложения PremiumBonusУзнать подробнее
  1. Хаб PremiumBonus
  2. ›
  3. Статьи
  4. ›
  5. Как оценить эффективность CRM-маркетинга: контрольная группа и ошибки в отчётах

Как оценить эффективность CRM-маркетинга: контрольная группа и ошибки в отчётах

Маркетолог приносит руководителю отчёт за квартал. Выручка выросла на 12%, база выросла, рассылки открывают чаще. Руководитель смотрит на цифры и спрашивает: при чём здесь рассылки.

Ответить на этот вопрос нечем. Выручка в рознице растёт по десятку причин сразу: открылись новые точки, подняли цены, прошёл сезон, отработала реклама, вышел удачный товар. Рассылки происходили в то же время, и отчёт показывает сумму всех причин без разделения.

Эта статья о том, как оценить эффективность CRM-маркетинга так, чтобы цифру можно было защитить. Способ существует один, он известен давно и работает в любой отрасли: сравнение с контрольной группой. Ниже разберём, как её собрать, что считать и какие ошибки чаще всего превращают отчёт в самообман.

Время чтения – 13 минут

Коротко

Рост выручки сам по себе ничего не доказывает, потому что он складывается из многих причин одновременно.

Вклад CRM-маркетинга виден при сравнении двух групп клиентов: одна получает коммуникации, вторая остаётся без них.

Разница между группами за один и тот же период и есть результат работы.

Контрольную группу обычно держат в районе 5–10% базы, минимум несколько сотен человек.

Период наблюдения должен покрывать хотя бы один цикл покупки.

Для разговора с руководителем достаточно одной цифры: сколько дополнительной прибыли принесли коммуникации сверх затрат на них.

Почему отчёт о росте выручки ничего не доказывает

Представим сеть кофеен. За квартал выручка выросла на 9%, в том же квартале маркетолог запустил рассылки по базе, настроил приветственную механику и вернул часть спящих гостей.
Перечислим, что ещё происходило за эти три месяца. Открылись две новые точки. Подорожал кофе, средний чек вырос сам собой. Прошла зима, люди стали чаще выходить из дома. Сеть подключила доставку. Каждое из этих событий добавило выручки.

Теперь попробуем выделить вклад рассылок. Сделать это из общего отчёта невозможно: там лежит сумма всех причин. Любая цифра, которую маркетолог назовёт, будет догадкой.

Отсюда же растёт вторая проблема. Руководитель, который однажды услышал догадку вместо расчёта, перестаёт верить и следующим цифрам тоже. А когда приходит время делить бюджет, расходы на работу с базой урезают одними из первых: вклад рекламы хотя бы виден по заявкам, а вклад рассылок и бонусов показать нечем.

Чаще всего в отчёт попадают показатели, которые легко достать: открываемость писем, число участников программы, количество отправленных сообщений. Все они описывают активность маркетинга, а не его результат. Вопрос руководителя звучит про деньги, а ответ приходит про рассылки.

Что такое контрольная группа

Контрольная группа — это часть клиентской базы, которая намеренно остаётся без коммуникаций на время наблюдения. Ей не отправляют рассылки, не дают персональные предложения, не включают в акции программы лояльности.

Все внешние события действуют на обе группы одинаково. Новые точки открылись для всех, цены выросли для всех, сезон наступил для всех. Единственное различие между группами состоит в коммуникациях. Значит разница в их поведении и показывает вклад CRM-маркетинга.

Идея выглядит просто, и в этом её сила: она не требует ни сложной аналитики, ни дорогих инструментов. Сложность в другом: правило нужно соблюдать всё время наблюдения. Контрольную группу легко задеть массовой акцией, забыть исключить из новой рассылки, добавить в неё клиентов посреди периода или отдать её список продавцам для обзвона. Каждое такое нарушение стирает разницу между группами, и считать в конце становится нечего.

Приём не новый и не отраслевой: на нём держится оценка эффективности рекламы и коммуникаций в целом. Исследователи, которые занимаются измерением рекламы, описывают ту же логику: компании сравнивают текущий подход с группой, которая не получает сообщений вообще, и именно это сравнение показывает отдачу1. Там же описана и главная причина, по которой контрольные группы не делают: жаль отказываться от части аудитории. Причина понятная, и отказ от нескольких процентов охвата это и есть цена точного ответа.

Шесть шагов, чтобы посчитать вклад CRM-маркетинга

Шаг 1. Соберите контрольную группу

Отберите клиентов случайным образом, чтобы состав группы повторял основную базу. Проверьте, что в контрольной группе есть и новички, и постоянные покупатели, и те, кто давно не заходил, примерно в тех же долях, что и в основной.

Размер держите в районе 5–10% базы. Меньше 3% делают результат неустойчивым, больше 20% означает, что вы отказываетесь от выручки ради измерения. В отраслевой практике 10% считают разумной серединой: при 5% охват почти не страдает, но в контрольной группе мало наблюдений, при 20% оценка становится точнее, но вы перестаёте продавать заметной части базы2.

Есть нижняя граница по людям: несколько сотен человек. При группе в тридцать человек разница между группами объясняется случайностью, а не работой маркетинга.

Шаг 2. Выберите показатель

Для оценки эффективности CRM-маркетинга подходят показатели, которые зависят от поведения клиента и обновляются достаточно часто.

Показатели для оценки эффективности CRM-маркетинга, что показывает каждый и когда он вводит в заблуждение.
ПоказательЧто показываетКогда вводит в заблуждение
Покупок на клиента за периодЧастоту возвращенияПериод короче цикла покупки
Средний чекРазмер корзиныЦены менялись в середине периода
Выручка на клиентаИтог по деньгамБерётся по всей базе, а не по группам
Доля вернувшихсяУдержаниеНепонятно, от какой даты считается возврат

Берите один главный показатель и один-два вспомогательных. Отчёт из двадцати строк обсуждать невозможно.

Шаг 3. Определите период

Период наблюдения должен покрывать хотя бы один цикл покупки. В кофейне цикл измеряется днями, в магазине одежды месяцами, в сети семейных парков сезонами.

Обе группы считаются за один и тот же календарный отрезок. При таком сравнении сезонность влияет на обе группы одинаково и из разницы уходит сама.

Шаг 4. Посчитайте разницу

Сначала посчитайте выручку на одного клиента в каждой группе: количество покупок умножьте на средний чек. Затем вычтите показатель контрольной группы из показателя основной.

Полученная разница относится к одному человеку. Умножьте её на количество клиентов в основной группе, и получите дополнительную выручку за период.

Разницу между группами в процентах принято называть приростом. Это та же величина, которую считают в любом корректном эксперименте: процентная разница показателя между контрольной и основной группой3.

Шаг 5. Переведите выручку в прибыль

Выручка годится для отчёта маркетолога, решение же принимается по прибыли. Умножьте дополнительную выручку на маржинальность и вычтите затраты на коммуникации за тот же период: платформу, рассылки, работу команды.

Остаток и есть деньги, которые принёс CRM-маркетинг. Разделите его на затраты, и получите возврат на вложенное.

Шаг 6. Сократите результат до одной цифры

Руководителю нужна формулировка, которую можно повторить вслух. Выглядит она примерно так: за квартал коммуникации принесли столько-то дополнительной прибыли при затратах во столько-то, каждый вложенный рубль вернулся и принёс сверху такую-то сумму.

Расчёт и таблицы оставьте в приложении. Разговор ведётся по одной цифре.

Три ошибки, из-за которых отчёту перестают верить

Сравнение «до и после» без контрольной группы. Самая частая ошибка. Маркетолог берёт показатели за прошлый квартал и за текущий, видит рост и записывает его себе. В этом сравнении вместе с работой маркетинга лежит сезон, реклама, цены и всё остальное.

Средние по всей базе. Общее среднее скрывает разницу между сегментами. Постоянные покупатели могли вырасти, новички просесть, а среднее останется ровным. Решение простое: считайте по сегментам отдельно, хотя бы по трём.

Отдельно стоит следить за тем, какой именно средний показатель вы смотрите. По данным Data Insight, в 2025 году число онлайн-заказов в России выросло на 24%, а средний чек снизился на 5%, до 1610 рублей4. Это нормальная картина рынка: люди покупают чаще и мельче. Маркетолог, который отчитывается одним средним чеком, в такой ситуации покажет провал там, где на самом деле выросла частота покупок и выручка на клиента.

Сравнение участников программы со всеми покупателями. Участники программы лояльности изначально лояльнее остальных: они пришли сами и ходят чаще. Сравнение с общей массой покажет разницу, которая существовала до любых коммуникаций. Сравнивать нужно похожих клиентов с похожими.

Какие цифры получаются при сравнении групп

В опубликованных кейсах PremiumBonus есть цифры, которые получены именно при сравнении групп и сегментов.

В сети кафе работа на частоту визитов дала рост частоты покупок на 40%, а выручка с гостя в месяц выросла до 21,2%. В продуктовой сети частота покупок в сегментах выросла на 19–36%. В сети семейных развлекательных парков триггерные рассылки и промокоды по остывающим сегментам снизили отток на 22%. В сети кофеен системная работа с базой снизила стоимость возврата клиента на 33%.

Общее у этих цифр одно: каждая из них привязана к конкретному показателю, периоду и группе клиентов. Такую цифру можно защитить в разговоре с собственником.

Как запустить, если контрольной группы никогда не было

Начать можно на этой неделе, крупного проекта не потребуется.

1

Выделите случайные 5% базы и пометьте их в системе как контрольную группу.

2

Исключите эту группу из всех рассылок и акций.

3

Зафиксируйте стартовые показатели по обеим группам: покупок на клиента, средний чек, выручка на клиента.

4

Подождите один цикл покупки.

5

Посчитайте разницу по шагам выше.

6

Раз в полгода обновляйте состав группы, чтобы она оставалась похожей на базу.

Вебинар 26 ноября: разбор расчёта по шагам

Статья даёт порядок действий, но на бумаге любой расчёт выглядит ровнее, чем в работе. Вопросы начинаются, когда садишься считать на своих данных: база маленькая, часть клиентов попала в акцию случайно, цикл покупки растянут, руководитель просит цифру к завтрашнему совещанию. На такие вопросы быстрее получить ответ от человека, который прошёл через это много раз, чем искать похожий случай в статьях.

Поэтому приглашаем на бесплатный вебинар 26 ноября.

Юля Гребнева, руководитель отдела CRM-маркетинга PremiumBonus, разбирает расчёт по шагам: какие цифры смотреть, как отличить настоящий эффект от совпадения и какой одной цифрой отвечать руководителю. В конце эфира Юля отвечает на вопросы, задать их можно в чате во время выступления.

Тема вебинара: «Экономика CRM-маркетинга: какие цифры смотреть и как доказать, что это работает». Вебинар идёт час, начало в 11:00 в четверг 26 ноября, онлайн. Приходите: задать вопрос можно только в прямом эфире. Регистрируйтесь, и мы напомним о вебинаре накануне, чтобы он не потерялся среди дел. А если прийти не получится, пришлём запись.

Что в итоге

Чтобы ответить, сколько принесла работа с базой, цифру нужно с чем-то сравнивать. Контрольная группа и даёт это сравнение: две похожие группы клиентов за один и тот же период, и разница между ними относится уже к коммуникациям, а не к сезону, ценам или рекламе.

У способа есть цена, и её лучше назвать заранее, чтобы она не стала неожиданностью. Клиентам из контрольной группы вы ничего не отправляете, поэтому часть выручки, которую они могли бы принести за этот период, вы недополучите. При группе в 5–10% базы речь о небольшой сумме, а взамен появляется цифра, которую можно принести руководителю и спокойно объяснить, откуда она взялась.

Три правила, которые стоит запомнить. Сравнивайте группы, а не периоды. Считайте по сегментам, а не по общей базе. Сводите результат к одной цифре, понятной человеку, который не занимается маркетингом.

Как посчитать вклад CRM-маркетинга с помощью PremiumBonus

Все три правила выполнимы в любой системе, где есть данные о покупках, вплоть до выгрузки из кассы в таблицу. Разница в том, сколько времени занимает один пересчёт и легко ли его повторить через квартал.

PremiumBonus это платформа для работы с клиентской базой: CDP и программа лояльности в одном контуре. Данные о покупках собираются с касс и из онлайн-каналов в единую карточку клиента, базу можно делить на сегменты, выделить контрольную группу и исключить её из рассылок и акций, а результат смотреть по группам отдельно. Отчёты строятся по частоте покупок, среднему чеку, выручке на клиента и RFM-сегментам, поэтому разницу между основной и контрольной группой не приходится собирать вручную в таблице.

Если хотите увидеть, как выглядят отчёты по группам и как выделяется контрольная группа, оставьте заявку на демонстрацию. Покажем систему и разберём, как расчёт ляжет на вашу базу: какие данные для него уже есть, а что придётся настроить.

Источники

  1. Julian Runge. Marketers Underuse Ad Experiments. That's a Big Mistake. Harvard Business Review, 28 октября 2020. ↩
  2. Control Groups in Marketing. Optimove, учебный раздел Marketing 101. Дата публикации на странице не указана, материал проверен 18 ноября 2026. ↩
  3. Amy Gallo. A Refresher on A/B Testing. Harvard Business Review, 28 июня 2017. ↩
  4. Интернет-торговля в России 2026. Исследование Data Insight, опубликовано 31 марта 2026. ↩

Дата публикации: 19.11.2026

Будь в курсе первым — подпишись
на наш Telegram!

Мероприятия, новости и полезные фишки — там, где удобно!
Жми кнопку и присоединяйся!

Хотите индивидуальный разбор для вашего бизнеса?

Оставьте заявку и мы свяжемся с вами в ближайшее время

Количество точек
11000