Кейс-Инструкция по фильтрации ботов в Яндекс Директ.
Клиент: Услуги химчистки в Москве.
Задача: Исключить ботов из Яндекс-Директ в РСЯ и на Поиске.
Результат: Число кликов в РСЯ выросло в 2-3 раза при том же бюджете. Расходы на поисковую кампанию сократились процентов на 10. Общий бюджет аккаунта порядка 10000р. в день.
Общий алгоритм отключения аудитории ботов в Яндекс Директ следующий:
- Подключаем аккаунт Яндекс Директ к сервису KillBot
- Устанавливаем скрипт KillBot на сайт для создания аудитории ботов с рекламируемого сайта
- Отключаем аудиторию ботов в Яндекс Директ (запрещаем ботов)
- Отключаем конверсии для ботов
- Профессиональная подстройка и понимание того, что происходит
- Цифры и результаты
- Выводы
Подключение кампаний Яндекс Директ к KillBot
Для подключения кампании Яндекс Директ нужно создать аккаунт на сайте: https://killbot.ru/, после нужно перейти в раздел кампаний Яндекс Директ: https://killbot.ru/yandex_direct/campaigns и нажать на кнопку: "Подключить кампании из Яндекс Директ":
Далее выбираем кампании в которых нужно фильтровать ботов и нажимаем "Подключить кампании":
После того, как кампании будут импортированы, они появятся в интерфейсе KillBot в пункте меню "Кампании Директ": https://killbot.ru/yandex_direct/campaigns :
Аудитория для фильтрации ботов
После импортирования кампаний нужно указать аудиторию для фильтрацию ботов, для этого:
- Нужно на рекламируемый в Директе сайт установить скрипт KillBot для сбора ботов.
- В KillBot для кампании Яндекс Директ указать аудиторию ботов для фильтрации.
Обратите внимание, что для подключения фильтрации ботов в Яндекс Директ, нужны две активные подписки KillBot: одна подписка скрипта KillBot для выявления ботов на сайте, а вторая - для фильтрации ботов в Яндекс Директ. Т.е. суммарно для 1 сайта и для 1 аккаунта Яндекс Директ стоимость фильтрации ботов составит: 999+999=1998р.
Установка скрипта KillBot на сайт
Устанавливаем скрипт KillBot на сайт. В нашем конкретном случае мы выбрали установку через экран KillBot: чтобы была аналитика по ботам, которые не пройдут через экран. Но можно выбрать и скрытую установку. Настройки выставляем такими:
Если нужна подробная инструкция по установке скрипта на сайт, то её можно посмотреть здесь: https://killbot.ru/#4 .
Когда скрипт установлен на сайт, то все визиты разбиваются на группы. Есть группы настоящих пользователей, а есть группы настоящих ботов.
Выбираем аудиторию ботов для запрещения показов.
Когда скрипт KillBot создан и установлен на сайт, для кампании Яндекс Директ нужно указать аудиторию ботов, которой будет запрещен показ объявлений:
KillBot предлагает 4 аудитории ботов, показы объявлений которым можно отключить:
- НЕ Браузеры: визиты, чьих слепков нет в списке браузеров и списке ботов - сюда попадают только "подозрительные визиты" чьих слепков нет в списках известных;
- НЕ браузеры + БОТЫ: визиты, чьих слепков нет в списке настоящих браузеров - сюда попадают и боты и все подозрительные визиты из предыдущего пункта;
- В списке ботов: визиты, чьи слепки есть в списке ботов - сюда попадут только боты;
- Боты: сюда попадут визиты, которые боты по выставленной логике в настройках скрипта KillBot.
Я рекомендую отключать аудитории "НЕ браузеры + БОТЫ" или "В списке ботов", ставьте другие аудитории если только осознаёте зачем именно это нужно.
Перед тем, как выставить аудиторию ботов для фильтрации не забудьте привязать подписку к аккаунту Яндекс Директ, для этого переходим в список привязанных аккаунтов: https://killbot.ru/yandex_direct/accounts и выбираем подписку:
Если для фильтрации ботов выбрана аудитория "В списке ботов", то будет отключена только та аудитория ботов, которая была добавлена в группу ботов (новые и любые другие боты под фильтр не попадут). Применительно к Яндекс Директ, если мы отключим только конкретных ботов, то нейронка Директа найдет новых. Поэтому, в случае Директа:
- Нужно фильтровать всех, кого нет в списках известных браузеров ("НЕ браузеры + БОТЫ") - все новые боты автоматически попадут в "Не браузеры".
- Или регулярно самостоятельно добавлять новых ботов в список "В списке ботов", но на это нужно тратить время, что практически не целесообразно.
Отключение аудитории "НЕ браузеры + БОТЫ" в Яндекс Директ может затронуть 5% настоящих пользователей. Так же, обратите внимание, что блокировать доступ на сайт можно только тем, кто попал в список настоящих ботов, если пользователя нет в списке ботов и нет в списке настоящих браузеров, то его блокировать нельзя - иначе можно потерять живую конверсию.
Внимание! после выставлении аудитории для фильтрации ботов в KillBot, обязательно пройдите по ссылке в статусе, перейдите в Яндекс Директ и, в дополнение, отключите аудиторию, похожую на ботов:
Добавляем к аудитории ботов похожих пользователей:
Запрещаем ботам конверсии
Стратегии Директа обучаются на конверсиях, которые боты осуществляют как и настоящие пользователи. Поэтому очень важно отключать конверсии для ботов.
Запрет конверсии осуществляется отключением счетчика метрики для бота. Но, чтобы новые боты фиксировались метрикой и не совершали бы конверсий, то счетчик метрики для на экрана KillBot можно оставить. Таким образом визиты с директа для ботов будут попадать в отказы, эти визиты не будут совершать конверсии, поэтому стратегия будет обучаться на чистом трафике.
Для отключения счетчика метрики в настройках скрипта нужно выставить настройку: "Скрыть счетчик метрики для бота"="Скрыть только на сайте":
Выполнение, того, что описано выше достаточно для успешной фильтрации ботов в аккаунте Яндекс Директ.
Профессиональная подстройка и понимание того, что происходит
Для профессиональной настройки нужно погрузится в принцип работы сервиса и понимать, что именно за клик-боты в вашем аккаунте Яндекс Директ, понимать как работать со слепками браузеров, грамотно анализировать поведение визитов в слепках и грамотно добавлять слепки в списки браузеров или ботов. В этом случае качество фильтрации ботов будет максимальным и заточенным именно под ваши задачи.
Анализ слепков ботов и пользователей настоящих браузеров
Для анализа трафика сайта нужно понимать с каких программ осуществлён заход на сайт: с настоящих браузеров, или же с программ, которые браузером управляют автоматически (Боты).
Для этого в скриптах KillBot: https://killbot.ru/script/list/table переходим в раздел слепков:
Слепок - это идентификатор программы доступа на сайт. Например, если слепок = "3652932958", то я знаю что заход осуществлен через браузер Хром, а если слепок = "531371221" - то это одна из известных программ для скликивания.
Анализируем аналитику по слепкам визитов настоящих пользователей и ботов:
Слепки принадлежат настоящим браузерам (пользователям) или ботам. У KillBot есть своя база слепков, и KillBot подписывает кому принадлежит слепок. Если слепок отсутствует в нашей базе, то его можно классифицировать самостоятельно - создать свою группу слепков и добавить его туда.
Например, в скриншоте выше слепок 4168739623 не подписан - это значит, что его нет в нашей базе. Мы можем проанализировать визиты этого слепка и определить кому принадлежит слепок - пользователю или боту.
Проанализируем визиты с слепком 4168739623, для этого нажимаем на ссылку вебвизор:
Видно, что визиты, со слепком 4168739623ведут себя одинаково, кликают по скрытым ссылкам, поэтому этот слепок принадлежит боту:
А примерно так выглядит запись всех визитов, принадлежащих данному слепку: бот использует события касания и движения мыши одновременно.
Поэтому, пометим этот слепок как слепок принадлежащий боту. Для этого кликаем на ссылку "В боты":
Далее следуем инструкциям. Как именно создать группу ботов и добавить слепок в группу подробно описано в инструкции: https://killbot.ru/#6
Внимание! Добавляйте визит в боты только по групповому анализу: анализируйте визиты слепка массово, смотрите что в этих визитах отсутствуют настоящие заявки и оплаты. Смотрите, что в этих визитах нет логики, присущей настоящим пользователям (осознанное использование калькулятора, масштабирование карты и навигация, и т.п.). Если в визите присутствуют просмотры страниц пользовательского соглашения или переходы на тематически не связанные страницы - то это признак бота.
Цифры и результаты
Если Яндекс Директ фиксирует конверсию, то обязательно глазами найдите конверсию в метрике и классифицируйте: кто её автор - пользователь или бот. Обязательно нужно проследить, что заявка живая.
Сравним результаты работы кампании РСЯ до и после подключения фильтра ботов
Кампания РСЯ, стратегия с оплатой за клики, конверсии - это отправка форм.
Сначала были запрещены заходы только некоторых ботов на сайт: были выбраны 10 самых популярных слепков ботов и запретили доступ на сайт всем визитам, имеющим такой же слепок (боты далее страницы верификации не проходили и конверсий осуществлять не могли). В настройках Яндекс Директ изменений не делали, аудиторию ботов не отключали.
До 5 апрели кампания работала штатно, с 5 апреля был запрещен доступ на сайт ботам, как описано выше. Т.е. боты могли навигироваться только по странице верификации и осуществлять клики по скрытым ссылкам. Конверсии боты делать не могли.
С 6-го апреля мы наблюдаем сильный рост числа кликов и показов - Директ начал повышать охваты чтобы найти новую аудиторию, которая начнёт осуществлять - конверсии. При этом общие дневные расходы кампании сохранялись на том же уровне: число кликов в десятки раз выросло, а цена клика - упала. Как результат: нейронка Директа нашла новую аудиторию, которая начала делать конверсии, но по анализу слепков и поведения в вебвизоре к кликам присоединились и боты нового типа, которых ранее на сайте не было.
С 13 апреля в Яндекс Директ мы отключили аудиторию аудиторию "Не браузеры+Боты". Теперь на сайте боты из списка так же не могут совершать конверсий и еще Яндекс Директ не осуществляет показ объявлений аудитории "Не браузеры+Боты"+похожие:
Тут же показы объявлений сильно упали: видно, что Директ отключил показы нужной нам аудитории. При этом стоимость клика выросла, а число кликов стало как и прежде. Т.е. цель отключения показа объявлений ботам достигнута.
С 23 апреля были запрещены конверсии для всех, кто не в списке настоящих браузеров. В среднем цена клика стала равной 70 рублей за клик. Это в 3 раза меньше, чем до подключения KillBot.
Сравним результаты работы Поисковой кампании до и после подключения фильтра ботов
Для поисковых кампаний стратегии Директа работают по другому и здесь нет явной зависимости стоимости от конверсий. Поэтому, в случае поисковых кампаний, можно просто отключать аудиторию ботов, что запретит им кликать по объявлениям. В этом случае аудитории ботов объявления показываться не будут, общее число кликов снизится, а стоимость клика останется прежней.
Конкретно в этом примере аудитория ботов была отключена 15 апреля. До 15 апреля было примерно 40 кликов в день, а после - число кликов в день упало примерно до 35.
Выводы:
- Для РСЯ кампаний нужно отключать аудиторию ботов и отключать конверсии для ботов: это существенно сузит охваты до настоящих пользователей и кратно может снизить стоимость клика.
- Для поисковый кампаний достаточно отключить аудиторию ботов - здесь экономия будет на кликах, которые боты не осуществят.