FAQ: Вопросы по защите от ботов KillBot

Подписывайтесь на канал KillBot: https://t.me/KillBotRus - я там рассказываю кто генерирует ботов, зачем, как написать своего бота. Там же кейсы при работе с Яндекс Директ, роботностью метрики, фильтрации ботов и т.п.

С чего начать?

Разместите скрипт KillBot на сайте. После, заходите в личный кабинет и смотрите раздел 'Слепки' - там трафик будет кластеризоваться по слепкам. Боты будут за своими слепками, а пользователи - за своими. Там же будет ссылка на вебвизор для контроля поведения.

Видео:

Мелкие поясняющие видео:

Мой сайт не упадёт в поисковой выдаче?

  • KillBot не оказывает негативного влияние ни на Яндекс ни на Google. Сам KillBot в топе Яндекса, в топе Google есть мои другие сайты как с экраном KillBot, так и со скрытой установкой.
  • Индикатор google page speed на позиции сайта в поисковой выдаче влияние не оказывает.

Подберите инеграцию KillBot именно для вашего конкретного случая:

  • Если вы хотите просто убрать поведенческих ботов с сайта (это прямые заходы, переходы из поиска и др. спам заходы), то просто отключите счетчик метрики для бота. Яндекс не узнает, что бот посещал сайт, пользователь экрана верификации не увидит - все довольны.
  • Если вы хотите фильтровать ботов в Яндекс Директ, то метрику от бота скрывать нельзя, так как нам нужно ботов собирать в аудиторию, чтобы на её основании создать похожую на ботов аудиторию. В этом случае я рекомендую установку через экран с демонстрацией слайдера ботам. Боты не пройдут через слайдер и не совершат учитываемых Директом конверсий.
  • Если нужно избавится от спам заявок. Здесь два варианта работы - можно использовать скрытую установку и передавать результат проверки на бота в url, или организовать заход на сайт через экран и боту показать слайдер или капчу. 
  • Распределение трафика на партнёрки, чтобы партнёрки получали только числый трафик из вашего источника. В этом случае нужна интеграция через страницу редиректа: пользователя можно редиректить на один url, а бота на другой; бота можно заблокировать или продемонстрировать капчу для продолжения перехода.

Как-то все сложно: слепки, характеристики, настройки...

  • Мы живём в сложном мире, где нужно задумываться. Настроить Директ - нужно разбираться. Проанализировать воронку продаж в Яндекс Метрике для выявления узких мест и повышения конверсии - тоже задуматься нужно. В KillBot можно использовать настройки по умолчанию, это даст 95% качества фильтрации от ботов. Но если вы хотите  фильтровать ботов на 100%, то нужно задуматься или приобрести тариф с нашим сопровождением.

Обязательно ли нужно лазить в слепках и разбираться?

  • Не обязательно, вы можете использовать настройки по умолчанию - это даст более 90-95% точности выявления настоящих пользователей. Если вы хотите большей точности или есть видимые проблемы со спамом и ботами, то нужно немного покопаться в слепках.

Как проверить что KillBot установлен корректно?

  • Нужно зайти в Яндекс Вебвизор и посмотреть, что во всех визитах (в абсолютном большинстве) присутствуют параметры посетителя, которые в Метрику отправляет KillBot.

Почему параметры посетителей могут отправляться в метрику не для всех визитов?

  • Скорее всего, у вас выставлен параметр "использовать код метрики KillBot" и, при этом, ваш код метрики не удален с сайта. Удалите ваш код и проблема уйдет.
  • Возможно, что у вас выставлен параметр "использовать код метрики установленный на сайте" и при этом код KillBot находится выше вашего счетчика метрики. Поместите счетчик метрики выше кода KillBot, чтобы код метрики успел прогрузиться заранее.
  • Некоторые боты кешируют сайт и загружают старую, закешированую ботом версию. В этом случае нужно подождать пока бот очистит свой кеш.

Какие именно параметры посетителей KillBot отправляет в метрику?

  • wl (while list) - слепок в белом списке;
  • bl (black list) - слепок в черном списке; в бесплатной подписке не доступен; 
  • fraud,bot - если true, то бот (по логике выставленной в настройке скрипта);
  • solved - если true, значит решил слайдер;
  • l (loaded) - если true, значит, что код KillBot прогружен полностью. У настоящих пользователей код прогружается полностью, а боты могут недозагружать код для экономии ресурсов;
  • os (operating system) - операционная система визита (берётся из user agent);
  • vpn - 0 - использование vpn не выявлено, 1 - используется впн, так как из сети пользователя доступен заблокированных сайт, 2 - возможен впн так как отпечаток системы не совпадает с user agent устройства; 
  • net_id - идентификатор сетевого окружения пользователя. net_id будет одинаковый для мульти-аккаунтового софта и для различных прокси-сессий с одного устройства.
  • snsht - слепок браузера
  • UserID - уникальный идентификатор пользователя при подключении через DNS прокси, в остальных случаях это cookies, которая живет пока пользователь её не очистит.

В чем заключается идея фильтрации ботов в Яндекс Директ?

  • Каждый визит помечается как бот или нет
  • Визиты ботов собираются в аудиторию
  • Для этой аудитории ботов строится look-alike аудитория
  • Для этой look-alike аудитории ботов выставляется корректировка ставок в '-100%'

Как расширить аудиторию ботов до 250 000 для минусации в Яндекс Директ

Подписка за 999 рублей фильтрует ботов в Яндекс Директ?

  • Для фильтрации ботов в Яндекс Директ нужны две подписки по 999 рублей. Одна подписка - за установку скрипта KillBot на сайт. А вторая подписка за подключение аккаунта Яндекс Директ к нашей системе. Это два разных инструмента, поэтому две подписки. Подписку для аккаунта Яндекс Директ можно активировать на странице аккаунтов: https://killbot.ru/yandex_direct/accounts

Можно ли запретить показывать объявления ботам в Яндекс Директ, чтобы они не кликали?

  • Яндекс Директ не предоставляет инструмента пред проверки пользователя, кому показывать объявление, а кому - нет. В Яндекс есть возможность корректировки ставок для собранной аудитории и на неё похожей. KillBot собирает аудиторию ботов и в Директе запрещает показ объявлений этой аудитории ботов и похожей на этих ботов. При этом, могут начаться показы объявлений ботам нового типа - они так же будут добавляться в аудиторию для игнорирования.

Какую именно аудиторию для фильтрации ботов в Яндекс Директ мне выбрать?

  • Я рекомендую выбрать аудиторию "Боты минус капча", так как из этой аудитории исключаются визиты которые прошли капчу. Если вы используете скрытую установку, то всеравно можно выбрать эту аудиторию.

Cлепки у меня были в свое время добавлены в виде ботов, а сегодня они просочились в рекламу, хотя в Директе корректировка стоит. В чем может быть проблема?

  • Директ собирает похожую аудиторию по интересам. Директ берет интересы  ботов с указанным слепком и на основании их поведения и посещаемых сайтов находит похожих. И фильтрует похожих. Это не даёт гарантию, что всем ботам с таким слепком Директ полностью запретит показы. Эти новые, просочившиеся, боты так же попадут в аудиторию для игнорирования. С ростом этой аудитории аудитория похожих ботов для исключения показов так же будет расти.

Можно ли при активной кампании в Яндекс Директ скрывать ботов из метрики?

  • При использовании Яндекс Директ метрику от ботов скрывать нельзя. На основании ботов с сайта создается аудитория ботов и похожих на них, которые минусуются в Директе. Если ботов в метрике не будет, то аудитория ботов не будет создана.

Можно ли заблокировать только одного бота, который спамит в формы?

  • Да, можно. Зайдите в вебвизор и найдите слепок визита бота, который спамит (заходим м вебвизор, ищес спамный визит, в параметрах посетителя смотрим параметр - snpsht).
  • Посмотрите что остальные визиты с этим же слепком тоже боты.
  • Найдите слепок этого бота на странице слепков.
  • Выставьте действие на этого бота вручшую - показать капчу или заблокировать.

Можно ли заблокировать ботов, которые генерируют прямые заходы?

  • Да, можно - по тому же принципу, что и запрет спама через формы выше.

На старнице слепков в личном кабинете KillBot я вижу поле БОТ. Как именно оно рассчитывается?

  • Когда приходит посетитель на сайт, для его браузера строится слепок. Этот слепок может быть или в системных списках браузеров или в системных списках ботов. Так же этот визит может не состоять ни в каком списке. если визит в списке браузеров, то он будет помечен как пользоватеть (Бот=Нет), если визит в списке ботов, то он будет помечен как (БОТ=ДА). Если визита нет в списках , то он будет помечен в зависимости от значения настройки: "Визит с неизвестным слепком это". Например, если "Визит с неизвестным слепком это" = "Пользователь", то слепок будет помечен ка кпользоваетль:  (Бот=Нет).
    Вот ВИДЕО с пояснением: https://youtu.be/pW5G8oumZws

Как определить по слепку пользователи это или боты?

  • Для определения кому принажлежат визиты за слепком всегда смотрите по живым конверсиям. Если слепок принадлежит боту, то живых конверсий не будет. Всегда анализируйте визиты массово: если в слепке до 10-ти визитов, то этого может быть не достаточно для анализа. Если нет возможности проанализировать живые конверсии, то некоторые слепки ботов можно выявлять косвенно по сходему поведению (одинаковоя активность, время на сайте более 2 мин. у большинства сессий, просмотр страниц лицензионного соглашения и т.п).

Что делать, если заявка оказывается целевой, но помечена как bot.true?

  • Если живая заявка помечена как bot.true , то в этом случае нужно взять слепок этого визита, проанализировать другие визиты с этим же слепком и убебится, что другие визиты не боты. Если визиты с основным слепком боты, то проанализируйте детализированный слепок. После этого нужно добавить слепок визита в известные браузеры, чтобы последующие визиты с таким же слепком (или детализирующим слепком) трактовались как пользователи.

Что делать, если визит целевой, но помечен как bl.true - т.е. есть в системной группе ботов?

  • Я не рекомендую использовать системную группу ботов. Ботов очень много в интернете, проще иметь дело с локальными ботами одного сайта. Бот может повторять реальный слепок на каком либо другом сайте, но у вас такого бота не будет и использование его слепкабессмысленно. Лучше создать группу ботов именно вашего сайта и отключить системную группу ботов.
    • Добавьте слепок ошибочного визита в эту группу настоящих пользователей.
    • Создайте групу ботов именно вашего сайта и добавьте в неё слепки ботов именно вашего сайта
    • Отключите системную группу ботов
    • После этого все визиты с ошибочным слепком будут помечены как настоящие пользователи

Какие рекомендации вы дадите при работе с Яндекс Директ?

  • Работа по исключению ботов из Яндекс Директ схожа с ведением кампаний: нужно регулярно смотреть результат, вносить корректировки и добиваться максимального результата.
  • Начинайте работать с установки счетчика KillBot с настройками по умолчанию.
  • Подождите пока аналитика соберётся и проанализируйте поведение пользователей по слепкам в вебвизорре.
  • Добавляейте слепки в группу настоящих браузеров если за ними есть живые конверсии, если конверсий нет, то отправляйте слепок в группу ботов. В дополнение используйте вебвизор для анализа поведения и классификации визитов слепка.
  • Создайте группу ботов с слепками именно вашего сайта и в настройках скрипта используйте только её. Не используйте системные группы ботов.
  • Посмотрите по вебвизору, что в абсолютном большинстве визиты помечены верно: если визит помечен как bot.true, то это бот.
  • В настройках скрипта выставьте установка через экран KillBot - показать слайдер - чтобы боты не проходили дальше экрана и не совершали бы конверсий.
  • В метрике создайте сегмент аудитории ботов (визиты, которые помечены как bot.true).
  • Начинаем экспериментировать и исключать сегменты ботов:
    1. Импортируйте кампанию Яндекс Директ в интерфейс KillBot и выберите аудиторию для исключения - "Боты".
    2. В Яндекс Директ в аудиториях найдите созданную KillBot аудиторию (вот инструкция: https://killbot.ru/node/21). Можно протестировать две аудитории: "Только выбранный сегмент" и "Выбранный сегмент и походие пользователи". Здесь похожите - это боты, которым реклама ещё не была показана.
    3. Сначала протестируем только "Только выбранный сегмент" - это исключит ботов которые совершают по рекламе повторные визиты на ваш сайт.
    4. Ждите и анализируйте результат. Стратегия директ переобучается 7-14 дней. Посмотрите не появились ли слепки новых ботов в статистике KillBot - если они там есть, то поместите их в боты. Посмотрите не проходят ли боты слайдер-капчу, если вдруг проходят, то можно поменять на гугл капчу. Посмотрите общее число кликов, показов, стоимость клика. Посмотрите что визиты которые помечены bot.true это по настоящему боты, если нет, то вносите корректировки. Посмотрите что боты не осуществляют конверсий.
    5. После анализа пункта 4 можно расширить аудиторию ботов для фильтрации до "Выбранный сегмент и походие пользователи" - это боты + аудитория похожая на ботов.
    6. Далее итеративно выполняем анализ аналогично пункту 4.
    7. Еще врианты работы для итераций:
      • В настройках скрипта KIllbot: опцию "Визит с неизвестным слепком это" выставьте "пользователь" или "определять автоматически". Это уменьшит минусуемую аудиторию ботов (хвост трафика в 5-10%);
      • Вы можете создавать собственные сегменты аудиторий на основании данных, которые KillBot отправляет в параметры посетителя - экспериментируйте. 
      • Стройте свою аудиторию ботов сервисом Яндекс Аудитории - это увеличит аудиторию ботов для минусации.
      • Качественные визиты настоящих браузеров можно так же выделить в аудиторию, построить похожую аудиторию и увеличить на неё корректировку ставок;
      • Пишите в поддержку, смотрите, анализируйте и принимайте решение как можно решить именно ту проблему с которой вы столкнулись;

Можно ли установить KillBot на тильду?

  • Да, можно. Вот инструкция для установки защиты от ботов на Тильда: https://killbot.ru/node/18

Можно ли установить KillBot на сайт-конструктор?

  • Да, можно. Вот инструкция для установки защиты от ботов на конструктор: https://killbot.ru/node/22 

У меня несколько доменов, можно ли KillBot использовать на несколько доменов?

  • Скрипт KillBot НЕ привязывается к домену. Скрипт привязывается только к счетчику метрики. Т.е. Если на разных доменах у вас разные счетчики метрики, то можно для скрипта KillBot указать свой отдельный счетчик метрики и только с него собирать аудиторию. Если вы не хотите объединять аудитории разных сайтов под одном счетчиком KillBot, то тогда нужно купить отдельную подписку. Если у вас на разных сайтах один и тот же счетчик метрики, то используйте KillBot штатно.

Я взял BAS, зашел на ваш сайт и меня не заблокировало!

  • Если вы провели такой тест, значит вы не поняли принципа работы KillBot. KillBot не работает по принципу чёрного ящика: кого-то заблокировал, кого-то пропустил. KillBot разбивает трафик на слепки пользователей и слепки ботов. Вы можете самостоятельно пометить слепки за которыми стоят боты и обрабатывать их по другому (блокировать, показывать капчу, подменять контент и т.п.).
  • KillBot - это сложная система. Вы, например, можете взять бота одного типа и блокировать только его.

Как максимально автоматизировать работу KillBot?

  • Некоторые визиты, по слепку, KillBot автоматчиески может пометить как боты - если они 100% боты. При этом, останутся другие слепки, которые нужно классифицировать вручную. Я рекомендую сначала выставить "Визит с неизвестным слепком"=Бот. Потом, по мере накопление трафика, вам нужно пробежаться по слепкам (у которых более 10-ти визитов или не более 2-х страниц) и классифицировать их. Это первичная настройка. Далее можно выставить "Визит с неизвестным слепком"="Определить автоматически" и периодически смотреть на слепки и клссифицировать новые. 

Почему визиты не всех слепков можно посмотреть в Метрике?

  • Если слепка визита нет в метрике этому две причины. Или это простой бот, которого вебвизор не записывает или это поведенческие боты, которые скрывают метрику. Чтобы проверить наверняка, в личном кабинете KillBot зайдите в "Визиты" - это ссылка напротив интересующего слепка - отобразятся визиты списком. Посмотрите, если в колонке 'Браузер' есть запись, что это бот или Headless браузер - значит, это бот которого просто нет смысла отображать в вебвизоре. А если там реальные браузеры по типу Chrome, то это поведенческие боты, которые вырезают метрику.

По анализу поведения в вебвизоре визит, помеченный килботом как бот, похож на реального посетителя. Что делать?

  • Обратите внимание, что у одного визита может и не быть однозначных признаков поведения настоящего пользователя. Анализируйте всегда группы визитов по основному слепку, в дополнение используйте детализирующий слепок, если к поведению основного есть вопросы.
  • Скорее всего, визит помечен как бот, так как его слепка нет в списках известных браузеров.
  • Убедитесь, что визита нет в списке известных ботов. В метрике в параметрах посетителя это параметры bl и bld. Если bl.true - то основной слепок есть в списке известных ботов. Если bld.true - то и детализированный слепок есть в списке ботов.
  • Создайте группу браузеров и добавьте слепок в эту группу: https://killbot.ru/node/1#6

Слепок браузера это фингерпринт?

  • Нет слепок браузера не имеет ничего общего с фингерприном.
  • Фингерпринт - это слепок конкретного пользователя - это слепок параметров браузера и компьютера, которые индивидуальны для каждого пользователя.
  • Слепок браузера - это слепок софта досступа на сайт (хром, сафари и любой другой браузер в случае пользователя). Например, если у пользователя из России установлен браузер хром версии X на операционной системе всерсии Y, то слепок браузера хром у пользователя из Китая будет таким же, если версии браузера и операционной системы прмерно совпадают.