FAQ: Вопросы по защите от ботов KillBot

Подписывайтесь на канал KillBot, я там рассказываю о самих алгоритмах: https://t.me/KillBotRus


С чего начать?

Разместите скрипт KillBot на сайте. После, заходите в личный кабинет и смотрите раздел 'Слепки' - там трафик будет кластеризоваться по слепкам. Боты будут за своими слепками, а пользователи - за своими. Там же будет ссылка на вебвизор для контроля поведения.

Видео:

Мелкие поясняющие видео:

Подберите инеграцию KillBot именно для вашего конкретного случая:

  • Если вы хотите просто убрать поведенческих ботов с сайта (это прямые заходы, переходы из поиска и др. спам заходы), то просто отключите счетчик метрики для бота. Яндекс не узнает, что бот посещал сайт, пользователь экрана верификации не увидит - все довольны.
  • Если вы хотите фильтровать ботов в Яндекс Директ, то метрику от бота скрывать нельзя, так как нам нужно ботов собирать в аудиторию, чтобы на её основании создать похожую на ботов аудиторию. В этом случае оставьте скрытую установку, а счетчик метрики не скрывайте. Когда данные соберутся, проанализируете слепки и финально донастроите скрипт KillBot - после можэно выставить установку через экран, чтобы боты не смогли сделать конверсию (это по желанию, я установку через экран не люблю)
  • Если нужно избавится от спам заявок. Здесь два варианта работы - или передавать результат проверки на бота в url - чтобы получать информацию от кого заявка через метку. Или организовать заход на сайт через экран и боту показать капчу или бесконечную капчу. Вариант работы через капчу я не люблю. Если хотите использовать капчу, то убедитесь, что все слепки классифицированы верно, чтобы капча не показывалась настоящим пользователям.
  • Распределение трафика на партнёрки, чтобы партнёрки получали только числый трафик из вашего источника. В этом случае нужна интеграция через страницу редиректа: пользователя можено редиректить на один url, а бота на другой.

Как проверить что KillBot установлен корректно?

  • Нужно зайти в Яндекс Вебвизор и посмотреть, что во всех визитах (в абсолютном большинстве) присутствуют параметры посетителя, которые в Метрику отправляет KillBot.

Почему параметры посетителей могут отправляться в метрику не для всех визитов?

  • Скорее всего, у вас выставлен параметр "использовать код метрики KillBot" и, при этом, ваш код метрики не удален с сайта. Удалите ваш код и проблема уйдет.
  • Возможно, что у вас выставлен параметр "использовать код метрики установленный на сайте" и при этом код KillBot находится выше вашего счетчика метрики. Поместите счетчик метрики выше кода KillBot, чтобы код метрики успел прогрузиться заранее.
  • Некоторые боты кешируют сайт и загружают старую, закешированую ботом версию. В этом случае нужно подождать пока бот очистит свой кеш.

На старнице слепков в личном кабинете KillBot я вижу поле БОТ. Как именно оно рассчитывается?

  • Когда приходит посетитель на сайт, для его браузера строится слепок. Этот слепок может быть или в системных списках браузеров или в системных списках ботов. Так же этот визит может не состоять ни в каком списке. если визит в списке браузеров, то он будет помечен как пользоватеть (Бот=Нет), если визит в списке ботов, то он будет помечен как (БОТ=ДА). Если визита нет в списках , то он будет помечен в зависимости от значения настройки: "Визит с неизвестным слепком это". Например, если "Визит с неизвестным слепком это" = "Пользователь", то слепок будет помечен ка кпользоваетль:  (Бот=Нет).
    Вот ВИДЕО с пояснением: https://youtu.be/pW5G8oumZws

Можно ли установить KillBot на тильду?

  • Да, можно. Вот инструкция для установки защиты от ботов на Тильда: https://killbot.ru/node/18

Можно ли установить KillBot на сайт-конструктор?

  • Да, можно. Вот инструкция для установки защиты от ботов на конструктор: https://killbot.ru/node/22 

У меня несколько доменов, можно ли KillBot использовать на несколько доменов?

  • Скрипт KillBot НЕ привязывается к домену. Скрипт привязывается только к счетчику метрики. Т.е. Если на разных доменах у вас разные счетчики метрики, то можно для скрипта KillBot указать свой отдельный счетчик метрики и только с него собирать аудиторию. Если вы не хотите объединять аудитории разных сайтов под одном счетчиком KillBot, то тогда нужно купить отдельную подписку. Если у вас на разных сайтах один и тот же счетчик метрики, то используйте KillBot штатно.

Как-то все сложно: слепки, характеристики, настройки...

  • Мы живём в сложном мире, где нужно задумываться. Настроить Директ - нужно разбираться. Проанализировать воронку продаж в Яндекс Метрике для выявления узких мест и повышения конверсии - тоже задуматься нужно. В KillBot можно использовать настройки по умолчанию, это даст 95% качества фильтрации от ботов. Но если вы хотите  фильтровать ботов на 100%, то нужно задуматься или приобрести тариф с нашим сопровождением.

Я взял BAS, зашел на ваш сайт и меня не заблокировало!

  • Если вы провели такой тест, значит вы не поняли принципа работы KillBot. KillBot не работает по принципу чёрного ящика: кого-то заблокировал, кого-то пропустил. KillBot разбивает трафик на слепки пользователей и слепки ботов. Вы можете самостоятельно пометить слепки за которыми стоят боты и обрабатывать их по другому (блокировать, показывать капчу, подменять контент и т.п.).
  • KillBot - это сложная система. Вы, например, можете взять бота одного типа и блокировать только его.

Во всех ли регионах РСЯ есть боты?

  • Боты есть там, где их массовый нагул экономически выгоден. Это Москва и Питер, например. Чем меньше город, тем меньше вероятность, что там будут боты. Например, для моих кампаний РСЯ на Уфу и Нефтекамск ботов нет - там только случайные клики.
  • Боты могут быть с регионов, где продаются мобильные прокси. Самые востребованные регионы: Москва и Питер.

Подписка за 999 рублей фильтрует ботов в Яндекс Директ?

  • Для фильтрации ботов в Яндекс Директ нужны две подписки по 999 рублей. Одна подписка - за установку скрипта KillBot на сайт. А вторая подписка за подключение аккаунта Яндекс Директ к нашей системе. Это два разных инструмента, поэтому две подписки. Подписку для аккаунта Яндекс Директ можно активировать на странице аккаунтов: https://killbot.ru/yandex_direct/accounts

Можно ли при активной кампании в Яндекс Директ скрывать ботов из метрики?

  • При использовании Яндекс Директ метрику от ботов скрывать нельзя. На основании ботов с сайта создается аудитория ботов и похожих на них, которые минусуются в Директе. Если ботов в метрике не будет, то аудитория ботов не будет создана.

Мой сайт не упадёт в поисковой выдаче?

  • KillBot не оказывает негативного влияние ни на Яндекс ни на Google. Сам KillBot в топе Яндекса, в топе Google есть мои другие сайты как с экраном KillBot, так и со скрытой установкой.
  • Индикатор google page speed на позиции сайта в поисковой выдаче влияние не оказывает.


Как максимально автоматизировать работу KillBot?

  • Некоторые визиты, по слепку, KillBot автоматчиески может пометить как боты - если они 100% боты. При этом, останутся другие слепки, которые нужно классифицировать вручную. Я рекомендую сначала выставить "Визит с неизвестным слепком"=Бот. Потом, по мере накопление трафика, вам нужно пробежаться по слепкам (у которых более 10-ти визитов или не более 2-х страниц) и классифицировать их. Это первичная настройка. Далее можно выставить "Визит с неизвестным слепком"="Определить автоматически" и периодически смотреть на слепки и клссифицировать новые. 

Почему визиты не всех слепков можно посмотреть в Метрике?

  • Если слепка визита нет в метрике этому две причины. Или это простой бот, которого вебвизор не записывает или это поведенческие боты, которые скрывают метрику. Чтобы проверить наверняка, в личном кабинете KillBot зайдите в "Визиты" - это ссылка напротив интересующего слепка - отобразятся визиты списком. Посмотрите, если в колонке 'Браузер' есть запись, что это бот или Headless браузер - значит, это бот которого просто нет смысла отображать в вебвизоре. А если там реальные браузеры по типу Chrome, то это поведенческие боты, которые вырезают метрику.

Если мы на одном сайте отловили слепок бота, можем ли мы "поделится опытом" с другими своими сайтами?

  • Вы можете слепок с одного сайта использовать в другом своем сайте. Для этого:
    1. Создайте группу ботов
    2. Добавьте слепок в эту группу
    3. Подключите эту группу ботов к другому проекту
    Более подробна как это сделать читайте в инструкции здесь: https://killbot.ru/node/1

Ваш сервис знает всех ботов?

  • Сервис KillBot предоставляет системный список ботов - это сборная солянка из ботов, которые присутствуют в разных проектах. Я рекомендую не использовать системный список ботов, а на основании слепков создать список, характерный именно для вашего сайта. Если у сайта очень грязный трафик, то можно использовать системный список ботов, если трафик в целом не грязный, то лучше заблокировать слепки только тех ботов, что посещают именно ваш сайт.

Можно ли запретить показывать объявления ботам в Яндекс Директ, чтобы они не кликали?

  • Яндекс Директ не предоставляет инструмента пред проверки пользователя, кому показывать объявление, а кому - нет. В Яндекс есть возможность корректировки ставок для собранной аудитории и на неё похожей. KillBot собирает аудиторию ботов и в Директе запрещает показ объявлений этой аудитории ботов и похожей на этих ботов. При этом, могут начаться показы объявлений ботам нового типа - они так же будут добавляться в аудиторию для игнорирования.

Какую именно аудиторию для фильтрации ботов в Яндекс Директ мне выбрать?

  • Для поисковой кампании выбирайте "В списке ботов". В поиске скликивают умышленно, т.е. в поиске вручную нужно заблокировать пару слепков ботов, остальной трафик будет чистый.
  • Для РСЯ выбирайте "Боты + Нет в списках" - тут мы исключаем всех, кого нет в списках известных браузеров. В РСЯ ботов очень много - всех их в списки добавить не реально.

Можно ли заблокировать только одного бота, который спамит в формы?

  • Да, можно. Установите скрипт KillBot на сайт, найдите слепок визита бота, который спамит. Создайте группу ботов и добавьте в группу только один этот слепок. Запретите всем визитам с этим слепком заход на сайт. Это действие заблокирует только конкретного бота, визиты с другим слепком не пострадают. Инструкция как это сделать: https://killbot.ru/node/1
  • Или можно не блокировать, а помечать, что заявка от бота. Я рекомендую этот вариант - чтобы бот не пытался обойти защиту.

Можно ли заблокировать ботов, которые генерируют прямые заходы?

  • Да, можно - по тому же принципу, что и запрет спама через формы выше.

По анализу поведения в вебвизоре визит, помеченный килботом как бот, похож на реального посетителя. Что делать?

  • Обратите внимание, что у одного визита может и не быть однозначных признаков поведения настоящего пользователя. Анализируйте всегда группы визитов по основному слепку, в дополнение используйте детализирующий слепок, если к поведению основного есть вопросы.
  • Скорее всего, визит помечен как бот, так как его слепка нет в списках известных браузеров.
  • Убедитесь, что визита нет в списке известных ботов. В метрике в параметрах посетителя это параметры bl и bld. Если bl.true - то основной слепок есть в списке известных ботов. Если bld.true - то и детализированный слепок есть в списке ботов.
  • Создайте группу браузеров и добавьте слепок в эту группу: https://killbot.ru/node/1#6

Cлепки у меня были в свое время добавлены в виде ботов, а сегодня они просочились в рекламу, хотя в Директе корректировка стоит. В чем может быть проблема?

  • Директ собирает похожую аудиторию по интересам. Директ берет интересы  ботов с указанным слепком и на основании их поведения и посещаемых сайтов находит похожих. И фильтрует похожих. Это не даёт гарантию, что всем ботам с таким слепком Директ полностью запретит показы. Эти новые, просочившиеся, боты так же попадут в аудиторию для игнорирования. С ростом этой аудитории аудитория похожих ботов для исключения показов так же будет расти.