По умолчанию KillBot блокирует всех простых HTTP-ботов (кроме поисковых и др. полезных из белого списка). Под блокировку попаут:
-
чекеры и валидаторы,
-
SEO-анализаторы,
-
боты для парсинга robots.txt и XML,
-
технические боты экспорта (например, для 1С),
-
любые сторонние боты, не относящиеся к поисковым системам и белому списку в Килбот.
Без дополнительной настройки KillBot разрешает доступ:
-
поисковым ботам (Яндекс, Google и др.),
-
ботам мессенджеров,
-
другим заранее известным и полезным ботам из whitelist (авито, вконтакте и т.п.).
Все остальные боты блокируются по умолчанию.
Нужно разрешить доступ к сайту, если нужна:
-
выгрузка товаров с сайта,
-
экспорт данных в 1С,
-
работа SEO-анализаторов (проверка title, description, структуры страниц),
-
генерация XML-фидов для Яндекс.Директа или маркетплейсов,
-
чтобы картинки на сайте, стили скрипты и др. элементы были бы доступны вне сайта,
-
и т.п.
— таким ботам необходимо явно разрешить доступ.
Способы разрешить доступ ботам в KillBot
0. Временно отключить Экран KillBot на время сканирования
Это хорошее решение, чтобы не разбираться и не искать какие ip и user agent нужно прописать а разрешенных. Для этого в опции "Способ Интеграции" выберите "ДНС Экран Отключен" (не забудьте включить после завершения процесса):
Далее нажмите "Сохранить", Reload DNS жать НЕ надо.
1. Разрешение по IP-адресу
Если у бота или анализатора фиксированный IP-адрес, самый безопасный вариант — добавить этот IP в список разрешённых.
Подходит для:
-
SEO-сервисов,
-
корпоративных интеграций,
-
внутренних выгрузок.
ВАЖНО! Добавьте IP сервера сайта в список разрешенных, чтобы килбот пропускал все локальные запросы с IP сайта
2. Разрешение по URL-пути
Можно разрешить доступ к конкретному пути сайта для любых IP.
Примеры:
-
путь к XML-фиду товаров,
-
путь для экспорта в 1С,
-
любые другие пути которые могут дёргать сайт с разных IP.
3. Разрешение по User Agent
Можно разрешить доступ к всем визитам с определенным User Agent
Тут важно понимать, что сайт будет доступен и для любого стороннего бота кто зайдет с User Agent.
Строку в User Agent нужно добавлять так: KillBot пропускает запросы, если User-Agent содержит все указанные слова (через точку). Yandex.bot — пропустит user agent у которого будет вхождение слов Yandex и bot. Важно: не удаляйте стандартные значения (yandex, google), иначе поисковики не смогут индексировать сайт.
Открыть доступ к изображениям на сайте и картинок
Если вы разрешили, например, XML-фид товаров для Яндекса:
-
внутри XML обычно уже прописаны ссылки на картинки,
-
чтобы фид корректно обработался, пути к изображениям тоже должны быть разрешены.
По умолчанию килбот запретит открыть картинку вне сайта!
Чтобы картинки можно было экспортировать, путь к изображениям сайта нужно добавить в разрешенные!
URL картинок часто ДДосят
Часто сайты падают, когда одну и ту же картинку начинают скачивать в 100–200 потоков одновременно. Это частый сценарий ддоса и хостер отключит сайт от хостинга в этом случае. Для пользователя это шок, а по факту это фигня.
Поэтому, если открывается доступ к изображениям, нужно учитывать и этот момент.
Что делать, если я не знаю IP адреса бота или его User Agent.
В этом случае нужно посмотреть заголовок страницы верификации которую вернул KillBot. Килбот в заголовок страницы помещает IP адрес бота с которого был запрос и его User Agent. Это как раз делается для того, чтобы легко можно было бы добавить нужный чекер в разрешенный.
Например, я хочу дать доступ к своему сайту для чекера https://page-speed.ru/tools/metatags/ , если я введу свой сайт для анализа, то чекер выдаст заголовок страницы верификации, и там можно посмотреть IP адрес с какого был запрос к килботу. Именно этот IP и нужно добавить в разрешенный:
Если тулза анализатора не предоставляет заголовок страницы, то анализаторы зачастую выдают сам полученный HTML код, в этом случае можно заголовок найти в html коде и оттуда взять User Agent или IP:
Чтобы дать доступ анализатора что на скрине выше нужно:
- - или добавить IP = "52.22.66.203" в разрешенные
- - или в поле разрешенных User Agent добавить "Validator.nu"
Итог
-
KillBot по умолчанию блокирует всех ботов, кроме тех, кому можно заходить на сайт — это нормально и правильно.
-
Самые безопасные варианты — разрешение по IP или по строго ограниченным URL.
-
С картинками и ресурсами нужно быть особенно осторожными — это частая точка атак.
Как дать доступ для программы Screaming Frog SEO Spider Website Crawler
Эта программа запускается на вашем компьютере и поэтому ее ip может меняться. Поэтому вы можете просто прописать в hosts доступ к вашему домену напрямую.
Для редактирования файла hosts:
- Откройте «Блокнот» или другой текстовый редактор от имени администратора (иначе изменения не сохранятся).
- В редакторе нажмите Файл -> Открыть и вставьте путь
C:\Windows\System32\drivers\etc\hosts. (Возможно, потребуется выбрать в типе файлов «Все файлы» внизу). - Внесите запись типа 123.123.123.123 domen.ru, сохраните файл и закройте програму.
Можете проверить настроилось ли правильно:
Войдите в командную строку (CMD) или консоль PowerShell в Windows 11, нажмите комбинацию клавиш Win + X и выберите Терминал. Другой быстрый способ — кликнуть правой кнопкой мыши по кнопке Пуск и выбрать нужный пункт.
В терминале наберите ping domen.ru
Экран должен отображать ip вашего сервера, а не экрана килбот.
Если отображается ip экрана килбот, значит не под правами администратора редактировали файл hosts или не сохранили файл, попробуйте еще раз.
Будьте внимательны при использовании программы Screaming Frog SEO Spider Website Crawler, так как она создает большую нагрузку на сервер и если у вас дешевый виртуальный хостинг, то при большой нагрузке ваш сайт могут заблокировать на хостинге, что один раз уже произошло с одним нашим клиентом.