KillBot позволяет автоматически пропускать официальных ботов и нейросети, чтобы они корректно индексировали сайт и работали без ограничений.
Как это работает
В настройке «URL с IP-адресами ботов и чекеров» указываются ссылки на официальные источники, содержащие списки IP-адресов (в формате CIDR).
KillBot:
- регулярно скачивает данные по указанным URL,
- извлекает IP-сети,
- добавляет их в список доверенных,
- пропускает трафик от этих IP без проверок.
Таким образом, если запрос пришёл с доверенного IP — он считается официальным ботом и не блокируется.
Пример источников
https://openai.com/gptbot.json
https://openai.com/chatgpt-user.json
https://openai.com/searchbot.json
https://developers.openai.com/api/docs/bots
Это официальные списки IP-адресов ботов от OpenAI (например: GPTBot, ChatGPT, SearchBot).
Важно: только официальные источники
Данная функция работает только для сервисов, которые публикуют свои IP-адреса в виде JSON (или аналогичных машиночитаемых списков).
То есть:
- если у сервиса есть официальный JSON со списком IP — его можно добавить,
- если такого списка нет — KillBot не сможет гарантированно отличить реального бота от подделки.
Почему это важно
Многие боты могут подделывать:
- User-Agent,
- заголовки,
- поведение.
Поэтому единственный надёжный способ определить официального бота — это проверка IP-адреса по доверенному списку.
Какие боты можно пропускать
Через эту систему можно безопасно пропускать:
- нейросети (например GPTBot, ChatGPT),
- поисковые боты (если есть официальный список IP),
- чекеры и валидаторы,
- другие сервисы, публикующие свои IP.
Обновление списков
KillBot автоматически обновляет IP-адреса из указанных URL.
Это означает:
- вам не нужно вручную обновлять списки,
- новые IP ботов будут добавляться автоматически,
- старые IP будут удаляться при изменении источника.
Как правильно использовать
- Добавляйте только официальные URL от сервисов
- Не используйте неизвестные или сторонние источники
- Проверяйте, что URL действительно содержит список IP
- Один URL — одна строка
Коротко
KillBot пропускает нейросети и официальных ботов по IP-адресам из доверенных JSON-источников.
Работает только для сервисов, которые публикуют свои IP.
Это защищает от поддельных ботов и позволяет безопасно пропускать реальные.