OAI-SearchBot в robots.txt: как разрешить ChatGPT Search видеть сайт
Как настроить robots.txt для ChatGPT Search, чем OAI-SearchBot отличается от GPTBot и какие правила добавить для AI SEO.
Короткий ответ
OAI-SearchBot — это crawler OpenAI для поисковых сценариев. Если вы хотите, чтобы сайт мог появляться в ChatGPT Search, не блокируйте OAI-SearchBot в robots.txt и укажите sitemap. При этом GPTBot можно разрешать или запрещать отдельно.
Минимальный robots.txt
Для SEO-Study в robots.txt стоит оставить доступ всем поисковым ботам, явно разрешить OAI-SearchBot и ChatGPT-User, указать sitemap и не закрывать ключевые разделы AI SEO, обучение, PR, услуги и блог.
Почему нельзя запрещать всех AI-ботов
Если закрыть все AI-боты без разбора, сайт может потерять видимость в новых интерфейсах поиска. Надо различать обучение моделей, поисковую индексацию и пользовательские запросы.
Что проверить после настройки
Проверьте robots.txt в браузере, отправьте sitemap в Яндекс.Вебмастер и Google Search Console, а затем посмотрите логи сервера: заходят ли поисковые боты и получают ли код 200.
Пример для SEO-Study
User-agent: OAI-SearchBot — Allow: /. User-agent: ChatGPT-User — Allow: /. User-agent: * — Allow: /. Sitemap: https://seo-study.ru/sitemap.xml.
Источники и ориентиры
Эти материалы использованы как ориентиры для технических рекомендаций.
Частые вопросы
Можно ли разрешить только OAI-SearchBot?
Да, robots.txt позволяет задавать разные правила для разных user-agent.
Помогает ли robots.txt попасть на первые места?
Нет. Он только открывает доступ. Дальше работают качество, авторитет, структура и соответствие интенту.