Анализатор доступа AI-ботов
Проверьте, видят ли важные AI-краулеры страницу, что им разрешает robots.txt и какие директивы индексации могут ограничивать AI-видимость.
Результаты анализа
| AI-бот | Статус | HTTP | Robots.txt | Robots Meta | Время ответа |
|---|
Как использовать результаты проверки
Этот блок помогает понять, почему AI-боты видят страницу не так, как обычный пользователь. Сначала устраните блокировки доступа, затем проверьте robots.txt и директивы индексации.
Что означает AI-видимость
AI-видимость показывает, сколько важных AI-ботов реально могут получить страницу и не упираются в запреты обхода или индексации.
- 85-100: страница хорошо доступна для AI-систем
- 45-84: часть ботов видит страницу, но есть ограничения
- 0-44: страницу часто блокируют или запрещают к использованию
Где искать причину
Если robots.txt разрешает доступ, но бот получает 403, 429 или тайм-аут, проблема обычно не в SEO-настройках, а в инфраструктуре.
- Проверьте CDN, WAF, firewall и bot protection
- Убедитесь, что правила не режут GPTBot, ClaudeBot, PerplexityBot и другие user-agent
- Проверьте лимиты запросов, гео-фильтры, JavaScript-челленджи и security challenge
Что исправлять сначала
Начинайте с того, что полностью закрывает доступ. Ограничения индексации имеет смысл разбирать после того, как бот уже получает страницу.
- HTTP 403/429, тайм-ауты, DNS- и SSL-ошибки
- Disallow в robots.txt для AI-ботов, которым нужен доступ
- noindex, nofollow, nosnippet и X-Robots-Tag
Как читать статусы
Доступ естьБот получает страницу, а robots.txt не запрещает обход.
ОграниченоСтраница открывается, но метатеги или HTTP-заголовки могут ограничивать индексацию, сниппеты или повторное использование.
БлокированоБот не может получить страницу из-за HTTP-ответа, защиты сайта или запрета в robots.txt.