Поддерживаемые боты
CrawlerLens определяет и обрабатывает запросы от этих ботов:
Поисковые системы
| Бот | User-Agent | Описание |
|---|---|---|
googlebot | Основной краулер Google | |
| Bing | bingbot | Краулер Microsoft Bing |
| Яндекс | yandex | Краулер Яндекса |
| Baidu | baiduspider | Китайская поисковая система |
| DuckDuckGo | duckduckbot | Приватный поисковик |
| Yahoo | slurp | Краулер Yahoo |
Социальные сети
| Платформа | User-Agent | Описание |
|---|---|---|
facebookexternalhit, facebot | Превью ссылок | |
| Twitter/X | twitterbot | Превью карточек |
linkedinbot | Превью постов | |
| Telegram | telegrambot | Превью ссылок |
whatsapp | Превью ссылок | |
| Discord | discordbot | Превью embed |
| Slack | slackbot | Развёртка ссылок |
| ВКонтакте | vkshare | Превью постов |
AI-краулеры
| Бот | User-Agent | Описание |
|---|---|---|
| OpenAI GPT | gptbot, chatgpt-user | Обучение GPT |
| Anthropic Claude | claudebot, anthropic-ai | Обучение Claude |
| Perplexity | perplexitybot | Perplexity AI |
| Cohere | cohere-ai | Cohere AI |
Сервисы превью
| Сервис | User-Agent | Описание |
|---|---|---|
| Embedly | embedly | Embed-виджеты |
| Quora | quora link preview | Превью ссылок |
| W3C | w3c_validator | HTML валидатор |
Выбор ботов при интеграции
При генерации конфига Nginx вы можете выбрать группы ботов:
- Поисковые системы — Необходимо для SEO
- Социальные сети — Для красивых превью ссылок
- AI-краулеры — Для доступа AI-моделей
- Превью/Embed — Для embed-сервисов