Быстрый старт

Настройте CrawlerLens за 5 минут.

1. Создайте аккаунт

1. Перейдите на главную страницу и нажмите "Начать бесплатно"
2. Введите email и пароль
3. Подтвердите email

2. Создайте проект

1. На главной панели нажмите "Создать проект"
2. Введите название проекта
3. Нажмите "Создать"

3. Добавьте и верифицируйте домен

1. Перейдите на вкладку "Домены"
2. Нажмите "Добавить домен"
3. Введите домен (например, example.com)
4. Подтвердите владение через HTTP или DNS

HTTP-верификация (Рекомендуется)

Создайте файл /.well-known/crawlerlens-verify/{токен} с токеном как содержимым.

Пример для Nginx:

nginx
location /.well-known/crawlerlens-verify/ {
    alias /var/www/html/.well-known/crawlerlens-verify/;
    add_header Content-Type text/plain;
}

DNS-верификация

Добавьте TXT-запись:

• Имя: _crawlerlens.вашдомен.com
• Значение: Ваш токен верификации

4. Создайте API-токен

1. Перейдите на вкладку "API-токены"
2. Нажмите "Создать токен"
3. Введите имя и нажмите "Создать"
4. Скопируйте токен сразу! Он показывается только один раз.

5. Настройте Nginx

Добавьте в конфиг Nginx:

nginx
map $http_user_agent $is_bot {
    default 0;
    ~*googlebot 1;
    ~*bingbot 1;
    ~*facebookexternalhit 1;
    ~*twitterbot 1;
    ~*linkedinbot 1;
}

server {
    listen 80;
    server_name example.com;

    location @crawlerlens {
        internal;
        proxy_set_header X-CL-Project "ВАШ_PROJECT_ID";
        proxy_set_header X-CL-Token "ВАШ_ТОКЕН";
        proxy_set_header X-CL-Original-Url $scheme://$host$request_uri;
        proxy_set_header Host gateway.crawler-lens.ru;
        proxy_ssl_server_name on;
        rewrite ^ /render break;
        proxy_pass https://gateway.crawler-lens.ru;
    }

    location / {
        if ($http_user_agent ~* "(googlebot|bingbot|facebookexternalhit|twitterbot|linkedinbot)") {
            error_page 418 = @crawlerlens;
            return 418;
        }
        proxy_pass http://localhost:3000;
    }
}

6. Проверьте настройку

Используйте вкладку "Тест" в проекте для проверки.

Также можно проверить через cURL:

bash
curl -A "Googlebot/2.1" https://example.com/your-page

Вы должны получить полностью отрендеренный HTML!