SEO audit crawler for sites CODE customers choose. Obeys robots.txt and Crawl-delay. No logins, forms, or CAPTCHAs.
Идентичность
Как этот бот идентифицирует себя и что делает с контентом
Уровень доступа
Опосредованный
Перенаправляет запросы от имени другого агента или человека
Использование контента
Ссылка
Цитируется или содержит ссылку на исходный источник
Верификация
Веб‑аутентификация ботов
Подписывает запросы подписями HTTP-сообщений, которые источники могут проверить
Трафик
Запросы от этого бота в сети Cloudflare