The Cloudflare Crawler is a well-behaved crawler that retrieves web content. By default, it self-identifies as a bot, honors robots.txt directives, and cannot bypass CAPTCHAs or bot protection. Used by Cloudflare customers via the Browser Run /crawl endpoint.
- Catégorie
- Robot d'indexation IA
- Opérateur
- Cloudflare
- Documentation
- https://cloudflare.com
- URL de l'agent de signatureURL du répertoire de clés des signatures de messages HTTP que l'agent publie sous Web Bot Auth. Les origines récupèrent ce répertoire pour vérifier les signatures sur les requêtes HTTP de l'agent.
- https://web-bot-auth-crawl.cloudflare-browser-rendering-085.workers.dev/.well-known/http-message-signatures-directory