The Cloudflare Crawler is a well-behaved crawler that retrieves web content. By default, it self-identifies as a bot, honors robots.txt directives, and cannot bypass CAPTCHAs or bot protection. Used by Cloudflare customers via the Browser Run /crawl endpoint.
- Categoría
- Rastreador de IA
- Operador
- Cloudflare
- Documentación
- https://cloudflare.com
- URL del agente de firmasURL al directorio de claves de firmas de mensajes HTTP que el agente publica bajo Web Bot Auth. Los orígenes obtienen este directorio para verificar las firmas en las solicitudes HTTP del agente.
- https://web-bot-auth-crawl.cloudflare-browser-rendering-085.workers.dev/.well-known/http-message-signatures-directory