The Cloudflare Crawler is a well-behaved crawler that retrieves web content. By default, it self-identifies as a bot, honors robots.txt directives, and cannot bypass CAPTCHAs or bot protection. Used by Cloudflare customers via the Browser Run /crawl endpoint.
- Categoría
- Rastreador de IA
- Operador
- Cloudflare
- Documentación
- https://cloudflare.com
- URL del agente de firmaURL al directorio de claves de HTTP Message Signatures que el agente publica según Web Bot Auth. Los orígenes obtienen este directorio para verificar las firmas en las solicitudes HTTP del agente.
- https://web-bot-auth-crawl.cloudflare-browser-rendering-085.workers.dev/.well-known/http-message-signatures-directory