The Cloudflare Crawler is a well-behaved crawler that retrieves web content. By default, it self-identifies as a bot, honors robots.txt directives, and cannot bypass CAPTCHAs or bot protection. Used by Cloudflare customers via the Browser Run /crawl endpoint.
- 分類
- AIクローラー
- 演算子
- Cloudflare
- ドキュメンテーション
- https://cloudflare.com
- シグネチャーエージェント URLエージェントが Web Bot Auth の下で公開する HTTP メッセージシグネチャーキーディレクトリへの URL です。オリジンはこのディレクトリを取得して、エージェントの HTTP リクエストのシグネチャーを検証します。
- https://web-bot-auth-crawl.cloudflare-browser-rendering-085.workers.dev/.well-known/http-message-signatures-directory