The Cloudflare Crawler is a well-behaved crawler that retrieves web content. By default, it self-identifies as a bot, honors robots.txt directives, and cannot bypass CAPTCHAs or bot protection. Used by Cloudflare customers via the Browser Run /crawl endpoint.
- 카테고리
- AI 크롤러
- 운영자
- Cloudflare
- 서명 에이전트 URL에이전트가 Web Bot Auth 아래에 게시하는 HTTP 메시지 서명 키 디렉터리의 URL입니다. 원본은 에이전트의 HTTP 요청의 서명을 확인하기 위해 이 디렉터리를 가져옵니다.
- https://web-bot-auth-crawl.cloudflare-browser-rendering-085.workers.dev/.well-known/http-message-signatures-directory