UK Property Search Engine
- 카테고리
- 검색 엔진 크롤러
- 서명 에이전트 URL에이전트가 Web Bot Auth 아래에 게시하는 HTTP 메시지 서명 키 디렉터리의 URL입니다. 원본은 에이전트의 HTTP 요청의 서명을 확인하기 위해 이 디렉터리를 가져옵니다.
- https://www.sourcedashboard.co.uk/.well-known/http-message-signatures-directory
- HTTP 요청
sourcedash/1.0 (+https://www.sourcedashboard.co.uk/spiderbot/)
- robots.txt자세히 알아보기
User-Agent: sourcedash Disallow: /