Identifies pages, forms, contact info, privacy policies, and meta data at the direct of the site owner/manager.
- 类别
- 访问方式表示谁驱动了机器人的活动。“直接”访问的机器人由其运营者直接控制,而“中间方”访问的机器人可由终端用户控制。
- 直接
Identifies pages, forms, contact info, privacy policies, and meta data at the direct of the site owner/manager.
WebsiteTrackerBot/1.0 (WebsiteTracker; +https://www.websitetracker.com/crawler)
User-Agent: WebsiteTrackerBot Disallow: /
所选时段内来自指定机器人的 HTTP 请求
了解更多...