It is used for scraping our clients job postings
AppcastParsingBot
User-Agent: AppcastParsingBot Disallow: /
선택한 기간 동안 지정된 봇의 HTTP 요청