Reads public pages of US property-management company sites, a few per site quarterly, to record size and software.
- 分類
- アクセスボットのアクティビティを制御する主体を示します。「直接」アクセスのボットはオペレーターが直接制御し、「中継」アクセスのボットはエンドユーザーが制御できます。
- 直接
- ドキュメンテーション
- https://squaresaildata.com/crawler
- HTTPリクエスト数
WindlassBot/0.2 (+https://squaresaildata.com/crawler; property-management research)
- robots.txtさらに詳しく…
User-Agent: WindlassBot Disallow: /