Crawler looking for broken links to help improve world wide web as a whole.
- Категория
- Оптимизация для поисковых систем
- Оператор
- Obsrvr
- Документация
- https://obsrvr.net/about
- HTTP-запросы
Observer/1.0 (+https://obsrvr.net/about; crawler@obsrvr.net)
- robots.txtУзнать больше...
User-Agent: obsrvr.net Disallow: /