Crawler looking for broken links to help improve world wide web as a whole.
- Categoria
- Ottimizzazione del motore di ricerca
- Operatore
- Obsrvr
- Documentazione
- https://obsrvr.net/about
- Richieste HTTP
Observer/1.0 (+https://obsrvr.net/about; crawler@obsrvr.net)
- robots.txtUlteriori informazioni...
User-Agent: obsrvr.net Disallow: /