The Terracotta bot scrapes websites for use in generating indices for serving searches using Ceramic's search product.
- Categoria
- Crawler del motore di ricerca
- Operatore
- Ceramic
- Documentazione
- https://github.com/CeramicTeam/CeramicTerracotta
- Richieste HTTP
Terracotta
Terracotta-News
- robots.txtUlteriori informazioni...
User-Agent: Terracotta Disallow: /