txtbot is a specialized crawler designed to access plain text files (e.g. robots.txt, security.txt, llms.txt, etc.).
- Categoria
- Operatore
- webperf ltd
- AccessoIndica chi gestisce l’attività del bot. I bot con accesso «diretto» sono controllati direttamente dal proprio operatore, mentre i bot con accesso «tramite intermediario» possono essere controllati dagli utenti finali.
- Diretto
- Documentazione
- https://txtbot.net/