txtbot is a specialized crawler designed to access plain text files (e.g. robots.txt, security.txt, llms.txt, etc.).
- Categoria
- Operador
- webperf ltd
- AcessoIndica quem controla a atividade do bot. Os bots com acesso «direto» são controlados diretamente pelo seu operador, enquanto os bots com acesso «intermediário» podem ser controlados pelos utilizadores finais.
- Direto
- Documentação
- https://txtbot.net/