ShapBot helps discover and index websites for Parallel's web APIs.
- Kategoria
- Wyszukiwanie AI
- Operator
- Parallel
- Dokumentacja
- https://docs.parallel.ai/resources/crawler
- Żądania HTTP
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ShapBot/0.1.0
- robots.txtDowiedz się więcej...
User-Agent: ShapBot/ Disallow: /