Price-comparison crawler for Belgian DIY retailers. Obeys robots.txt, one request at a time, links back to the shop.
- Kategorie
- Operator
- RenoPal
- ZugriffGibt an, wer die Aktivität des Bots steuert. Bots mit „direktem“ Zugriff werden direkt von ihrem Betreiber gesteuert, während Bots mit „vermitteltem“ Zugriff auch von Endbenutzern gesteuert werden können.
- Direkt
- Dokumentation
- https://renopal.be/bot
- Signatur-Agent-URLMehr erfahren ...
- https://renopal.be/.well-known/http-message-signatures-directory