The Taboola crawler visits websites advertiser campaign websites to audit the content of the page and gather site metadata and summary data.
- Категория
- Реклама и маркетинг
- Оператор
- Taboola
- HTTP-запросы
Mozilla/5.0 (compatible; Taboolabot/3.7; +http://www.taboola.com)
- robots.txtУзнать больше...
User-Agent: Taboolabot Disallow: /