À propos de notre robot
De quoi s’agit-il ?
IntelBrief est un service de veille concurrentielle. Nos clients ajoutent les entreprises qu’ils suivent (concurrents, clients, prospects), et notre robot lit les pages web publiques de ces entreprises — page d’accueil, tarifs, blog, carrières, espace presse — afin de prévenir nos clients lorsqu’un changement significatif survient.
Ce qu’il fait — et ce qu’il ne fait pas
- Il ne demande que des pages accessibles publiquement. Il ne se connecte jamais à un compte, ne soumet jamais de formulaire et ne tente jamais de contourner un paywall ou un contrôle d’accès.
- Il consulte chaque page suivie environ une fois par semaine, plus une visite initiale lorsqu’un client ajoute l’entreprise. Il récupère quelques pages par site, jamais le site entier.
- Certaines pages sont récupérées via un service de lecture de pages (Jina Reader) agissant pour notre compte : les requêtes peuvent donc provenir de l’infrastructure de ce service.
- Il s’identifie avec le user agent ci-dessus à chaque requête directe.
robots.txt
Avant de récupérer une page sur le site d’une entreprise suivie, nous consultons son fichier robots.txt pour le user agent IntelBrief et ignorons toute URL interdite. Pour bloquer notre robot sur l’ensemble de votre site, ajoutez :
User-agent: IntelBrief Disallow: /
Les fichiers robots.txt sont mis en cache quelques heures : une modification peut donc mettre ce délai à s’appliquer.
Opposition et contact
Si vous préférez que nous cessions de visiter votre site, ou si vous pensez que notre robot se comporte mal, écrivez à hello@intelbrief.xyz en indiquant votre domaine. Nous vous répondrons et, sur demande, exclurons ce domaine de la collecte directe.