Lanceur Crawl de Site Comparateur Historique Guide Expert Générateurs

Lanceur Crawl Compare Historique

Outils & Configuration

Guide Expert SEO Générateurs d'outils

Générateurs Techniques

Créez, personnalisez et exportez vos fichiers SEO techniques en quelques clics.

Bloquer les Robots IA (GEO)

Protégez votre contenu contre l'extraction pour entraîner des modèles IA.

🤖

GPTBot

OpenAI / ChatGPT

🧠

ClaudeBot

Anthropic / Claude

🔍

Google-Extended

Google AI (Bard/Gemini)

📚

CCBot

Common Crawl (datasets IA)

⚡

PerplexityBot

Perplexity AI

🌐

Omgilibot

Meta AI

🕷️

Bytespider

TikTok / ByteDance

📦

Amazonbot

Amazon / Alexa AI

🔮

cohere-ai

Cohere AI

🧬

DiffBot

DiffBot (extraction IA)

Moteurs de Recherche

Googlebot

Google Search

Bingbot

Microsoft Bing

Slurp

Yahoo Search

DuckDuckBot

DuckDuckGo

Baiduspider

Baidu (Chine)

YandexBot

Yandex (Russie)

Chemins à Interdire

Crawl-delay (sec)

URL Sitemap

Host (optionnel)

Aperçu robots.txt

robots.txt

User-agent: *
Disallow: /admin/
Disallow: /api/
Disallow: /private/

Conseil GEO : Bloquer les robots IA protège votre contenu de l'extraction pour l'entraînement de modèles. Cependant, cela peut réduire votre visibilité dans les réponses IA génératives (ChatGPT, Perplexity, etc.). Adoptez une stratégie sélective selon vos objectifs.