# robots.txt — Oltre AI (www.oltre.ai) # Aggiornato: 23 settembre 2026 # # STRATEGIA: il sito marketing è aperto a tutti, crawler AI inclusi — ogni # citazione in una risposta generativa vale quanto una posizione organica, e # Oltre vende esattamente quel lavoro. Si chiude solo l'applicazione: dashboard, # account, engine e flussi autenticati non sono pagine, non hanno contenuto # pubblico e non devono comparire in nessun indice. # # PRECEDENZA — la regola che rende questo file lungo: un crawler obbedisce SOLO # al gruppo più specifico che lo nomina, e ignora del tutto gli altri. Un bot con # un gruppo proprio che contenga solo "Allow: /" non vedrebbe nessuna delle # Disallow qui sotto. Per questo i bot nominati condividono UN solo blocco di # regole, identico al catch-all: aggiungere un user-agent significa aggiungere # una riga a quella lista, non un gruppo nuovo. # ─── CATCH-ALL ────────────────────────────────────────────────────────────── User-agent: * Allow: / Disallow: /auth Disallow: /reset-password Disallow: /dashboard Disallow: /settings Disallow: /brands Disallow: /create-brand Disallow: /tests Disallow: /create-test Disallow: /articles Disallow: /content-lab Disallow: /teammate Disallow: /tracking Disallow: /oltre-orbit Disallow: /oltre-reasoning Disallow: /orbit-export Disallow: /tools-graph Disallow: /engine Disallow: /dev # ─── CRAWLER NOMINATI ─────────────────────────────────────────────────────── # Stesse identiche regole del catch-all. Sono elencati esplicitamente perché la # lista documenta quali motori generativi sono ammessi di proposito: senza questo # blocco il comportamento non cambierebbe, la decisione però resterebbe implicita. # # ANTHROPIC — ClaudeBot (training) · Claude-User (fetch su query utente) # Claude-SearchBot (indicizzazione per la ricerca di Claude) # Rimossi perché deprecati: anthropic-ai, Claude-Web # OPENAI — GPTBot (training) · OAI-SearchBot (ChatGPT search) # ChatGPT-User (query dirette e Custom GPT) # GOOGLE — Googlebot (ricerca) · Google-Extended (Gemini, Vertex, AI # Overviews: controllo separato da Googlebot) · GoogleOther # MICROSOFT — Bingbot (Bing e Copilot) # PERPLEXITY — PerplexityBot (indexing) · Perplexity-User (fetch live) # ALTRI — Applebot e Applebot-Extended (Siri, Apple Intelligence) # Amazonbot (Alexa) · Bytespider (ByteDance/TikTok) # CCBot (Common Crawl) · BraveSearch · DuckAssistBot # MistralAI-User · Meta-ExternalAgent · cohere-ai User-agent: ClaudeBot User-agent: Claude-User User-agent: Claude-SearchBot User-agent: GPTBot User-agent: OAI-SearchBot User-agent: ChatGPT-User User-agent: Googlebot User-agent: Google-Extended User-agent: GoogleOther User-agent: Bingbot User-agent: PerplexityBot User-agent: Perplexity-User User-agent: Applebot User-agent: Applebot-Extended User-agent: Amazonbot User-agent: Bytespider User-agent: CCBot User-agent: BraveSearch User-agent: DuckAssistBot User-agent: MistralAI-User User-agent: Meta-ExternalAgent User-agent: cohere-ai Allow: / Disallow: /auth Disallow: /reset-password Disallow: /dashboard Disallow: /settings Disallow: /brands Disallow: /create-brand Disallow: /tests Disallow: /create-test Disallow: /articles Disallow: /content-lab Disallow: /teammate Disallow: /tracking Disallow: /oltre-orbit Disallow: /oltre-reasoning Disallow: /orbit-export Disallow: /tools-graph Disallow: /engine Disallow: /dev # ─── SITEMAP ──────────────────────────────────────────────────────────────── # Riga globale: vale per ogni crawler, indipendentemente dai gruppi qui sopra. Sitemap: https://www.oltre.ai/sitemap.xml