Før dit indhold kan citeres i et eneste AI-svar, skal det kunne hentes — og det er AI-crawlerne, der henter det. GPTBot fra OpenAI, ClaudeBot fra Anthropic, PerplexityBot og Google-Extended er dørvogterne til hele det agentiske søgelandskab. Er der en teknisk barriere mellem dem og dit indhold, eksisterer du ikke i AI-svarene, uanset hvor godt du skriver.
Den gode nyhed er, at teknisk parathed kan verificeres objektivt: enten får crawlerne 200-svar med komplet HTML, eller også gør de ikke. Denne guide gennemgår, hvem crawlerne er, hvilke barrierer der oftest spærrer, og hvordan du tester det hele på en eftermiddag. Det er første skridt i agentic SEO — fundamentet i pyramiden.
- AI-crawlere skal have 200-svar og komplet HTML — bot-beskyttelse, JavaScript-afhængighed og langsomme svar er de tre hyppigste barrierer.
- Beslut adgangspolitikken bevidst: svar-crawlere giver citater og links, trænings-crawlere kræver en forretningsmæssig afvejning.
- Verificér i access-logs og med curl — antagelser om “alt er åbent” holder påfaldende ofte ikke.
Hvem banker på? De vigtigste AI-crawlere
AI-crawlerne har forskellige formål, og forskellen er afgørende for din adgangspolitik. Nogle henter indhold til modeltræning, andre henter live for at besvare et konkret brugerspørgsmål med citat og link. OpenAI lancerede GPTBot i august 2023, Google fulgte i september 2023 med Google-Extended som særskilt kontrol for AI-brug — og siden er feltet vokset støt.
| Crawler | Afsender | Formål | Typisk anbefaling |
|---|---|---|---|
| GPTBot | OpenAI | Modeltræning | Afvej forretningsmæssigt |
| OAI-SearchBot / ChatGPT-User | OpenAI | Søgning og live-svar med citat | Tillad |
| ClaudeBot | Anthropic | Indeksering og AI-brug | Afvej / tillad |
| PerplexityBot | Perplexity | Svar med synlige kilder | Tillad |
| Google-Extended | Styrer AI-træningsbrug (Gemini) | Afvej forretningsmæssigt | |
| Googlebot / Bingbot | Google / Microsoft | Klassisk indeks — også under AI-svar | Tillad altid |
Bemærk især skellet hos OpenAI: GPTBot indsamler til træning, mens OAI-SearchBot og ChatGPT-User henter til søgning og live-svar. Du kan altså blokere træning og stadig være synlig i ChatGPTs søgeresultater. Den fulde beslutningsramme står i robots.txt-guiden.
Beslut adgangspolitikken, før du rører konfigurationen
Spørgsmålet er ikke teknisk, men forretningsmæssigt: hvem må bruge dit indhold, og til hvad? Åben adgang maksimerer synligheden i AI-svar; blokering beskytter unikt indhold mod at indgå i modeltræning. For de fleste marketingdrevne sites er svaret ligetil — luk svar-crawlerne ind, for citater og links er hele gevinsten, og tag særskilt stilling til trænings-crawlerne. For medier og sites med betalt indhold er afvejningen reel og bør træffes bevidst frem for at blive afgjort af en standardindstilling i en firewall.
Politikken udmøntes i robots.txt med user-agent-specifikke regler, jf. robots-standarden RFC 9309. Skriv den ned, dokumentér begrundelsen, og genbesøg beslutningen kvartalsvis — landskabet flytter sig hurtigt nok til, at sidste års beslutning kan være forkert i år.
Fjern de fire tekniske barrierer
Selv med en åben politik spærrer fire tekniske forhold påfaldende ofte for AI-crawlere i praksis. De tre første kan du selv fjerne; den fjerde kræver som regel en designbeslutning.
- Bot-beskyttelse: Cloudflare og lignende tjenester blokerer ofte AI-crawlere som standard. Whitelist eksplicit de crawlere, du har besluttet at lukke ind, og tjek at beskyttelsen ikke svarer 403 på deres user-agents.
- JavaScript-afhængighed: Flere AI-crawlere renderer ikke JavaScript. Kerneindhold, der først opstår i browseren, findes ikke for dem — testen og løsningerne står i JavaScript-guiden.
- Langsomme svar: Agenter arbejder med korte timeouts. Sider, der svarer langsomt, bliver droppet og sjældent genbesøgt — se hastighed som API-kontrakt.
- Paywalls og cookiewalls: Indhold bag interaktive barrierer findes ikke for en agent. Overvej, hvilke dele af indholdet der skal være frit tilgængelige som udstillingsvindue.
Enten får crawlerne 200-svar med komplet HTML, eller også eksisterer du ikke i AI-svarene.
Sådan verificerer du adgangen i praksis
Antagelser er den største fejlkilde på dette område: mange siteejere tror, alt er åbent, indtil loggene viser noget andet. Verifikationen tager under en time.
- Grep dine access-logsSøg efter user-agents som GPTBot, ClaudeBot, PerplexityBot og OAI-SearchBot. Kommer de overhovedet — og hvilke statuskoder får de? Alt andet end 200 skal forklares. Se også vores mini-case fra en dansk serverpark.
- Kør curl-testenHent dine nøglesider med
curluden JavaScript, og bekræft at kernetekst, overskrifter og interne links står i den rå HTML. - Test robots.txt mod politikkenBekræft at filen svarer 200, og at reglerne matcher den politik, du har besluttet — ikke en gammel standardopsætning.
- Læg vejvisningen udPublicér en llms.txt, der sender de besøgende agenter direkte til dit kerneindhold, og hold den konsistent med robots-politikken.
Gentag log-tjekket månedligt sammen med AI-synlighedsauditten. Crawler-adgang er ikke et projekt, der afsluttes, men en driftstilstand, der overvåges — en firewall-opdatering eller et nyt cache-lag kan lukke døren igen uden varsel.
Hvilke symptomer afslører blokeret adgang?
Tre signaler bør udløse et adgangstjek med det samme. Det første er fravær i loggene: får du slet ingen besøg af GPTBot, ClaudeBot eller PerplexityBot over en måned, er det næsten aldrig, fordi de ikke er interesserede — det er, fordi noget afviser dem, før de når serveren. Det andet er manglende AI-referrals i din analytics: sites med sund adgang ser typisk en lille, voksende strøm af klik fra chatgpt.com og perplexity.ai. Det tredje er famlende AI-svar om emner, du beviseligt dækker godt — hvis platformene citerer svagere kilder på spørgsmål, hvor din side er den bedste danske, er det ofte hentningen og ikke indholdet, der fejler.
Fælles for alle tre symptomer: de er usynlige i den daglige drift og opdages kun, hvis nogen kigger. Det er derfor, det månedlige log-tjek hører til i rutinen på linje med backup og opdateringer.
Ofte stillede spørgsmål
Hvordan ser jeg, om AI-crawlere besøger mit site?
Søg i serverens access-logs efter user-agent-strengene GPTBot, ClaudeBot, PerplexityBot, OAI-SearchBot og Google-Extended. Selv små danske nichesites får typisk regelmæssige besøg. Får crawlerne 403- eller 5xx-svar, har du fundet din første opgave.
Blokerer mit cache-lag AI-crawlere?
Det kan det. Server-cache, der gemmer fejlsvar, kan servere gamle 4xx-sider til crawlere, længe efter problemet er løst. Undtag API-ruter og fejlsvar fra cachen, og verificér med et frisk crawl efter ændringer.
Skal jeg behandle alle AI-crawlere ens?
Nej. Skellet mellem svar-crawlere (henter live, citerer og linker) og trænings-crawlere (indsamler til modeltræning) er netop pointen med en differentieret robots.txt. De fleste sites vinder ved at tillade svar-crawlere og tage særskilt stilling til træning — se beslutningsguiden.
Senest revideret 31. august 2026. Artiklen gennemgås løbende, når AI-søgelandskabet flytter sig.