llms.txt: hva det er, hvordan du lager filen og om AI-robotene leser den

Filen llms.txt er et forslag og ikke en standard: en beskrivelse av nettstedet og en liste over de viktigste adressene for språkmodeller og AI-agenter. En AI-agent er et program som utfører oppgaver på vegne av brukeren, for eksempel leter etter informasjon i dokumentasjon. Google skriver at søkemotoren deres ikke bruker slike filer. På rogala.pro har jeg hatt llms.txt siden 8. oktober 2026, og i tillegg en Markdown-versjon av hver side, og i serverloggene sjekker jeg hvem som henter dem. I ti dager etter innføringen sendte ingen kjent AI-robot en forespørsel om llms.txt. Markdown-versjonene av sidene ble i samme tid hentet av roboter som oppga navnene ClaudeBot, OAI-SearchBot og Applebot.

Hva er filen llms.txt?

llms.txt er en tekstfil i rotkatalogen til nettstedet som i noen få linjer beskriver nettstedet og peker på adressene til de viktigste sidene. Den skrives i Markdown, et enkelt tekstformat: tegnet # først i en linje lager en overskrift, og en lenke har formen [tittel](adresse). Den ble foreslått av Jeremy Howard 3. september 2024 (llmstxt.org). Hensikten var at en AI-agent raskt skulle forstå hva nettstedet består av, uten å gå gjennom menyer og HTML-kode. I august 2026 publiserte forfatteren en andre versjon, basert på det han lærte av to års bruk av filen på nettsteder. Han kaller den fortsatt et forslag som er åpent for kommentarer, og ikke en vedtatt standard.

llms.txt blokkerer ingenting og bestemmer ikke om modeller trenes. Filen robots.txt gir AI-robotene regler for tilgang, men virker bare på roboter som følger den. Tilgangen begrenser man også på serveren, i brannmuren og i innstillingene til CDN, altså nettverket av mellomliggende servere. I teksten om SEO-analyse beskrev jeg hvordan jeg sjekker det.

Hva skiller llms.txt fra Markdown-versjoner av sider?

llms.txt og Markdown-versjonen av en side er to ulike ting, selv om forslaget fra llmstxt.org beskriver begge. llms.txt er én fil for hele nettstedet eller en del av det, altså en oversikt over de viktigste adressene med korte beskrivelser. Markdown-versjonen er innholdet på én side i et enkelt format, uten meny, skript og HTML-kode. Lenkene i llms.txt bør føre til slike versjoner, men hver av disse tingene fungerer uten den andre (llmstxt.org).

En robot kan komme til Markdown-versjonen på tre måter, og forslaget fra llmstxt.org beskriver to av dem:

• På en fast adresse. Forslaget anbefaler Markdown-versjonen på adressen til siden med tillegget .md, for eksempel side.html.md, og for en adresse uten filnavn index.md.
• Via en markering eller en header. Markeringen <link rel="alternate" type="text/markdown"> i koden til siden peker på Markdown-versjonen. Markeringen <link rel="describedby"> peker på llms.txt-filen som beskriver denne siden. Den andre versjonen av forslaget tillater det samme i HTTP-headeren Link, altså i svaret fra serveren (llmstxt.org).
• Via innholdsforhandling. Programmet sender headeren Accept: text/markdown, altså ber rett ut om Markdown, og serveren på den vanlige adressen sender Markdown i stedet for HTML. Forslaget fra llmstxt.org beskriver ikke denne måten. Slik fungerer for eksempel en funksjon i Cloudflare, som jeg beskriver målingen av lenger ned.

På rogala.pro fungerer alle tre måtene, og llms.txt er en egen fil som fører til Markdown-versjonene. Hver side har en Markdown-versjon med samme innhold på sin egen adresse med tillegget index.md. I koden til siden peker markeringen rel="alternate" på denne versjonen, og markeringen rel="describedby" peker på llms.txt. På headeren Accept: text/markdown sender serveren Markdown på den vanlige adressen. I loggene ser man at det er to separate ting: AI-robotene hentet Markdown-versjonene, mens ingen kjent AI-robot sendte en forespørsel om llms.txt. I juli 2026 fant jeg ingen Markdown-versjon i noen av de 10 kontrollerte domenene fra porteføljen min.

Hvordan ser en llms.txt-fil ut?

Formatet er enkelt: en tittel, en kort beskrivelse og lister med lenker gruppert under overskrifter. Det eneste kravet er en overskrift med navnet på nettstedet. Forslaget beskriver rekkefølgen på elementene slik (llmstxt.org):

1. En førstenivåoverskrift med navnet på nettstedet eller prosjektet, i Markdown # Navn.
2. En kort beskrivelse i en sitatblokk, altså en linje som begynner med >.
3. Valgfrie avsnitt med kontekst, uten overskrifter.
4. Seksjoner med andrenivåoverskrift (## Seksjon), og i hver av dem en liste med lenker på formen - [Tittel](adresse): beskrivelse.
5. Vanligvis en seksjon som heter «Optional» med lenker til mindre viktig materiale. I den første versjonen kunne agenten hoppe over den når hele filen ikke fikk plass i tekstmengden den behandler på en gang. Den andre versjonen beholder seksjonen bare som en konvensjon (llmstxt.org).

Den enkleste filen for en tjenestebedrift har fem linjer:

• # Regnskapsbyrå Eksempel
• > Regnskapsbyrå i Bergen: regnskap for enkeltpersonforetak og selskaper siden 2010.
• ## Tilbud
• - [Priser](https://example.com/priser/): priser på regnskap for enkeltpersonforetak og selskaper
• - [Kontakt](https://example.com/kontakt/): adresse, telefon og åpningstider for byrået

På rogala.pro har filen navn og beskrivelse på engelsk, et avsnitt om Markdown-versjoner og tre seksjoner. Seksjonen «Profile» fører til sidene om meg, «Blog» til bloggen på polsk og engelsk, og «Optional» til de øvrige 25 språkversjonene av bloggen. Hver lenke fører til Markdown-versjonen av siden, og beskrivelsen etter kolonet er den samme teksten som i markeringen med beskrivelsen av siden (meta description). I oktober 2026 var filen ca. 40 KB.

Noen nettsteder med dokumentasjon publiserer også filen llms-full.txt med hele innholdet i én fil. Forslaget på llmstxt.org beskriver ikke en slik fil. Filen llms-full.txt i dokumentasjonen til Anthropic er ca. 45 MB, og i dokumentasjonen til Cloudflare ca. 69 MB (kontrollert 18. oktober 2026).

Hvordan ser llms.txt-filene til Allegro, Empik og Morele ut?

Store polske butikker har allerede llms.txt, men ingen av de tre filene jeg sjekket, følger forslaget fullt ut. Filene til Allegro, Empik og Morele hentet jeg 18. oktober 2026. Jeg vurderer dem etter formatet fra llmstxt.org og etter kontrollene jeg beskriver i denne teksten. Alle tre fører til vanlige HTML-sider og ikke til Markdown-versjoner.

Allegro gir agentene mest praktisk informasjon, men har skrevet en del av strukturen med fet skrift i stedet for overskrifter. Filen har en dato for oppdatering, foretrukne navn på merkevaren, adressen til hovedkontoret og et kontaktskjema. Den beskriver også mønstre for adresser til søk, filtre og neste sider med resultater, så en agent selv kan bygge adressen til en produktliste. Veiledningen til modellene sier at priser og tilgjengelighet må sjekkes på produktsiden, og oppgir navnene på programmer som er trukket tilbake. Grupper som «Główne kategorie» og «Pozostałe strony i usługi» har fet skrift i stedet for en ##-overskrift. Et program som leser filen etter formatet, vil derfor knytte listen over tjenester til seksjonen om filtrering. Beskrivelsen av en lenke står etter en tankestrek og ikke etter kolon, og de 13 hovedkategoriene har ingen beskrivelser.

Sidene fra Allegro-filen ga skriptet mitt kode 403, selv om selve filen ble hentet uten problemer. Skriptet oppga i headeren User-Agent sitt eget navn og adressen til nettstedet mitt, og jeg sjekket de åtte første adressene fra filen med det. Jeg vet ikke om AI-robotene får det samme svaret, for det viser bare loggene til Allegro. Det er et eksempel på en kontroll som lønner seg å gjøre for hver fil: om adressene fra llms.txt kan hentes av samme program som hentet filen.

Empik holder seg tettest til formatet, men beskrivelsen av merkevaren høres ut som reklametekst. Filen har en førstenivåoverskrift, en beskrivelse i en sitatblokk, ##-seksjoner og lister med lenker med beskrivelse etter kolon. Veiledningen til modellene er konkret: priser og tilgjengelighet må hentes fra produktkortene, og reglene for retur avhenger av selgeren. I beskrivelsen av merkevaren står formuleringene «wiodąca» og «Uwielbiana marka», mens jeg i denne teksten anbefaler å oppgi fakta, for modellen kan sammenligne beskrivelsen med nettstedet. Filen har ingen dato for oppdatering. Overskriften og en del av etikettene er på engelsk, selv om resten er på polsk. Av 35 adresser i filen svarte 34 med kode 200 og én med omdirigering.

Morele har en god liste over kategorier og veiledninger, men filen holder seg ikke til formatet, så et program kan la være å lese den. Filen begynner med et usynlig BOM-tegn, og i den første linjen #Morele.net mangler det mellomrom etter tegnet #. I Markdown er ikke en slik linje en overskrift, og overskriften med navnet er det eneste som kreves. Filen har ingen beskrivelse i en sitatblokk og har flere førstenivåoverskrifter. Ingen av de 116 adressene er en Markdown-lenke, og de fleste er skrevet som vanlig tekst «navn - adresse». Ved kategoriene står lister over tagger og «hyppigste søk», altså søkeord for modellen, og reklametekster. Av de 116 adressene svarte 113 med kode 200, og 3 omdirigerte til artikler på nye adresser.

Ingen av de tre nettstedene gir agentene Markdown-versjoner av sidene, så etter å ha lest filen henter agenten likevel hele HTML-sider. Empik og Morele sender HTML på headeren Accept: text/markdown, og adresser med tillegget .md gir kode 404. Allegro svarte på de samme forsøkene med kode 403. Ingen av nettstedene har heller markeringen rel="describedby" eller rel="alternate" type="text/markdown".

Bruker Google llms.txt?

Nei: Google skriver at man for å være til stede i søkemotoren ikke trenger å lage tekstfiler for AI eller Markdown-versjoner. Veiledningen fra Google om optimalisering for AI-funksjoner legger til at søkemotoren hopper over slike filer. De hjelper altså ikke synligheten og skader den ikke (Google Search Central, oppdatering fra 10. juli 2026). Ifølge Search Engine Lands referat fra konferansen Search Central Live i juli 2025 sa Gary Illyes at Google ikke støtter llms.txt (Search Engine Land).

John Mueller sammenlignet llms.txt med metataggen keywords, altså markeringen med søkeord som søkemotorene ikke bruker. I april 2025 skrev han på Reddit at filen er en erklæring fra eieren om hva nettstedet handler om. Et AI-system kan i stedet sjekke selve nettstedet (Search Engine Journal). Han la til at man i serverloggene ser at AI-tjenestene ikke engang sjekker om filen finnes.

Chrome og Googles søkemotor er to ulike saker. Lighthouse, verktøyet i Chrome for å vurdere sider, har en eksperimentell kategori «Agentic Browsing», som blant annet sjekker om det ligger en llms.txt i rotkatalogen til domenet (Chrome for Developers). Denne kontrollen vurderer hvor godt nettstedet er forberedt for agenter i nettleseren. Resultatet sier ingenting om plasseringer i Googles søkemotor.

Leser AI-robotene llms.txt?

Ut fra tilgjengelige data henter roboter fra AI-søkemotorer sjelden llms.txt, og oftere gjør GPTBot og Claude Code, programmererassistenten, det. Tre undersøkelser som jeg sjekket i originalpubliseringene, måler ulike ting: selve filen llms.txt, Markdown-versjoner sendt via headeren Accept og egne Markdown-adresser.

• Ahrefs analyserte 137 210 domener fra trafikkanalysen sin i mai 2026. 28 % av dem hadde llms.txt, og til 97 % av disse filene kom det i mai ikke en eneste forespørsel. 96 % av forespørslene som nådde filene, ble sendt av roboter. Roboter fra AI-søkemotorer, for eksempel OAI-SearchBot og PerplexityBot, sendte til sammen 233 forespørsler, 1,1 % av alle. Blant de navngitte AI-verktøyene sendte GPTBot flest forespørsler, og Claude Code var nummer to. GPTBot er roboten til OpenAI som samler data til modeller, og Claude Code er programmererassistenten til Anthropic (Ahrefs, 15. juni 2026).
• Suganthan Mohanadasan registrerte i 44 dager forespørsler med headeren Accept: text/markdown etter at han skrudde på en funksjon i Cloudflare som gir agenter Markdown. Forfatteren oppgir 1 421 forespørsler (tabellen hans summerer seg til 1 373). 639 av dem ble sendt av en nettleser uten grensesnitt og 500 av infrastrukturen til Anthropic (ifølge forfatteren ikke ClaudeBot). I tabellen finnes verken GPTBot eller PerplexityBot (Suganthan Mohanadasan, 19. april 2026).
• Otterly sammenlignet i 14 dager HTML-sider med Markdown-versjonene deres på egne adresser, lenket i bunnteksten. HTML-sidene hadde 137 besøk av AI-roboter, mens Markdown-versjonene hadde null. Ingen AI-plattform siterte en Markdown-adresse (Otterly, oppdatering fra 1. april 2026).

Undersøkelsen fra Ahrefs måler forespørsler og ikke hva roboten gjorde med filen. At GPTBot henter llms.txt, betyr ikke at filen endrer svarene i ChatGPT. Ahrefs tar også forbehold om at kundene deres er mer tekniske og SEO-bevisste enn gjennomsnittlige nettsteder. På hele nettet er andelen nettsteder med llms.txt derfor trolig lavere enn 28 %.

Hva viste loggene til nettstedet mitt etter at jeg innførte llms.txt?

I ti dager etter innføringen sendte ingen kjent AI-robot en forespørsel om llms.txt, og Markdown-versjonene ble hentet av roboter som ikke spurte om denne filen. 8. oktober 2026 publiserte jeg på rogala.pro llms.txt og en Markdown-versjon av hver side (114 adresser på innføringsdagen). Tilgangsloggene henter jeg fra hostingen, og jeg teller tre typer forespørsler: om llms.txt, om index.md-filer, altså Markdown-versjoner på en egen adresse for hver side, og om Markdown-svar på den vanlige adressen til siden.

Markdown-svar på den vanlige adressen gjenkjenner jeg indirekte, så antallet er en tilnærming. Hostingen lagrer ikke headeren Accept, så jeg leter etter svar med en størrelse lik en av de kjente størrelsene på Markdown-versjonene. Etter en endring i innholdet kjenner jeg ikke de gamle størrelsene, så jeg kan ha hoppet over en del slike svar. En tilfeldig samsvarende størrelse er mulig, men med størrelser regnet ut til byte er det lite sannsynlig.

Resultater fra 8.-17. oktober 2026, etter at mine egne forespørsler er trukket fra:

• Jeg registrerte 5 forespørsler om llms.txt, og 3 av dem endte med at filen ble hentet. Én gang hentet en robot fra et SEO-verktøy den, to ganger anonyme skannere som oppga seg som en nettleser på telefon. Ingen kjent AI-robot sendte en forespørsel om denne filen.
• Forespørsler om index.md-filer ble sendt direkte av ClaudeBot (123), OAI-SearchBot (35) og Applebot (27). ClaudeBot er indekseringsroboten til Anthropic, et annet program enn Claude Code fra undersøkelsen til Ahrefs. Hostingen avviste 34 forespørsler fra ClaudeBot med kode 429, altså «for mange forespørsler», så 89 forespørsler fra ClaudeBot endte med at filen ble hentet.
• Markdown-svar på den vanlige adressen oppdaget jeg bare i 22 forespørsler fra ExaSearchBot, mest på forsiden. ExaSearchBot er en søkemotorrobot for AI-applikasjoner.
• Googlebot sendte 169 forespørsler om HTML-sider, og Markdown-svar til den oppdaget jeg ikke. ChatGPT-User, som henter sider på oppfordring fra en bruker av ChatGPT, sendte 8 forespørsler om HTML-sider.

Loggene viser ikke hvordan robotene kjente adressene til Markdown-versjonene. I den tiden sendte ingen av dem en forespørsel om llms.txt. Markeringen <link rel="alternate"> på HTML-sidene oppgir adressen til Markdown-versjonen, så det er en mulig vei, men ikke den eneste. At filen er hentet, sier heller ikke om roboten brukte denne versjonen i et svar, og til det trengs en egen måling.

Egne tester kan lett forveksles med trafikk fra roboter. Ved kontrollen av innføringen 17. oktober hentet skriptet mitt Markdown-filer med identifikatoren til Googlebot, noe som ga 115 forespørsler fra «Googlebot» fra IP-adressen min. Uten å trekke fra mine egne adresser ville det i loggene sett ut som at Googlebot hentet Markdown, selv om jeg ikke oppdaget at den ekte Googlebot gjorde det.

Når lønner det seg å lage llms.txt?

llms.txt gir mest mening der nettstedet leses av programmererassistenter: ved dokumentasjon, API-er og verktøy for utviklere. Et API er et grensesnitt som programmer utveksler data gjennom. I undersøkelsen fra Ahrefs var Claude Code nest etter GPTBot blant AI-verktøyene når det gjelder antall forespørsler om filen. En assistent i en kodeeditor som får adressen til dokumentasjonen, kan fra en liste med lenker raskere komme til riktig side enn gjennom navigasjonen.

I en butikk eller en tjenestebedrift er llms.txt et billig tillegg og ikke en måte å få trafikk fra AI på. Jeg kjenner ikke til bevis for at filen øker trafikken eller siteringene. Før du lager den, sjekk om AI-robotene i det hele tatt kan hente nettstedet ditt. Sjekk deretter om innholdet er synlig i HTML uten at JavaScript kjøres. Begge kontrollene beskrev jeg i teksten om AI SEO og GEO.

Versjonen for robotene må ha det samme innholdet som siden for mennesker, og kan bare skille seg i format. Google beskriver cloaking, altså å vise søkemotoren et annet innhold enn brukerne, i reglene om spam (Google Search Central). En Markdown-versjon med de samme opplysningene, prisene og vilkårene er et annet format av den samme siden, mens en versjon med annet innhold eller andre vilkår er en risiko. På rogala.pro velger headeren Accept Markdown-versjonen, og ikke robotnavnet. I headeren Link peker Markdown-versjonen på HTML-siden som kanonisk adresse, altså den foretrukne versjonen av siden.

Hvordan lager du en llms.txt-fil?

Filen kan du lage selv hvis du vet hvilke sider som er viktige:

1. Velg sidene som den som spør om bedriften eller produktet ditt, bør kjenne til: tilbud, prisliste, dokumentasjon, kontakt, de viktigste tekstene. Ikke lim inn hele nettstedskartet.
2. Skriv en overskrift med navnet og én eller to setninger med beskrivelse i en sitatblokk. Beskrivelsen skal oppgi fakta om bedriften og ikke en reklameparole, for modellen kan sammenligne den med nettstedet.
3. Grupper lenkene under andrenivåoverskrifter og skriv ved hver én setning om hva som står på siden.
4. Lagre filen som /llms.txt i rotkatalogen til domenet, med UTF-8-koding. Sjekk at adressen gir kode 200, altså et riktig svar, og ren tekst og ikke en HTML-side, som noen systemer viser på hver ukjente adresse. Hvis systemet ditt ikke lar deg laste opp filen til rotkatalogen, spør leverandøren av butikken eller hostingen.
5. Generer filen fra samme kilde som nettstedet, slik at opplysningene i filen stemmer med innholdet. På rogala.pro lages llms.txt ved hver bygging av nettstedet fra de samme dataene som HTML-en.

Holder det med en llms.txt-generator?

En generator lager en førsteversjon av filen, men utvalget av sider og beskrivelsene må sjekkes manuelt. Ifølge DataForSEO blir søkeordet «llms txt generator» søkt etter ca. 70 ganger i måneden i Polen og «llms.txt generator» ca. 480 ganger i USA (median over 12 måneder). Hvis generatoren henter adresser fra nettstedskartet eller fra en skanning av nettstedet med en robot, vet den ikke hvilke sider som er viktige for deg. Før publisering sjekker du fem ting:

• om det bare er sider du vil vise i filen, uten innloggingssider, handlekurv og sider under bygging;
• om hver adresse fungerer og gir kode 200;
• om beskrivelsene stemmer med det aktuelle innholdet på sidene, prisene og tilbudet;
• om det ikke står opplysninger i filen som ikke står på nettstedet;
• hvordan filen blir oppdatert etter endringer på nettstedet.

Hvordan sjekker du om robotene henter llms.txt?

Svaret ligger i serverloggene og ikke i verktøy for AI-synlighet. Hent de rå tilgangsloggene fra hostingpanelet og søk i dem etter adressen /llms.txt og adressene til Markdown-versjonene. Ved hver forespørsel lagrer loggen IP-adressen, datoen, svarkoden, størrelsen og navnet på programmet som sendte forespørselen, altså User-Agent.

Robotnavnet kan forfalskes, så de viktigste forespørslene sjekker jeg etter IP-adressen. OpenAI publiserer lister over adressene til robotene sine, og i loggene mine sto 3 av 4 adresseblokker for OAI-SearchBot på en slik liste. Av samme grunn trekker jeg fra mine egne tester, for kontrollskriptet mitt oppga seg som Googlebot.

Logger bør du hente jevnlig, for hostingen lagrer dem ikke lenge. Hostingen min lagrer logger i 14 dager, så for å ha en måned med måling henter jeg arkivene med noen dagers mellomrom. Tilstedeværelsen til merkevaren i AI-svar måler jeg for seg. Jeg beskrev denne målingen i teksten om AI-synlighet.

Vanlige spørsmål om llms.txt

Hvor bør du begynne?

Begynn med tilgangen for robotene, og legg til llms.txt til slutt. Åpne /robots.txt og sjekk reglene for AI-robotene. Hent deretter loggene fra de siste dagene og se hvilke roboter som besøker nettstedet og med hvilken svarkode. Hvis du har dokumentasjon eller et produkt for utviklere, legg til llms.txt og Markdown-versjoner med en gang. I en butikk eller en tjenestebedrift er llms.txt et tillegg etter disse to kontrollene. Hvis du vil gjøre det sammen med meg, skriv via kontakt.