llms.txt: cos'è, come farlo e se i crawler AI lo leggono

Il file llms.txt è una proposta, non uno standard: una descrizione del sito e un elenco dei suoi indirizzi più importanti per i modelli linguistici e gli agenti AI. Un agente AI è un programma che svolge compiti per conto dell'utente, per esempio cerca informazioni in una documentazione. Google scrive che il suo motore di ricerca non usa file di questo tipo. Su rogala.pro dall'8 ottobre 2026 ho il file llms.txt e, a parte, una versione Markdown di ogni pagina, e nei log del server verifico chi li scarica. Per dieci giorni dopo il rilascio nessun crawler AI noto ha inviato una richiesta per llms.txt. Le versioni Markdown delle pagine in quel periodo le scaricavano i crawler che si presentano come ClaudeBot, OAI-SearchBot e Applebot.

Che cos'è il file llms.txt?

llms.txt è un file di testo nella directory principale del sito che in poche righe descrive il sito e indica gli indirizzi delle pagine più importanti. Si scrive in Markdown, cioè in un semplice formato di testo: il carattere # all'inizio della riga crea un'intestazione, e il link ha la forma [titolo](indirizzo). L'ha proposto Jeremy Howard il 3 settembre 2024 (llmstxt.org). L'obiettivo era che un agente AI capisse rapidamente da cosa è composto il sito, senza passare per menu e codice HTML. Ad agosto 2026 l'autore ha pubblicato la seconda versione, basata su ciò che aveva imparato in due anni di uso del file da parte dei siti. La chiama ancora una proposta aperta ai commenti, non uno standard adottato.

llms.txt non blocca nulla e non decide sull'addestramento dei modelli. Il file robots.txt trasmette ai crawler AI le regole di accesso, ma agisce solo sui crawler che lo rispettano. L'accesso si limita anche sul server, nel firewall e nelle impostazioni della CDN, cioè la rete di server intermedi. Nel testo sull'audit SEO ho descritto come lo verifico.

In cosa llms.txt differisce dalle versioni Markdown delle pagine?

llms.txt e la versione Markdown di una pagina sono due cose diverse, anche se la proposta di llmstxt.org le descrive entrambe. llms.txt è un unico file per tutto il sito o per una sua parte, cioè un elenco degli indirizzi più importanti con brevi descrizioni. La versione Markdown è il contenuto di una pagina in un formato semplice, senza menu, script e codice HTML. I link in llms.txt dovrebbero portare a tali versioni, ma ciascuna di queste cose funziona senza l'altra (llmstxt.org).

Un crawler può arrivare alla versione Markdown in tre modi, e la proposta di llmstxt.org ne descrive due:

• A un indirizzo fisso. La proposta raccomanda la versione Markdown all'indirizzo della pagina con l'aggiunta .md, per esempio pagina.html.md, e per un indirizzo senza nome di file index.md.
• Tramite un tag o un'intestazione. Il tag <link rel="alternate" type="text/markdown"> nel codice della pagina indica la versione Markdown. Il tag <link rel="describedby"> indica il file llms.txt che descrive questa pagina. La seconda versione della proposta ammette lo stesso nell'intestazione HTTP Link, cioè nella risposta del server (llmstxt.org).
• Tramite la negoziazione del contenuto. Il programma invia l'intestazione Accept: text/markdown, cioè chiede esplicitamente Markdown, e il server a un normale indirizzo restituisce Markdown al posto di HTML. La proposta di llmstxt.org non descrive questo modo. Funziona così, per esempio, una funzione di Cloudflare, la cui misurazione descrivo più sotto.

Su rogala.pro funzionano tutti e tre i modi, e llms.txt è un file a parte che porta alle versioni Markdown. Ogni pagina ha una versione Markdown con lo stesso contenuto al proprio indirizzo con l'aggiunta index.md. Nel codice della pagina il tag rel="alternate" indica questa versione, e il tag rel="describedby" indica llms.txt. All'intestazione Accept: text/markdown il server risponde con Markdown a un normale indirizzo. Nei log si vede che sono due cose distinte: i crawler AI scaricavano le versioni Markdown, mentre per llms.txt nessun crawler AI noto ha inviato una richiesta. A luglio 2026 non ho trovato una versione Markdown in nessuno dei 10 domini del mio portfolio che ho verificato.

Che aspetto ha il file llms.txt?

Il formato è semplice: un titolo, una breve descrizione e elenchi di link raggruppati sotto intestazioni. L'unico elemento obbligatorio è l'intestazione con il nome del sito. La proposta descrive così l'ordine degli elementi (llmstxt.org):

1. Un'intestazione di primo livello con il nome del sito o del progetto, in Markdown # Nome.
2. Una breve descrizione in un blocco di citazione, cioè una riga che comincia con >.
3. Paragrafi facoltativi di contesto, senza intestazioni.
4. Sezioni con un'intestazione di secondo livello (## Sezione), e in ciascuna un elenco di link nella forma - [Titolo](indirizzo): descrizione.
5. Per consuetudine una sezione chiamata «Optional» con link a materiali meno importanti. Nella prima versione l'agente poteva ometterla quando l'intero file non entrava nella porzione di testo che elabora in una volta. La seconda versione lascia questa sezione solo come consuetudine (llmstxt.org).

Il file più semplice per un'azienda di servizi ha cinque righe:

• # Studio Contabile Esempio
• > Studio contabile a Cracovia: contabilità per ditte individuali e società dal 2010.
• ## Offerta
• - [Listino](https://example.com/cennik/): prezzi della contabilità per ditte individuali e società
• - [Contatti](https://example.com/kontakt/): indirizzo, telefono e orari dello studio

Su rogala.pro il file ha nome e descrizione in inglese, un paragrafo sulle versioni Markdown e tre sezioni. La sezione «Profile» porta alle pagine su di me, «Blog» al blog in polacco e in inglese, e «Optional» alle altre 25 versioni linguistiche del blog. Ogni link porta alla versione Markdown della pagina, e la descrizione dopo i due punti è lo stesso testo del tag di descrizione della pagina (meta description). A ottobre 2026 il file pesava circa 40 KB.

Alcuni siti con documentazione pubblicano anche un file llms-full.txt con l'intero contenuto in un unico file. La proposta su llmstxt.org non descrive un file del genere. Il file llms-full.txt nella documentazione di Anthropic pesa circa 45 MB, e in quella di Cloudflare circa 69 MB (verificato il 18 ottobre 2026).

Che aspetto hanno i file llms.txt di Allegro, Empik e Morele?

Grandi negozi polacchi hanno già un llms.txt, ma nessuno dei tre file che ho verificato applica la proposta per intero. I file di Allegro, Empik e Morele li ho scaricati il 18 ottobre 2026. Li valuto secondo il formato di llmstxt.org e secondo i controlli che descrivo in questo testo. Tutti e tre portano a normali pagine HTML, non a versioni Markdown.

Allegro dà agli agenti più informazioni pratiche, ma una parte della struttura l'ha scritta in grassetto invece che con intestazioni. Il file ha la data di aggiornamento, i nomi preferiti del marchio, l'indirizzo della sede e il modulo di contatto. Descrive anche gli schemi degli indirizzi di ricerca, dei filtri e delle pagine successive dei risultati, quindi l'agente può costruire da solo l'indirizzo di un elenco di prodotti. Le indicazioni per i modelli dicono che prezzi e disponibilità vanno verificati sulla pagina del prodotto, e riportano i nomi di programmi ritirati. Gruppi come «Główne kategorie» (categorie principali) e «Pozostałe strony i usługi» (altre pagine e servizi) hanno il grassetto al posto dell'intestazione ##. Un programma che legge il file secondo il formato assegnerà quindi l'elenco dei servizi alla sezione sul filtraggio. La descrizione del link sta dopo un trattino, non dopo i due punti, e le 13 categorie principali non hanno descrizioni.

Le pagine del file di Allegro hanno restituito al mio script il codice 403, anche se il file stesso si è scaricato senza problemi. Lo script indicava nell'intestazione User-Agent il proprio nome e l'indirizzo del mio sito, e con esso ho verificato i primi otto indirizzi del file. Non so se i crawler AI ricevano la stessa risposta, perché lo mostrano solo i log di Allegro. È un esempio di controllo da fare per ogni file: se gli indirizzi di llms.txt li scarica lo stesso programma che ha scaricato il file.

Empik segue il formato più fedelmente, ma la descrizione del marchio suona come un testo pubblicitario. Il file ha un'intestazione di primo livello, la descrizione in un blocco di citazione, sezioni ## ed elenchi di link con la descrizione dopo i due punti. Le indicazioni per i modelli sono concrete: prezzi e disponibilità vanno presi dalle schede dei prodotti, e le regole di reso dipendono dal venditore. Nella descrizione del marchio ci sono le formulazioni «wiodąca» (leader) e «Uwielbiana marka» (marchio amato), e in questo testo consiglio di dare fatti, perché il modello può confrontare la descrizione con il sito. Il file non ha la data di aggiornamento. L'intestazione e una parte delle etichette sono in inglese, anche se il resto è in polacco. Dei 35 indirizzi nel file 34 hanno risposto con il codice 200 e uno con un reindirizzamento.

Morele ha un buon elenco di categorie e guide, ma il file non rispetta il formato, quindi un programma potrebbe non leggerlo. Il file inizia con un carattere BOM invisibile, e nella prima riga #Morele.net manca lo spazio dopo il carattere #. In Markdown una riga del genere non è un'intestazione, e l'intestazione con il nome è l'unico elemento obbligatorio. Il file non ha la descrizione in un blocco di citazione e ha diverse intestazioni di primo livello. Nessuno dei 116 indirizzi è un link Markdown, e la maggior parte è scritta come semplice testo «nazwa - adres» (nome - indirizzo). Accanto alle categorie ci sono elenchi di tag e di «query più frequenti», cioè parole chiave per il modello, e testi pubblicitari. Dei 116 indirizzi 113 hanno risposto con il codice 200, e 3 hanno reindirizzato ad articoli con nuovi indirizzi.

Nessuno dei tre siti dà agli agenti versioni Markdown delle pagine, quindi dopo aver letto il file l'agente scarica comunque le pagine HTML complete. Empik e Morele rispondono all'intestazione Accept: text/markdown con HTML, e gli indirizzi con l'aggiunta .md restituiscono il codice 404. Allegro alle stesse prove ha risposto con il codice 403. Nessuno dei siti ha nemmeno il tag rel="describedby" né rel="alternate" type="text/markdown".

Google usa llms.txt?

No: Google scrive che per essere presenti nel motore di ricerca non serve creare file di testo per l'AI né versioni in Markdown. La guida di Google sull'ottimizzazione per le funzioni AI aggiunge che il motore di ricerca ignora tali file. Non aiutano quindi la visibilità e non le nuocciono (Google Search Central, aggiornamento del 10 luglio 2026). Secondo il resoconto di Search Engine Land della conferenza Search Central Live di luglio 2025, Gary Illyes ha detto che Google non supporta llms.txt (Search Engine Land).

John Mueller ha paragonato llms.txt al meta tag keywords, cioè il tag con le parole chiave che i motori di ricerca non usano. Ad aprile 2025 ha scritto su Reddit che il file è una dichiarazione del proprietario su ciò di cui tratta il sito. Un sistema AI può invece verificare la pagina stessa (Search Engine Journal). Ha aggiunto che nei log del server si vede che i servizi AI non controllano nemmeno se il file esista.

Chrome e il motore di ricerca di Google sono due cose separate. Lighthouse, lo strumento di Chrome per valutare le pagine, ha una categoria sperimentale «Agentic Browsing» che verifica, tra l'altro, se nella directory principale del dominio c'è llms.txt (Chrome for Developers). Questo controllo valuta la preparazione del sito per gli agenti nel browser. Il suo risultato non dice nulla sulle posizioni nel motore di ricerca di Google.

I crawler AI leggono llms.txt?

Dai dati disponibili risulta che i crawler dei motori di ricerca AI scaricano raramente llms.txt, e più spesso lo fanno GPTBot e Claude Code, l'assistente per sviluppatori. Tre studi che ho verificato nelle pubblicazioni originali misurano cose diverse: il solo file llms.txt, le versioni Markdown inviate tramite l'intestazione Accept e indirizzi Markdown separati.

• Ahrefs ha analizzato 137.210 domini dalla sua analytics del traffico a maggio 2026. Il 28% aveva llms.txt, e il 97% di questi file non ha ricevuto a maggio nemmeno una richiesta. Il 96% delle richieste arrivate ai file è stato inviato da crawler. I crawler dei motori di ricerca AI, per esempio OAI-SearchBot e PerplexityBot, hanno inviato in tutto 233 richieste, l'1,1% del totale. Tra gli strumenti AI nominati, GPTBot ha inviato il maggior numero di richieste, e il secondo è stato Claude Code. GPTBot è il crawler di OpenAI che raccoglie dati per i modelli, e Claude Code è l'assistente per sviluppatori di Anthropic (Ahrefs, 15 giugno 2026).
• Suganthan Mohanadasan per 44 giorni ha registrato le richieste con l'intestazione Accept: text/markdown dopo aver attivato in Cloudflare la funzione che fornisce Markdown agli agenti. L'autore riporta 1.421 richieste (la sua tabella ne somma 1.373). 639 le ha inviate un browser senza interfaccia, e 500 l'infrastruttura di Anthropic (secondo l'autore non ClaudeBot). Nella tabella non ci sono GPTBot né PerplexityBot (Suganthan Mohanadasan, 19 aprile 2026).
• Otterly per 14 giorni ha confrontato le pagine HTML con le loro versioni in Markdown a indirizzi separati, collegati nel footer. Le pagine HTML hanno avuto 137 visite di crawler AI, e le versioni Markdown zero. Nessuna piattaforma AI ha citato un indirizzo Markdown (Otterly, aggiornamento del 1° aprile 2026).

Lo studio di Ahrefs misura le richieste, non ciò che il crawler ha fatto con il file. Il fatto che GPTBot scarichi llms.txt non significa che il file cambi le risposte di ChatGPT. Ahrefs avverte anche che i suoi clienti sono più tecnici e attenti alla SEO della media dei siti. Nell'intera rete la quota di siti con llms.txt è quindi probabilmente inferiore al 28%.

Cosa hanno mostrato i log del mio sito dopo il rilascio di llms.txt?

Per dieci giorni dopo il rilascio nessun crawler AI noto ha inviato una richiesta per llms.txt, e le versioni Markdown le scaricavano crawler che non avevano chiesto quel file. L'8 ottobre 2026 ho pubblicato su rogala.pro llms.txt e la versione Markdown di ogni pagina (114 indirizzi il giorno del rilascio). I log di accesso li scarico dall'hosting e conto tre tipi di richieste: per llms.txt, per i file index.md, cioè le versioni Markdown a un indirizzo separato di ogni pagina, e per le risposte Markdown a un normale indirizzo di pagina.

Le risposte Markdown a un normale indirizzo le riconosco in modo indiretto, quindi il loro numero è un'approssimazione. L'hosting non registra l'intestazione Accept, quindi cerco risposte con una dimensione uguale a una delle dimensioni note delle versioni Markdown. Dopo una modifica del contenuto non conosco le vecchie dimensioni, quindi una parte di tali risposte potrei averla omessa. Una coincidenza casuale della dimensione è possibile, ma con dimensioni calcolate al byte poco probabile.

Risultati dell'8-17 ottobre 2026, dopo aver sottratto le mie richieste:

• Ho registrato 5 richieste per llms.txt, di cui 3 concluse con lo scaricamento del file. Una volta l'ha scaricato il crawler di uno strumento SEO, due volte scanner anonimi che si presentavano come un browser su telefono. Nessun crawler AI noto ha inviato una richiesta per questo file.
• Le richieste per i file index.md le inviavano direttamente ClaudeBot (123), OAI-SearchBot (35) e Applebot (27). ClaudeBot è il crawler di indicizzazione di Anthropic, un programma diverso da Claude Code dello studio di Ahrefs. L'hosting ha respinto 34 richieste di ClaudeBot con il codice 429, cioè «troppe richieste», quindi 89 richieste di ClaudeBot si sono concluse con lo scaricamento del file.
• Le risposte Markdown a un normale indirizzo le ho rilevate solo in 22 richieste di ExaSearchBot, soprattutto sulla home page. ExaSearchBot è il crawler di un motore di ricerca per applicazioni AI.
• Googlebot ha inviato 169 richieste per pagine HTML, e per lui non ho rilevato risposte Markdown. ChatGPT-User, che scarica le pagine su richiesta di un utente di ChatGPT, ha inviato 8 richieste per pagine HTML.

I log non mostrano da dove i crawler conoscessero gli indirizzi delle versioni Markdown. In quel periodo nessuno di essi ha inviato una richiesta per llms.txt. Il tag <link rel="alternate"> nelle pagine HTML indica l'indirizzo della versione Markdown, quindi è una strada possibile, ma non l'unica. Lo scaricamento non dice nemmeno se il crawler abbia usato quella versione in una risposta, e per questo serve una misurazione a parte.

I propri test si confondono facilmente con il traffico dei crawler. Durante il controllo del rilascio, il 17 ottobre, il mio script ha scaricato file Markdown con l'identificatore di Googlebot, il che ha dato 115 richieste di «Googlebot» dal mio indirizzo IP. Senza sottrarre i miei indirizzi nei log comparirebbe un Googlebot che scarica Markdown, anche se un vero Googlebot che scarica Markdown non l'ho rilevato.

Quando conviene fare llms.txt?

llms.txt ha più senso dove il sito lo leggono assistenti per sviluppatori: documentazione, API e strumenti per sviluppatori. Un'API è un'interfaccia tramite cui i programmi si scambiano dati. Nello studio di Ahrefs Claude Code era, dopo GPTBot, lo strumento AI con più richieste per il file. Un assistente nell'editor di codice che riceve l'indirizzo della documentazione può arrivare alla pagina giusta più in fretta dall'elenco di link che attraverso la navigazione.

In un negozio o in un'azienda di servizi llms.txt è un'aggiunta a basso costo, non un modo per ottenere traffico dall'AI. Non conosco una prova che il file aumenti il traffico o le citazioni. Prima di farlo, verifica se i crawler AI possono scaricare il tuo sito. Poi verifica se il contenuto è visibile nell'HTML senza eseguire JavaScript. Ho descritto entrambe le verifiche nel testo su GEO e AI SEO.

La versione per i crawler deve avere lo stesso contenuto della pagina per le persone, e può differire solo nel formato. Google descrive il cloaking, cioè mostrare al motore di ricerca un contenuto diverso da quello degli utenti, nelle norme sullo spam (Google Search Central). Una versione Markdown con le stesse informazioni, prezzi e condizioni è un altro formato della stessa pagina, mentre una versione con un contenuto o condizioni diversi è un rischio. Su rogala.pro la versione Markdown la sceglie l'intestazione Accept, non il nome del crawler. Nell'intestazione Link la versione Markdown indica la pagina HTML come indirizzo canonico, cioè la versione preferita della pagina.

Come fare un file llms.txt?

Il file puoi farlo da solo, se sai quali pagine sono importanti:

1. Scegli le pagine che dovrebbe conoscere chi chiede della tua azienda o del tuo prodotto: offerta, listino, documentazione, contatti, testi più importanti. Non incollare l'intera sitemap.
2. Scrivi l'intestazione con il nome e una o due frasi di descrizione in un blocco di citazione. La descrizione deve dare fatti sull'azienda, non uno slogan pubblicitario, perché il modello può confrontarla con il sito.
3. Raggruppa i link sotto intestazioni di secondo livello e per ciascuno scrivi una frase su ciò che c'è nella pagina.
4. Salva il file come /llms.txt nella directory principale del dominio, con codifica UTF-8. Verifica che l'indirizzo restituisca il codice 200, cioè una risposta corretta, e un semplice testo, non una pagina HTML, che alcuni sistemi mostrano a ogni indirizzo sconosciuto. Se il tuo sistema non permette di caricare il file nella directory principale, chiedi al fornitore del negozio o dell'hosting.
5. Genera il file dalla stessa fonte del sito, in modo che le informazioni nel file coincidano con il contenuto. Su rogala.pro llms.txt nasce a ogni costruzione del sito dagli stessi dati dell'HTML.

Basta un generatore di llms.txt?

Un generatore preparerà una versione iniziale del file, ma la scelta delle pagine e le descrizioni vanno verificate a mano. Secondo DataForSEO la parola chiave «llms txt generator» è cercata in Polonia circa 70 volte al mese, e «llms.txt generator» negli USA circa 480 volte (mediana di 12 mesi). Se il generatore prende gli indirizzi dalla sitemap o dalla scansione del sito con un crawler, non sa quali pagine siano importanti per te. Prima della pubblicazione verifica cinque cose:

• che nel file ci siano solo le pagine che vuoi mostrare, senza pagine di login, carrello e pagine in costruzione;
• che ogni indirizzo funzioni e restituisca il codice 200;
• che le descrizioni coincidano con il contenuto attuale delle pagine, i prezzi e l'offerta;
• che nel file non ci siano informazioni che non sono nel sito;
• come il file verrà aggiornato dopo le modifiche al sito.

Come verificare se i crawler scaricano llms.txt?

La risposta è nei log del server, non negli strumenti per la visibilità nell'AI. Scarica i log di accesso grezzi dal pannello dell'hosting e cerca in essi l'indirizzo /llms.txt e gli indirizzi delle versioni Markdown. Per ogni richiesta il log registra l'indirizzo IP, la data, il codice di risposta, la dimensione e il nome del programma che ha inviato la richiesta, cioè lo User-Agent.

Il nome del crawler si può falsificare, quindi le richieste più importanti le verifico dall'indirizzo IP. OpenAI pubblica gli elenchi degli indirizzi dei suoi crawler, e nei miei log 3 blocchi di indirizzi su 4 di OAI-SearchBot erano in un elenco del genere. Per lo stesso motivo sottraggo i miei test, perché il mio script di controllo si presentava come Googlebot.

I log scaricali regolarmente, perché l'hosting non li conserva a lungo. Il mio hosting conserva i log 14 giorni, quindi per avere un mese di misurazione scarico gli archivi ogni pochi giorni. La presenza del marchio nelle risposte dell'AI la misuro a parte. Ho descritto questa misurazione nel testo sulla visibilità del marchio nell'AI.

Domande frequenti su llms.txt

Da dove iniziare?

Comincia dall'accesso dei crawler e aggiungi llms.txt alla fine. Apri /robots.txt e verifica le regole per i crawler AI. Poi scarica i log degli ultimi giorni e guarda quali crawler visitano il sito e con quale codice di risposta. Se hai una documentazione o un prodotto per sviluppatori, aggiungi subito llms.txt e le versioni Markdown. In un negozio o in un'azienda di servizi llms.txt è un'aggiunta dopo questi due controlli. Se vuoi farlo insieme, scrivimi dalla pagina di contatto.