llms.txt: τι είναι, πώς φτιάχνεται και αν το διαβάζουν τα ρομπότ AI

Το αρχείο llms.txt είναι πρόταση και όχι πρότυπο: μια περιγραφή της σελίδας και μια λίστα με τις σημαντικότερες διευθύνσεις της για γλωσσικά μοντέλα και πράκτορες AI. Πράκτορας AI είναι ένα πρόγραμμα που εκτελεί εργασίες εξ ονόματος του χρήστη, για παράδειγμα ψάχνει πληροφορίες στην τεκμηρίωση. Η Google γράφει ότι η μηχανή αναζήτησής της δεν χρησιμοποιεί τέτοια αρχεία. Στο rogala.pro έχω από τις 8 Οκτωβρίου 2026 llms.txt και χωριστά έκδοση Markdown κάθε σελίδας, και ελέγχω στα logs του διακομιστή ποιος τα κατεβάζει. Επί δέκα ημέρες μετά την υλοποίηση κανένα γνωστό ρομπότ AI δεν έστειλε αίτημα για το llms.txt. Τις εκδόσεις Markdown των σελίδων τις κατέβαζαν σε αυτό το διάστημα ρομπότ που δηλώνονται ως ClaudeBot, OAI-SearchBot και Applebot.

Τι είναι το αρχείο llms.txt;

Το llms.txt είναι αρχείο κειμένου στον ριζικό κατάλογο της σελίδας, που σε λίγες γραμμές περιγράφει τον ιστότοπο και υποδεικνύει τις διευθύνσεις των σημαντικότερων σελίδων. Γράφεται σε Markdown, δηλαδή σε απλή μορφή κειμένου: ο χαρακτήρας # στην αρχή της γραμμής δημιουργεί επικεφαλίδα και ο σύνδεσμος έχει τη μορφή [τίτλος](διεύθυνση). Το πρότεινε ο Jeremy Howard στις 3 Σεπτεμβρίου 2024 (llmstxt.org). Στόχος ήταν να καταλαβαίνει γρήγορα ένας πράκτορας AI από τι αποτελείται η σελίδα, χωρίς να περνά από το μενού και τον κώδικα HTML. Τον Αύγουστο του 2026 ο συγγραφέας δημοσίευσε τη δεύτερη έκδοση, βασισμένη σε όσα έμαθε σε δύο χρόνια χρήσης του αρχείου από ιστότοπους. Εξακολουθεί να την αποκαλεί πρόταση ανοιχτή σε σχόλια και όχι αποδεκτό πρότυπο.

Το llms.txt δεν μπλοκάρει τίποτα και δεν αποφασίζει για την εκπαίδευση μοντέλων. Το αρχείο robots.txt δίνει στα ρομπότ AI κανόνες πρόσβασης, αλλά λειτουργεί μόνο σε ρομπότ που το τηρούν. Η πρόσβαση περιορίζεται και στον διακομιστή, στο firewall και στις ρυθμίσεις του CDN, δηλαδή του δικτύου ενδιάμεσων διακομιστών. Στο κείμενο για το audit SEO περιέγραψα πώς το ελέγχω.

Σε τι διαφέρει το llms.txt από τις εκδόσεις Markdown των σελίδων;

Το llms.txt και η έκδοση Markdown μιας σελίδας είναι δύο διαφορετικά πράγματα, αν και η πρόταση του llmstxt.org περιγράφει και τα δύο. Το llms.txt είναι ένα αρχείο για ολόκληρο τον ιστότοπο ή για μέρος του, δηλαδή κατάλογος των σημαντικότερων διευθύνσεων με σύντομες περιγραφές. Η έκδοση Markdown είναι το περιεχόμενο μίας σελίδας σε απλή μορφή, χωρίς μενού, scripts και κώδικα HTML. Οι σύνδεσμοι στο llms.txt πρέπει να οδηγούν σε τέτοιες εκδόσεις, αλλά καθένα από τα δύο λειτουργεί και χωρίς το άλλο (llmstxt.org).

Ένα ρομπότ μπορεί να φτάσει στην έκδοση Markdown με τρεις τρόπους, και η πρόταση του llmstxt.org περιγράφει τους δύο από αυτούς:

• Σε σταθερή διεύθυνση. Η πρόταση συνιστά την έκδοση Markdown στη διεύθυνση της σελίδας με την κατάληξη .md, για παράδειγμα strona.html.md, και για διεύθυνση χωρίς όνομα αρχείου το index.md.
• Μέσω ετικέτας ή κεφαλίδας. Η ετικέτα <link rel="alternate" type="text/markdown"> στον κώδικα της σελίδας υποδεικνύει την έκδοση Markdown. Η ετικέτα <link rel="describedby"> υποδεικνύει το αρχείο llms.txt που περιγράφει αυτή τη σελίδα. Η δεύτερη έκδοση της πρότασης επιτρέπει το ίδιο στην κεφαλίδα HTTP Link, δηλαδή στην απάντηση του διακομιστή (llmstxt.org).
• Μέσω διαπραγμάτευσης περιεχομένου. Το πρόγραμμα στέλνει την κεφαλίδα Accept: text/markdown, δηλαδή ζητά ρητά Markdown, και ο διακομιστής στην κανονική διεύθυνση επιστρέφει Markdown αντί για HTML. Η πρόταση του llmstxt.org δεν περιγράφει αυτόν τον τρόπο. Έτσι λειτουργεί για παράδειγμα μια λειτουργία του Cloudflare, τη μέτρηση της οποίας περιγράφω παρακάτω.

Στο rogala.pro λειτουργούν και οι τρεις τρόποι, και το llms.txt είναι ξεχωριστό αρχείο που οδηγεί στις εκδόσεις Markdown. Κάθε σελίδα έχει έκδοση Markdown με το ίδιο περιεχόμενο στη δική της διεύθυνση με την κατάληξη index.md. Στον κώδικα της σελίδας η ετικέτα rel="alternate" υποδεικνύει αυτή την έκδοση και η ετικέτα rel="describedby" το llms.txt. Στην κεφαλίδα Accept: text/markdown ο διακομιστής απαντά με Markdown στην κανονική διεύθυνση. Στα logs φαίνεται ότι πρόκειται για δύο ξεχωριστά πράγματα: τα ρομπότ AI κατέβαζαν εκδόσεις Markdown, ενώ για το llms.txt δεν έστειλε αίτημα κανένα γνωστό ρομπότ AI. Τον Ιούλιο του 2026 δεν βρήκα έκδοση Markdown σε κανένα από τα 10 domain του χαρτοφυλακίου μου που έλεγξα.

Πώς είναι ένα αρχείο llms.txt;

Η μορφή είναι απλή: τίτλος, σύντομη περιγραφή και λίστες συνδέσμων ομαδοποιημένες κάτω από επικεφαλίδες. Το μόνο υποχρεωτικό στοιχείο είναι η επικεφαλίδα με το όνομα της σελίδας. Η πρόταση περιγράφει τη σειρά των στοιχείων ως εξής (llmstxt.org):

1. Επικεφαλίδα πρώτου επιπέδου με το όνομα της σελίδας ή του έργου, σε Markdown # Όνομα.
2. Σύντομη περιγραφή σε μπλοκ παράθεσης, δηλαδή γραμμή που αρχίζει με >.
3. Προαιρετικές παράγραφοι με συμπληρωματικές πληροφορίες, χωρίς επικεφαλίδες.
4. Ενότητες με επικεφαλίδα δεύτερου επιπέδου (## Ενότητα), και σε καθεμία λίστα συνδέσμων της μορφής - [Τίτλος](διεύθυνση): περιγραφή.
5. Συνήθως, μια ενότητα με το όνομα «Optional» με συνδέσμους προς λιγότερο σημαντικό υλικό. Στην πρώτη έκδοση ο πράκτορας μπορούσε να την παραλείψει όταν ολόκληρο το αρχείο δεν χωρούσε στο τμήμα κειμένου που επεξεργάζεται κάθε φορά. Η δεύτερη έκδοση την αφήνει μόνο ως συνήθεια (llmstxt.org).

Το απλούστερο αρχείο για μια εταιρεία υπηρεσιών έχει πέντε γραμμές:

• # Λογιστικό Γραφείο Παράδειγμα
• > Λογιστικό γραφείο στην Κρακοβία: λογιστική για ατομικές επιχειρήσεις και εταιρείες από το 2010.
• ## Υπηρεσίες
• - [Τιμοκατάλογος](https://example.com/timokatalogos/): τιμές λογιστικής για ατομικές επιχειρήσεις και εταιρείες
• - [Επικοινωνία](https://example.com/epikoinonia/): διεύθυνση, τηλέφωνο και ώρες λειτουργίας του γραφείου

Στο rogala.pro το αρχείο έχει όνομα και περιγραφή στα αγγλικά, μια παράγραφο για τις εκδόσεις Markdown και τρεις ενότητες. Η ενότητα «Profile» οδηγεί σε σελίδες για μένα, η «Blog» στο blog στα πολωνικά και στα αγγλικά, και η «Optional» στις υπόλοιπες 25 γλωσσικές εκδόσεις του blog. Κάθε σύνδεσμος οδηγεί στην έκδοση Markdown της σελίδας και η περιγραφή μετά την άνω και κάτω τελεία είναι το ίδιο κείμενο με την ετικέτα περιγραφής της σελίδας (meta description). Τον Οκτώβριο του 2026 το αρχείο είχε περίπου 40 KB.

Μέρος των ιστότοπων με τεκμηρίωση δημοσιεύει και αρχείο llms-full.txt με ολόκληρο το περιεχόμενο σε ένα αρχείο. Η πρόταση στο llmstxt.org δεν περιγράφει τέτοιο αρχείο. Το llms-full.txt στην τεκμηρίωση της Anthropic έχει περίπου 45 MB και στην τεκμηρίωση του Cloudflare περίπου 69 MB (έλεγχος της 18ης Οκτωβρίου 2026).

Πώς είναι τα αρχεία llms.txt των Allegro, Empik και Morele;

Μεγάλα πολωνικά καταστήματα έχουν ήδη llms.txt, αλλά κανένα από τα τρία αρχεία που έλεγξα δεν εφαρμόζει την πρόταση στο σύνολό της. Τα αρχεία των Allegro, Empik και Morele τα κατέβασα στις 18 Οκτωβρίου 2026. Τα αξιολογώ με βάση τη μορφή του llmstxt.org και με βάση τους ελέγχους που περιγράφω σε αυτό το κείμενο. Και τα τρία οδηγούν σε κανονικές σελίδες HTML και όχι σε εκδόσεις Markdown.

Το Allegro δίνει στους πράκτορες τις περισσότερες πρακτικές πληροφορίες, αλλά μέρος της δομής το έγραψε με έντονη γραφή αντί για επικεφαλίδες. Το αρχείο έχει ημερομηνία ενημέρωσης, προτιμώμενα ονόματα του brand, διεύθυνση έδρας και φόρμα επικοινωνίας. Περιγράφει επίσης μοτίβα διευθύνσεων αναζήτησης, φίλτρων και επόμενων σελίδων αποτελεσμάτων, ώστε ο πράκτορας να μπορεί να φτιάξει μόνος του τη διεύθυνση μιας λίστας προϊόντων. Οι οδηγίες προς τα μοντέλα λένε ότι οι τιμές και η διαθεσιμότητα πρέπει να ελέγχονται στη σελίδα του προϊόντος, και δίνουν ονόματα προγραμμάτων που έχουν αποσυρθεί. Ομάδες όπως οι «Główne kategorie» (κύριες κατηγορίες) και «Pozostałe strony i usługi» (υπόλοιπες σελίδες και υπηρεσίες) έχουν έντονη γραφή αντί για επικεφαλίδα ##. Ένα πρόγραμμα που διαβάζει το αρχείο σύμφωνα με τη μορφή θα αντιστοιχίσει επομένως τη λίστα υπηρεσιών στην ενότητα για το φιλτράρισμα. Η περιγραφή του συνδέσμου βρίσκεται μετά από παύλα και όχι μετά από άνω και κάτω τελεία, και οι 13 κύριες κατηγορίες δεν έχουν περιγραφές.

Οι σελίδες από το αρχείο του Allegro επέστρεψαν στο script μου κωδικό 403, αν και το ίδιο το αρχείο κατέβηκε χωρίς πρόβλημα. Το script έδινε στην κεφαλίδα User-Agent το όνομά του και τη διεύθυνση της σελίδας μου, και με αυτό έλεγξα τις οκτώ πρώτες διευθύνσεις του αρχείου. Δεν ξέρω αν τα ρομπότ AI παίρνουν την ίδια απάντηση, γιατί αυτό το δείχνουν μόνο τα logs του Allegro. Είναι παράδειγμα ελέγχου που αξίζει να γίνεται σε κάθε αρχείο: αν οι διευθύνσεις του llms.txt κατεβαίνουν από το ίδιο πρόγραμμα που κατέβασε το αρχείο.

Το Empik ακολουθεί πιστότερα τη μορφή, αλλά η περιγραφή του brand ακούγεται σαν διαφημιστικό κείμενο. Το αρχείο έχει επικεφαλίδα πρώτου επιπέδου, περιγραφή σε μπλοκ παράθεσης, ενότητες ## και λίστες συνδέσμων με περιγραφή μετά την άνω και κάτω τελεία. Οι οδηγίες προς τα μοντέλα είναι συγκεκριμένες: οι τιμές και η διαθεσιμότητα πρέπει να λαμβάνονται από τις σελίδες των προϊόντων και οι όροι επιστροφής εξαρτώνται από τον πωλητή. Στην περιγραφή του brand υπάρχουν διατυπώσεις «wiodąca» (κορυφαία) και «Uwielbiana marka» (αγαπημένο brand), ενώ σε αυτό το κείμενο συνιστώ να δίνονται γεγονότα, γιατί το μοντέλο μπορεί να συγκρίνει την περιγραφή με τη σελίδα. Το αρχείο δεν έχει ημερομηνία ενημέρωσης. Η επικεφαλίδα και μέρος των ετικετών είναι στα αγγλικά, αν και τα υπόλοιπα είναι στα πολωνικά. Από τις 35 διευθύνσεις του αρχείου οι 34 απάντησαν με κωδικό 200 και μία με ανακατεύθυνση.

Το Morele έχει καλή λίστα κατηγοριών και οδηγών, αλλά το αρχείο δεν τηρεί τη μορφή, γι' αυτό ένα πρόγραμμα μπορεί να μην το διαβάσει. Το αρχείο ξεκινά με αόρατο χαρακτήρα BOM και στην πρώτη γραμμή #Morele.net λείπει το κενό μετά τον χαρακτήρα #. Σε Markdown μια τέτοια γραμμή δεν είναι επικεφαλίδα, και η επικεφαλίδα με το όνομα είναι το μόνο υποχρεωτικό στοιχείο. Το αρχείο δεν έχει περιγραφή σε μπλοκ παράθεσης και έχει αρκετές επικεφαλίδες πρώτου επιπέδου. Καμία από τις 116 διευθύνσεις δεν είναι σύνδεσμος Markdown, και οι περισσότερες είναι γραμμένες ως απλό κείμενο «όνομα - διεύθυνση». Δίπλα στις κατηγορίες υπάρχουν λίστες ετικετών και «συχνότερων ερωτημάτων», δηλαδή λέξεις-κλειδιά για το μοντέλο, καθώς και διαφημιστικά κείμενα. Από τις 116 διευθύνσεις οι 113 απάντησαν με κωδικό 200 και οι 3 έκαναν ανακατεύθυνση σε άρθρα με νέες διευθύνσεις.

Καμία από τις τρεις σελίδες δεν δίνει στους πράκτορες εκδόσεις Markdown των σελίδων, γι' αυτό μετά την ανάγνωση του αρχείου ο πράκτορας κατεβάζει πάλι ολόκληρες σελίδες HTML. Τα Empik και Morele στην κεφαλίδα Accept: text/markdown επιστρέφουν HTML, και οι διευθύνσεις με την κατάληξη .md επιστρέφουν κωδικό 404. Το Allegro στις ίδιες δοκιμές απάντησε με κωδικό 403. Καμία από τις σελίδες δεν έχει επίσης ετικέτα rel="describedby" ούτε rel="alternate" type="text/markdown".

Χρησιμοποιεί η Google το llms.txt;

Όχι: η Google γράφει ότι για την παρουσία στη μηχανή αναζήτησης δεν χρειάζεται να δημιουργήσετε αρχεία κειμένου για την AI ούτε εκδόσεις σε Markdown. Ο οδηγός της Google για τη βελτιστοποίηση για τις λειτουργίες AI προσθέτει ότι η μηχανή αναζήτησης αγνοεί τέτοια αρχεία. Δεν βοηθούν επομένως την ορατότητα και δεν τη βλάπτουν (Google Search Central, ενημέρωση της 10ης Ιουλίου 2026). Σύμφωνα με την κάλυψη του Search Engine Land από το συνέδριο Search Central Live τον Ιούλιο του 2025, ο Gary Illyes είπε ότι η Google δεν υποστηρίζει το llms.txt (Search Engine Land).

Ο John Mueller παρομοίασε το llms.txt με το meta tag keywords, δηλαδή την ετικέτα με λέξεις-κλειδιά που οι μηχανές αναζήτησης δεν χρησιμοποιούν. Τον Απρίλιο του 2025 έγραψε στο Reddit ότι το αρχείο είναι δήλωση του ιδιοκτήτη για το τι αφορά η σελίδα. Ένα σύστημα AI μπορεί αντί γι' αυτό να ελέγξει την ίδια τη σελίδα (Search Engine Journal). Πρόσθεσε ότι στα logs του διακομιστή φαίνεται πως οι υπηρεσίες AI δεν ελέγχουν καν αν το αρχείο υπάρχει.

Ο Chrome και η μηχανή αναζήτησης της Google είναι δύο ξεχωριστά πράγματα. Το Lighthouse, το εργαλείο του Chrome για την αξιολόγηση σελίδων, έχει πειραματική κατηγορία «Agentic Browsing», που ελέγχει μεταξύ άλλων αν στον ριζικό κατάλογο του domain υπάρχει llms.txt (Chrome for Developers). Αυτός ο έλεγχος αξιολογεί την προετοιμασία της σελίδας για πράκτορες στον browser. Το αποτέλεσμά του δεν λέει τίποτα για τις θέσεις στη μηχανή αναζήτησης της Google.

Διαβάζουν τα ρομπότ AI το llms.txt;

Από τα διαθέσιμα δεδομένα προκύπτει ότι τα ρομπότ των μηχανών αναζήτησης AI κατεβάζουν σπάνια το llms.txt, ενώ συχνότερα το κάνουν το GPTBot και το Claude Code, ο βοηθός προγραμματιστών. Οι τρεις έρευνες που έλεγξα στις πρωτότυπες δημοσιεύσεις μετρούν διαφορετικά πράγματα: το ίδιο το αρχείο llms.txt, τις εκδόσεις Markdown που στέλνονται με την κεφαλίδα Accept και ξεχωριστές διευθύνσεις Markdown.

• Το Ahrefs ανέλυσε 137.210 domain από την ανάλυση επισκεψιμότητάς του τον Μάιο του 2026. Το llms.txt είχε το 28% από αυτά, και στο 97% αυτών των αρχείων δεν έφτασε τον Μάιο ούτε ένα αίτημα. Το 96% των αιτημάτων που έφτασαν στα αρχεία τα έστειλαν ρομπότ. Τα ρομπότ μηχανών αναζήτησης AI, για παράδειγμα το OAI-SearchBot και το PerplexityBot, έστειλαν μαζί 233 αιτήματα, το 1,1% του συνόλου. Ανάμεσα στα ονομαστικά εργαλεία AI τα περισσότερα αιτήματα έστειλε το GPTBot και δεύτερο ήταν το Claude Code. Το GPTBot είναι ρομπότ της OpenAI που συλλέγει δεδομένα για μοντέλα και το Claude Code βοηθός προγραμματιστών της Anthropic (Ahrefs, 15 Ιουνίου 2026).
• Ο Suganthan Mohanadasan επί 44 ημέρες κατέγραφε αιτήματα με την κεφαλίδα Accept: text/markdown, αφού ενεργοποίησε στο Cloudflare τη λειτουργία που δίνει Markdown στους πράκτορες. Ο συγγραφέας αναφέρει 1.421 αιτήματα (ο πίνακάς του αθροίζει σε 1.373). Τα 639 από αυτά τα έστειλε browser χωρίς διεπαφή και τα 500 υποδομή της Anthropic (σύμφωνα με τον συγγραφέα όχι το ClaudeBot). Στον πίνακα δεν υπάρχει GPTBot ούτε PerplexityBot (Suganthan Mohanadasan, 19 Απριλίου 2026).
• Η Otterly επί 14 ημέρες σύγκρινε σελίδες HTML με τις εκδόσεις τους σε Markdown σε ξεχωριστές διευθύνσεις, με σύνδεσμο στο υποσέλιδο. Οι σελίδες HTML είχαν 137 επισκέψεις ρομπότ AI και οι εκδόσεις Markdown μηδέν. Καμία πλατφόρμα AI δεν παρέθεσε διεύθυνση Markdown (Otterly, ενημέρωση της 1ης Απριλίου 2026).

Η έρευνα του Ahrefs μετρά αιτήματα και όχι το τι έκανε το ρομπότ με το αρχείο. Το ότι το GPTBot κατεβάζει το llms.txt δεν σημαίνει ότι το αρχείο αλλάζει τις απαντήσεις του ChatGPT. Το Ahrefs επισημαίνει επίσης ότι οι πελάτες του έχουν περισσότερες τεχνικές γνώσεις και μεγαλύτερη εξοικείωση με το SEO από τον μέσο ιδιοκτήτη ιστοτόπου. Σε ολόκληρο το διαδίκτυο το ποσοστό των σελίδων με llms.txt είναι επομένως πιθανότατα χαμηλότερο από 28%.

Τι έδειξαν τα logs της σελίδας μου μετά την υλοποίηση του llms.txt;

Επί δέκα ημέρες μετά την υλοποίηση κανένα γνωστό ρομπότ AI δεν έστειλε αίτημα για το llms.txt, ενώ τις εκδόσεις Markdown κατέβαζαν ρομπότ που δεν ρώτησαν για αυτό το αρχείο. Στις 8 Οκτωβρίου 2026 δημοσίευσα στο rogala.pro το llms.txt και την έκδοση Markdown κάθε σελίδας (114 διευθύνσεις την ημέρα της υλοποίησης). Τα logs πρόσβασης τα κατεβάζω από το hosting και μετρώ τρία είδη αιτημάτων: για το llms.txt, για αρχεία index.md, δηλαδή τις εκδόσεις Markdown σε ξεχωριστή διεύθυνση κάθε σελίδας, και για απαντήσεις Markdown στην κανονική διεύθυνση της σελίδας.

Τις απαντήσεις Markdown στην κανονική διεύθυνση τις αναγνωρίζω έμμεσα, γι' αυτό ο αριθμός τους είναι προσέγγιση. Το hosting δεν καταγράφει την κεφαλίδα Accept, γι' αυτό ψάχνω απαντήσεις με μέγεθος ίσο με κάποιο από τα γνωστά μεγέθη των εκδόσεων Markdown. Μετά από αλλαγή του περιεχομένου δεν ξέρω τα παλιά μεγέθη, οπότε μέρος τέτοιων απαντήσεων μπορεί να το παρέλειψα. Μια τυχαία σύμπτωση μεγέθους είναι δυνατή, αλλά με μεγέθη μετρημένα στο byte λίγο πιθανή.

Αποτελέσματα των 8-17 Οκτωβρίου 2026, αφού αφαιρέθηκαν τα δικά μου αιτήματα:

• Κατέγραψα 5 αιτήματα για το llms.txt, από τα οποία τα 3 ολοκληρώθηκαν με λήψη του αρχείου. Μία φορά το κατέβασε ρομπότ εργαλείου SEO, δύο φορές ανώνυμοι σαρωτές που δηλώνονταν ως browser κινητού. Κανένα γνωστό ρομπότ AI δεν έστειλε αίτημα για αυτό το αρχείο.
• Αιτήματα για αρχεία index.md έστειλαν απευθείας το ClaudeBot (123), το OAI-SearchBot (35) και το Applebot (27). Το ClaudeBot είναι το ρομπότ ευρετηρίασης της Anthropic, διαφορετικό πρόγραμμα από το Claude Code της έρευνας του Ahrefs. Το hosting απέρριψε 34 αιτήματα του ClaudeBot με κωδικό 429, δηλαδή «πάρα πολλά αιτήματα», άρα 89 αιτήματα του ClaudeBot ολοκληρώθηκαν με λήψη του αρχείου.
• Απαντήσεις Markdown στην κανονική διεύθυνση εντόπισα μόνο σε 22 αιτήματα του ExaSearchBot, κυρίως στην αρχική σελίδα. Το ExaSearchBot είναι ρομπότ μηχανής αναζήτησης για εφαρμογές AI.
• Ο Googlebot έστειλε 169 αιτήματα για σελίδες HTML και απάντηση Markdown για αυτόν δεν εντόπισα. Το ChatGPT-User, που κατεβάζει σελίδες κατόπιν αιτήματος του χρήστη του ChatGPT, έστειλε 8 αιτήματα για σελίδες HTML.

Τα logs δεν δείχνουν από πού ήξεραν τα ρομπότ τις διευθύνσεις των εκδόσεων Markdown. Σε αυτό το διάστημα κανένα από αυτά δεν έστειλε αίτημα για το llms.txt. Η ετικέτα <link rel="alternate"> στις σελίδες HTML δίνει τη διεύθυνση της έκδοσης Markdown, άρα είναι πιθανός δρόμος, αλλά όχι ο μοναδικός. Η λήψη δεν λέει επίσης αν το ρομπότ χρησιμοποίησε αυτή την έκδοση σε μια απάντηση, και για αυτό χρειάζεται ξεχωριστή μέτρηση.

Τα δικά σας τεστ μπορούν εύκολα να μπερδευτούν με επισκεψιμότητα ρομπότ. Στον έλεγχο της υλοποίησης στις 17 Οκτωβρίου το script μου κατέβασε αρχεία Markdown με το αναγνωριστικό του Googlebot, κάτι που έδωσε 115 αιτήματα «Googlebot» από τη δική μου διεύθυνση IP. Χωρίς την αφαίρεση των δικών μου διευθύνσεων στα logs θα εμφανιζόταν Googlebot που κατεβάζει Markdown, αν και πραγματικό Googlebot που να κατεβάζει Markdown δεν εντόπισα.

Πότε αξίζει να φτιάξετε llms.txt;

Το llms.txt είναι πιο χρήσιμο εκεί όπου τη σελίδα διαβάζουν βοηθοί προγραμματιστών: στην τεκμηρίωση, στα API και στα εργαλεία για προγραμματιστές. Το API είναι η διεπαφή μέσω της οποίας τα προγράμματα ανταλλάσσουν δεδομένα. Στην έρευνα του Ahrefs το Claude Code ήταν δεύτερο μετά το GPTBot ανάμεσα στα εργαλεία AI ως προς τον αριθμό αιτημάτων για το αρχείο. Ένας βοηθός σε επεξεργαστή κώδικα που παίρνει τη διεύθυνση της τεκμηρίωσης μπορεί να φτάσει γρηγορότερα από τη λίστα συνδέσμων στη σωστή σελίδα απ' ό,τι μέσω της πλοήγησης.

Σε ένα κατάστημα ή σε μια εταιρεία υπηρεσιών το llms.txt είναι φθηνή προσθήκη και όχι τρόπος για επισκεψιμότητα από την AI. Δεν γνωρίζω στοιχεία που να αποδεικνύουν ότι το αρχείο αυξάνει την επισκεψιμότητα ή τις παραθέσεις. Πριν το φτιάξετε, ελέγξτε αν τα ρομπότ AI μπορούν καν να κατεβάσουν τη σελίδα σας. Έπειτα ελέγξτε αν το περιεχόμενο είναι ορατό στο HTML χωρίς εκτέλεση JavaScript. Και τους δύο ελέγχους τους περιέγραψα στο κείμενο για το GEO και AI SEO.

Η έκδοση για ρομπότ πρέπει να έχει το ίδιο περιεχόμενο με τη σελίδα για ανθρώπους, και μπορεί να διαφέρει μόνο στη μορφή. Η Google περιγράφει το cloaking, δηλαδή την εμφάνιση στη μηχανή αναζήτησης άλλου περιεχομένου από ό,τι στους χρήστες, στους κανόνες για το spam (Google Search Central). Μια έκδοση Markdown με τις ίδιες πληροφορίες, τιμές και όρους είναι άλλη μορφή της ίδιας σελίδας, ενώ μια έκδοση με άλλο περιεχόμενο ή άλλους όρους είναι κίνδυνος. Στο rogala.pro την έκδοση Markdown την επιλέγει η κεφαλίδα Accept και όχι το όνομα του ρομπότ. Στην κεφαλίδα Link η έκδοση Markdown υποδεικνύει τη σελίδα HTML ως canonical διεύθυνση, δηλαδή ως προτιμώμενη έκδοση της σελίδας.

Πώς φτιάχνεται ένα αρχείο llms.txt;

Το αρχείο μπορείτε να το φτιάξετε μόνοι σας, αν ξέρετε ποιες σελίδες είναι σημαντικές:

1. Διαλέξτε τις σελίδες που πρέπει να γνωρίζει όποιος ρωτά για την εταιρεία ή το προϊόν σας: προσφορά, τιμοκατάλογος, τεκμηρίωση, επικοινωνία, τα σημαντικότερα κείμενα. Μην επικολλήσετε ολόκληρο το sitemap.
2. Γράψτε επικεφαλίδα με το όνομα και μία ή δύο προτάσεις περιγραφής σε μπλοκ παράθεσης. Η περιγραφή πρέπει να δίνει γεγονότα για την εταιρεία και όχι διαφημιστικό σύνθημα, γιατί το μοντέλο μπορεί να την συγκρίνει με τη σελίδα.
3. Ομαδοποιήστε τους συνδέσμους κάτω από επικεφαλίδες δεύτερου επιπέδου και σε καθέναν γράψτε μία πρόταση για το τι υπάρχει στη σελίδα.
4. Αποθηκεύστε το αρχείο ως /llms.txt στον ριζικό κατάλογο του domain, με κωδικοποίηση UTF-8. Ελέγξτε ότι η διεύθυνση επιστρέφει κωδικό 200, δηλαδή σωστή απάντηση, και απλό κείμενο και όχι σελίδα HTML, την οποία ορισμένα συστήματα δείχνουν σε κάθε άγνωστη διεύθυνση. Αν το σύστημά σας δεν επιτρέπει το ανέβασμα αρχείου στον ριζικό κατάλογο, ρωτήστε τον πάροχο του καταστήματος ή του hosting.
5. Παράγετε το αρχείο από την ίδια πηγή με τη σελίδα, ώστε οι πληροφορίες στο αρχείο να συμφωνούν με το περιεχόμενο. Στο rogala.pro το llms.txt δημιουργείται σε κάθε build της σελίδας από τα ίδια δεδομένα με το HTML.

Αρκεί ένα εργαλείο δημιουργίας llms.txt;

Ένα εργαλείο δημιουργίας llms.txt θα ετοιμάσει μια αρχική έκδοση του αρχείου, αλλά την επιλογή των σελίδων και τις περιγραφές πρέπει να τις ελέγξετε χειροκίνητα. Σύμφωνα με το DataForSEO, τη φράση «llms txt generator» την αναζητούν στην Πολωνία περίπου 70 φορές τον μήνα και το «llms.txt generator» στις ΗΠΑ περίπου 480 φορές (διάμεσος 12 μηνών). Αν το εργαλείο παίρνει διευθύνσεις από το sitemap ή από σάρωση της σελίδας με ρομπότ, δεν ξέρει ποιες σελίδες είναι σημαντικές για εσάς. Πριν από τη δημοσίευση ελέγξτε πέντε πράγματα:

• αν στο αρχείο υπάρχουν μόνο σελίδες που θέλετε να δείξετε, χωρίς σελίδες σύνδεσης, καλάθι και σελίδες υπό κατασκευή·
• αν κάθε διεύθυνση λειτουργεί και επιστρέφει κωδικό 200·
• αν οι περιγραφές συμφωνούν με το τρέχον περιεχόμενο των σελίδων, τις τιμές και την προσφορά·
• αν στο αρχείο δεν υπάρχουν πληροφορίες που δεν υπάρχουν στη σελίδα·
• πώς θα ενημερώνεται το αρχείο μετά από αλλαγές στη σελίδα.

Πώς να ελέγξετε αν τα ρομπότ κατεβάζουν το llms.txt;

Η απάντηση βρίσκεται στα logs του διακομιστή και όχι στα εργαλεία ορατότητας στην AI. Κατεβάστε τα ακατέργαστα logs πρόσβασης από τον πίνακα του hosting και ψάξτε σε αυτά τη διεύθυνση /llms.txt και τις διευθύνσεις των εκδόσεων Markdown. Για κάθε αίτημα το log καταγράφει τη διεύθυνση IP, την ημερομηνία, τον κωδικό απόκρισης, το μέγεθος και το όνομα του προγράμματος που έστειλε το αίτημα, δηλαδή το User-Agent.

Το όνομα του ρομπότ μπορεί να πλαστογραφηθεί, γι' αυτό τα σημαντικότερα αιτήματα τα ελέγχω με βάση τη διεύθυνση IP. Η OpenAI δημοσιεύει λίστες διευθύνσεων των ρομπότ της και στα logs μου 3 από τα 4 μπλοκ διευθύνσεων του OAI-SearchBot βρίσκονταν σε τέτοια λίστα. Για τον ίδιο λόγο αφαιρώ τα δικά μου τεστ, γιατί το script ελέγχου μου δήλωνε Googlebot.

Να κατεβάζετε τα logs τακτικά, γιατί το hosting δεν τα κρατά για πολύ. Το δικό μου hosting κρατά τα logs 14 ημέρες, γι' αυτό για να έχω ένα μήνα μέτρησης κατεβάζω τα αρχεία κάθε λίγες ημέρες. Την παρουσία του brand στις απαντήσεις της AI τη μετρώ χωριστά. Αυτή τη μέτρηση την περιέγραψα στο κείμενο για την ορατότητα του brand στην AI.

Συχνές ερωτήσεις για το llms.txt

Από πού να ξεκινήσετε;

Ξεκινήστε από την πρόσβαση των ρομπότ και προσθέστε το llms.txt στο τέλος. Ανοίξτε το /robots.txt και ελέγξτε τους κανόνες για τα ρομπότ AI. Έπειτα κατεβάστε τα logs των τελευταίων ημερών και δείτε ποια ρομπότ επισκέπτονται τη σελίδα και με ποιον κωδικό απόκρισης. Αν έχετε τεκμηρίωση ή προϊόν για προγραμματιστές, προσθέστε αμέσως llms.txt και εκδόσεις Markdown. Σε κατάστημα ή εταιρεία υπηρεσιών το llms.txt είναι προσθήκη μετά από αυτούς τους δύο ελέγχους. Αν θέλετε να το κάνουμε μαζί, γράψτε μου μέσω της σελίδας επικοινωνίας.