--- title: "llms.txt: So prüfe ich die Nutzung in Server-Logs - Łukasz Rogala" description: "Ich erkläre das Format der llms.txt und wann sie sinnvoll ist. Dazu zeige ich, ob Google und KI-Crawler sie nutzen und was meine Server-Logs zeigen." url: "https://rogala.pro/de/blog/llms-txt/" language: "de" author: "Łukasz Rogala" published: "2026-10-18T12:00:00+02:00" modified: "2026-10-18T12:16:57+02:00" --- [Blog](https://rogala.pro/de/blog/) # llms.txt: Was die Datei ist, wie Sie sie erstellen und ob KI-Crawler sie lesen [Łukasz Rogala](https://rogala.pro/de/#about) · 18. Oktober 2026 · 19 Min. Lesezeit **Die Datei llms.txt ist ein Vorschlag und kein Standard: eine Beschreibung der Website und eine Liste ihrer wichtigsten Adressen für Sprachmodelle und KI-Agenten.** Ein KI-Agent ist ein Programm, das im Auftrag des Nutzers Aufgaben erledigt, zum Beispiel Informationen in einer Dokumentation sucht. Google schreibt, dass seine Suchmaschine solche Dateien nicht nutzt. Auf rogala.pro habe ich seit dem 8. Oktober 2026 eine llms.txt und daneben eine Markdown-Version jeder Seite, und in den Server-Logs prüfe ich, wer sie abruft. In den ersten zehn Tagen nach der Einführung hat kein bekannter KI-Crawler die llms.txt angefragt. Die Markdown-Versionen der Seiten riefen in dieser Zeit Crawler ab, die sich als ClaudeBot, OAI-SearchBot und Applebot zu erkennen gaben. **Die eigenen Daten in diesem Text stammen aus den rohen Server-Logs von rogala.pro und betreffen den 8.-17. Oktober 2026, also die zehn Tage nach der Einführung.** Ich zähle Anfragen nach dem Namen des Crawlers, den das Programm in der Anfrage angibt (User-Agent), auch solche, die der Server abgewiesen hat. Dieser Name lässt sich fälschen, und anhand der IP-Adressen habe ich nur einen Teil der Crawler geprüft. Die Zahlen sind ohne meine eigenen Anfragen. Markdown-Antworten unter der gewöhnlichen Adresse einer Seite erkenne ich an der Größe, ihre Zahl ist also eine Näherung. Die Messung läuft bis zum 8. November 2026, und nach der vollständigen Auswertung aktualisiere ich die Zahlen. Die Daten betreffen nur eine kleine Website und zehn Tage; sie zeigen also, wer Anfragen nach Dateien sendet, und nicht, ob die Dateien der Sichtbarkeit helfen. ## Was ist die Datei llms.txt? **Die llms.txt ist eine Textdatei im Hauptverzeichnis der Website, die in wenigen Zeilen die Seite beschreibt und die Adressen der wichtigsten Seiten nennt.** Sie wird in Markdown geschrieben, einem einfachen Textformat: Das Zeichen `#` am Zeilenanfang erzeugt eine Überschrift, und ein Link hat die Form `[Titel](Adresse)`. Vorgeschlagen hat sie Jeremy Howard am 3. September 2024 (llmstxt.org). Das Ziel war, dass ein KI-Agent schnell versteht, woraus eine Website besteht, ohne durch Menüs und HTML-Code zu gehen. Im August 2026 veröffentlichte der Autor eine zweite Version, die auf dem beruht, was er in zwei Jahren der Nutzung der Datei durch Websites gelernt hat. Er nennt sie weiterhin einen Vorschlag, der für Anmerkungen offen ist, und keinen angenommenen Standard. | Datei | Wofür sie dient | Wer sie liest | Ob sie etwas blockiert | |---|---|---|---| | robots.txt | Regeln, welche Adressen Crawler abrufen dürfen | Crawler von Suchmaschinen und KI-Crawler, die erklären, sie zu beachten | Ja, für Crawler, die sie beachten | | Sitemap (sitemap.xml) | Adressen, die indexiert werden sollen, oft mit Datum der letzten Änderung | Suchmaschinen | Nein | | llms.txt | Beschreibung der Website und ausgewählte Adressen in Markdown | KI-Crawler und Tools für Entwickler; Crawler von KI-Suchmaschinen selten | Nein | | Markdown-Version der Seite (zum Beispiel index.md) | Inhalt einer Seite in einem einfachen Format, ohne Menü und HTML-Code | KI-Crawler und Agenten; in meinen Logs unter anderem ClaudeBot und OAI-SearchBot | Nein | **Die llms.txt blockiert nichts und entscheidet nicht über das Training von Modellen.** Die Datei robots.txt gibt KI-Crawlern Regeln für den Zugriff vor, wirkt aber nur auf Crawler, die sie beachten. Der Zugriff wird auch auf dem Server, in der Firewall und in den Einstellungen des CDN eingeschränkt, also eines Netzes vermittelnder Server. Im Text zum [SEO-Audit](https://rogala.pro/de/blog/seo-audit/) habe ich beschrieben, wie ich das prüfe. ## Worin unterscheidet sich die llms.txt von den Markdown-Versionen der Seiten? **Die llms.txt und die Markdown-Version einer Seite sind zwei verschiedene Dinge, auch wenn der Vorschlag von llmstxt.org beide beschreibt.** Die llms.txt ist eine einzige Datei für die ganze Website oder einen Teil davon, also ein Verzeichnis der wichtigsten Adressen mit kurzen Beschreibungen. Die Markdown-Version ist der Inhalt einer einzelnen Seite in einem einfachen Format, ohne Menü, Skripte und HTML-Code. Die Links in der llms.txt sollten auf solche Versionen führen, aber jedes dieser beiden Dinge funktioniert ohne das andere (llmstxt.org). **Ein Crawler kann auf drei Wegen zur Markdown-Version gelangen, und der Vorschlag von llmstxt.org beschreibt zwei davon:** - Unter einer festen Adresse. Der Vorschlag empfiehlt die Markdown-Version unter der Adresse der Seite mit angehängtem `.md`, zum Beispiel `seite.html.md`, und bei einer Adresse ohne Dateinamen `index.md`. - Über eine Markierung oder einen Header. Die Markierung `` im Code der Seite verweist auf die Markdown-Version. Die Markierung `` verweist auf die Datei llms.txt, die diese Seite beschreibt. Die zweite Version des Vorschlags lässt dasselbe im HTTP-Header `Link` zu, also in der Antwort des Servers (llmstxt.org). - Über Content Negotiation. Das Programm sendet den Header `Accept: text/markdown`, bittet also ausdrücklich um Markdown, und der Server liefert unter der gewöhnlichen Adresse Markdown statt HTML. Der Vorschlag von llmstxt.org beschreibt diesen Weg nicht. So arbeitet zum Beispiel die Funktion von Cloudflare, deren Messung ich weiter unten beschreibe. **Auf rogala.pro funktionieren alle drei Wege, und die llms.txt ist eine eigene Datei, die zu den Markdown-Versionen führt.** Jede Seite hat eine Markdown-Version mit demselben Inhalt unter ihrer Adresse mit angehängtem `index.md`. Im Code der Seite verweist die Markierung `rel="alternate"` auf diese Version, und die Markierung `rel="describedby"` verweist auf die llms.txt. Auf den Header `Accept: text/markdown` liefert der Server unter der gewöhnlichen Adresse Markdown. In den Logs sieht man, dass es zwei getrennte Dinge sind: KI-Crawler riefen Markdown-Versionen ab, und die llms.txt hat kein bekannter KI-Crawler angefragt. Im Juli 2026 fand ich in keiner der 10 geprüften Domains aus meinem Portfolio eine Markdown-Version. ## Wie sieht eine llms.txt-Datei aus? **Das Format ist einfach: ein Titel, eine kurze Beschreibung und Listen von Links, gruppiert unter Überschriften.** Das einzige erforderliche Element ist die Überschrift mit dem Namen der Website. Der Vorschlag beschreibt die Reihenfolge der Elemente so (llmstxt.org): 1. Eine Überschrift der ersten Ebene mit dem Namen der Website oder des Projekts, in Markdown `# Name`. 2. Eine kurze Beschreibung in einem Zitatblock, also einer Zeile, die mit `>` beginnt. 3. Optionale Absätze mit Kontext, ohne Überschriften. 4. Abschnitte mit einer Überschrift der zweiten Ebene (`## Abschnitt`) und in jedem eine Liste von Links in der Form `- [Titel](Adresse): Beschreibung`. 5. Üblicherweise ein Abschnitt mit dem Namen „Optional“ mit Links auf weniger wichtige Materialien. In der ersten Version durfte ihn der Agent auslassen, wenn die ganze Datei nicht in die Textmenge passte, die er auf einmal verarbeitet. Die zweite Version führt diesen Abschnitt nur als Konvention weiter (llmstxt.org). **Die einfachste Datei für ein Dienstleistungsunternehmen hat fünf Zeilen:** - `# Steuerbüro Beispiel` - `> Steuerbüro in Krakau: Buchhaltung für Einzelunternehmen und Gesellschaften seit 2010.` - `## Angebot` - `- [Preise](https://example.com/preise/): Preise der Buchhaltung für Einzelunternehmen und Gesellschaften` - `- [Kontakt](https://example.com/kontakt/): Adresse, Telefon und Öffnungszeiten des Büros` **Auf rogala.pro hat die Datei Namen und Beschreibung auf Englisch, einen Absatz zu den Markdown-Versionen und drei Abschnitte.** Der Abschnitt „Profile“ führt zu den Seiten über mich, „Blog“ zum Blog auf Polnisch und Englisch und „Optional“ zu den übrigen 25 Sprachversionen des Blogs. Jeder Link führt zur Markdown-Version der Seite, und die Beschreibung nach dem Doppelpunkt ist derselbe Text wie in der Beschreibung der Seite (Meta Description). Im Oktober 2026 hatte die Datei ca. 40 KB. **Einige Websites mit Dokumentation veröffentlichen auch eine Datei llms-full.txt mit dem ganzen Inhalt in einer einzigen Datei.** Der Vorschlag auf llmstxt.org beschreibt eine solche Datei nicht. Die Datei llms-full.txt in der Dokumentation von Anthropic hat ca. 45 MB und in der Dokumentation von Cloudflare ca. 69 MB (geprüft am 18. Oktober 2026). ## Wie sehen die llms.txt-Dateien von Allegro, Empik und Morele aus? **Große polnische Shops haben bereits eine llms.txt, aber keine der drei Dateien, die ich geprüft habe, setzt den Vorschlag vollständig um.** Die Dateien von Allegro, Empik und Morele habe ich am 18. Oktober 2026 abgerufen. Ich bewerte sie nach dem Format von llmstxt.org und nach den Kontrollen, die ich in diesem Text beschreibe. Alle drei führen auf gewöhnliche HTML-Seiten und nicht auf Markdown-Versionen. **Allegro gibt Agenten die meisten praktischen Informationen, hat aber einen Teil der Struktur fett statt mit Überschriften geschrieben.** Die Datei hat ein Aktualisierungsdatum, bevorzugte Namen der Marke, die Adresse des Firmensitzes und ein Kontaktformular. Sie beschreibt auch Muster der Adressen für Suche, Filter und weitere Ergebnisseiten, ein Agent kann also selbst die Adresse einer Produktliste bilden. Die Hinweise für Modelle sagen, dass Preise und Verfügbarkeit auf der Produktseite zu prüfen sind, und nennen die Namen eingestellter Programme. Gruppen wie „Główne kategorie“ (Hauptkategorien) und „Pozostałe strony i usługi“ (weitere Seiten und Dienste) sind fett statt mit einer Überschrift `##` geschrieben. Ein Programm, das die Datei nach dem Format liest, ordnet die Liste der Dienste also dem Abschnitt über Filter zu. Die Beschreibung eines Links steht nach einem Bindestrich und nicht nach einem Doppelpunkt, und die 13 Hauptkategorien haben keine Beschreibungen. **Die Seiten aus der Datei von Allegro lieferten meinem Skript den Code 403, obwohl sich die Datei selbst ohne Probleme abrufen ließ.** Das Skript gab im Header User-Agent seinen Namen und die Adresse meiner Website an, und ich prüfte damit die ersten acht Adressen aus der Datei. Ich weiß nicht, ob KI-Crawler dieselbe Antwort erhalten, denn das zeigen nur die Logs von Allegro. Das ist ein Beispiel für eine Kontrolle, die bei jeder Datei sinnvoll ist: ob die Adressen aus der llms.txt dasselbe Programm abrufen kann, das die Datei abgerufen hat. **Empik hält sich am treuesten an das Format, aber die Beschreibung der Marke klingt wie ein Werbetext.** Die Datei hat eine Überschrift der ersten Ebene, eine Beschreibung im Zitatblock, Abschnitte `##` und Listen von Links mit Beschreibung nach dem Doppelpunkt. Die Hinweise für Modelle sind konkret: Preise und Verfügbarkeit sind den Produktseiten zu entnehmen, und die Rückgaberegeln hängen vom Verkäufer ab. In der Beschreibung der Marke stehen die Formulierungen „wiodąca“ (führend) und „Uwielbiana marka“ (geliebte Marke), und in diesem Text empfehle ich, Fakten anzugeben, denn ein Modell kann die Beschreibung mit der Website vergleichen. Die Datei hat kein Aktualisierungsdatum. Die Überschrift und ein Teil der Bezeichnungen sind auf Englisch, obwohl der Rest auf Polnisch ist. Von 35 Adressen in der Datei antworteten 34 mit dem Code 200 und eine mit einer Weiterleitung. **Morele hat eine gute Liste von Kategorien und Ratgebern, aber die Datei hält sich nicht an das Format, ein Programm kann sie also eventuell nicht lesen.** Die Datei beginnt mit einem unsichtbaren Zeichen BOM, und in der ersten Zeile `#Morele.net` fehlt das Leerzeichen nach dem Zeichen `#`. In Markdown ist eine solche Zeile keine Überschrift, und die Überschrift mit dem Namen ist das einzige erforderliche Element. Die Datei hat keine Beschreibung im Zitatblock und mehrere Überschriften der ersten Ebene. Keine der 116 Adressen ist ein Markdown-Link, die meisten sind als einfacher Text „Name - Adresse“ geschrieben. Bei den Kategorien stehen Listen von Tags und der „häufigsten Suchanfragen“, also Suchbegriffe für das Modell, sowie Werbetexte. Von 116 Adressen antworteten 113 mit dem Code 200, und 3 leiteten auf Artikel unter neuen Adressen weiter. **Keiner der drei Shops gibt Agenten Markdown-Versionen der Seiten, nach dem Lesen der Datei ruft der Agent also trotzdem die vollständigen HTML-Seiten ab.** Empik und Morele liefern auf den Header `Accept: text/markdown` HTML, und Adressen mit angehängtem `.md` liefern den Code 404. Allegro antwortete auf dieselben Versuche mit dem Code 403. Keiner der Shops hat zudem die Markierung `rel="describedby"` oder `rel="alternate" type="text/markdown"`. ## Nutzt Google die llms.txt? **Nein: Google schreibt, dass man für die Präsenz in der Suchmaschine keine Textdateien für KI und keine Markdown-Versionen erstellen muss.** Der Leitfaden von Google zur Optimierung für KI-Funktionen fügt hinzu, dass die Suchmaschine solche Dateien ignoriert. Sie helfen der Sichtbarkeit also nicht und schaden ihr nicht (Google Search Central, Aktualisierung vom 10. Juli 2026). Nach dem Bericht von Search Engine Land von der Konferenz Search Central Live im Juli 2025 sagte Gary Illyes, dass Google die llms.txt nicht unterstützt (Search Engine Land). **John Mueller verglich die llms.txt mit dem Meta-Tag keywords, also einer Markierung mit Schlüsselwörtern, die Suchmaschinen nicht verwenden.** Im April 2025 schrieb er auf Reddit, die Datei sei eine Erklärung des Betreibers darüber, worum es auf der Website geht. Ein KI-System könne stattdessen die Website selbst prüfen (Search Engine Journal). Er fügte hinzu, dass man in den Server-Logs sehe, dass KI-Dienste nicht einmal prüfen, ob die Datei existiert. **Chrome und die Suchmaschine Google sind zwei getrennte Dinge.** Lighthouse, das Tool von Chrome zur Bewertung von Seiten, hat eine experimentelle Kategorie „Agentic Browsing“, die unter anderem prüft, ob im Hauptverzeichnis der Domain eine llms.txt liegt (Chrome for Developers). Diese Kontrolle bewertet die Vorbereitung der Website für Agenten im Browser. Ihr Ergebnis sagt nichts über Positionen in der Suchmaschine Google. ## Lesen KI-Crawler die llms.txt? **Aus den verfügbaren Daten ergibt sich, dass die Crawler von KI-Suchmaschinen die llms.txt selten abrufen und dass das häufiger der GPTBot und Claude Code tun, ein Assistent für Programmierer.** Drei Untersuchungen, die ich in den Originalveröffentlichungen geprüft habe, messen verschiedene Dinge: die Datei llms.txt selbst, per Accept-Header gesendete Markdown-Versionen und eigene Markdown-Adressen. - Ahrefs analysierte 137.210 Domains aus seiner Traffic-Analytik im Mai 2026. 28 % von ihnen hatten eine llms.txt, und bei 97 % dieser Dateien ging im Mai keine einzige Anfrage ein. 96 % der Anfragen, die die Dateien erreichten, sandten Crawler. Crawler von KI-Suchmaschinen, zum Beispiel OAI-SearchBot und PerplexityBot, sandten zusammen 233 Anfragen, 1,1 % aller. Unter den benannten KI-Tools sandte der GPTBot die meisten Anfragen, und an zweiter Stelle stand Claude Code. Der GPTBot ist der Crawler von OpenAI, der Daten für Modelle sammelt, und Claude Code ist der Assistent für Programmierer der Firma Anthropic (Ahrefs, 15. Juni 2026). - Suganthan Mohanadasan protokollierte 44 Tage lang Anfragen mit dem Header `Accept: text/markdown`, nachdem er in Cloudflare die Funktion eingeschaltet hatte, die Agenten Markdown liefert. Der Autor nennt 1.421 Anfragen (seine Tabelle summiert sich auf 1.373). 639 davon sandte ein Browser ohne grafische Oberfläche und 500 die Infrastruktur von Anthropic (nach Angaben des Autors nicht der ClaudeBot). In der Tabelle gibt es weder den GPTBot noch den PerplexityBot (Suganthan Mohanadasan, 19. April 2026). - Otterly verglich 14 Tage lang HTML-Seiten mit ihren Markdown-Versionen unter eigenen Adressen, die in der Fußzeile verlinkt waren. Die HTML-Seiten hatten 137 Besuche von KI-Crawlern, die Markdown-Versionen null. Keine KI-Plattform zitierte eine Markdown-Adresse (Otterly, Aktualisierung vom 1. April 2026). **Die Untersuchung von Ahrefs misst Anfragen und nicht, was der Crawler mit der Datei gemacht hat.** Dass der GPTBot die llms.txt abruft, heißt nicht, dass die Datei die Antworten von ChatGPT ändert. Ahrefs weist auch darauf hin, dass seine Kunden technischer und SEO-bewusster sind als durchschnittliche Websites. Im ganzen Web ist der Anteil der Websites mit einer llms.txt also wahrscheinlich niedriger als 28 %. ## Was zeigten die Logs meiner Website nach der Einführung der llms.txt? **In den ersten zehn Tagen nach der Einführung hat kein bekannter KI-Crawler die llms.txt angefragt, und Markdown-Versionen riefen Crawler ab, die nicht nach dieser Datei gefragt haben.** Am 8. Oktober 2026 habe ich auf rogala.pro eine llms.txt und eine Markdown-Version jeder Seite veröffentlicht (114 Adressen am Tag der Einführung). Die Zugriffslogs rufe ich vom Hosting ab und zähle drei Arten von Anfragen: nach der llms.txt, nach den Dateien index.md, also den Markdown-Versionen unter einer eigenen Adresse jeder Seite, und nach Markdown-Antworten unter der gewöhnlichen Adresse einer Seite. **Markdown-Antworten unter der gewöhnlichen Adresse erkenne ich indirekt, ihre Zahl ist also eine Näherung.** Das Hosting speichert den Header Accept nicht, deshalb suche ich Antworten, deren Größe einer der bekannten Größen der Markdown-Versionen entspricht. Nach einer Änderung des Inhalts kenne ich die alten Größen nicht, deshalb kann ich einen Teil solcher Antworten übersehen haben. Eine zufällige Übereinstimmung der Größe ist möglich, bei auf das Byte genau gezählten Größen aber unwahrscheinlich. **KI-Crawler riefen Markdown-Versionen ab, aber keiner sandte eine Anfrage nach der llms.txt** Horizontale Balken für acht Crawler. Je Crawler zwei Balken: Zahl der Anfragen nach HTML-Seiten und Zahl der Anfragen nach Markdown-Versionen auf rogala.pro vom 8. bis 17. Oktober 2026. Googlebot 169 und 0, Bingbot 129 und 0, ClaudeBot 171 und 123, OAI-SearchBot 113 und 35, Applebot 80 und 27, Meta-ExternalAgent 36 und 3, ExaSearchBot 0 und 22, ChatGPT-User 8 und 0. Keiner dieser Crawler sandte eine Anfrage nach der Datei llms.txt. *Rohe Zugriffslogs von rogala.pro vom 8.-17.10.2026, ohne meine eigenen Anfragen. Ausgewählte Crawler, gezählt nach dem in der Anfrage angegebenen Namen (User-Agent). Als Markdown zähle ich Anfragen nach index.md-Dateien und Markdown-Antworten unter der gewöhnlichen Adresse, die ich an der Größe erkenne; darunter 37 mit dem Code 429 abgewiesene Anfragen (34 des ClaudeBots und alle 3 von Meta-ExternalAgent). Die Messung läuft bis zum 8.11.2026.* **Ergebnisse vom 8.-17. Oktober 2026, nach Abzug meiner eigenen Anfragen:** - Ich habe 5 Anfragen nach der llms.txt verzeichnet, von denen 3 mit dem Abruf der Datei endeten. Einmal rief sie der Crawler eines SEO-Tools ab, zweimal anonyme Scanner, die sich als Browser auf einem Telefon ausgaben. Kein bekannter KI-Crawler hat diese Datei angefragt. - Anfragen nach den Dateien index.md sandten direkt ClaudeBot (123), OAI-SearchBot (35) und Applebot (27). ClaudeBot ist der Indexierungs-Crawler von Anthropic, ein anderes Programm als Claude Code aus der Untersuchung von Ahrefs. Das Hosting wies 34 Anfragen des ClaudeBots mit dem Code 429 ab, also „zu viele Anfragen“, 89 Anfragen des ClaudeBots endeten also mit dem Abruf der Datei. - Markdown-Antworten unter der gewöhnlichen Adresse stellte ich nur bei 22 Anfragen des ExaSearchBots fest, vor allem auf der Startseite. ExaSearchBot ist der Crawler einer Suchmaschine für KI-Anwendungen. - Googlebot sandte 169 Anfragen nach HTML-Seiten, und Markdown-Antworten stellte ich bei ihm nicht fest. ChatGPT-User, der Seiten auf Wunsch eines ChatGPT-Nutzers abruft, sandte 8 Anfragen nach HTML-Seiten. **Die Logs zeigen nicht, woher die Crawler die Adressen der Markdown-Versionen kannten.** In dieser Zeit hat keiner von ihnen die llms.txt angefragt. Die Markierung `` auf den HTML-Seiten nennt die Adresse der Markdown-Version, das ist also ein möglicher Weg, aber nicht der einzige. Der Abruf sagt auch nicht, ob der Crawler diese Version in einer Antwort verwendet hat, und dafür braucht es eine eigene Messung. **Eigene Tests lassen sich leicht mit dem Verkehr von Crawlern verwechseln.** Bei der Kontrolle der Einführung am 17. Oktober rief mein Skript Markdown-Dateien mit der Kennung des Googlebots ab, was 115 Anfragen des „Googlebots“ von meiner IP-Adresse ergab. Ohne Abzug meiner eigenen Adressen hätte in den Logs ein Googlebot gestanden, der Markdown abruft, obwohl ich einen echten Googlebot, der Markdown abruft, nicht festgestellt habe. ## Ist eine llms.txt sinnvoll und wann lohnt sie sich? **Die llms.txt ist am sinnvollsten dort, wo Assistenten für Programmierer die Website lesen: bei Dokumentation, API und Tools für Entwickler.** Eine API ist die Schnittstelle, über die Programme Daten austauschen. In der Untersuchung von Ahrefs war Claude Code nach dem GPTBot das KI-Tool mit den meisten Anfragen nach der Datei. Ein Assistent im Code-Editor, der die Adresse einer Dokumentation erhält, kann aus der Liste von Links schneller zur richtigen Seite gelangen als über die Navigation. **llms.txt für Dokumentation; im Shop zuerst den Crawler-Zugang prüfen** Matrix vier mal zwei. Spalten: Dokumentation, API oder Tool für Entwickler sowie Shop, Dienstleistungen oder Unternehmenswebsite. Zeilen: wer die Datei liest, was sie bringt, was zuerst zu tun ist und wie man den Abruf prüft. *Aufteilung nach der Untersuchung von Ahrefs (Daten vom Mai 2026) und den Logs von rogala.pro vom Oktober 2026. Nach der Dokumentation von Google nutzt die Suchmaschine Google diese Datei in keinem dieser Fälle.* **In einem Shop oder einem Dienstleistungsunternehmen ist die llms.txt eine günstige Ergänzung und kein Weg zu Traffic aus der KI.** Einen Beleg dafür, dass die Datei Traffic oder Zitate erhöht, kenne ich nicht. Prüfen Sie, bevor Sie sie erstellen, ob KI-Crawler Ihre Website überhaupt abrufen können. Prüfen Sie dann, ob der Inhalt im HTML ohne Ausführung von JavaScript sichtbar ist. Beide Prüfungen habe ich im Text zu [GEO und KI-SEO](https://rogala.pro/de/blog/geo-seo/) beschrieben. **Die Version für Crawler muss denselben Inhalt haben wie die Seite für Menschen, und unterscheiden darf sie sich nur im Format.** Google beschreibt Cloaking, also das Zeigen eines anderen Inhalts für die Suchmaschine als für Nutzer, in den Richtlinien zu Spam (Google Search Central). Eine Markdown-Version mit denselben Informationen, Preisen und Bedingungen ist ein anderes Format derselben Seite, und eine Version mit anderem Inhalt oder anderen Bedingungen ist ein Risiko. Auf rogala.pro wählt der Header Accept die Markdown-Version und nicht der Name des Crawlers. Im Header `Link` verweist die Markdown-Version auf die HTML-Seite als Canonical-URL, also als bevorzugte Version der Seite. **Ich prüfe, ob KI-Crawler Ihre Website abrufen können und was sie davon sehen.** Schreiben Sie, auf welchem System die Website läuft und ob Sie Zugriff auf die Server-Logs haben. Ich antworte, womit ich beginnen würde. [Schreiben Sie mir](https://rogala.pro/de/#contact) · [LinkedIn](https://www.linkedin.com/in/lukaszrogala/?locale=de_DE) · [WhatsApp](https://wa.me/48570081225) ## Wie erstelle ich eine llms.txt? **Die Datei können Sie selbst erstellen, wenn Sie wissen, welche Seiten wichtig sind:** 1. Wählen Sie die Seiten, die jemand kennen sollte, der nach Ihrem Unternehmen oder Produkt fragt: Angebot, Preise, Dokumentation, Kontakt, die wichtigsten Texte. Kopieren Sie nicht die ganze Sitemap hinein. 2. Schreiben Sie eine Überschrift mit dem Namen und ein oder zwei Sätze Beschreibung im Zitatblock. Die Beschreibung soll Fakten über das Unternehmen nennen und keinen Werbeslogan, denn ein Modell kann sie mit der Website vergleichen. 3. Gruppieren Sie die Links unter Überschriften der zweiten Ebene und schreiben Sie bei jedem einen Satz dazu, was auf der Seite steht. 4. Speichern Sie die Datei als `/llms.txt` im Hauptverzeichnis der Domain, in der Kodierung UTF-8. Prüfen Sie, ob die Adresse den Code 200 liefert, also eine korrekte Antwort, und einfachen Text und nicht eine HTML-Seite, die manche Systeme unter jeder unbekannten Adresse zeigen. Wenn Ihr System das Hochladen einer Datei ins Hauptverzeichnis nicht erlaubt, fragen Sie den Anbieter Ihres Shops oder Ihres Hostings. 5. Erzeugen Sie die Datei aus derselben Quelle wie die Website, damit die Informationen in der Datei mit dem Inhalt übereinstimmen. Auf rogala.pro entsteht die llms.txt bei jedem Bauen der Website aus denselben Daten wie das HTML. ### Reicht ein llms.txt-Generator? **Ein Generator bereitet eine erste Fassung der Datei vor, aber die Auswahl der Seiten und die Beschreibungen müssen Sie von Hand prüfen.** Laut DataForSEO wird der Suchbegriff „llms txt generator“ in Polen ca. 70 Mal pro Monat gesucht und „llms.txt generator“ in den USA ca. 480 Mal (Median über 12 Monate). Wenn ein Generator die Adressen aus der Sitemap oder aus dem Scannen der Website mit einem Crawler nimmt, weiß er nicht, welche Seiten für Sie wichtig sind. Prüfen Sie vor der Veröffentlichung fünf Dinge: - ob in der Datei nur Seiten stehen, die Sie zeigen wollen, ohne Login-Seiten, Warenkorb und Seiten im Aufbau; - ob jede Adresse funktioniert und den Code 200 liefert; - ob die Beschreibungen mit dem aktuellen Inhalt der Seiten, den Preisen und dem Angebot übereinstimmen; - ob in der Datei keine Informationen stehen, die nicht auf der Website stehen; - wie sich die Datei nach Änderungen auf der Website aktualisiert. ## Wie prüfe ich, ob Crawler die llms.txt abrufen? **Die Antwort steht in den Server-Logs und nicht in Tools für KI-Sichtbarkeit.** Rufen Sie die rohen Zugriffslogs aus dem Hosting-Panel ab und suchen Sie darin die Adresse `/llms.txt` und die Adressen der Markdown-Versionen. Bei jeder Anfrage speichert das Log IP-Adresse, Datum, Antwortcode, Größe und den Namen des Programms, das die Anfrage gesendet hat, also den User-Agent. **Den Namen eines Crawlers kann man fälschen, deshalb prüfe ich wichtigere Anfragen anhand der IP-Adresse.** OpenAI veröffentlicht Listen der Adressen seiner Crawler, und in meinen Logs standen 3 von 4 Adressblöcken des OAI-SearchBots auf einer solchen Liste. Aus demselben Grund ziehe ich eigene Tests ab, denn mein Kontrollskript gab sich als Googlebot aus. **Rufen Sie die Logs regelmäßig ab, denn das Hosting bewahrt sie nicht lange auf.** Mein Hosting bewahrt die Logs 14 Tage auf, und um einen Monat Messung zu haben, rufe ich die Archive alle paar Tage ab. Das Vorkommen der Marke in KI-Antworten messe ich getrennt. Diese Messung habe ich im Text zur [KI-Sichtbarkeit](https://rogala.pro/de/blog/ki-sichtbarkeit-messen/) beschrieben. ## Häufige Fragen zur llms.txt ### Wo platziere ich die Datei llms.txt? **Meist im Hauptverzeichnis der Domain, unter der Adresse /llms.txt, wie die robots.txt.** Die zweite Version des Vorschlags lässt auch eine Datei in einem Unterverzeichnis zu, zum Beispiel für eine Dokumentation, und dann gilt die der jeweiligen Seite am nächsten liegende. Die Datei sollte den Code 200 und einfachen Text in der Kodierung UTF-8 liefern. ### Blockiert die llms.txt das KI-Training auf meiner Website? **Nein, die llms.txt blockiert nichts.** Regeln für Crawler, die Daten für das Training von Modellen sammeln, schreibt man in die robots.txt, und sie wirken auf Crawler, die sie beachten. Den Zugriff der übrigen schränkt man auf dem Server oder in der Firewall ein. Die llms.txt beschreibt nur die Website und nennt Adressen. ### Liest ChatGPT die llms.txt? **Einen Beleg dafür, dass ChatGPT die llms.txt für Antworten nutzt, kenne ich nicht.** In der Untersuchung von Ahrefs sandte der GPTBot, der Crawler von OpenAI, der Daten für Modelle sammelt, unter den KI-Tools die meisten Anfragen nach der llms.txt. Eine Anfrage sagt aber nicht, ob die Datei die Antworten von ChatGPT beeinflusst. John Mueller schrieb im April 2025, dass seines Wissens kein KI-Dienst die Nutzung der llms.txt angekündigt habe. In den Logs meiner Website hat zehn Tage lang kein Crawler von OpenAI die llms.txt angefragt. OAI-SearchBot, der Crawler der Suche von ChatGPT, rief in dieser Zeit Markdown-Versionen der Seiten ab. ### Ersetzt die llms.txt die Sitemap? **Nein, es sind zwei verschiedene Dateien für verschiedene Empfänger.** Die Sitemap nennt Suchmaschinen Adressen, die indexiert werden sollen, und kann das Datum ihrer letzten Änderung angeben. Die llms.txt nennt ausgewählte Seiten mit einer Beschreibung für KI-Agenten. Suchmaschinen nutzen weiterhin die Sitemap. ### Lohnt sich auch eine llms-full.txt? **Die llms-full.txt sollten Sie bei einer großen technischen Dokumentation erwägen, in einem Shop oder auf einer Unternehmenswebsite genügt die llms.txt mit Links.** Die llms-full.txt ist der ganze Inhalt der Website in einer einzigen Datei, und die Dokumentation von Anthropic hat eine solche Datei mit einer Größe von ca. 45 MB. Prüfen Sie, bevor Sie sie erstellen, ob das Tool, für das Sie sie erstellen, sie nutzen kann. ## Womit fange ich an? **Beginnen Sie mit dem Zugang der Crawler und fügen Sie die llms.txt am Ende hinzu.** Öffnen Sie `/robots.txt` und prüfen Sie die Regeln für KI-Crawler. Rufen Sie dann die Logs der letzten Tage ab und sehen Sie nach, welche Crawler die Website mit welchem Antwortcode besuchen. Wenn Sie eine Dokumentation oder ein Produkt für Programmierer haben, fügen Sie die llms.txt und Markdown-Versionen gleich hinzu. In einem Shop oder einem Dienstleistungsunternehmen ist die llms.txt eine Ergänzung nach diesen beiden Prüfungen. Wenn Sie das gemeinsam angehen möchten, nehmen Sie [Kontakt](https://rogala.pro/de/#contact) mit mir auf. Externe Quellen (geprüft am 18. Oktober 2026): - llmstxt.org: The /llms.txt file, v2 (llmstxt.org) - llmstxt.org: Changes in v2 (llmstxt.org) - Google Search Central: Google's Guide to Optimizing for Generative AI Features on Google Search (developers.google.com) - Google Search Central: Spam Policies for Google Web Search (developers.google.com) - Search Engine Land: Google says normal SEO works for ranking in AI Overviews and LLMS.txt won't be used (searchengineland.com) - Search Engine Journal: Google Says LLMs.Txt Comparable To Keywords Meta Tag (searchenginejournal.com) - Chrome for Developers: Lighthouse agentic browsing scoring (developer.chrome.com) - Ahrefs: We Analyzed 137K Sites: 97% of llms.txt Files Never Get Read (ahrefs.com) - Suganthan Mohanadasan: Cloudflare Markdown for Agents. I Tracked Every AI Request for 44 Days (suganthan.com) - OtterlyAI: HTML vs Markdown: What Impacts AI? (otterly.ai) - OpenAI: Overview of OpenAI Crawlers (platform.openai.com) - OpenAI: Liste der Adressen von OAI-SearchBot (openai.com) - Allegro: llms.txt (allegro.pl) - Empik: llms.txt (empik.com) - Morele: llms.txt (morele.net) Eigene Daten: Zugriffslogs von rogala.pro vom 8.-17. Oktober 2026 (Archive vom 4.-17. Oktober, Einführung am 8. Oktober), Durchsicht von 10 Domains aus dem Portfolio (Juli 2026), Dateien llms.txt und llms-full.txt geprüft am 18. Oktober 2026, Nachfrage aus DataForSEO (Oktober 2026). [Łukasz Rogala](https://rogala.pro/de/#about) SEO-Stratege und SEO-Berater Łukasz Rogala ist SEO-Stratege und SEO-Berater, CEO von VerticalSEO und Mitgründer von Linko. [Über mich](https://rogala.pro/de/#about) · [Vorträge und Medien](https://rogala.pro/de/#featured) Lesen Sie auch - [GEO und KI-SEO: Was bei der Optimierung für KI wirklich funktioniert](https://rogala.pro/de/blog/geo-seo/) - [SEO-Audit: So gehe ich bei einem Audit Ihrer Website Schritt für Schritt vor](https://rogala.pro/de/blog/seo-audit/)