llms.txt wird in Google Lighthouse sichtbar: Warum Websites jetzt für KI-Agenten lesbar werden müssen

Wenn Ihre Website noch keine llms.txt haben sollte, ist jetzt der richtige Zeitpunkt das umgehend zu ändern. Denn in den vergangenen Wochen hat sich Einiges getan und viele Expertinnen und Experten ändern Ihre Meinung. Wir haben schon in einigen Projekten unserer Kunden llms.txt Dateien, Markdown-Versionen und Grounding Pages online gestellt und die Auswirkungen sehr genau beobachtet. Unsere selbst entwickelte TYPO3 – Extension für llms.txt ist bei vielen unseren Kunden live und übernimmt automatisch Erstellung und Aktualisierung der llms.txt und Markdowns. Für uns gibt es kein klares Gegenargument mehr, das gegen eine llms.txt spricht, erst recht nicht nach den Geschehnissen der letzten Wochen. 

Die Sichtbarkeit von Websites verändert sich gerade erneut. Lange ging es vor allem darum, Inhalte für Suchmaschinen-Crawler und Menschen gut auffindbar, schnell und verständlich zu machen. Heute kommt eine weitere Zielgruppe dazu: KI-Agenten.

Damit sind Systeme gemeint, die Websites nicht wie Menschen lesen, sondern Inhalte abrufen, strukturieren und in Aufgaben oder Antworten weiterverarbeiten. Dazu gehören KI-Assistenten, agentische Browser, Coding-Assistenten und andere Systeme, die selbstständig Informationen auf Websites recherchieren.

Eine Entwicklung macht dieses Thema jetzt besonders relevant: Google Chrome Lighthouse dokumentiert eine neue experimentelle Kategorie „Agentic Browsing“. Diese Kategorie bewertet, wie gut eine Website für die Interaktion mit Maschinen vorbereitet ist. Ein Bestandteil dieser Prüfung ist die Frage, ob eine llms.txt im Stammverzeichnis der Domain vorhanden ist.

Das ist kein kleines Detail. Es ist ein deutliches Signal dafür, wohin sich technische Website-Optimierung bewegt.

In der neuen Lighthouse-Dokumentation zu „Agentic Browsing“ beschreibt Google, dass Websites anhand deterministischer Audits darauf geprüft werden, wie gut sie für maschinelle Interaktion geeignet sind. Anders als klassische Lighthouse-Kategorien gibt es hier aktuell keine 0-bis-100-Bewertung. Stattdessen geht es um Signale, Statusmeldungen und konkrete Hinweise zur agentischen Bereitschaft einer Website.

Unter dem Punkt „Stabilität und Auffindbarkeit“ taucht dabei ausdrücklich die llms.txt auf. Lighthouse prüft, ob im Root-Verzeichnis der Domain eine maschinenlesbare Zusammenfassung vorhanden ist.

Google beschreibt die llms.txt als neue Konvention, mit der eine maschinenlesbare Zusammenfassung der Inhalte einer Website bereitgestellt wird – speziell für LLMs und KI-Agenten. Ohne diese Datei müssen Agents mehr Zeit darauf verwenden, die allgemeine Struktur und die wichtigsten Inhalte einer Website selbst zu erschließen.

Wichtig ist die Einordnung: Die Kategorie ist experimentell. Und Google sagt selbst, dass die Bereitstellung einer llms.txt aktuell noch optional ist. Trotzdem ist die Aufnahme in Lighthouse ein starkes Signal: Was gestern noch als experimentelle Konvention diskutiert wurde, ist heute bereits Teil einer öffentlich dokumentierten Prüfung in einem der wichtigsten Webanalyse-Tools.

Eine llms.txt ist eine Markdown-Datei, die im Hauptverzeichnis einer Website liegt, zum Beispiel unter: https://www.diemedialen.de/llms.txt

Sie funktioniert wie eine strukturierte Orientierungshilfe für KI-Systeme. Darin werden wichtige Inhalte, zentrale Seiten, thematische Schwerpunkte und relevante Links so zusammengefasst, dass Maschinen sie schnell erfassen können.

Die ursprüngliche llms.txt-Konvention beschreibt genau diesen Zweck: Websites sollen LLMs zur Inferenzzeit eine zentrale, gut lesbare Informationsquelle bereitstellen. Die Datei soll kurze Hintergrundinformationen, Orientierung und Links zu weiterführenden Markdown-Inhalten enthalten.

Alles, was Sie über die llms.txt wissen müssen, haben wir schon hier zusammengefasst: 

llms.txt einrichten: So steigern Sie Ihre Sichtbarkeit in KI-Suchen

Bisher wurde llms.txt häufig vor allem im Zusammenhang mit KI-Suchen und Generative Engine Optimization diskutiert. Also mit der Frage, wie Unternehmen in Antworten von ChatGPT, Perplexity, Gemini oder Googles KI-Funktionen korrekt und sichtbar auftauchen.

Das bleibt wichtig. Aber mit der neuen Lighthouse-Kategorie kommt eine weitere Perspektive dazu: Agentic Engine Optimization, kurz AEO.

AEO bedeutet, Inhalte so zu strukturieren, zu formatieren und bereitzustellen, dass KI-Agenten sie tatsächlich nutzen können. Addy Osmani, der sich bei Google um agentische Browsing-Themen kümmert, beschreibt AEO als Optimierung für eine neue Art von Konsumenten: nicht nur Menschen und klassische Suchmaschinen-Crawler, sondern autonome KI-Agenten, die Inhalte abrufen, parsen und daraus Schlüsse ziehen.

Dabei geht es nicht nur um Sichtbarkeit in KI-Antworten, sondern auch um technische Nutzbarkeit. Können Agenten die richtigen Inhalte finden? Sind diese Inhalte maschinenlesbar? Müssen sie sich durch Navigation, Layout, JavaScript, Footer und Seitenelemente kämpfen? Oder bekommen sie eine klare, kompakte und priorisierte Struktur?

Genau an dieser Stelle wird die llms.txt relevant.

Suchmaschinenoptimierung war lange vor allem auf Google-Suchergebnisse ausgerichtet. Dann kam die Diskussion um GEO, also Generative Engine Optimization: Wie schaffen es Unternehmen, in KI-generierten Antworten korrekt berücksichtigt, genannt und zitiert zu werden?

Mit AEO kommt nun eine zusätzliche Ebene hinzu. Es geht nicht nur darum, ob Inhalte gefunden werden. Es geht auch darum, ob KI-Agenten mit diesen Inhalten effizient arbeiten können.

Das betrifft insbesondere:

• die Auffindbarkeit zentraler Inhalte,
• die Lesbarkeit ohne komplexes Rendering,
• die Bereitstellung sauberer Markdown-Versionen,
• die Priorisierung wichtiger Seiten,
• klare Zusammenfassungen und Kontextinformationen,
• technische Signale für agentische Systeme.

Addy Osmani beschreibt die llms.txt in diesem Zusammenhang als eine Art Sitemap für KI-Agenten: eine flache, Markdown-formatierte Datei unter yourdomain.com/llms.txt, die eine strukturierte Übersicht der Dokumentation oder Inhalte liefert. Außerdem empfiehlt er, Inhalte nicht nur als HTML, sondern auch als sauberes Markdown bereitzustellen, weil Agenten Markdown mit deutlich weniger unnötigem Ballast verarbeiten können.

Quelle: addyosmani.com/blog/agentic-engine-optimization/

Das passt zu einer Entwicklung, die wir bereits seit einiger Zeit beobachten: Websites müssen nicht nur gut aussehen, schnell laden und für Menschen verständlich sein. Sie müssen auch für Maschinen eindeutig, strukturiert und effizient interpretierbar werden.

Formal: nein.
Strategisch: ja

Google selbst schreibt in der Lighthouse-Dokumentation, dass eine fehlende llms.txt aktuell noch als „Nicht zutreffend“ gewertet wird, weil die Bereitstellung der Datei derzeit optional ist.

Aber: Die Datei wird öffentlich dokumentiert, in einen Lighthouse-Kontext gestellt und als Signal für agentische Auffindbarkeit eingeordnet. Damit ist llms.txt kein reines Experiment mehr, das irgendwo in der KI-Community diskutiert wird. Es ist ein sichtbarer Baustein moderner Website-Optimierung.

Für Unternehmen bedeutet das: Wer heute seine Website weiterentwickelt, sollte die Frage nicht mehr stellen, ob KI-Systeme eine Rolle spielen. Sie spielen bereits eine Rolle. Die bessere Frage lautet:

Wie gut ist unsere Website darauf vorbereitet, von KI-Systemen verstanden, eingeordnet und genutzt zu werden?

Eine llms.txt schafft klar messbare Erfolge, Argumente gegen eine solche Datei finden wir nicht. 

Was gehört in eine gute llms.txt?

• eine kurze Beschreibung des Unternehmens oder der Organisation,
• zentrale Leistungsbereiche,
• wichtige Themen- und Ratgeberseiten,
• relevante Kontakt- oder Standortinformationen,
• Links zu besonders vertrauenswürdigen Quellen auf der eigenen Website,
• gegebenenfalls Hinweise auf Markdown-Versionen wichtiger Inhalte.

Die llms.txt-Konvention empfiehlt außerdem, dass nützliche Website-Inhalte zusätzlich als saubere Markdown-Version verfügbar gemacht werden können. Genau dieser Ansatz reduziert unnötigen HTML-Ballast und erleichtert die Verarbeitung durch LLMs.

Eine llms.txt ist der Einstieg. Wirklich stark wird das Setup, wenn zentrale Inhalte zusätzlich als Markdown ausgeliefert werden.

Denn HTML-Seiten enthalten oft viele Elemente, die für Menschen nützlich sind, für KI-Systeme aber störend sein können: Navigation, Footer, Teaser, Cookie-Hinweise, Skripte, wiederkehrende Layout-Bestandteile oder dynamische Komponenten.

Markdown reduziert diese Komplexität. Inhalte werden, leichter lesbar und besser strukturierbar. Addy Osmani empfiehlt deshalb explizit, Inhalte nicht nur als gerendertes HTML, sondern auch als sauberes Markdown verfügbar zu machen

Was Sie zur Auslieferung Ihrer Website im Markdown-Format wissen müssen, haben wir bereits hier zusammengefasst: 

TYPO3-Markdown-Auslieferung: So machen Sie Inhalte für KI-Suchen wirklich lesbar

Haben Sie noch keine llms.txt? Dann planen Sie diese jetzt ein. Unsere TYPO3 Extension kann sowohl die llms.txt Datei selbst, als auch die Markdown-Versionen Ihrer Seite automatisch erstellen und passt diese Seiten nach jeder inhaltlichen Änderung der HTML-Seite automatisch und in Echtzeit an. – Bei anderen Content Management Systemen erstellen wir eine llms.txt auf andern Wegen. Sprechen Sie uns an. 

Ergänzend können Grounding Pages helfen, KI-Systemen eindeutige Fakten über Unternehmen, Leistungen, Standorte oder Fachthemen bereitzustellen.

Außerdem lohnt sich ein Blick auf die technische Website-Struktur. Agentische Systeme profitieren von semantischem HTML, sauberer Barrierefreiheit, stabilen Layouts und klaren Inhaltsstrukturen. Genau diese Punkte tauchen auch in der Lighthouse-Dokumentation zu Agentic Browsing auf. Hierbei unterstützen wir Sie natürlich gerne.