HTML und JavaScript: Was erhält der Crawler?

Wenn Du Deine Seite im Browser öffnest, siehst Du normalerweise den fertigen Inhalt. Dabei fällt nicht unbedingt auf, welche Arbeit der Browser bis dahin bereits erledigt hat. Vielleicht stand der Text schon in der Antwort des Servers; vielleicht musste erst ein Skript ausgeführt und eine weitere Datei geladen werden. Bei einer technischen Prüfung möchte ich deswegen wissen, welche dieser Schritte erforderlich sind. Denn davon hängt ab, an welcher Stelle ein automatischer Abruf den Inhalt verlieren oder gar nicht erst erhalten könnte.

Zwei Seiten mit demselben sichtbaren Satz

Das folgende konstruierte Beispiel zeigt den Unterschied. In Variante A steht der Inhalt unmittelbar im HTML:

<main>
  <h1>Lieferung</h1>
  <p>Die Lieferzeit beträgt drei Werktage.</p>
</main>

Variante B erzeugt den Absatz erst beim Ausführen des Skripts:

<main>
  <h1>Lieferung</h1>
  <div id="lieferzeit"></div>
</main>
<script>
  document.getElementById('lieferzeit').innerHTML =
    '<p>Die Lieferzeit beträgt drei Werktage.</p>';
</script>

Im Browser können beide Varianten gleich aussehen. In der ursprünglichen Dokumentstruktur von B fehlt der Absatz jedoch. Zwar lässt sich der Satz bereits im Skript finden, er steht dort aber als Zeichenfolge des Programms und noch nicht als Absatz der Seite. Bei echten Anwendungen kann der Text zudem erst aus einer weiteren Anfrage geladen werden. Wenn Du nur nach dem Wortlaut suchst, solltest Du deshalb auch ansehen, an welcher Stelle und in welcher Form er enthalten ist.

Rohantwort und gerenderten Inhalt vergleichen

1. Öffne die Entwicklertools des Browsers und lade die Seite neu. Wähle im Netzwerkbereich die Anfrage des HTML-Dokuments aus.
2. Suche in deren Antwort nach einem eindeutigen Satz aus dem Hauptinhalt. Prüfe, ob er in einem Inhaltselement steht oder nur in Skript- beziehungsweise Datenblöcken.
3. Suche denselben Satz im Elemente-Bereich. Dort siehst Du die Dokumentstruktur nach den bisherigen Änderungen durch JavaScript.
4. Fehlt der Inhalt in der Rohantwort, prüfe die benötigten Skript- und Datenanfragen auf Fehler und Zugangsbeschränkungen.

Das Ergebnis beschreibt zunächst den Abruf Deines Browsers. Ein anderer User-Agent, eine Anmeldung oder ein anderer Standort können andere Antworten erhalten. Ein bloßes Umstellen der Kennung bestätigt wiederum noch kein echtes Crawlerverhalten.

Was über Rendering dokumentiert ist

Google beschreibt für seine Suche Abruf, Rendering mit Chromium und Indexierung. Durch JavaScript erzeugte Inhalte können dabei verarbeitet werden. Gesperrte Seiten oder benötigte gesperrte Ressourcen verhindern jedoch diesen Verarbeitungsschritt. Die Google-Dokumentation lässt sich nicht als Leistungsbeschreibung jedes KI-Crawlers verwenden.

Prüfung	Was sie belegt
Haupttext steht als HTML-Inhalt in der Rohantwort	Für diesen Text ist keine nachträgliche JavaScript-Ausführung nötig.
Haupttext erscheint erst im gerenderten DOM	Seine Darstellung hängt von zusätzlichen Verarbeitungsschritten ab.
Bot ruft eine JavaScript-Datei ab	Die Datei wurde angefordert; erfolgreiche Ausführung ist damit noch nicht belegt.
Bot ruft die Seite ab	Ein Zugriff ist dokumentiert; Indexierung oder Zitation bleiben offen.

Steht der Haupttext bereits im serverseitig erzeugten oder vorab gerenderten HTML, entfallen für diesen Text zusätzliche Voraussetzungen. Das kann die Bereitstellung vereinfachen, erklärt aber noch nicht, ob eine Suche die Seite aufnimmt. Für die Fehlersuche würde ich daher beim konkreten Inhalt bleiben: Wo fehlt er, welcher Verarbeitungsschritt sollte ihn liefern, und was lässt sich über diesen Schritt tatsächlich nachweisen? Der Name des Bots allein beantwortet das nicht.