Quellenauswahl prüfen: Was eine KI-Antwort erkennen lässt

Wenn eine Website in einer KI-Antwort verlinkt wird, liegt die Frage nahe, weshalb gerade diese Seite ausgewählt wurde. Für eine konkrete Antwort lässt sich das häufig nur teilweise rekonstruieren. Ich kann den sichtbaren Link prüfen und mit der Aussage vergleichen. Welche anderen Dokumente zur Auswahl standen und weshalb sie nicht erschienen, bleibt ohne zusätzliche Protokolle dagegen offen.

Dan Petrovic unterscheidet in seinem Beitrag Grounding Source, Citation und Mention zwischen Material im Antwortkontext, sichtbaren Quellenverweisen und namentlichen Erwähnungen. Für die praktische Prüfung ist diese Trennung hilfreich. Seine weitergehende Erklärung der internen Abläufe würde ich allerdings nicht ungeprüft auf jedes Produkt übertragen. Die folgende Tabelle ordnet deshalb die Belege danach, was sie tatsächlich erkennen lassen.

Welche Beobachtung welche Aussage erlaubt

Vorliegendes Material	Damit lässt sich prüfen	Damit allein bleibt offen
Verifizierter Serverlog-Eintrag	Welche URL zu welchem Zeitpunkt angefragt wurde	Ob ihr Inhalt in eine konkrete Antwort einging
Protokollierter Suchaufruf	Welche Suche das Werkzeug ausgeführt hat	Welche vollständigen Dokumente anschließend gelesen wurden
Gespeichertes Werkzeugergebnis mit Textpassage	Welcher Inhalt im dokumentierten Werkzeugergebnis stand	Welche Bedeutung diese Passage bei der Antworterzeugung hatte
Sichtbarer Quellenlink in der Antwort	Welche URL dem Nutzer als Quelle gezeigt wurde	Ob sie die zugehörige Aussage belegt
Name im Antworttext	Welche Person oder welches Unternehmen genannt wurde	Ob eine Empfehlung vorliegt oder nur eine beiläufige Erwähnung
Vergleich von Aussage und Quellentext	Ob der geprüfte Quellenstand die Aussage inhaltlich stützt	Ob die Quelle tatsächlich die Ursache dieser Formulierung war

Eine Zeile ersetzt die andere nicht. Besonders der letzte Unterschied ist für die Auswertung wichtig: Dass sich eine Aussage auf einer Seite wiederfindet, zeigt ihre Belegbarkeit. Ein sicherer Nachweis des internen Entstehungswegs ergibt sich daraus noch nicht.

David Konitzny hat Suchaufrufe in Browserdaten untersucht, Dan Petrovic unter anderem die Quellenangaben aus der Gemini-API. Im Vergleich der KI-Suchsysteme bespreche ich ihre Beispiele und erläutere, welche Fragen sich mit diesen unterschiedlichen Aufzeichnungen beantworten lassen.

Ein Quellenlink im Lübecker Tagesplan

Im dokumentierten Beispiel zum Buddenbrookhaus sind der Antworttext, Suchbegriffe und Quellenlinks gespeichert. Die Antwort sieht einen Museumsbesuch vor und verweist dabei auf eine Seite des Museumsshops. Damit lassen sich die genannte Einrichtung und das Linkziel unmittelbar vergleichen.

Das Archiv enthält für diesen Fall jedoch keine vollständige Aufzeichnung aller abgerufenen Quellpassagen. Ich kann daher nicht behaupten, dass das Modell eine bestimmte Zeile gelesen oder eine bestimmte Passage gegenüber anderen bevorzugt hat. Ebenso wenig lässt sich aus den protokollierten Suchbegriffen die vollständige Menge der möglichen Quellen bestimmen. Die beobachtbare Unstimmigkeit liegt in der Antwort und ihrer Quellenzuordnung; eine technische Erklärung ihrer Entstehung wäre ein zusätzlicher Untersuchungsschritt.

Was Du an Deiner Website prüfen kannst

Beginne bei den Informationen, auf die Du tatsächlich zugreifen kannst. Steht der relevante Inhalt bereits in der HTML-Antwort Deiner Website? Ist die Seite für den gewünschten Abrufdienst erreichbar? Bezeichnet eine wichtige Passage eindeutig das Unternehmen, Produkt oder Angebot, um das es geht? Und sind ihre Bedingungen so angegeben, dass ein Leser sie überprüfen kann?

Bei einem sichtbaren Zitat würde ich anschließend die Aussage, den Quellenmarker und die passende Passage gemeinsam sichern. Dadurch entsteht ein überprüfbarer Fall, auch wenn die internen Auswahlregeln des Suchsystems unbekannt bleiben. Meine fachliche Einordnung dazu, welche Optimierungen sich aus der verfügbaren Forschung ableiten lassen, gehört zum Artikel Optimierung für KI-Suche. Für die Dokumentation einer einzelnen Ausgabe kannst Du den Referenzbogen zum Antwortkontext verwenden.