Nennungen und Zitate in KI-Antworten berechnen
Mit diesem Rechner wertest Du bereits gezählte Nennungen, Empfehlungen und Quellenbelege aus KI-Antworten aus. Du erhältst die Quoten mit Zähler, Nenner und Rechenweg. Der Rechner liest keine Antworten ein und entscheidet nicht selbst, welche Nennung oder Empfehlung zählt.
Welche Zahlen trägst Du ein?
Abschnitt betitelt „Welche Zahlen trägst Du ein?“Lege zuerst fest, welche Marke, Organisation oder Domain Du untersuchst. Zähle dann, in wie vielen der ausgewerteten Antworten sie namentlich im Antworttext vorkommt und in wie vielen Antworten eine URL Deiner Domain als Quellenbeleg angegeben wird. Eine bloße Erwähnung des Namens ist hier noch kein Zitat; mit „Zitat“ ist im Rechner ein Quellenverweis gemeint, keine wörtliche Textübernahme.
Als Antwort zählt jede einzelne ausgewertete Ausgabe. Wenn Du dieselbe Frage zehnmal stellst und zehn Antworten auswertest, trägst Du zehn Antworten ein. Die Unterscheidung zwischen Prompt und Antwort gehört zu den methodischen Grundlagen meines Lübecker KI-Monitors.
Ersetze die Beispielwerte durch Deine Zählungen und wähle den Nenner der Zitatquote. Über „Berechnen“ erhältst Du die Ergebnisse, über „Zusammenfassung kopieren“ kannst Du sie übernehmen. Die Berechnung läuft lokal im Browser; Deine Eingaben werden nicht übertragen.
Was bedeuten die einzelnen Quoten?
Abschnitt betitelt „Was bedeuten die einzelnen Quoten?“| Kennzahl | Was gezählt wird | Bezugsgröße |
|---|---|---|
| Nennungsquote | Antworten mit mindestens einer Nennung Deines Untersuchungsgegenstands | Alle ausgewerteten Antworten |
| Top-3-Quote | Antworten, in denen er unter den ersten drei genannten Anbietern bzw. Zielen steht | Alle ausgewerteten Antworten |
| Erstempfehlungsquote | Antworten, in denen er nach der festgelegten Codierregel zuerst empfohlen wird | Alle ausgewerteten Antworten |
| Zitatquote | Antworten mit mindestens einem Quellenverweis auf Deine Domain | Wahlweise alle Antworten oder nur Antworten mit Quellen |
| Share of Voice | Einzelne Nennungen Deiner Marke | Alle gezählten Markennennungen einschließlich Deiner eigenen |
Die Top-3-Quote folgt der Positionszählung meiner Bankenstudie. Für die Erstempfehlung gilt die Regel aus der Weihnachtsstadt-Studie: Entscheidend ist zunächst eine ausdrückliche Empfehlung als Favorit. Gibt es diese nicht, zählt das zuerst genannte empfohlene Ziel. Eine spätere Nennung kann deshalb trotzdem die Erstempfehlung sein.
Lass die Felder für Top 3 und Erstempfehlung leer, wenn Du diese Merkmale nicht ausgewertet hast. „Nicht erhoben“ ist etwas anderes als null. Null bedeutet, dass Du geprüft und keinen entsprechenden Fall gefunden hast.
Warum verändert der Nenner die Zitatquote?
Abschnitt betitelt „Warum verändert der Nenner die Zitatquote?“Angenommen Du hast 40 Antworten ausgewertet. In zwölf Antworten wird Deine Marke genannt, fünf verweisen auf Deine Domain, und insgesamt enthalten 31 Antworten mindestens eine Quelle.
Die Nennungsquote beträgt dann zwölf geteilt durch 40, also 30 Prozent. Bei der Zitatquote kannst Du zwei unterschiedliche Fragen beantworten:
- Wie häufig wird meine Domain in allen ausgewerteten Antworten als Quelle angegeben? Fünf von 40 Antworten entsprechen 12,5 Prozent.
- Wie häufig wird meine Domain als Quelle angegeben, wenn die Antwort überhaupt Quellen enthält? Fünf von 31 Antworten entsprechen rund 16,1 Prozent.
Beide Rechnungen sind korrekt. Die zweite lässt die neun Antworten ohne Quellenangabe aus der Bezugsgröße heraus. Berichte deshalb immer, welchen Nenner Du verwendet hast. Ein Wechsel der Einstellung ist keine Verbesserung Deiner Sichtbarkeit.
Auch mehrere Links auf Deine Domain innerhalb derselben Antwort zählen für diese Quote nur einmal. Einzelne URL-Vorkommen kannst Du mit dem Quellenzähler gesondert auswerten.
Wie unterscheiden sich Share of Voice und Nennungen je Antwort?
Abschnitt betitelt „Wie unterscheiden sich Share of Voice und Nennungen je Antwort?“Für den Share of Voice zählt dieser Rechner jedes Vorkommen einer Marke. Wenn auf Deine Marke 14 von insgesamt 65 Markennennungen entfallen, beträgt ihr Anteil rund 21,5 Prozent. Das bedeutet nicht, dass sie in 21,5 Prozent der Antworten genannt wurde. Eine Antwort kann mehrere Marken und dieselbe Marke mehrfach enthalten.
Die Auswahl „Jedes Vorkommen zählen“ verändert die erste Kennzahl: Aus der Nennungsquote wird die durchschnittliche Zahl der Nennungen je Antwort. Im Beispiel sind das 14 geteilt durch 40, also 0,35. Dieser Wert kann auch größer als eins sein. Der Share of Voice bleibt bei beiden Einstellungen auf die eingegebenen Einzelvorkommen bezogen.
Was sagt das 95-Prozent-Intervall aus?
Abschnitt betitelt „Was sagt das 95-Prozent-Intervall aus?“Zusätzlich zu den Anteilen berechnet das Werkzeug ein Wilson-Intervall. Bei zwölf von 40 Antworten liegt es beispielsweise zwischen rund 18,1 und 45,4 Prozent. Die Berechnung des Wilson-Score-Intervalls berücksichtigt die Fallzahl und den beobachteten Anteil.
Für die Interpretation reicht die Gesamtzahl der Antworten allerdings nicht aus. Wiederholte Antworten auf dieselbe Frage können gemeinsame Einflüsse teilen. Werden solche Abhängigkeiten ignoriert, kann das Intervall zu eng ausfallen. Der Rechner erhält nur Deine Summen und nimmt keine Anpassung für Prompts, Erhebungstage oder andere Cluster vor. Diese Grenze betrifft sämtliche Quoten. Beim Share of Voice kommen die Abhängigkeiten zwischen mehreren Nennungen innerhalb derselben Antwort hinzu. Die Methodik des KI-Monitors erläutert, weshalb ich die Struktur der Erhebung gesondert berücksichtige.
Die Intervalle ersetzen deshalb keine Prüfung Deines Studiendesigns. Für „Nennungen je Antwort“ wird kein Wilson-Intervall ausgegeben, weil diese Kennzahl kein binärer Anteil ist.
Wann ist ein Ergebnis null und wann nicht definiert?
Abschnitt betitelt „Wann ist ein Ergebnis null und wann nicht definiert?“Keine Nennung in 40 ausgewerteten Antworten ergibt eine Nennungsquote von null Prozent. Bei null ausgewerteten Antworten fehlt dagegen die Bezugsgröße: Die Quote ist nicht definiert.
Dasselbe gilt für Quellen. Enthält keine Antwort eine Quelle, ist die Zitatquote auf Basis der Quellenantworten nicht definiert. Auf Basis aller tatsächlich ausgewerteten Antworten kann sie dennoch null Prozent betragen. Ersetze fehlende Auswertungen deshalb nicht durch Nullen.
Welche Abfragen Du für eine aussagekräftige Messung auswählst und wie Du Ergebnisse über verschiedene Systeme und Zeitpunkte einordnest, behandle ich im Fachartikel KI-Sichtbarkeit messen.
Primärquellen
- Wie ich das Antwortverhalten generativer KI-Systeme messe · Patrick Stolp · abgerufen am · Beobachtungseinheit Antwort, Codierung, Wilson-Intervall als Ausgangspunkt; Cluster sind gesondert zu beurteilen. Keine automatische Repräsentativität oder Kausalität.
- KI-Sichtbarkeit messen: Warum Rankings nicht funktionieren · Patrick Stolp · abgerufen am · Weiterführender allgemeiner Messkontext. Keine wörtliche Begriffszuschreibung, das Datum der Fassung ist nicht sicher festgestellt.
- KI-Sichtbarkeitsstudie Banken Lübeck · Patrick Stolp · abgerufen am · Top 3 heißt: unter den ersten drei genannten Anbietern. Der Designeffekt-Hinweis betrifft ausdrücklich die Volksbank-Top-3 und ist keine allgemeine Korrekturzahl.
- Empfiehlt ChatGPT Lübeck als Weihnachtsstadt des Nordens? · Patrick Stolp · abgerufen am · Erstempfehlung ist der ausdrückliche Favorit, sonst das zuerst genannte empfohlene Ziel. Der Favorit muss nicht unter den ersten drei Nennungen stehen; Erstnennung und Erstempfehlung sind nicht dasselbe.
- Agresti Coull Confidence Limits · NIST, Dataplot-Dokumentation · abgerufen am · Wilson-Score-Verfahren und Abgrenzung zum adjusted Wald. Kein clusterangepasstes Intervall.
Verwandte Referenzen
Herausgeber und verantwortlicher Autor: Patrick Stolp · Redaktion · Impressum · Datenschutz