Zum Inhalt springen

Nennungen und Zitate in KI-Antworten berechnen

Geprüft am Autor Patrick StolpVeröffentlicht

Mit diesem Rechner wertest Du bereits gezählte Nennungen, Empfehlungen und Quellenbelege aus KI-Antworten aus. Du erhältst die Quoten mit Zähler, Nenner und Rechenweg. Der Rechner liest keine Antworten ein und entscheidet nicht selbst, welche Nennung oder Empfehlung zählt.

Lege zuerst fest, welche Marke, Organisation oder Domain Du untersuchst. Zähle dann, in wie vielen der ausgewerteten Antworten sie namentlich im Antworttext vorkommt und in wie vielen Antworten eine URL Deiner Domain als Quellenbeleg angegeben wird. Eine bloße Erwähnung des Namens ist hier noch kein Zitat; mit „Zitat“ ist im Rechner ein Quellenverweis gemeint, keine wörtliche Textübernahme.

Als Antwort zählt jede einzelne ausgewertete Ausgabe. Wenn Du dieselbe Frage zehnmal stellst und zehn Antworten auswertest, trägst Du zehn Antworten ein. Die Unterscheidung zwischen Prompt und Antwort gehört zu den methodischen Grundlagen meines Lübecker KI-Monitors.

Ersetze die Beispielwerte durch Deine Zählungen und wähle den Nenner der Zitatquote. Über „Berechnen“ erhältst Du die Ergebnisse, über „Zusammenfassung kopieren“ kannst Du sie übernehmen. Die Berechnung läuft lokal im Browser; Deine Eingaben werden nicht übertragen.

Eine Antwort aus einem einzelnen Abruf ist eine Beobachtungseinheit, nicht ein Prompt.
Eigene Marke oder eigene Domain namentlich im Antworttext.
Die eigene Marke steht unter den ersten drei genannten Marken. Feld leer lassen, wenn die Reihenfolge nicht codiert wurde.
Die eigene Marke ist der ausdrückliche Favorit, sonst die zuerst genannte empfohlene Marke. Feld darf ebenfalls leer bleiben.
Die eigene Domain ist als Quelle verlinkt oder ausgewiesen.
Mindestens eine Quelle, gleich welcher Domain. Nenner für die Zitatquote.
Alle Marken zusammen, jedes Vorkommen gezählt. Nenner des Share of Voice, unabhängig vom Schalter unten.
Zähler für den Share of Voice, jedes Vorkommen gezählt. Mindestens so groß wie die Antworten mit Nennung.
Wirkt ausschließlich auf die erste Kennzahl: Nennungsquote oder Nennungen je Antwort. Nur die erste Wahl ergibt einen Anteil mit Intervall. Top-3-Quote, Erstempfehlungsquote und Zitatquote zählen immer höchstens einmal je Antwort, der Share of Voice zählt immer Einzelvorkommen.
Die Wahl verändert den Wert erheblich und gehört in jeden Bericht.
Läuft lokal im Browser. Es wird nichts übertragen.
Kennzahlen aus den eingetragenen Zählungen. Intervalle nach Wilson (Score), zweiseitig 95 % und unadjustiert: Sie setzen unabhängige binäre Beobachtungen voraus. Wiederholte Abrufe derselben Zelle — gleicher Prompt, gleiches System, gleicher Tag — können korreliert sein; dann fallen die Intervalle zu eng aus. Das gilt für alle Quoten, nicht nur für den Share of Voice. Beim Share of Voice stammen mehrere Vorkommen zusätzlich aus derselben Antwort; sein Intervall ist kein belastbares Studienintervall. Der Rechner passt die Fallzahl nicht selbst an; eine Korrektur für Cluster gehört ins Studienprotokoll.
KennzahlZähler ÷ NennerWert95-%-IntervallHinweis
Nennungsquote12 ÷ 4030,0 %18,1 % bis 45,4 %Anteil der Antworten mit mindestens einer Nennung. Mehrfachnennungen in derselben Antwort zählen einmal, der Wert bleibt deshalb höchstens 100 %. Der Schalter für Mehrfachnennungen wirkt nur auf diese Kennzahl.
Top-3-Quote9 ÷ 4022,5 %12,3 % bis 37,5 %Anteil der Antworten, in denen die eigene Marke unter den ersten drei genannten Marken steht. Maßgeblich ist die Reihenfolge der Nennungen im Antworttext, keine Bewertung. Nennt eine Antwort weniger als drei Marken, zählt sie mit, sobald die eigene darunter ist. Gezählt wird höchstens einmal je Antwort; der Schalter für Mehrfachnennungen wirkt hier nicht.
Erstempfehlungsquote4 ÷ 4010,0 %4,0 % bis 23,1 %Anteil der Antworten, in denen die eigene Marke die Erstempfehlung ist. Codierregel der Methodik: die ausdrücklich als Favorit bezeichnete Marke, sonst die zuerst genannte empfohlene. Diese Regel gehört vorab ins Studienprotokoll, sonst ist der Wert nicht nachprüfbar. Ein ausdrücklicher Favorit kann später im Text stehen; die Quote ist deshalb eine Teilmenge der Nennungsquote, nicht der Top-3-Quote.
Zitatquote5 ÷ 4012,5 %5,5 % bis 26,1 %Anteil aller Antworten, in denen die eigene Domain als Quelle verlinkt ist. Antworten ohne jede Quellenangabe drücken den Wert, weil sie im Nenner bleiben.
Share of Voice14 ÷ 6521,5 %13,3 % bis 33,0 %Anteil der eigenen Marke an allen gezählten Markennennungen. Gezählt werden immer Einzelvorkommen, unabhängig vom Schalter für Mehrfachnennungen. Das Intervall unterstellt unabhängige Beobachtungen; mehrere Vorkommen derselben Antwort sind das nicht. Es ist deshalb tendenziell zu eng und kein belastbares Studienintervall.
Rechenweg: Nennungsquote

Nennungsquote = 12 ÷ 40 = 30,0 % (Antwortbasis)

Wilson-Score-Intervall, 95 %: 18,1 % bis 45,4 %.

Rechenweg: Top-3-Quote

Top-3-Quote = 9 ÷ 40 = 22,5 % (Antwortbasis)

Wilson-Score-Intervall, 95 %: 12,3 % bis 37,5 %.

Rechenweg: Erstempfehlungsquote

Erstempfehlungsquote = 4 ÷ 40 = 10,0 % (Antwortbasis)

Wilson-Score-Intervall, 95 %: 4,0 % bis 23,1 %.

Rechenweg: Zitatquote

Zitatquote = 5 ÷ 40 = 12,5 % (alle ausgewerteten Antworten)

Wilson-Score-Intervall, 95 %: 5,5 % bis 26,1 %.

Rechenweg: Share of Voice

Share of Voice = 14 ÷ 65 = 21,5 % (alle gezählten Markennennungen)

Wilson-Score-Intervall, 95 %: 13,3 % bis 33,0 %.

Textzusammenfassung
Nennungen und Zitate in KI-Antworten

Ausgewertete Antworten (Beobachtungseinheiten): 40
Zählweise der ersten Kennzahl: höchstens einmal je Antwort (Share of Voice zählt immer Einzelvorkommen)
Nenner der Zitatquote: alle ausgewerteten Antworten

Nennungsquote: 30,0 % (12 von 40, 95-%-Intervall 18,1 % bis 45,4 %)
Top-3-Quote: 22,5 % (9 von 40, 95-%-Intervall 12,3 % bis 37,5 %)
Erstempfehlungsquote: 10,0 % (4 von 40, 95-%-Intervall 4,0 % bis 23,1 %)
Zitatquote: 12,5 % (5 von 40, 95-%-Intervall 5,5 % bis 26,1 %)
Share of Voice: 21,5 % (14 von 65, 95-%-Intervall 13,3 % bis 33,0 %)

Intervalle nach Wilson (Score), zweiseitig 95 %, unadjustiert.
Unsicherheit: Die Intervalle setzen unabhängige binäre Beobachtungen voraus. Wiederholte Abrufe derselben Zelle (gleicher Prompt, gleiches System, gleicher Tag) können korreliert sein; dann fallen die Intervalle zu eng aus. Das gilt für alle Quoten. Beim Share of Voice stammen mehrere Vorkommen zusätzlich aus derselben Antwort; sein Intervall ist kein belastbares Studienintervall.
Berechnet mit dem Rechner auf ki-suche-wiki.de/werkzeuge/nennungen-und-zitate/.
Kennzahl Was gezählt wird Bezugsgröße
Nennungsquote Antworten mit mindestens einer Nennung Deines Untersuchungsgegenstands Alle ausgewerteten Antworten
Top-3-Quote Antworten, in denen er unter den ersten drei genannten Anbietern bzw. Zielen steht Alle ausgewerteten Antworten
Erstempfehlungsquote Antworten, in denen er nach der festgelegten Codierregel zuerst empfohlen wird Alle ausgewerteten Antworten
Zitatquote Antworten mit mindestens einem Quellenverweis auf Deine Domain Wahlweise alle Antworten oder nur Antworten mit Quellen
Share of Voice Einzelne Nennungen Deiner Marke Alle gezählten Markennennungen einschließlich Deiner eigenen

Die Top-3-Quote folgt der Positionszählung meiner Bankenstudie. Für die Erstempfehlung gilt die Regel aus der Weihnachtsstadt-Studie: Entscheidend ist zunächst eine ausdrückliche Empfehlung als Favorit. Gibt es diese nicht, zählt das zuerst genannte empfohlene Ziel. Eine spätere Nennung kann deshalb trotzdem die Erstempfehlung sein.

Lass die Felder für Top 3 und Erstempfehlung leer, wenn Du diese Merkmale nicht ausgewertet hast. „Nicht erhoben“ ist etwas anderes als null. Null bedeutet, dass Du geprüft und keinen entsprechenden Fall gefunden hast.

Angenommen Du hast 40 Antworten ausgewertet. In zwölf Antworten wird Deine Marke genannt, fünf verweisen auf Deine Domain, und insgesamt enthalten 31 Antworten mindestens eine Quelle.

Die Nennungsquote beträgt dann zwölf geteilt durch 40, also 30 Prozent. Bei der Zitatquote kannst Du zwei unterschiedliche Fragen beantworten:

  • Wie häufig wird meine Domain in allen ausgewerteten Antworten als Quelle angegeben? Fünf von 40 Antworten entsprechen 12,5 Prozent.
  • Wie häufig wird meine Domain als Quelle angegeben, wenn die Antwort überhaupt Quellen enthält? Fünf von 31 Antworten entsprechen rund 16,1 Prozent.

Beide Rechnungen sind korrekt. Die zweite lässt die neun Antworten ohne Quellenangabe aus der Bezugsgröße heraus. Berichte deshalb immer, welchen Nenner Du verwendet hast. Ein Wechsel der Einstellung ist keine Verbesserung Deiner Sichtbarkeit.

Auch mehrere Links auf Deine Domain innerhalb derselben Antwort zählen für diese Quote nur einmal. Einzelne URL-Vorkommen kannst Du mit dem Quellenzähler gesondert auswerten.

Wie unterscheiden sich Share of Voice und Nennungen je Antwort?

Abschnitt betitelt „Wie unterscheiden sich Share of Voice und Nennungen je Antwort?“

Für den Share of Voice zählt dieser Rechner jedes Vorkommen einer Marke. Wenn auf Deine Marke 14 von insgesamt 65 Markennennungen entfallen, beträgt ihr Anteil rund 21,5 Prozent. Das bedeutet nicht, dass sie in 21,5 Prozent der Antworten genannt wurde. Eine Antwort kann mehrere Marken und dieselbe Marke mehrfach enthalten.

Die Auswahl „Jedes Vorkommen zählen“ verändert die erste Kennzahl: Aus der Nennungsquote wird die durchschnittliche Zahl der Nennungen je Antwort. Im Beispiel sind das 14 geteilt durch 40, also 0,35. Dieser Wert kann auch größer als eins sein. Der Share of Voice bleibt bei beiden Einstellungen auf die eingegebenen Einzelvorkommen bezogen.

Zusätzlich zu den Anteilen berechnet das Werkzeug ein Wilson-Intervall. Bei zwölf von 40 Antworten liegt es beispielsweise zwischen rund 18,1 und 45,4 Prozent. Die Berechnung des Wilson-Score-Intervalls berücksichtigt die Fallzahl und den beobachteten Anteil.

Für die Interpretation reicht die Gesamtzahl der Antworten allerdings nicht aus. Wiederholte Antworten auf dieselbe Frage können gemeinsame Einflüsse teilen. Werden solche Abhängigkeiten ignoriert, kann das Intervall zu eng ausfallen. Der Rechner erhält nur Deine Summen und nimmt keine Anpassung für Prompts, Erhebungstage oder andere Cluster vor. Diese Grenze betrifft sämtliche Quoten. Beim Share of Voice kommen die Abhängigkeiten zwischen mehreren Nennungen innerhalb derselben Antwort hinzu. Die Methodik des KI-Monitors erläutert, weshalb ich die Struktur der Erhebung gesondert berücksichtige.

Die Intervalle ersetzen deshalb keine Prüfung Deines Studiendesigns. Für „Nennungen je Antwort“ wird kein Wilson-Intervall ausgegeben, weil diese Kennzahl kein binärer Anteil ist.

Wann ist ein Ergebnis null und wann nicht definiert?

Abschnitt betitelt „Wann ist ein Ergebnis null und wann nicht definiert?“

Keine Nennung in 40 ausgewerteten Antworten ergibt eine Nennungsquote von null Prozent. Bei null ausgewerteten Antworten fehlt dagegen die Bezugsgröße: Die Quote ist nicht definiert.

Dasselbe gilt für Quellen. Enthält keine Antwort eine Quelle, ist die Zitatquote auf Basis der Quellenantworten nicht definiert. Auf Basis aller tatsächlich ausgewerteten Antworten kann sie dennoch null Prozent betragen. Ersetze fehlende Auswertungen deshalb nicht durch Nullen.

Welche Abfragen Du für eine aussagekräftige Messung auswählst und wie Du Ergebnisse über verschiedene Systeme und Zeitpunkte einordnest, behandle ich im Fachartikel KI-Sichtbarkeit messen.

Primärquellen

  1. Wie ich das Antwortverhalten generativer KI-Systeme messe · Patrick Stolp · abgerufen am · Beobachtungseinheit Antwort, Codierung, Wilson-Intervall als Ausgangspunkt; Cluster sind gesondert zu beurteilen. Keine automatische Repräsentativität oder Kausalität.
  2. KI-Sichtbarkeit messen: Warum Rankings nicht funktionieren · Patrick Stolp · abgerufen am · Weiterführender allgemeiner Messkontext. Keine wörtliche Begriffszuschreibung, das Datum der Fassung ist nicht sicher festgestellt.
  3. KI-Sichtbarkeitsstudie Banken Lübeck · Patrick Stolp · abgerufen am · Top 3 heißt: unter den ersten drei genannten Anbietern. Der Designeffekt-Hinweis betrifft ausdrücklich die Volksbank-Top-3 und ist keine allgemeine Korrekturzahl.
  4. Empfiehlt ChatGPT Lübeck als Weihnachtsstadt des Nordens? · Patrick Stolp · abgerufen am · Erstempfehlung ist der ausdrückliche Favorit, sonst das zuerst genannte empfohlene Ziel. Der Favorit muss nicht unter den ersten drei Nennungen stehen; Erstnennung und Erstempfehlung sind nicht dasselbe.
  5. Agresti Coull Confidence Limits · NIST, Dataplot-Dokumentation · abgerufen am · Wilson-Score-Verfahren und Abgrenzung zum adjusted Wald. Kein clusterangepasstes Intervall.

Verwandte Referenzen

Herausgeber und verantwortlicher Autor: Patrick Stolp · Redaktion · Impressum · Datenschutz