Der Nenner verändert das Ergebnis: die versteckte Falle bei KI-KPIs

Ein KPI wird nicht nur durch den Zähler definiert. Der Nenner bestimmt die Frage, die der Prozentsatz beantwortet. Bei der Messung der KI-Sichtbarkeit können dieselben neun Empfehlungen 32,1 %, 9,8 % oder einen anderen Wert ergeben, ohne dass eine Berechnung rechnerisch falsch ist.

Das Problem tritt auf, wenn das Dashboard den Prozentsatz anzeigt, aber die Kohorte, die Analyseeinheit, fehlgeschlagene Antworten oder die Einschlussregel ausblendet. Dann vergleichen wir gleich aussehende Zahlen und messen verschiedene Dinge.

Gleicher Datensatz, fünf KPIs

Wir verwenden durchgehend dasselbe Beispiel:

• 100 geplante Interaktionen;
• 92 geeignete und analysierbare Antworten;
• 28 Antworten, in denen die Marke erscheint;
• 9 Antworten, in denen die Marke empfohlen wird;
• 41 Erwähnungen der Zielmarke;
• 123 Erwähnungen aller Marken;
• 12 Vorkommen von Erstanbieterzitaten;
• 80 Vorkommen aller Zitate.

KPI	Formel	Ergebnis	Was wird gefragt
KI-Sichtbarkeit	28 ÷ 92	30,4%	In wie vielen geeigneten Antworten erscheint die Marke?
Empfehlungsrate unter den Nennungen	9 ÷ 28	32,1%	Wie oft wird die Marke empfohlen, wenn sie genannt wird?
Empfehlungsabdeckung	9 ÷ 92	9,8%	In wie vielen geeigneten Antworten wird es empfohlen?
Erwähnungsanteil (Share of Voice)	41 ÷ 123	33,3%	Welcher Teil aller Erwähnungen gehört zur Marke?
Anteil der Erstanbieter-Zitate	12 ÷ 80	15,0 %	Welcher Anteil der Zitate führt zu eigenen Quellen?

Die Zahlen widersprechen sich nicht. Jede beschreibt eine andere Stufe. Der Fehler bestünde darin, die Empfehlungsrate von 32,1 % so darzustellen, als wäre die Marke in 32,1 % aller Antworten empfohlen worden.

Nenner für KI-Sichtbarkeit

Die in diesem Cluster verwendete Konvention lautet:

KI-Sichtbarkeit = geeignete Antworten, in denen die Marke vorkommt ÷ alle geeigneten und analysierbaren Antworten.

„Geeignet“ muss vor der Analyse definiert werden. Ein Szenario zu einer Kategorie, in der das Unternehmen nicht tätig ist, sollte nicht allein deshalb aufgenommen werden, um den Wert zu verändern. Gleichzeitig dürfen wir nicht nur Szenarien auswählen, bei denen die Marke voraussichtlich gut abschneidet.

Tests, bei denen der Markenname ausdrücklich genannt wird, können für Wahrnehmung und sachliche Richtigkeit hilfreich sein, belegen jedoch keine organische Entdeckung. Deshalb dürfen markenbezogene Tests die Kennzahl für organische Sichtbarkeit nicht künstlich erhöhen.

Das vollständige Protokoll erläutere ich im Artikel Was KI-Sichtbarkeit ist und wie man sie korrekt misst.

Empfehlungsrate hat mindestens zwei legitime Nenner

Die Frage „Wie oft wird die Marke empfohlen?“ kann bedeuten:

1. unter den Antworten, in denen die Marke vorkommt – 9/28 = 32,1 %;
2. aller zulässigen Antworten – 9/92 = 9,8 %.

Der erste Wert zeigt, wie häufig aus einer Markennennung eine Empfehlung wird. Der zweite zeigt die Abdeckung durch Empfehlungen im gesamten getesteten Raum.

Beide sind nützlich. Keiner sollte einfach mit „KI-Empfehlung 32 %“ ohne vollständigen Namen und Formel gekennzeichnet sein.

Share of Voice: Gespräche, Erwähnungen oder Empfehlungen?

Share of Voice kann auf unterschiedlichen Einheiten beruhen:

• Anzahl der Konversationen, in denen jede Marke vorkommt;
• Gesamtzahl der Erwähnungen;
• Anzahl der Empfehlungen;
• ein Maß für die Bedeutung oder Position.

Wenn dieselbe Marke in einer Antwort fünfmal erwähnt wird, zählt der vorkommensbasierte SOV fünf Ereignisse. Der konversationsbasierte SOV zählt eines. Die Wahl hängt von der Geschäftsfrage ab, doch der Bericht muss die Einheit offenlegen.

Die Vergleichsgruppe ist ebenso wichtig. Wenn wir Wettbewerber hinzufügen oder entfernen, ändert sich der Anteil, selbst wenn die Zahl der Markennennungen gleich bleibt.

Zitate: URLs, Domänen, Vorkommen oder Konversationen

„15 % Erstanbieter-Zitierrate“ kann mindestens vier Formeln verbergen:

• 12 Erstanbietervorkommen von 80 Zitatvorkommen;
• Anzahl eindeutiger Erstanbieter-URLs aller eindeutigen URLs;
• Konversationen mit mindestens einem Erstanbieter-Zitat aus allen zitierten Konversationen;
• Konversationen mit Erstanbieter-Zitat unter allen geeigneten Konversationen.

Wir können die Vorkommensebene nicht mit der Konversationsebene mischen. Eine einzelne Antwort mit fünf Links zur gleichen Domain sieht bei beiden Methoden sehr unterschiedlich aus.

Der Artikel über Abfrage-Fanout erklärt, warum eine Seite bei einer Zwischensuche gefunden werden kann, ohne in der endgültigen Antwort zitiert zu werden.

Faktische Genauigkeit darf das Unbekannte nicht in einen Fehler verwandeln

Für Aussagen über eine Marke benötigen wir mindestens drei Zustände:

• korrekt – durch die maßgebliche Quelle belegt und aktuell;
• inkorrekt – durch Belege widerlegt;
• nicht bestätigt/nicht begründet – wir haben nicht genügend Beweise.

Wenn wir alle unbestätigten Behauptungen als „falsch“ bezeichnen, fällt die Genauigkeitsrate künstlich streng aus. Entfernen wir sie ohne Kennzeichnung aus dem Nenner, verbergen wir ein Abdeckungsproblem der Wissensbasis.

Die acht fehlgeschlagenen Antworten verschwinden nicht

Im Beispiel waren 100 Interaktionen geplant, doch nur 92 ergaben analysierbare Antworten. Die Sichtbarkeit wird auf Grundlage dieser 92 berechnet; die übrigen 8 werden gesondert als Fehlschläge ausgewiesen.

Es ist nicht akzeptabel, Fehler zu entfernen und nur 30,4 % ohne „92/100 analysierbare Antworten“ anzuzeigen. Wenn Fehler auf eine bestimmte Engine, Sprache oder einen bestimmten Skripttyp konzentriert sind, können sie den Vergleich verfälschen.

Eine nützliche Regel ist:

Jeder Prozentsatz muss von n und Coverage begleitet werden. Jedes zu kleine Segment sollte als „unzureichende Daten“ markiert werden.

Mikro-Durchschnitt vs. Makro-Durchschnitt

Angenommen, wir messen zwei Engines:

• Engine A: 20 Vorkommen von 80 Antworten – 25 %;
• Engine B: 8 Vorkommen von 12 Antworten – 66,7 %.

Der einfache Durchschnitt der Prozentsätze beträgt 45,8 %. Die Zusammenfassung aller Beobachtungen ergibt 28/92 = 30,4 %. Die erste Methode gewichtet jede Engine gleich; die zweite gewichtet jede Beobachtung gleich.

Keine der Methoden ist automatisch richtig. Wir müssen wählen zwischen:

• Makro-Durchschnitt – jede Engine, jedes Land oder jedes Segment hat das gleiche Gewicht;
• Mikro-Durchschnitt – jede Beobachtung hat das gleiche Gewicht;
• gewichteter Durchschnitt – Gewichtungen spiegeln eine gerechtfertigte Verteilung wider.

Das Dashboard muss segmentierte Werte vor dem aggregierten Gesamtwert anzeigen.

Eine Nenneränderung muss als Reihenbruch behandelt werden

Eine historische Reihe wird irreführend, wenn sich die Formel stillschweigend ändert. Nehmen wir an, dass wir im Juli nur abgeschlossene Antworten einbeziehen und im August unterbrochene Antworten in den Nenner einbeziehen. Auch bei gleichbleibender Anzahl der Markenauftritte kann der Score sinken.

Das gleiche Problem tritt auf, wenn wir die Liste der Szenarien erweitern, eine Sprache hinzufügen, die Schnittstelle einer Engine ändern oder neu klassifizieren, was „Empfehlung“ bedeutet. Dabei handelt es sich nicht um einfache Dashboard-Updates. Es gibt Änderungen am Messtool.

Bei jeder Änderung behalten wir zwei Dinge bei:

• das genaue Datum, ab dem die neue Definition in Kraft tritt;
• ein Überlappungszeitraum, in dem wir die alte und neue Formel anhand derselben Beobachtungen berechnen.

Wenn eine Neuberechnung des Verlaufs möglich ist, kennzeichnen wir die Methodikversion. Wenn dies nicht möglich ist, markieren wir den Bruch und zeichnen keine durchgezogene Linie darüber.

Überprüfbare Beispieldatei

Statt nur „Sichtbarkeit 30,4 %“ auszuweisen, könnte ein vollständiger operativer Datensatz lauten: „28 von 92 geeigneten Antworten erwähnten die Marke; 100 Interaktionen waren geplant; 8 lieferten kein analysierbares Ergebnis; die Kohorte enthält nicht markenbezogene Szenarien auf Rumänisch; der Zeitraum ist der 15.–31. Juli; das Wilson-Intervall von 95 % beträgt 22,0 %–40,5 %.“

Der Wortlaut ist länger, aber er ermöglicht einem Analysten, die Zahl zu reproduzieren, und einem Entscheidungsträger, ihre Grenzen zu verstehen. Das Dashboard kann den Prozentsatz als wichtigstes visuelles Element behalten, vorausgesetzt, dass alle diese Daten in einem Tooltip, Export oder methodischen Register zugänglich sind.

Auf der Entscheidungsebene muss der Aktionsschwellenwert vor dem Ergebnis festgelegt werden. Beispielsweise können wir ein Segment untersuchen, wenn der Rückgang in zwei vergleichbaren Wellen anhält und die geschätzte Unsicherheit überschreitet. Die Auswahl der Regel nach Betrachtung des Diagramms führt zu bequemen Schlussfolgerungen.

Konfidenzintervall: Prozentsatz hat Margen

28/92 ergibt eine Schätzung von 30,4 %. Ein Wilson-Intervall von 95 % liegt ungefähr zwischen 22,0 % und 40,5 %. Für 9/28 hat die Schätzung von 32,1 % eine deutlich größere Spanne: etwa 17,9 % bis 50,7 %.

NIST beschreibt die Wilson-Methode für Verhältnisbereiche. Dies ist informativer als die Anzeige eines Prozentsatzes mit zwei Dezimalstellen und ohne Unsicherheit.

Es gibt auch eine Grenze: Wiederholte Beobachtungen zu denselben Szenarien sind möglicherweise nicht völlig unabhängig. Ein einfaches Binomialintervall scheint präziser zu sein, als es ist. Deshalb behalten wir auch die Struktur der Kohorten bei, nicht nur die Gesamtzahl.

Erstanbieterdaten und externe Messungen sind nicht dasselbe

Im Jahr 2026 kündigte Google Search Console-Berichte an, die sich der Sichtbarkeit in generativen Funktionen widmen, mit Impressionen, Seiten, Ländern, Geräten und Daten. In der Originaldokumentation war der Rollout auf eine Teilmenge von Websites beschränkt.

Eine von Google gemeldete First-Party-Impression unterscheidet sich von einer simulierten Konversation in einem externen Tool. Beide können nützlich sein, sollten aber nicht in einem einzigen, unbeschrifteten KPI zusammengefasst werden.

Google sagt, dass die Search Console die Quelle der Wahrheit für die Leistung der Google-Suche und Analytics für das Website-Verhalten ist. Auch hier muss die gleiche Disziplin eingehalten werden: Die Quelle bestimmt, was wir behaupten können.

Ein Mindestvertrag für jeden KI-KPI

Neben jedem Indikator sollte Folgendes stehen:

1. der vollständige Name der Metrik;
2. Formel;
3. Zähler und Nenner;
4. Einheit: Konversation, Gesprächsrunde, Erwähnung, URL oder Zitat;
5. n und Abdeckung;
6. Engine, Schnittstelle, Sprache und Geographie;
7. Kohorte und Zeitraum;
8. Konfidenzintervall;
9. Ausschlüsse;
10. Reihenbrüche.

Was ich in AYSA-Berichten nicht tun werde

Die vorgeschlagene redaktionelle Methodik für AYSA lehnt einige Abkürzungen ab:

• wir werden keine universellen „gut/schlecht“-Schwellenwerte ohne Referenzkohorte veröffentlichen;
• wir werden fehlgeschlagene Antworten nicht verbergen;
• wir werden eine bloße Erwähnung nicht als Empfehlung bezeichnen;
• wir vergleichen Engines nicht ohne Vorwarnung mit inkompatiblen Beispielen;
• wir werden keinen Vorher-/Nachher-Unterschied als nachgewiesene Kausalität darstellen;
• wir werden das Vorhandensein einer Funktion vor der Produktüberprüfung nicht bestätigen.

Dies sind Richtlinien für Methodik und Transparenz, keine Aussage darüber, dass alle Berichte und Integrationen bereits im Produkt verfügbar sind.

Fazit

Ein Prozentsatz ist nicht die Wahrheit über eine Marke. Es ist das Ergebnis einer Formel, die auf eine Reihe von Beobachtungen angewendet wird.

Bevor wir fragen, ob 32 % gut sind, müssen wir wissen, ob damit Empfehlungen unter den Markennennungen, Empfehlungen unter allen Konversationen, Share of Voice oder etwas anderes gemeint sind. Danach prüfen wir n, Abdeckung, Kohorte und Unsicherheit.

Der Nenner ist kein technischer Hinweis. Es ist die Definition der Geschäftsfrage.

Quellen

• NIST/SEMATECH – Konfidenzintervalle für Proportionen
• Google Search Central – Generative KI-Leistungsberichte
• Google Search Central – Verwendung von Search Console- und Analytics-Daten

Zuletzt überprüfte Quellen: 31. Juli 2026. Die Berechnungen im Beispiel werden anhand der angezeigten Zähler und Nenner reproduziert.