Numitorul schimbă rezultatul: capcana ascunsă din KPI-urile AI

Un KPI nu este definit doar de numărător. Numitorul stabilește întrebarea la care răspunde procentul. În măsurarea vizibilității AI, aceleași nouă recomandări pot deveni 32,1%, 9,8% sau altă valoare, fără ca vreun calcul să fie aritmetic greșit.

Problema apare când dashboardul afișează procentul, dar ascunde cohorta, unitatea de analiză, răspunsurile eșuate sau regula de includere. Atunci comparăm numere care arată la fel și măsoară lucruri diferite.

Același set de date, cinci KPI-uri

Folosim un exemplu unic:

• 100 de interacțiuni planificate;
• 92 de răspunsuri eligibile și analizabile;
• 28 de răspunsuri în care apare brandul;
• 9 răspunsuri în care brandul este recomandat;
• 41 de mențiuni ale brandului țintă;
• 123 de mențiuni ale tuturor brandurilor;
• 12 apariții ale unor citări first-party;
• 80 de apariții ale tuturor citărilor.

KPI	Formula	Rezultat	Ce întreabă
AI visibility	28 ÷ 92	30,4%	În câte răspunsuri eligibile apare brandul?
Recommendation rate între apariții	9 ÷ 28	32,1%	Când apare, cât de des este recomandat?
Recommendation coverage	9 ÷ 92	9,8%	În câte răspunsuri eligibile este recomandat?
Mention share of voice	41 ÷ 123	33,3%	Ce parte din toate mențiunile aparține brandului?
First-party citation occurrence share	12 ÷ 80	15,0%	Ce parte din aparițiile citărilor duce la surse proprii?

Numerele nu se contrazic. Fiecare descrie altă etapă. Eroarea ar fi să prezentăm rata de recomandare de 32,1% ca și cum brandul ar fi fost recomandat în 32,1% din toate răspunsurile.

Numitorul pentru AI visibility

Convenția folosită în acest cluster este:

AI visibility = răspunsuri eligibile în care brandul apare ÷ toate răspunsurile eligibile analizabile.

„Eligibil” trebuie definit înainte de analiză. Un scenariu despre o categorie în care compania nu activează nu ar trebui introdus doar pentru a modifica scorul. În același timp, nu putem alege numai scenariile unde știm că brandul performează.

Testele în care numele brandului este introdus explicit pot fi utile pentru percepție și acuratețe, dar nu demonstrează descoperirea organică. De aceea, testele branded nu ar trebui să umfle visibility KPI-ul organic.

Am explicat întregul protocol în articolul Ce este vizibilitatea în AI și cum se măsoară corect.

Recommendation rate are cel puțin doi numitori legitimi

Întrebarea „cât de des este recomandat brandul?” poate însemna:

1. dintre răspunsurile în care apare — 9/28 = 32,1%;
2. dintre toate răspunsurile eligibile — 9/92 = 9,8%.

Prima valoare arată capacitatea brandului de a transforma o apariție într-o recomandare. A doua arată acoperirea recomandării în întregul spațiu testat.

Ambele sunt utile. Niciuna nu trebuie etichetată simplu „AI recommendation 32%” fără denumire completă și formulă.

Share of voice: conversații, mențiuni sau recomandări?

Share of voice poate folosi unități diferite:

• numărul conversațiilor în care apare fiecare brand;
• numărul total de mențiuni;
• numărul recomandărilor;
• o măsură de proeminență sau poziție.

Dacă un răspuns menționează același brand de cinci ori, occurrence SOV îi acordă cinci evenimente. Conversation SOV îi acordă unul. Alegerea depinde de întrebarea de business, dar raportul trebuie să declare unitatea.

Setul competitiv contează la fel de mult. Dacă adăugăm sau eliminăm concurenți, cota se schimbă chiar dacă numărul mențiunilor brandului rămâne identic.

Citările: URL-uri, domenii, apariții sau conversații

„15% first-party citation rate” poate ascunde cel puțin patru formule:

• 12 apariții first-party din 80 de apariții ale citărilor;
• numărul URL-urilor first-party unice din toate URL-urile unice;
• conversațiile cu cel puțin o citare first-party din toate conversațiile citate;
• conversațiile cu citare first-party din toate conversațiile eligibile.

Nu putem amesteca occurrence-level cu conversation-level. Un singur răspuns cu cinci linkuri către același domeniu arată foarte diferit în cele două metode.

Articolul despre query fan-out explică de ce o pagină poate fi găsită într-o căutare intermediară fără să ajungă citată în răspunsul final.

Acuratețea factuală nu trebuie să transforme necunoscutul în eroare

Pentru afirmațiile despre un brand avem nevoie de cel puțin trei stări:

• corectă — susținută de sursa de adevăr și actuală;
• incorectă — contrazisă de dovezi;
• neconfirmată/not grounded — nu avem dovezi suficiente.

Dacă numim toate afirmațiile neconfirmate „false”, rata de acuratețe devine artificial severă. Dacă le eliminăm din numitor fără să le raportăm, ascundem o problemă de acoperire a Knowledge Base.

Cele opt răspunsuri eșuate nu dispar

În exemplu au fost planificate 100 de interacțiuni, dar numai 92 au produs răspunsuri analizabile. Vizibilitatea se calculează pe cele 92, iar 8 sunt raportate separat ca lipsă de coverage.

Nu este acceptabil să eliminăm eșecurile și să afișăm doar 30,4% fără „92/100 răspunsuri analizabile”. Dacă eșecurile se concentrează într-un anumit motor, într-o limbă sau într-un tip de scenariu, ele pot distorsiona comparația.

O regulă utilă este:

Orice procent trebuie însoțit de n și coverage. Orice segment prea mic trebuie marcat „date insuficiente”.

Micro-average vs macro-average

Presupunem că măsurăm două motoare:

• Motorul A: 20 de apariții din 80 de răspunsuri — 25%;
• Motorul B: 8 apariții din 12 răspunsuri — 66,7%.

Media simplă a procentelor este 45,8%. Agregarea tuturor observațiilor este 28/92 = 30,4%. Prima metodă acordă aceeași greutate fiecărui motor; a doua acordă greutate fiecărei observații.

Niciuna nu este automat corectă. Trebuie să alegem între:

• macro-average — fiecare motor, țară sau segment are greutate egală;
• micro-average — fiecare observație are greutate egală;
• weighted average — greutățile reflectă o distribuție justificată.

Dashboardul trebuie să arate valorile segmentate înaintea totalului agregat.

Schimbarea numitorului trebuie tratată ca series break

O serie istorică devine înșelătoare dacă formula se schimbă în tăcere. Să presupunem că în iulie includem numai răspunsurile finalizate, iar în august introducem în numitor și răspunsurile întrerupte. Scorul poate scădea chiar dacă numărul aparițiilor brandului rămâne identic.

Aceeași problemă apare când extindem lista de scenarii, adăugăm o limbă, schimbăm interfața unui motor sau reclasificăm ce înseamnă „recomandare”. Acestea nu sunt simple actualizări ale dashboardului. Sunt modificări ale instrumentului de măsurare.

Pentru fiecare schimbare păstrăm două lucruri:

• data exactă de la care intră în vigoare noua definiție;
• o perioadă de suprapunere în care calculăm vechea și noua formulă pe aceleași observații.

Dacă recalcularea istoricului este posibilă, etichetăm versiunea metodologiei. Dacă nu este posibilă, marcăm ruptura și nu desenăm o linie continuă peste ea.

Exemplu de fișă care poate fi auditată

În loc de „visibility 30,4%”, o fișă operațională completă poate spune: „28 din 92 de răspunsuri eligibile au menționat brandul; 100 de interacțiuni au fost planificate; 8 nu au produs rezultat analizabil; cohorta conține scenarii nebranded în limba română; perioada este 15–31 iulie; intervalul Wilson de 95% este 22,0%–40,5%”.

Formularea este mai lungă, dar permite unui analist să reproducă numărul și unui decident să-i înțeleagă limitele. Dashboardul poate păstra procentul ca element vizual principal, cu condiția ca toate aceste date să fie accesibile într-un tooltip, export sau registru metodologic.

La nivel de decizie, pragul de acțiune trebuie stabilit înaintea rezultatului. De exemplu, putem investiga un segment dacă scăderea persistă în două valuri comparabile și depășește incertitudinea estimată. Alegerea regulii după ce vedem graficul favorizează concluziile convenabile.

Intervalul de încredere: procentul are margini

28/92 produce o estimare de 30,4%. Un interval Wilson de 95% este aproximativ 22,0%–40,5%. Pentru 9/28, estimarea de 32,1% are un interval mult mai larg: aproximativ 17,9%–50,7%.

NIST descrie metoda Wilson pentru intervalele proporțiilor. Ea este mai informativă decât afișarea unui procent cu două zecimale și fără incertitudine.

Există și o limită: observațiile repetate pe aceleași scenarii pot să nu fie complet independente. Un interval binomial simplu poate părea mai precis decât este. De aceea păstrăm și structura cohortelor, nu doar totalul.

First-party data și măsurarea externă nu sunt același lucru

În 2026, Google a anunțat rapoarte Search Console dedicate vizibilității în funcțiile generative, cu impresii, pagini, țări, dispozitive și date. În documentația inițială, rollout-ul era limitat la un subset de site-uri.

O impresie first-party raportată de Google este diferită de o conversație simulată într-un instrument extern. Ambele pot fi utile, dar nu trebuie reunite într-un singur KPI fără etichetare.

Google spune că Search Console este sursa de adevăr pentru performanța în Google Search, iar Analytics pentru comportamentul din site. Aceeași disciplină trebuie păstrată și aici: sursa determină ce putem afirma.

Un contract minim pentru orice KPI AI

Lângă fiecare indicator ar trebui să existe:

1. numele complet al metricii;
2. formula;
3. numărătorul și numitorul;
4. unitatea: conversație, tură, mențiune, URL sau citare;
5. n și coverage;
6. motorul, interfața, limba și geografia;
7. cohorta și perioada;
8. intervalul de încredere;
9. excluderile;
10. series break-urile.

Ce nu voi face în rapoartele AYSA

Metodologia editorială propusă pentru AYSA refuză câteva scurtături:

• nu vom publica praguri universale „bun/slab” fără cohortă de referință;
• nu vom ascunde răspunsurile eșuate;
• nu vom numi mențiunea recomandare;
• nu vom compara motoare cu eșantioane incompatibile fără avertisment;
• nu vom prezenta o diferență înainte/după drept cauzalitate demonstrată;
• nu vom afirma existența unei funcții înainte de verificarea produsului.

Acestea sunt reguli de metodologie și transparență, nu o declarație că toate rapoartele și integrările sunt deja disponibile în produs.

Verdict

Un procent nu este adevărul despre un brand. Este rezultatul unei formule aplicate unui set de observații.

Înainte să întrebăm dacă 32% este bun, trebuie să știm dacă înseamnă recomandări dintre apariții, recomandări dintre toate conversațiile, share of voice sau altceva. Apoi verificăm n, coverage, cohorta și incertitudinea.

Numitorul nu este o notă tehnică. Este definiția întrebării de business.

Surse

• NIST/SEMATECH — Confidence intervals for proportions
• Google Search Central — Generative AI performance reports
• Google Search Central — Using Search Console and Analytics data

Ultima verificare a surselor: 31 iulie 2026. Calculele din exemplu sunt reproduse din numărătorii și numitorii afișați.