Cum comparăm vizibilitatea AI a două branduri
O comparație corectă folosește aceleași scenarii, suprafețe și reguli pentru ambele branduri. Construim perechi, calculăm diferențe și raportăm incertitudinea.
Vizibilitatea AI a două branduri se compară pe observații pereche, nu pe două colecții convenabile de capturi. Pentru fiecare nevoie a utilizatorului, ambele branduri trebuie să aibă aceeași oportunitate de a fi observate, în aceeași suprafață, limbă și fereastră de măsurare. Abia apoi calculăm diferența.
Un brand poate apărea mai des, iar celălalt poate fi recomandat mai convingător sau citat mai bine. Aceste rezultate nu se anulează și nu trebuie ascunse într-un scor unic. Protocolul de mai jos păstrează fiecare dimensiune, arată unde apare diferența și limitează concluzia la cohorta testată.
1. Începem cu întrebarea de decizie
„Care brand este mai vizibil în AI?” este prea vag. Înainte de colectare formulăm întrebarea astfel: pentru ce piață, segment, nevoie, limbă, geografie, suprafețe AI și perioadă vrem comparația? Stabilim și ce decizie va informa: cercetare de poziționare, prioritizarea conținutului, verificarea unei intervenții sau monitorizarea unui risc.
Contractul minim conține Brandul A și Brandul B, populația de scenarii, platformele și interfețele incluse, fereastra de măsurare, metrica principală, metricile secundare și diferența minimă care ar schimba o acțiune. NIST AI RMF Core cere conectarea măsurării la context, documentarea seturilor și a instrumentelor, evaluări repetabile și raportarea incertitudinii. Această disciplină este utilă și într-un audit editorial.
2. Verificăm mai întâi dacă brandurile sunt comparabile
Două nume apărute în același răspuns nu sunt automat alternative. Pot fi un produs și un publisher, o platformă și un partener, două categorii diferite sau soluții pentru etape distincte. Aplicăm mai întâi procesul de validare a candidatului competitiv: entitate normalizată, rol, segment, nevoie și dovadă de substituție.
Comparabilitatea poate fi parțială. Brandurile pot concura pentru întreprinderi mici, dar nu pentru organizații reglementate; într-o țară, dar nu în alta; pentru o funcție, dar nu pentru întregul produs. Matricea trebuie limitată la aria comună. Altfel, unul primește întrebări pentru care nici nu este eligibil, iar diferența măsoară designul eșantionului.
3. Construim aceeași matrice de oportunitate
Unitatea de planificare este scenariul, nu cuvântul-cheie izolat. Un scenariu combină nevoia, persona, etapa deciziei și constrângerile relevante: buget, integrare, localizare, securitate, volum sau timp. Pentru fiecare scenariu stabilim limba, geografia și suprafețele AI investigate.
Matricea se îngheață înainte de rulare. Dacă adăugăm ulterior numai întrebările în care Brandul A arată bine, comparația devine circulară. Playbook-ul NIST pentru Measure leagă documentarea de repetabilitate și recomandă verificarea reprezentativității și a validității externe. Prin urmare, păstrăm atât scenariile incluse, cât și regulile de excludere.
4. Celula pereche este unitatea de comparație
O celulă poate fi identificată prin:
scenariu × persona × limbă × suprafață × repetare × fereastră
Răspunsul din celulă este evaluat pentru ambele branduri cu același codebook. Astfel, schimbarea de context afectează perechea, nu doar o parte. Nu comparăm 30 de întrebări pentru A cu alte 30 pentru B și nu tratăm procentele ca echivalente doar fiindcă numitorul este egal numeric.
Într-o comparație binară păstrăm patru rezultate: apar ambele branduri, apare numai A, apare numai B sau nu apare niciunul. Perechile discordante—numai A și numai B—arată direct direcția diferenței. Perechile comune explică nivelul absolut al vizibilității.
5. Separăm descoperirea de prompturile care numesc brandurile
Într-un prompt de descoperire nu introducem niciun brand: întrebăm despre nevoia utilizatorului și observăm cine apare spontan. Într-un prompt comparativ putem numi ambele branduri pentru a examina diferențele explicite. Cele două familii răspund la întrebări diferite și nu se agregă fără o etichetă de strat.
Când numele apar în prompt, ordinea poate influența forma răspunsului. Folosim variante echilibrate A–B și B–A sau randomizăm ordinea după o regulă păstrată în registru. Nu rescriem promptul pentru un singur brand și nu permitem evaluatorului să știe ce rezultat este „dorit”.
6. Definim evenimentele înainte să vedem răspunsurile
Mențiunea înseamnă că entitatea normalizată apare în corpul răspunsului. Considerarea înseamnă că este prezentată drept opțiune relevantă. Recomandarea presupune o selecție sau susținere activă pentru constrângerile date. Proeminența folosește o regulă structurală declarată—poziție, heading, listă scurtă sau spațiu relativ—nu impresia evaluatorului.
Citarea observată și citarea susținută sunt alte două evenimente. Prima spune că există un marker lângă o afirmație despre brand; a doua cere ca pasajul verificat din sursă să susțină afirmația atomică. Acuratețea factuală rămâne un verdict separat. Un brand poate fi foarte vizibil și descris greșit.
7. Nu construim un scor care ascunde contradicțiile
Un scor compozit poate fi folosit numai dacă ponderile, normalizarea și componentele sunt publice și stabilite înainte de analiză. În raportul principal preferăm un scorecard: rată de mențiune, rată de recomandare, proeminență, citări susținute și acuratețe. Fiecare are numitor și interval propriu.
Aceasta delimitează articolul de share of voice în AI. SOV distribuie o anumită voce într-un set competitiv și depinde de acel numitor. Comparația pereche păstrează două entități pe aceeași matrice de oportunitate și măsoară diferența dintre rezultatele lor.
8. Calculăm diferența în interiorul perechii
Pentru un eveniment binar, rata Brandului A este numărul celulelor în care A produce evenimentul împărțit la toate celulele eligibile. Rata Brandului B folosește exact același numitor. Diferența este rata A − rata B, exprimată în puncte procentuale, nu în „procente mai mare” fără bază.
Echivalent, dacă nA este numărul celulelor „numai A”, nB numărul „numai B”, iar N toate perechile, diferența binară este (nA − nB) / N. Formula arată de ce cazurile discordante contează și de ce două totaluri independente pierd informație.
9. Scorecard-ul pereche păstrează traseul
Diagrama are trei straturi. Primul blochează condițiile comune. Al doilea păstrează cele patru rezultate pentru fiecare eveniment. Al treilea calculează diferențele pe metrici și le trece prin pragul practic și incertitudine înainte de verdict. Putem reveni de la un rezultat agregat la celula și pasajul care l-au produs.
10. Exemplu: 48 de celule pentru două branduri anonime
Presupunem 12 scenarii, două suprafețe AI și două repetări într-o singură fereastră: 48 de celule pereche. Pentru mențiune observăm 20 de celule cu ambele branduri, 11 numai cu A, 7 numai cu B și 10 fără niciunul. A apare în 31/48, adică 64,6%; B în 27/48, adică 56,3%. Diferența A−B este +8,3 puncte procentuale.
| Eveniment | Ambele | Numai A | Numai B | Niciunul | Delta A−B |
|---|---|---|---|---|---|
| Mențiune | 20 | 11 | 7 | 10 | +8,3 pp |
| Recomandare | 12 | 9 | 5 | 22 | +8,3 pp |
Pentru recomandare, A are 21/48, adică 43,8%, iar B 17/48, adică 35,4%. Din nou, diferența descriptivă este +8,3 puncte. Totuși, aceleași opt puncte nu au automat aceeași importanță pentru mențiune și recomandare; decizia și pragul au fost stabilite separat.
11. Un brand poate conduce la vizibilitate și pierde la dovadă
În exemplu, 18 dintre cele 31 de celule în care A este menționat au o citare verificată care susține afirmația relevantă: 58,1%. Pentru B sunt tot 18 citări susținute, dar din 27 de celule cu mențiune: 66,7%. Diferența condițională A−B este −8,6 puncte.
Numitorul s-a schimbat în mod transparent: acum măsurăm calitatea dovezii numai între mențiunile fiecărui brand. Nu comparăm 18/31 cu 18/48 și nu declarăm egalitate doar fiindcă numărătorul este identic. Rezultatul corect este multidimensional: A apare și este recomandat mai des în cohortă; B are o rată condițională mai mare de citări susținute.
12. Diferența punctuală nu este verdict
Opt puncte pot proveni dintr-un semnal stabil sau din variația unui eșantion mic. Raportăm un interval de incertitudine, numărul perechilor și distribuția pe scenarii și suprafețe. NIST explică intervalele de încredere ca proceduri cu acoperire pe eșantionări repetate; ele nu transformă un rezultat punctual într-o certitudine.
Pentru măsuri continue sau ordinale analizăm diferența din fiecare pereche. Ghidul NIST pentru diferențe între medii tratează separat observațiile pereche și construiește intervalul pe diferențele din perechi. Metoda concretă trebuie aleasă după distribuție, structură și ținta inferenței, nu copiată mecanic.
13. Pentru evenimente binare inspectăm perechile discordante
În tabelul de mențiune, 11 celule favorizează A și 7 favorizează B. Cele 20 cu ambele și cele 10 fără niciunul descriu nivelul comun, dar nu schimbă diferența marginală. Testul McNemar documentat de NIST este construit pentru două variabile binare pereche și compară tocmai frecvențele discordante.
Nu îl folosim automat. Perechile trebuie să fie independente între ele conform ipotezelor metodei. Repetările aceleiași întrebări sau mai multe întrebări din aceeași familie pot fi corelate; în acest caz avem nevoie de un interval ori model care recunoaște clusterizarea.
14. Scenariile și suprafețele pot schimba povestea
Media totală poate ascunde faptul că A conduce numai în întrebări informaționale, iar B în selecția comercială; sau că diferența vine integral dintr-o singură suprafață. Raportăm felii predefinite pe etapă, persona, nevoie, limbă și platformă, dar păstrăm dimensiunea eșantionului lângă fiecare rezultat.
LLM Comparator de la Google ilustrează valoarea comparației side-by-side: identificăm subseturile unde ieșirile diferă, motivele și exemplele concrete. În auditul nostru, felierea este diagnostic, nu permisiune pentru a căuta retrospectiv numai segmentul care confirmă concluzia preferată.
15. Repetările nu sunt utilizatori independenți
Douăzeci de rulări ale aceleiași întrebări măsoară variabilitatea răspunsului în acea celulă; nu creează douăzeci de nevoi noi. Scenariile, suprafețele și repetițiile formează o structură ierarhică. O inferență către scenarii similare cere alte ipoteze decât descrierea celor 48 de celule fixe.
Lucrarea NIST Expanding the AI Evaluation Toolbox with Statistical Models separă performanța condiționată de un benchmark fix de generalizarea către itemi similari și arată de ce estimarea incertitudinii depinde de modelul statistic. Pentru un raport serios precizăm explicit pe care dintre cele două o susținem.
16. Pragul practic se stabilește înainte de rezultat
O diferență poate fi detectabilă statistic și totuși prea mică pentru a schimba prioritățile. Definim dinainte un prag minim practic: de exemplu, diferența necesară pentru a justifica o investigație, nu o valoare universală. Pragul poate diferi pentru recomandare, mențiune și afirmații incorecte cu risc.
Verdictul poate fi „avantaj direcțional”, „neconcludent”, „diferență practic relevantă”, „avantaj limitat la un segment” sau „fără diferență utilă”. Evităm cuvântul „câștigător” dacă intervalul, felierile sau metricele spun povești incompatibile.
17. Comparația relativă și nivelul absolut răspund diferit
Dacă A este recomandat în 10% dintre celule și B în 2%, A are un avantaj relativ mare, dar ambele pot avea vizibilitate absolută slabă. Invers, 78% versus 74% poate însemna prezență puternică pentru ambele și o diferență prea mică pentru acțiune. Raportăm rata fiecăruia, delta și pragul.
La fel, o diferență pozitivă de mențiune nu dovedește preferința utilizatorilor, cotă de piață, venit sau efectul unui anumit articol. Auditul observă răspunsuri într-un protocol definit. Orice legătură cu rezultate comerciale cere alte date și alt design.
18. Versionăm protocolul și remăsurăm cohorta comparabilă
Registrul păstrează matricea, prompturile, ordinea brandurilor, datele și orele, suprafețele, setările disponibile, răspunsurile, codebook-ul, evaluările, sursele și versiunea formulelor. Structura Evals documentată de OpenAI separă criteriile de testare de schema sursei de date și permite rulări pe configurații declarate; principiul util aici este același: set și criterii explicite înainte de comparație.
La remăsurare nu amestecăm discret scenarii noi cu vechiul baseline. Etichetăm orice schimbare de suprafață, model, prompt, codebook sau eșantion ca posibilă ruptură de serie. Putem publica noua comparație, dar nu pretindem continuitate dacă instrumentul s-a schimbat.
Checklist pentru o comparație auditabilă
- brandurile au fost validate ca alternative în aria testată;
- întrebarea de decizie și metrica principală sunt declarate;
- matricea de oportunitate este comună și înghețată;
- fiecare observație păstrează perechea A–B;
- prompturile de descoperire și comparație sunt straturi separate;
- ordinea numelor este echilibrată când apar în prompt;
- mențiunea, recomandarea, proeminența și citarea au reguli distincte;
- numitorul este afișat pentru fiecare metrică;
- raportul include discordantele, intervalul și pragul practic;
- felierile și repetările nu sunt prezentate ca observații independente;
- concluzia rămâne limitată la cohortă și fereastră;
- protocolul și rupturile de serie sunt versionate.
Verdict
Comparația corectă a vizibilității AI dintre două branduri începe cu aceeași oportunitate, păstrează perechile și se termină cu diferențe pe metrici, nu cu un clasament decorativ. A poate conduce la mențiune, B la dovada citărilor, iar rezultatul global poate rămâne neconcludent. Aceasta nu este o slăbiciune a raportului, ci informația de care avem nevoie pentru o decizie proporțională cu datele.