Cum calculăm rata de recomandare a unui brand

Rata de recomandare a unui brand este proporția răspunsurilor eligibile în care sistemul AI propune brandul ca opțiune potrivită pentru nevoia utilizatorului. O mențiune, o citare sau prezența într-o listă nu sunt automat recomandări.

Formula pare simplă: numărul răspunsurilor care recomandă brandul împărțit la numărul răspunsurilor eligibile analizate. Partea dificilă este să definim „recomandă”, să păstrăm aceeași unitate și să nu ascundem eșecurile sau cazurile ambigue.

Într-un raport serios publicăm procentul împreună cu numărătorul, numitorul, cohorta, coverage-ul, incertitudinea și versiunea regulilor de clasificare.

1. Ce este o recomandare de brand

Considerăm recomandare un pasaj care propune alegerea, luarea în calcul sau includerea brandului într-un shortlist pentru scopul exprimat de utilizator. Recomandarea poate fi directă — „aș alege Brand A” — sau condiționată — „Brand A este potrivit dacă prioritatea este integrarea X”.

Condiția contează. Un brand potrivit pentru o echipă mică nu este automat potrivit pentru un cumpărător enterprise. Documentația oficială despre shopping research în ChatGPT arată că descoperirea și sugestiile pot depinde de nevoi, preferințe, buget și rafinări. Acesta este un exemplu de suprafață; definiția noastră rămâne una de măsurare cross-platform.

Nu evaluăm dacă formularea este entuziastă. Evaluăm dacă răspunsul face o propunere relevantă pentru decizia cerută.

2. Ce nu numărăm automat ca recomandare

• numele brandului într-o listă exhaustivă;
• o propoziție factuală despre companie;
• un link sau o citare către site-ul brandului;
• o comparație neutră fără verdict de potrivire;
• un adjectiv pozitiv fără legătură cu nevoia utilizatorului;
• repetarea brandului introdus chiar de prompt;
• un avertisment sau o recomandare negativă.

„Brand A are funcția X” este o mențiune factuală. „Brand A merită luat în calcul pentru cazul tău deoarece oferă X” este o recomandare. „Nu aș alege Brand A dacă ai nevoie de Y” este un eveniment negativ, nu o recomandare pozitivă cu sentiment slab.

Citarea se măsoară separat. Un motor poate folosi pagina brandului pentru o definiție și poate recomanda altă opțiune.

3. Definim unitatea: un răspuns, un brand, un rezultat

Unitatea principală este perechea răspuns–brand. Dacă brandul apare de cinci ori într-un răspuns, acel răspuns poate produce cel mult un eveniment pozitiv de recomandare pentru brand.

În același răspuns pot fi recomandate mai multe branduri. Fiecare primește propriul indicator binar. Din acest motiv, ratele brandurilor nu trebuie să însumeze 100%. Un procent care împarte recomandările brandului la toate recomandările tuturor brandurilor este o formă de share of voice și are altă pagină canonică.

Păstrăm separat și „alegerea principală”. Un brand inclus între trei opțiuni potrivite este recomandat, dar nu este neapărat opțiunea plasată prima sau declarată cea mai potrivită.

4. Cohorta eligibilă vine înaintea numărării

Nu toate întrebările dintr-un proiect sunt eligibile pentru o recomandare de brand. „Ce înseamnă protocolul X?” poate produce surse și definiții, nu o decizie de cumpărare. Întrebări precum „ce soluție se potrivește unei echipe cu aceste constrângeri?” sunt eligibile dacă categoria și criteriile sunt relevante.

Stabilim înainte:

• publicul și jobul de rezolvat;
• categoria și geografia;
• limba și suprafața AI;
• scenariile de discovery, comparație și evaluare;
• condițiile care fac un brand eligibil;
• regulile pentru refuzuri și răspunsuri incomplete.

Separăm prompturile nebranded de întrebările care numesc deja brandul. „Ce platformă recomanzi?” măsoară discovery; „Ai recomanda Brand A?” măsoară evaluarea unei opțiuni impuse. Amestecarea lor poate ridica artificial rata.

5. Construim un codebook, nu improvizăm după rezultat

Codebook-ul descrie categoriile, indiciile pozitive, excluderile, exemplele și ordinea de decizie. El este înghețat înainte de codarea integrală și are un număr de versiune.

Pentru fiecare pereche răspuns–brand alegem o categorie primară:

1. recomandare explicită;
2. recomandare condiționată eligibilă;
3. shortlist fără recomandare;
4. mențiune sau comparație neutră;
5. recomandare negativă ori avertisment;
6. absent;
7. nerezolvat, în așteptarea revizuirii.

Ghidul GAO pentru analiza de conținut tratează planul de analiză, codarea și fiabilitatea datelor ca părți ale aceleiași metode. Fără reguli scrise, procentul depinde prea mult de intuiția persoanei care citește răspunsul.

6. Cum tratăm recomandarea condiționată

O recomandare condiționată contează numai dacă îndeplinește trei teste:

1. răspunsul propune efectiv brandul, nu doar descrie o funcție;
2. condiția este relevantă pentru scenariul utilizatorului;
3. codebook-ul declară înainte că acel tip de condiție este eligibil.

„Alege Brand A dacă bugetul nu contează” nu se numără într-un scenariu cu buget strict dacă răspunsul arată că opțiunea depășește limita. „Brand A este potrivit dacă ai nevoie de integrarea X” poate conta când integrarea X este o cerință explicită.

Dacă nu putem decide din pasaj și context, eticheta este „nerezolvat”, nu presupunerea convenabilă. Cazul merge la adjudecare și rămâne vizibil în coverage-ul clasificării.

7. Harta de clasificare

Începem cu eligibilitatea scenariului, apoi verificăm apariția brandului, propunerea de alegere și compatibilitatea condiției. Citarea, sentimentul, poziția și acuratețea sunt câmpuri secundare, nu scurtături pentru eticheta principală.

8. Formula principală

Rata de recomandare în răspunsurile eligibile finalizate = răspunsuri cu recomandare explicită sau condiționată eligibilă / răspunsuri eligibile finalizate și clasificabile.

Într-un exemplu ilustrativ avem:

• 120 interacțiuni eligibile planificate;
• 112 răspunsuri finalizate și clasificabile;
• 46 de răspunsuri în care brandul este vizibil;
• 19 recomandări explicite;
• 7 recomandări condiționate eligibile;
• 4 cazuri vizibile nerezolvate.

Numărătorul este 19 + 7 = 26. Rata principală este:

26 / 112 = 23,2%.

Nu spunem simplu „rata brandului este 23,2%”. Spunem că 26 din 112 răspunsuri eligibile finalizate și clasificabile au recomandat brandul în cohorta, perioada și suprafețele declarate.

9. Două rate secundare care răspund altor întrebări

Conversia dintre apariție și recomandare folosește numai răspunsurile vizibile rezolvate:

26 / (46 − 4) = 61,9%.

Aceasta răspunde la „când apare și poate fi clasificat, cât de des este recomandat?”. Nu descrie acoperirea în întreaga cohortă.

Putem calcula și o acoperire conservatoare raportată la toate cele 120 de interacțiuni planificate:

26 / 120 = 21,7%.

Cele opt interacțiuni fără răspuns complet rămân astfel vizibile. Cele trei formule nu se contrazic; răspund unor întrebări diferite. Articolul despre numitorii KPI-urilor AI explică în detaliu de ce eticheta completă este obligatorie.

10. Verificăm acordul dintre evaluatori

Înainte de codarea completă, doi evaluatori clasifică independent un eșantion reprezentativ. Comparăm deciziile, discutăm dezacordurile și îmbunătățim definițiile care se suprapun.

Procentul simplu de acord este ușor de înțeles, dar poate include acord produs de întâmplare. Raportul metodologic GAO descrie atât acordul observat, cât și măsuri care ajustează pentru acordul așteptat. Nu impunem aici un prag universal; publicăm metoda, eșantionul dublu-codat, rezultatul și regulile revizuite.

După înghețarea codebook-ului, adjudecarea rezolvă cazurile neclare fără să șteargă dezacordul inițial. Dacă schimbăm semnificativ regula în timpul proiectului, recodăm observațiile afectate.

11. Repetarea numelui nu multiplică recomandarea

Un răspuns poate numi brandul în titlu, două paragrafe și un tabel. Pentru rata la nivel de răspuns, toate aparițiile formează un singur eveniment. Numărarea mențiunilor ar recompensa lungimea răspunsului și stilul de redactare.

La fel, un brand recomandat în două ramuri ale aceleiași conversații nu devine automat două recomandări dacă unitatea declarată este conversația. Dacă vrem analiză pe turn, schimbăm unitatea, numitorul și numele indicatorului.

Conversațiile multi-turn au propriile reguli de cohortă și oprire, explicate în ghidul despre traiectorii conversaționale versus prompturi izolate.

12. Acuratețea și calitatea recomandării rămân separate

Un brand poate fi recomandat pe baza unei informații greșite. Evenimentul contează în rata de recomandare observată, dar primește și o eroare factuală. Altfel am confunda comportamentul sistemului cu validitatea sfatului.

Documentația OpenAI despre shopping avertizează că prețurile și disponibilitatea se pot schimba și trebuie confirmate la comerciant. Pagina despre product discovery în ChatGPT descrie selectarea după buget, preferințe și constrângeri. Asta susține separarea dintre „a apărut ca opțiune” și „îndeplinește corect cerințele”.

Raportăm alături rata de recomandare, acuratețea afirmațiilor, citarea surselor și eventualele riscuri. Nu le comprimăm într-un verdict pozitiv.

13. Incertitudinea nu este opțională

26 din 112 este o estimare dintr-un eșantion. O altă selecție de scenarii sau un alt val poate produce o valoare diferită. Afișăm intervalul pentru proporție și distribuția pe segmente suficient de mari.

NIST descrie intervale de încredere pentru proporții, inclusiv metoda Wilson. Intervalul arată precizia limitată, dar nu repară o cohortă convenabilă, un codebook instabil sau prompts care numesc brandul prea des.

Nu publicăm praguri universale precum „peste 30% este bun”. Interpretarea depinde de categorie, scop, cohortă, maturitatea brandului și comparația validă disponibilă.

14. Păstrăm proveniența fiecărei etichete

Pentru fiecare eveniment păstrăm ID-ul scenariului, promptul, răspunsul brut, pasajul justificativ, motorul, suprafața, data, limba, evaluatorul, versiunea codebook-ului și rezultatul adjudecării.

W3C PROV tratează proveniența ca informație despre entitățile, activitățile și agenții care au produs un rezultat și o leagă de evaluarea calității, fiabilității, versiunii și derivării. Nu trebuie să implementăm integral standardul pentru a aplica principiul: fiecare procent trebuie să poată fi urmărit până la observațiile sale.

Screenshotul poate ajuta la audit vizual, dar textul brut și metadatele sunt dovezi mai ușor de căutat și recodificat. Capturile din conturi personale nu sunt necesare.

15. Orice schimbare materială poate rupe seria

O nouă definiție pentru recomandarea condiționată, adăugarea prompturilor branduite, schimbarea limbii sau trecerea de la răspuns la turn ca unitate pot modifica rata fără ca vizibilitatea reală să se fi schimbat.

NIST AI RMF cere metrici adecvate contextului, metode documentate, incertitudine și limitări de generalizare. Versiunea metodologiei nu este o notă administrativă; face parte din sensul indicatorului.

Când schimbarea este materială, marcăm un series break sau rulăm vechea și noua regulă în paralel pe același set pentru a cuantifica diferența.

16. Fișa minimă a KPI-ului

1. Nume complet: rata de recomandare în răspunsurile eligibile finalizate.
2. Construct: propunerea brandului ca opțiune potrivită pentru nevoie.
3. Unitate: pereche răspuns–brand.
4. Numărător: recomandări explicite + condiționate eligibile.
5. Numitor: răspunsuri eligibile finalizate și clasificabile.
6. Cohortă: scenarii, segmente, motoare, suprafețe, limbă și geografie.
7. Coverage: planificate, finalizate, eșuate și nerezolvate.
8. Metodă: codebook, evaluatori, acord și adjudecare.
9. Rezultat: 26/112 = 23,2%, cu interval.
10. Limitări: ce nu măsoară și unde nu se generalizează.

NIST AI RMF Playbook subliniază că scopul și publicul evaluării determină ce trebuie măsurat și că ipotezele, erorile și validitatea externă trebuie documentate.

Verdict

Rata de recomandare nu se obține căutând numele brandului într-un export. Mai întâi definim recomandarea, cohorta și unitatea; apoi clasificăm pasajele cu reguli reproductibile.

Formula principală este simplă, dar eticheta completă este esențială: recomandări eligibile împărțite la răspunsurile eligibile finalizate și clasificabile. Mențiunile neutre, avertismentele, citările și cazurile nerezolvate rămân categorii separate. Procentul final vine cu numărător, numitor, coverage, incertitudine și proveniență.

Surse

• NIST AI RMF Core — Map și Measure
• NIST AI RMF Playbook — Measure
• U.S. GAO — Content Analysis
• NIST/SEMATECH — Confidence intervals for proportions
• OpenAI Help — Using shopping research in ChatGPT
• OpenAI — Powering Product Discovery in ChatGPT
• W3C — PROV Overview

Sursele au fost verificate la 2 august 2026. Exemplele numerice sunt ilustrative, nu benchmarkuri de piață. Articolul descrie un contract metodologic și nu afirmă că AYSA execută deja automat clasificarea sau calculul.