Cum calculăm scorul de vizibilitate în AI

Scorul de vizibilitate în AI nu este o măsurătoare directă precum lungimea sau temperatura. Este un indicator compozit: alegem mai multe semnale observabile, le aducem pe o scară comună, le atribuim ponderi și le agregăm după o regulă declarată.

Această construcție poate rezuma un dashboard. Poate și ascunde decizii importante. Un scor de 63 nu spune nimic fără componente, cohortă, coverage, ponderi și versiunea formulei. De aceea calculul începe cu întrebarea de business, nu cu dorința de a produce un număr între 0 și 100.

1. Mai întâi decidem dacă avem nevoie de un scor compozit

Uneori este mai corect să raportăm separat visibility, recommendation coverage, citation coverage și acuratețea factuală. Un singur număr este util când avem nevoie de:

• o vedere executivă stabilă asupra mai multor etape;
• prioritizarea investigațiilor, nu verdictul final;
• compararea aceleiași entități în timp, sub aceeași metodă;
• un semnal care poate fi descompus imediat în componente.

Nu construim scorul doar pentru un clasament spectaculos. Handbookul OECD/JRC pentru indicatori compoziți tratează rezultatul agregat ca punct de pornire pentru analiză și cere întoarcerea la datele componente.

2. Definim modelul conceptual înainte de componente

În exemplul nostru, vizibilitatea urmărește patru etape ale traseului către decizie:

1. discovery: brandul apare spontan în scenarii nebranduite;
2. shortlist: este inclus între opțiunile relevante;
3. recomandare: este propus explicit pentru context;
4. citare first-party: răspunsul folosește o sursă proprie.

Aceste dimensiuni descriu expunerea. Acuratețea factuală și riscul nu sunt ascunse în același scor: rămân guardrails separate. Un brand foarte vizibil, dar descris incorect, nu trebuie să pară sănătos doar pentru că agregarea compensează problema.

OECD recomandă ca variabilele agregate să fie compatibile conceptual și ca transformările și ipotezele să fie transparente. Amestecarea cauzelor, rezultatelor și riscurilor într-un singur index poate transmite un mesaj contradictoriu.

3. Fiecare componentă are propriul numitor

Înainte de agregare calculăm KPI-urile componente pe cohorte explicite:

• D: apariții în 100 de scenarii discovery eligibile;
• S: includeri în 80 de scenarii shortlist eligibile;
• R: recomandări în 60 de scenarii de decizie eligibile;
• C: răspunsuri cu citare first-party în 80 de scenarii citation-eligible.

Nu împărțim toate evenimentele la același numitor doar pentru simetrie. Nici nu folosim recommendation rate dintre apariții dacă modelul conceptual cere acoperire în întregul spațiu de decizie. Articolul despre capcana numitorului în KPI-urile AI explică aceste diferențe în profunzime.

Fiecare valoare păstrează numărătorul, numitorul și coverage-ul. Scorul compozit nu înlocuiește această fișă.

4. Aducem componentele pe o scară comună

Proporțiile din exemplu sunt deja între 0 și 1. Le înmulțim cu 100 și obținem valori între 0 și 100:

• D = 40/100 × 100 = 40,0;
• S = 24/80 × 100 = 30,0;
• R = 12/60 × 100 = 20,0;
• C = 20/80 × 100 = 25,0.

Pentru variabile exprimate în alte unități avem nevoie de normalizare. Oslo Manual enumeră opțiuni precum min–max și standardizarea și avertizează că normalizarea, ponderile și agregarea schimbă mesajul indicatorului.

Pentru serii istorice evităm min–max bazat pe cel mai slab și cel mai bun concurent din luna curentă. Dacă setul competitiv se schimbă, același rezultat brut primește alt scor. Preferăm limite fixe, justificate conceptual, ori păstrăm procentul natural.

5. Ponderile exprimă priorități, nu adevăruri naturale

În exemplul ilustrativ alegem:

• discovery 35%;
• shortlist 25%;
• recomandare 25%;
• citare first-party 15%.

Ponderile însumează 100%. Discovery primește o greutate mai mare deoarece modelul urmărește capacitatea brandului de a intra organic în conversație. Aceasta este o alegere de guvernanță, nu o constantă statistică.

Ponderile egale nu sunt neutre. Ele afirmă că fiecare dimensiune are aceeași importanță. Ponderile bazate doar pe variația datelor pot favoriza indicatorul cel mai volatil, nu neapărat cel mai relevant. Documentăm cine le-a ales, pentru ce decizie și când vor fi revizuite.

6. Formula liniară și ipoteza de compensare

Modelul liniar este ușor de explicat:

Scor = Σ (pondere_i × componentă_i).

În exemplu:

0,35×40 + 0,25×30 + 0,25×20 + 0,15×25 = 30,25.

Raportăm 30,3/100, nu 30,25% din piață. Scorul este pe o scară construită pentru cohorta și modelul declarate.

Media ponderată permite compensarea: discovery bun poate acoperi recommendation slab. Dacă businessul consideră că o componentă este obligatorie, folosim un gate separat sau un model necompensator; nu ascundem cerința într-o pondere aparent precisă.

7. Exemplul complet de calcul

Contribuțiile sunt 14,00 + 7,50 + 5,00 + 3,75. Totalul este 30,25, rotunjit o singură dată la final. Dacă rotunjim fiecare componentă în mai multe etape, putem introduce diferențe artificiale.

Exemplul nu stabilește că 30,3 este „slab”. Fără baseline propriu, distribuție, obiectiv și cohortă de referință, etichetele roșu/galben/verde sunt arbitrare.

8. Coverage-ul nu trebuie ascuns în scor

Presupunem că au fost planificate 100 de observații, dar numai 91 au produs output evaluabil. Raportăm:

• scor compozit brut: 30,3/100;
• coverage operațional: 91/100;
• eșecurile, distribuite pe motor, limbă și scenariu;
• componentele afectate de lipsuri.

Nu imputăm automat lipsurile cu zero, pentru că am transforma indisponibilitatea în absență. Nu le imputăm cu 50, pentru că am inventa performanță medie. Nu renormalizăm în tăcere ponderile rămase, deoarece același brand ar fi evaluat prin alt model.

Dacă businessul dorește un scor conservator, poate defini separat „score adjusted for coverage = scor × coverage”. În exemplu ar fi 27,5. Dar acela este alt construct, care combină vizibilitatea cu disponibilitatea datelor și trebuie denumit distinct.

9. Când o componentă lipsește complet

Dacă o suprafață nu afișează citări, componenta C nu este zero. Este „not observable” pentru acea suprafață. Avem trei opțiuni legitime:

1. nu calculăm scorul complet și raportăm date insuficiente;
2. definim dinainte o versiune fără componenta C, cu alt nume și alte ponderi;
3. raportăm scoruri separate pe suprafețe comparabile.

Nu comparăm versiunea cu patru componente cu versiunea cu trei ca și cum ar fi aceeași serie. Schimbarea formulei produce un series break.

10. Calculăm pe segmente înainte să agregăm

Scorul total poate ascunde diferențe mari între motoare, limbi, țări și etape ale funnelului. Calculăm mai întâi componentele pe segmente comparabile și afișăm:

• valoarea pe fiecare motor;
• macro-average, dacă fiecare motor are greutate egală;
• micro-average, dacă fiecare observație are greutate egală;
• eventuale ponderi de trafic sau importanță, cu sursa lor.

Un motor cu 10 observații nu trebuie să domine unul cu 100 doar pentru că procentul este mare. Invers, un motor cu volum mare nu trebuie să șteargă complet o piață strategică mică. Alegerea răspunde scopului raportului.

11. Incertitudinea scorului nu este media intervalelor

Fiecare proporție are incertitudine. Componentele pot fi și corelate: răspunsurile în care brandul apare au o probabilitate mai mare să îl includă în shortlist și să îl recomande. Nu putem combina naiv marginile de eroare ca și cum dimensiunile ar fi independente.

O abordare practică este să resample-uim unitățile complete ale cohortei, să recalculăm toate componentele și scorul pentru fiecare eșantion bootstrap, păstrând dependențele dintre ele. Raportăm distribuția rezultată și ipotezele. Articolul C02-005 va trata intervalele de încredere separat.

NIST TN 1297 arată, în context metrologic, că incertitudinile combinate depind de componente și covarianțe. Nu transferăm automat formula din metrologie fizică, dar păstrăm principiul: dependențele și ipotezele contează.

12. Analiza de sensibilitate testează cât de fragil este scorul

Recalculăm scorul sub alternative plauzibile:

• ponderi egale;
• ponderi cu ±5 sau ±10 puncte procentuale;
• altă normalizare justificată;
• cu și fără un segment afectat de anomalie;
• macro și micro aggregation;
• praguri de coverage vecine.

Dacă scorul variază de la 28 la 34, raportăm intervalul de sensibilitate. Dacă ordinea brandurilor se inversează la o modificare mică a ponderilor, clasamentul nu este robust. OECD/JRC recomandă analiza de robustețe și sensibilitate tocmai pentru a reduce interpretarea excesivă a diferențelor nesemnificative.

13. Validăm scorul revenind la date

Un scor credibil trebuie să răspundă unor verificări:

• componentele chiar reprezintă modelul conceptual;
• creșterea scorului corespunde unor îmbunătățiri inspectabile;
• un outlier sau o singură componentă nu domină neintenționat;
• scorul se comportă coerent față de semnale externe relevante;
• un reviewer poate reproduce rezultatul din observațiile brute.

NIST AI RMF Measure cere metrici adecvate, metode repetabile și documentate, incertitudine, benchmarkuri și evaluare în context. Un dashboard frumos nu substituie validarea constructului.

14. Versionăm formula și marcăm rupturile de serie

Manifestul scorului conține:

• versiunea modelului conceptual;
• lista componentelor și formulelor;
• cohortele și denominatorii;
• normalizarea și limitele fixe;
• ponderile, ownerul și aprobarea;
• regula de missingness și coverage;
• metoda de agregare și rotunjire;
• data intrării în vigoare.

Dacă schimbăm o pondere, adăugăm o limbă sau redefinim shortlist, calculăm o versiune nouă. Unde datele permit, rulăm ambele formule pe o perioadă de suprapunere. Principiile W3C PROV ajută la urmărirea derivării și versionării de la observație la rezultat.

15. Fișa minimă afișată lângă scor

Un card executiv poate fi scurt, dar trebuie să permită deschiderea detaliilor:

1. scorul și versiunea formulei;
2. cele patru componente și ponderile;
3. numărătorul, numitorul și coverage-ul fiecăreia;
4. motoarele, limbile, geografiile și perioada;
5. incertitudinea sau intervalul de sensibilitate;
6. missingness și anomaliile;
7. series break-urile;
8. legătura către metodologia completă.

Scorul nu trebuie să stea singur. O variație de două puncte poate proveni din zgomot, din alt coverage sau dintr-o schimbare de formulă.

Ce nu vom numi „scor de vizibilitate”

• un procent calculat dintr-un singur prompt;
• un rang relativ fără set competitiv stabil;
• o medie care amestecă motoare și cohorte incompatibile;
• un index cu ponderi secrete;
• un scor care transformă lipsurile în zero fără avertisment;
• o valoare prezentată drept benchmark universal.

Articolul despre de ce un singur prompt nu este o măsurătoare explică diferența dintre exemplu și estimare. Aici agregăm numai după ce măsurarea componentelor este validă.

Verdict

Scorul de vizibilitate AI este o convenție utilă dacă simplifică fără să ascundă. Îl construim din componente compatibile, cu denominatorii proprii, normalizare fixă, ponderi justificate și o regulă explicită de agregare.

Îl raportăm împreună cu componentele, coverage-ul, incertitudinea și versiunea. Îi testăm sensibilitatea și revenim la răspunsurile brute înainte de orice decizie.

Un scor fără metodologie este decor. Un scor auditabil este o hartă compactă către dovezi.

Surse

• OECD / EU / EC-JRC — Handbook on Constructing Composite Indicators
• OECD — Oslo Manual 2018, indicators and composite indexes
• OECD — Principles for aggregated indicators
• NIST AI RMF Core — Measure
• NIST AI RMF Playbook — Measure
• NIST TN 1297 — Combined standard uncertainty
• W3C — PROV Overview

Sursele au fost verificate la 2 august 2026. Formula și valorile sunt un exemplu editorial reproductibil, nu un benchmark de piață și nu o afirmație despre o funcție AYSA deja lansată.