Intervale de încredere pentru vizibilitatea în AI, explicate simplu

Un procent de vizibilitate AI fără interval de încredere pare mai precis decât este. Dacă un brand apare în 10 dintre 20 de răspunsuri eligibile, rezultatul observat este 50%. Dar eșantionul este mic: într-un protocol binomial simplificat, intervalul Wilson de 95% este aproximativ 29,9%–70,1%. Nu am descoperit o „vizibilitate adevărată” de exact 50%; am obținut o estimare cu incertitudine.

Intervalul nu repară însă un protocol slab. Nu compensează întrebări alese convenabil, rezultate codate inconsecvent, schimbarea platformei în timpul testului, răspunsuri dependente sau driftul modelului. De aceea, înainte de formulă trebuie să definim ce populație vrem să reprezentăm și ce numărăm.

1. Ce estimăm, de fapt

În exemplul de bază estimăm o proporție: probabilitatea ca un răspuns eligibil, obținut printr-un protocol definit, să satisfacă un criteriu binar. Criteriul poate fi „brandul este menționat” sau „răspunsul conține o recomandare calificată”, dar trebuie fixat înainte de citirea rezultatelor.

Parametrul nu este „vizibilitatea brandului în toate sistemele AI”. El aparține unei populații operaționale: cohorta de întrebări, platforma și suprafața folosită, modelul dacă este cunoscut, limba, piața, fereastra temporală, setările observabile și regulile de eligibilitate.

Ghidul despre numitorii KPI-urilor AI explică ce intră în fracție. Articolul de față începe după ce acel contract a fost stabilit.

2. Estimarea punctuală nu este parametrul

Dacă avem x rezultate pozitive din n observații eligibile, estimarea punctuală este p̂ = x / n. Pentru 10 din 20 obținem 0,5 sau 50%. Este cea mai directă sinteză a datelor observate, nu o garanție despre toate observațiile posibile.

Un alt eșantion construit prin același protocol poate produce 8/20 sau 12/20. Intervalul de încredere exprimă variația de eșantionare pe care metoda o anticipează în jurul estimării. Fără el, două rapoarte cu 50% — unul bazat pe 20 de observații și altul pe 400 — arată fals echivalente.

3. Ce înseamnă corect „95% încredere”

În interpretarea frecventistă, 95% descrie procedura, nu probabilitatea post-calcul pentru intervalul deja obținut. Dacă am repeta eșantionarea și construcția intervalului de foarte multe ori în condițiile modelului, aproximativ 95% dintre intervale ar acoperi parametrul țintă. NIST explică nivelul de încredere prin această repetare ipotetică a eșantionării.

După ce datele au fost observate, intervalul concret fie conține parametrul, fie nu. Formularea „există 95% probabilitate ca adevărul să fie între aceste două limite” amestecă interpretarea frecventistă cu una bayesiană, care ar necesita un model și o distribuție a priori explicite.

4. De ce folosim Wilson, nu formula simetrică comodă

Formula Wald, p̂ ± 1,96 × √[p̂(1−p̂)/n], este populară pentru că se calculează ușor. Dar poate avea acoperire slabă, mai ales la eșantioane mici sau proporții apropiate de 0 și 1, și poate produce limite imposibile sub 0% sau peste 100%.

NIST prezintă intervalul Wilson, obținut prin inversarea unui test de scor, și arată că limita sa inferioară nu devine negativă. Studiul lui Brown, Cai și DasGupta despre intervalele binomiale documentează problemele intervalului Wald și recomandă alternative cu proprietăți de acoperire mai bune.

Pentru raportarea editorială folosim Wilson bilateral la 95% ca regulă transparentă. Nu pretindem că este singura metodă legitimă în orice design; alegerea trebuie preînregistrată și păstrată consecvent în serie.

5. Formula Wilson, fără mister

Pentru p̂ = x/n, dimensiunea n și valoarea critică z, centrul și semi-lățimea Wilson sunt:

centru = (p̂ + z² / 2n) / (1 + z² / n)
semi-lățime = z × √[p̂(1−p̂)/n + z²/4n²] / (1 + z²/n)

Limitele sunt centru − semi-lățime și centru + semi-lățime. Pentru 95% bilateral folosim de regulă z ≈ 1,96. Formula completă și originea ei se găsesc în articolul lui Edwin B. Wilson din 1927.

În produs sau dashboard, formula trebuie implementată o singură dată, testată pe cazuri cunoscute și versionată. Rotunjirea se face la afișare, nu în pașii intermediari.

6. Același 50%, trei niveluri diferite de precizie

Pentru 10/20, 50/100 și 200/400, estimarea punctuală rămâne 50%. Intervalele Wilson 95% sunt însă aproximativ 29,9%–70,1%, 40,4%–59,6% și 45,1%–54,9%. Cu mai multe observații comparabile, incertitudinea de eșantionare scade.

Lățimea nu scade liniar cu numărul de observații. În aproximațiile uzuale, eroarea standard scade aproximativ cu rădăcina pătrată a lui n. Ca să înjumătățim o marjă, avem nevoie în jur de patru ori mai multe observații, dacă restul condițiilor rămân comparabile.

7. Zero observații pozitive nu înseamnă probabilitate zero

Dacă nu vedem nicio apariție în 20 de încercări, estimarea punctuală este 0%. Intervalul Wilson 95% este însă aproximativ 0%–16,1%. Eșantionul nu a observat succesul, dar încă permite o rată populațională nenulă compatibilă cu datele și modelul.

Acesta este un motiv practic pentru a evita intervalul Wald: la 0/20, formula simetrică produce artificial 0%–0%, fiindcă eroarea standard estimată devine zero. Raportarea „brandul are vizibilitate zero cu certitudine” ar fi mult mai puternică decât dovada.

8. Ipotezele binomiale trebuie scrise, nu presupuse

Modelul binomial descris de NIST presupune două rezultate mutual exclusive și o probabilitate de succes fixă pentru încercări. În aplicația simplificată avem nevoie și de observații suficient de independente pentru formula standard.

Înainte de calcul verificăm:

• fiecare observație are exact un verdict eligibil: pozitiv sau negativ;
• criteriul de codare este identic pentru toate observațiile;
• cohorta și condițiile nu se schimbă pe parcurs;
• o observație nu este duplicatul logic al alteia;
• probabilitatea nu variază atât de mult între straturi încât agregarea să ascundă populații diferite.

Dacă aceste condiții nu sunt plauzibile, formula Wilson simplă poate rămâne o descriere orientativă, dar nu trebuie prezentată drept inferență validă pentru o populație largă.

9. Repetările aceleiași întrebări sunt date clusterizate

Să presupunem că avem 20 de întrebări și rulăm fiecare de cinci ori. Nu avem automat 100 de observații independente. Cele cinci răspunsuri ale aceleiași întrebări împart formularea, intenția și dificultatea; pot fi mai asemănătoare între ele decât răspunsurile la întrebări diferite.

Standardul statistic al U.S. Census Bureau cere ca analiza să țină cont de design, inclusiv clustering și covarianțe. Într-un audit AI putem raporta mai întâi proporția pe întrebare, putem resampla clusterele de întrebări sau putem folosi un model mixt potrivit designului. Alegerea depinde de estimand și trebuie făcută înainte de rezultat.

Articolul De ce un singur prompt nu este o măsurătoare explică diferența dintre repetare și acoperirea cohortei. Mai multe rulări ale aceleiași întrebări măsoară variabilitatea locală; nu extind automat diversitatea populației.

10. Definește populația înainte să generalizezi

Un interval are sens doar în raport cu populația sau procesul de eșantionare. O fișă minimă include:

• universul întrebărilor și metoda de selecție;
• segmentele, ponderile și excluderile;
• platforma, suprafața, limba și piața;
• fereastra temporală și numărul de repetări;
• unitatea independentă sau clusterul;
• definiția rezultatului pozitiv și codebook-ul;
• metoda intervalului, nivelul de încredere și versiunea implementării.

NIST AI 800-3 separă performanța pe un benchmark fix de performanța generalizată la un univers de itemi similari. Aceeași disciplină este relevantă aici: rezultatul pe lista fixă de întrebări și afirmația despre întrebări potențiale sunt estimanzi diferiți și pot necesita metode diferite.

11. Un eșantion mai mare nu repară biasul

Dacă alegem doar întrebări în care brandul este deja probabil să apară, 10.000 de rulări pot produce un interval foarte îngust în jurul unei estimări nereprezentative. Precizia matematică nu este același lucru cu validitatea.

U.S. Census Bureau explică faptul că eroarea standard nu include automat biasul sistematic; când biasul este relevant, incertitudinea totală poate fi subestimată. În evaluarea AI, sursele posibile includ selecția cohortei, formularea artificială, indisponibilitatea unor răspunsuri, erori de codare și diferențe între utilizatorii reali și protocol.

Raportăm separat riscurile de bias și testele de robustețe. Nu le ascundem într-o marjă de eroare mai mare.

12. Driftul platformei nu este incertitudine de eșantionare

Un interval calculat în august pentru un protocol înghețat nu acoperă automat o schimbare de model, index, interfață sau politică în septembrie. Aceasta este schimbare de proces, nu simplă variație în interiorul aceluiași proces.

Păstrăm snapshotul metodologic și repetăm măsurarea pe ferestre comparabile. Dacă apare o schimbare materială, marcăm o ruptură de serie. Putem afișa ambele perioade, dar nu combinăm observațiile ca și cum ar proveni din aceeași probabilitate fixă.

13. Nu comparăm două procente doar după suprapunerea intervalelor

Regula „intervalele se suprapun, deci nu există diferență” nu este un test general corect. Două estimări pot fi perechi pe aceleași întrebări, independente, ponderate sau clusterizate. Covarianța dintre ele schimbă incertitudinea diferenței.

Pentru comparația dintre două perioade, branduri ori suprafețe estimăm direct diferența sau raportul și construim intervalul potrivit designului. Dacă aceleași întrebări sunt folosite în ambele condiții, analiza trebuie să păstreze perechile; dacă seturile sunt independente, metoda reflectă acest lucru.

14. Cum raportăm rezultatul fără falsă precizie

O formulare completă arată astfel: „În cohorta de 100 de întrebări eligibile, evaluată pe suprafața X, în română, între datele A și B, brandul a satisfăcut criteriul predefinit în 50 de observații: 50,0%, interval Wilson 95% 40,4%–59,6%. Întrebările au fost unitățile de eșantionare; rezultatul nu se generalizează automat la alte platforme sau perioade.”

Afișăm împreună:

• numărătorul și numitorul, nu doar procentul;
• limitele, metoda și nivelul intervalului;
• cohorta, platforma, limba și perioada;
• unitatea de independență și tratamentul clusterelor;
• coverage-ul, erorile și excluderile;
• riscurile de bias și schimbările față de ediția anterioară.

15. Checklist de implementare

1. Definește estimandul și populația țintă.
2. Îngheață cohorta, criteriul pozitiv și regulile de eligibilitate.
3. Identifică unitatea independentă și clusterele.
4. Alege metoda intervalului înainte de date.
5. Calculează cu precizie completă și rotunjește doar afișarea.
6. Testează implementarea pe 10/20, 0/20 și alte cazuri cunoscute.
7. Raportează numărătorul, numitorul, intervalul și protocolul.
8. Separă biasul, driftul și erorile de codare de incertitudinea de eșantionare.
9. Estimează direct diferențele când compari condiții.
10. Versionează formula și marchează rupturile de serie.

Verdict

Intervalul de încredere nu face o măsurătoare perfectă; o face mai onestă. El arată câtă precizie permite eșantionul sub un model explicit și împiedică transformarea unui procent observat într-un adevăr punctual.

Pentru vizibilitatea AI, ordinea corectă este: definim populația și criteriul, identificăm independența și clusterele, calculăm estimarea și intervalul, apoi declarăm limitele de generalizare, biasul și driftul. „95%” este proprietatea unei proceduri bine definite, nu o etichetă de certitudine aplicată oricărui dashboard.

Surse

• NIST/SEMATECH — What are confidence intervals?
• NIST/SEMATECH — Confidence intervals for a binomial proportion
• NIST/SEMATECH — Binomial distribution
• Wilson (1927) — Probable Inference, the Law of Succession, and Statistical Inference
• Brown, Cai & DasGupta (2001) — Interval Estimation for a Binomial Proportion
• U.S. Census Bureau — Statistical Quality Standard E1: Analyzing Data
• U.S. Census Bureau — Computation of standard errors and confidence intervals
• NIST AI 800-3 — Expanding the AI Evaluation Toolbox with Statistical Models