De ce conversațiile multi-turn măsoară altceva decât prompturile izolate

Prompturile izolate și conversațiile multi-turn nu sunt două variante ale aceluiași test. Primul design măsoară răspunsul la o intrare controlată. Al doilea măsoară o traiectorie: cum se schimbă răspunsul după clarificări, constrângeri, recomandări intermediare și informații introduse chiar de model.

Diferența contează pentru vizibilitatea unui brand. O companie poate lipsi din primul răspuns și poate apărea după ce utilizatorul precizează bugetul. Poate fi menționată devreme, dar eliminată când apar cerințe tehnice. Sau poate rămâne în conversație fără să fie recomandată la final.

Dacă reunim toate aceste evenimente într-un singur procent, pierdem exact comportamentul pe care încercăm să-l înțelegem.

Ce măsoară un prompt izolat

Un prompt izolat pornește într-o sesiune curată, fără mesaje anterioare provenite din același test. De exemplu: „Ce soluții de facturare sunt potrivite pentru un magazin online din România?”

Acest design este util când vrem să comparăm răspunsuri la aceeași întrebare, în aceleași condiții. Putem varia controlat limba, formularea, motorul, interfața sau momentul. Observația este relativ ușor de clasificat: brand prezent sau absent, citat sau necitat, recomandat sau doar menționat.

Avantajul principal este comparabilitatea. Dezavantajul este că utilizatorii reali rareori comprimă toate criteriile într-o singură cerere perfect formulată. Un prompt poate măsura descoperirea inițială, dar nu arată neapărat cum evoluează selecția.

Ce măsoară o conversație multi-turn

Într-o conversație multi-turn, răspunsul de la etapa a treia depinde de mesajele și răspunsurile anterioare. Documentația oficială a OpenAI Conversations API descrie păstrarea stării între apeluri, iar Google Interactions API folosește identificatorul interacțiunii precedente pentru continuarea opțională a contextului.

Implementarea diferă între sisteme. În unele fluxuri, istoricul este trimis din nou; în altele, starea este gestionată de server. Pentru un audit editorial, concluzia importantă este simplă: trebuie să notăm cum a fost păstrat istoricul. Eticheta „multi-turn” nu descrie singură condițiile testului.

Conversația măsoară lucruri pe care promptul izolat nu le poate observa: momentul primei apariții, persistența brandului, reacția la o constrângere nouă, recuperarea după o informație greșită și transformarea unei mențiuni într-o recomandare.

Un journey românesc în cinci etape

Presupunem o persoană care administrează un magazin online și caută o soluție de facturare:

1. Descoperire: „Ce tip de soluție de facturare mi se potrivește?”
2. Context: „Am aproximativ 2.000 de comenzi pe lună și vând în România.”
3. Integrare: „Am nevoie de conectare cu platforma magazinului și cu firma de curierat.”
4. Risc: „Ce ar trebui să verific privind e-Factura, suportul și exportul datelor?”
5. Decizie: „Dă-mi o listă scurtă și explică de ce ai păstrat fiecare opțiune.”

La primul turn putem măsura categoria și criteriile sugerate. La al doilea poate apărea o listă de furnizori. La al treilea lista se poate restrânge. La al cincilea observăm recomandarea finală și justificarea.

Nu ar fi corect să transformăm fiecare etapă într-un prompt separat și să pretindem că am reprodus aceeași conversație. Mesajul „am nevoie și de integrare cu un curier” este ambiguu fără istoricul despre facturare și magazin online.

Când introducerea brandului contaminează testul

Dacă evaluatorul întreabă „Ce părere ai despre Brand X?”, modelul nu a descoperit organic brandul. Testul poate măsura percepția, acuratețea factuală sau comparația, dar nu trebuie inclus în numitorul vizibilității organice.

Există însă o distincție importantă. Dacă modelul introduce Brand X la turnul al doilea, utilizatorul simulat poate întreba ulterior „Care dintre opțiunile menționate se integrează cu platforma mea?”. Brandul rămâne în context fără ca evaluatorul să-l fi injectat înaintea apariției inițiale.

Pentru fiecare turn păstrăm un câmp de proveniență:

• user-seeded — numele apare în mesajul utilizatorului înainte ca modelul să-l introducă;
• model-introduced — modelul îl aduce prima dată în conversație;
• context-carried — apare ulterior deoarece făcea deja parte din istoric.

Doar a doua stare demonstrează descoperirea organică în acea traiectorie.

Script fix, utilizator adaptiv sau protocol hibrid?

Un script fix trimite aceleași replici indiferent de răspuns. Este reproductibil, dar poate deveni absurd: utilizatorul cere detalii despre o listă pe care modelul nu a furnizat-o.

Un utilizator simulat complet adaptiv răspunde natural la fiecare ieșire. Produce conversații plauzibile, dar adaugă o nouă sursă de variație. Două rulări pot urma ramuri diferite și nu mai comparăm exact același test.

Protocolul hibrid păstrează fixe persoana, obiectivul, criteriile și condițiile de oprire. Ramificarea este permisă numai într-un set declarat. De exemplu:

• dacă modelul cere bugetul, utilizatorul răspunde cu intervalul prestabilit;
• dacă oferă o listă, urmează întrebarea despre integrare;
• dacă refuză sau nu înțelege sarcina de două ori, conversația se oprește;
• dacă recomandă o opțiune, utilizatorul cere dovezi și limitări.

Astfel păstrăm realismul fără să lăsăm evaluatorul să conducă arbitrar conversația spre un rezultat dorit.

Unitățile și numitorii corecți

O conversație cu cinci turnuri nu trebuie numărată automat ca cinci conversații. Putem raporta separat:

• conversation visibility = conversații cu cel puțin o apariție organică ÷ toate conversațiile eligibile finalizate;
• turn visibility = turnuri eligibile cu apariție ÷ toate turnurile eligibile;
• first organic mention turn = numărul turnului la care modelul introduce prima dată brandul;
• persistence = turnuri eligibile ulterioare în care brandul rămâne candidat ÷ toate turnurile eligibile după prima apariție;
• recommendation conversion = conversații în care o apariție organică devine recomandare finală ÷ conversații cu apariție organică.

Formulele completează convenția explicată în articolul despre numitorii KPI-urilor AI. Până la publicarea acelui URL, legătura poate fi păstrată în draft și verificată după activarea programată.

Eroarea se poate propaga între turnuri

Un răspuns greșit la început poate influența întreaga traiectorie. Modelul poate presupune eronat o integrare, iar utilizatorul simulat poate continua pe baza ei. Rezultatul final nu este o serie de observații independente.

MT-Eval analizează tipare precum recollection, expansion, refinement și follow-up și semnalează degradarea în contexte multi-turn pentru unele sarcini. Asta nu ne spune ce motor recomandă un anumit brand, dar susține separarea evaluării conversaționale de scorurile single-turn.

La clasificare marcăm primul turn unde apare eroarea și turnurile dependente. Nu atribuim cinci erori independente unei singure premise false repetate.

Repetări, sesiuni curate și condiții comparabile

Fiecare repetare începe într-o sesiune curată. Altfel, conversația precedentă poate contamina următoarea observație. Înregistrăm motorul și versiunea disponibilă, interfața sau API-ul, data, limba, geografia, setările, mecanismul de stare și eventualele instrumente activate.

Rulările trebuie distribuite în timp dacă vrem să estimăm stabilitatea, nu doar repetate într-un minut. Raportăm și eșecurile: răspuns lipsă, limită de context, refuz, întrerupere sau ramură fără sens.

NIST diferențiază performanța condiționată de un benchmark fix de generalizarea către alte exemple similare. Această distincție este esențială: un set de 20 de conversații descrie setul testat, nu întregul comportament posibil al utilizatorilor.

Ce nu poate demonstra un astfel de test

O conversație simulată nu este o estimare directă a cotei reale de piață și nici dovada că utilizatorii vor cumpăra produsul recomandat. Nu cunoaștem distribuția completă a persoanelor, formulărilor și intențiilor din utilizarea reală, iar interfețele pot personaliza sau modifica răspunsurile în moduri pe care testul nu le observă.

Nici apariția repetată într-un set de conversații nu demonstrează de ce a fost ales brandul. Putem analiza justificarea și sursele afișate, dar acestea nu expun toate procesele interne ale sistemului. Legătura dintre o intervenție editorială și o schimbare ulterioară trebuie tratată ca ipoteză până când există un design înainte/după comparabil și controale adecvate.

Prin urmare, raportul trebuie să distingă trei niveluri: observația brută, clasificarea făcută de evaluator și interpretarea de business. „Brandul a apărut în 12 din 30 de conversații testate” este o observație. „Este bine cunoscut” este o interpretare care cere dovezi suplimentare.

Aceste limite nu fac testul inutil. Îl transformă într-un instrument diagnostic: arată unde merită verificată acoperirea informației, ce afirmații sunt instabile și ce scenarii trebuie investigate mai atent.

LLM-as-judge nu înlocuiește validarea

Un model poate ajuta la etichetarea mențiunilor, recomandărilor și justificărilor, dar evaluatorul automat trebuie testat pe un eșantion etichetat de oameni. Rubrica trebuie să definească separat mențiunea, includerea într-o listă, recomandarea condiționată și recomandarea finală.

Dacă același model generează utilizatorul simulat și judecă rezultatul, pot apărea preferințe corelate. Păstrăm ieșirea brută, versiunea rubricii și decizia finală. Cazurile ambigue intră la revizuire, nu sunt forțate într-o categorie favorabilă.

Fișa minimă a unui test multi-turn

1. persoană și obiectiv explicit;
2. context, limbă și geografie;
3. criterii fixe și informații pe care utilizatorul le poate dezvălui;
4. reguli de ramificare;
5. condiții de oprire și număr maxim de turnuri;
6. regulă pentru numele de brand introduse de utilizator;
7. motor, interfață, dată și mecanism de stare;
8. numărul repetărilor și sesiuni curate;
9. metrici la nivel de turn și conversație;
10. rubrică, validare umană și păstrarea transcriptului.

Acest protocol se leagă de definiția generală din ghidul despre măsurarea vizibilității AI, dar nu presupune că orice produs implementează deja toate câmpurile sau integrările descrise.

Verdict

Promptul izolat răspunde bine la întrebarea „ce produce motorul pentru această intrare?”. Conversația multi-turn răspunde la „cum evoluează selecția pe măsură ce contextul și criteriile se acumulează?”.

Avem nevoie de ambele. Prompturile izolate oferă control și diagnostic. Conversațiile multi-turn aproximează parcursul, persistența și transformarea unei apariții într-o recomandare. Dar scorurile lor nu trebuie amestecate.

Când păstrăm proveniența brandului, ramurile, istoricul, condițiile de oprire și numitorii, conversația devine un experiment inspectabil. Fără aceste elemente, rămâne doar o demonstrație convingătoare.

Surse

• OpenAI API — Conversations
• Google AI for Developers — Interactions API
• Google AI for Developers — Multi-turn text generation
• NIST — Expanding the AI Evaluation Toolbox with Statistical Models
• MT-Eval — EMNLP 2024
• MultiChallenge — Findings of ACL 2025

Ultima verificare a surselor: 31 iulie 2026. Exemplele de journey și formulele sunt metodologie editorială, nu rezultate ale unui benchmark AYSA și nu declarații despre funcții deja lansate.