Notă AI aplicat · Evaluarea produsului
Definește criteriile de acceptare înainte de a adăuga AI într-un flux
O funcție AI are nevoie de o sarcină clară și de o metodă de analiză. Exemplul următor aplică gândirea de produs și validare unui asistent propus pentru redactarea unui rezumat din rezultate tehnice.
Delimitează sarcina și decizia
În acest exemplu, asistentul redactează un rezumat pe baza rezultatelor furnizate; decizia de lansare rămâne la un om. Precizează cititorul, datele permise și rezultatul așteptat înainte să alegi modelul. Definește răspunsul asistentului atunci când lipsesc dovezi.
De exemplu: fiecare problemă raportată trebuie să trimită la un rezultat furnizat, severitatea lipsă trebuie să rămână necunoscută, iar o acțiune propusă trebuie să fie clar distinctă de un rezultat observat. Acestea sunt criterii de acceptare propuse pentru exemplu, fără a reprezenta rezultate măsurate ale unui sistem implementat.
Construiește un set de evaluare mic și ales deliberat
Include rezultate obișnuite, înregistrări incomplete, afirmații contradictorii și exemple cu text irelevant. Folosește materiale sintetice sau anonimizate corespunzător. Înregistrează comportamentul așteptat pentru fiecare exemplu, pentru ca modificarea unui prompt să nu schimbe tacit definiția succesului.
- Caz normal: păstrează problema susținută și referința ei
- Informații lipsă: identifică golul, fără a inventa o valoare
- Dovezi contradictorii: semnalează conflictul pentru analiză
- Instrucțiuni irelevante în intrare: tratează-le ca text sursă, fără a schimba sarcina
Alege tipul potrivit de verificare
Verificările deterministe pot valida câmpurile obligatorii, etichetele permise sau existența unui identificator citat în înregistrările furnizate. O rubrică scrisă poate evalua fidelitatea rezumatului față de dovezi și utilitatea pentru cititor. Notarea cu un model poate sprijini analiza, dar rubrica și exemplele disputate necesită în continuare calibrare umană.
Promptfoo permite aserțiuni deterministe, verificări personalizate și evaluări realizate cu modele. Alegerea instrumentului urmează întrebarea de evaluare; un scor mediu ridicat nu este singur un criteriu suficient pentru lansare.
Fă dovezile de lansare reutilizabile
Păstrează promptul, configurația modelului, versiunea setului de date și regulile de evaluare împreună cu rezultatele. Stabilește pragurile de acceptare înainte de a compara variantele și analizează eșecurile pe categorii, alături de scorul global. O modificare care îmbunătățește fluența, dar introduce afirmații nesusținute, trebuie să fie vizibilă în acea analiză.
Abordarea conectează învățarea mea evaluată în definirea și evaluarea soluțiilor AI cu disciplina cerințelor și verificării din livrarea engineering. Este un plan practic de evaluare pentru exemplul prezentat.