Si të vlerësosh një sistem RAG para se ta bëjnë përdoruesit

Shumica e projekteve RAG testohen njësoj: dikush i bën dhjetë pyetje, përgjigjet duken mirë, dhe lëshohet. Pastaj përdoruesit realë bëjnë pyetjen e njëmbëdhjetë. Për të vlerësuar një sistem RAG si duhet, të duhet diçka që përsëritet — një test që e ekzekuton pas çdo ndryshimi në chunking, prompt, model ose të dhëna, dhe një numër që të tregon nëse sapo i bëre gjërat më mirë apo më keq.

Nuk të duhet platformë apo ekip kërkimor. Të duhen pyetje sa për një spreadsheet dhe një script.

Ndaje problemin në dysh

Një sistem RAG mund të dështojë në dy vende të ndryshme, dhe duhet ta dish se ku:

• Kërkimi dështoi — pasazhi me përgjigjen nuk u gjet kurrë, ndaj modeli s’kishte me çfarë të punonte.
• Gjenerimi dështoi — pasazhi i duhur u gjet, por modeli e injoroi, e lexoi keq ose shtoi gjëra që nuk ishin aty.

Rregullimet janë krejt të ndryshme. Problemet e kërkimit zgjidhen me chunking, filtra metadata dhe akordim të kërkimit. Problemet e gjenerimit zgjidhen me prompt, model dhe formatin e përgjigjes. Matini veç e veç, përndryshe do rregullosh gjënë e gabuar.

Hapi 1: ndërto një grup testesh nga pyetje reale

Mblidh 50–100 pyetje. Merri nga tiketat e suportit, email-et e shitjeve, log-et e kërkimit — çfarëdo që njerëzit realë kanë pyetur vërtet. Për secilën ruaj:

• Pyetjen, me fjalët e vetë përdoruesit
• Dokumentin ose pasazhin që përmban përgjigjen
• Një përgjigje referencë të shkurtër, të shkruar nga dikush që e njeh temën

Përfshi edhe ato të pakëndshmet: pyetje që s’kanë përgjigje në dokumentet e tua, pyetje me përgjigje të vjetruara, dhe pyetje që përdorin fjalë të ndryshme nga dokumentacioni. Aty prishen sistemet.

Hapi 2: mat kërkimin

Për çdo pyetje, ekzekuto kërkimin dhe kontrollo nëse pasazhi i pritur del te rezultatet e para. Dy numra mjaftojnë për të nisur:

• Hit rate @ k — në sa përqind të pyetjeve del pasazhi i duhur te k rezultatet e para (p.sh. 5)?
• Renditja — kur del, sa lart? Mean reciprocal rank e përmbledh këtë në një numër.

Kjo pjesë nuk kërkon fare LLM, ekzekutohet në sekonda, dhe aty ndodh pjesa më e madhe e përmirësimit. Nëse hit rate është i ulët, ndalo — asnjë prompt nuk të shpëton.

Hapi 3: mat përgjigjet

Për përgjigjet e gjeneruara, vlerësoj tri gjëra:

1. Saktësia — a përputhet me përgjigjen referencë?
2. Besnikëria — a mbështetet çdo pohim nga pasazhet e gjetura, apo modeli shtoi diçka?
3. Refuzimi kur duhet — për pyetjet pa përgjigje në dokumente, a e thotë këtë në vend që të shpikë?

Vlerësimin mund ta bëjë një model i dytë si gjykatës, duke i dhënë pyetjen, përgjigjen referencë, kontekstin e gjetur dhe përgjigjen e sistemit, e duke i kërkuar kalim/dështim me arsye. Nuk është perfekt, ndaj kontrollo me dorë disa verdikte në çdo ekzekutim — sidomos dështimet. Mjete si Ragas e automatizojnë një pjesë të kësaj.

Hapi 4: ekzekutoje pas çdo ndryshimi

Vlera nuk është te një rezultat, por te krahasimi. Ruaj çdo ekzekutim me cilësimet e tij: madhësinë e copës, modelin e embedding-ut, top k, versionin e prompt-it, LLM-në. Kështu, kur dikush pyet “a ta ndërrojmë modelin?”, ekzekuton testet dhe shikon numrat në vend që të debatosh.

Unë ekzekutoj një kontroll të shpejtë vetëm të kërkimit në çdo deploy, dhe vlerësimin e plotë të përgjigjeve kur ndryshojnë prompt-et, modelet ose indeksi.

Hapi 5: vazhdo të mësosh nga prodhimi

Grupi i testeve vjetrohet ndërsa ndryshojnë përdoruesit dhe dokumentet. Në prodhim, regjistro çdo pyetje, copat e gjetura dhe përgjigjen. Shto një 👍/👎 ose një link “kjo nuk më ndihmoi”. Çdo javë, kaloji dështimet më të këqija reale te grupi i testeve. Ky cikël e bën një sistem RAG të përmirësohet me kohën në vend që të rrëshqasë ngadalë.

Si të vlerësosh një sistem RAG: si duket “mirë”

• Mund ta thuash hit rate-in e kërkimit sot, me një numër.
• E di nëse ndryshimi i javës së kaluar ndihmoi.
• Pyetjet pa përgjigje marrin “nuk e di” në vend të marrëzive me siguri.
• Çdo përgjigje tregon burimet, që përdoruesit ta kontrollojnë.

Nëse ke tashmë një sistem RAG dhe askush nuk u përgjigjet dot këtyre katër pikave, kjo është gjëja e parë që do ndërtoja — para çdo funksionaliteti të ri. Puna ime për agjentë AI dhe sisteme RAG nis gjithmonë aty. Më shkruaj nëse do një palë sy të dytë mbi tëndin.