Agjentë AI & sisteme RAG

Projektet AI dështojnë në pjesët e mërzitshme: ndarja e tekstit, vlerësimi, kostoja dhe çfarë ndodh kur modeli gabon. Puna ime në zhvillim sistemesh RAG dhe agjentësh AI nis pikërisht aty: ndërtoj sisteme që kërkojnë mbi të dhënat e tua, regjistrojnë çdo përgjigje dhe tërhiqen me kujdes kur besueshmëria është e ulët.

Për kë është

Ky shërbim është për biznese që kanë shumë informacion të shkruar dhe pak kohë për ta kërkuar. Kontrata, manuale, tiketa suporti, katalogë produktesh, procedura të brendshme — dokumente që ekzistojnë, por që dikush duhet t'i lexojë çdo herë nga e para. Një chatbot i përgjithshëm nuk i njeh këto dokumente dhe shpik kur nuk di. Një sistem RAG (retrieval-augmented generation) gjen fillimisht pasazhet e duhura në burimet e tua dhe vetëm pastaj i kërkon modelit të përgjigjet, me referencë te burimi.

Çfarë ndërtoj në zhvillim sistemesh RAG

Zakonisht ndërtoj njërën nga dy gjërat, ose të dyja bashkë. E para është kërkimi: një asistent që u përgjigjet pyetjeve të stafit ose të klientëve duke cituar dokumentin nga e mori përgjigjen. E dyta është agjenti: një proces që nuk mjaftohet me përgjigjen, por kryen edhe veprimin — hap një tiketë, përditëson një regjistër, përgatit një draft për miratim. Në të dyja rastet, çdo përgjigje ruhet bashkë me burimet e përdorura, që të mund të kontrollosh pse sistemi tha atë që tha.

Kam ndërtuar funksionalitete AI edhe në produktet e mia, si Direct Dine, një SaaS për porosi në restorante me AI, ndaj i njoh kompromiset mes cilësisë, shpejtësisë dhe kostos kur sistemi punon me klientë realë.

Si ecën një projekt

Analizë. Marr një mostër reale dokumentesh dhe pyetjesh, dhe bashkë përcaktojmë si duket një përgjigje e mirë. Nga kjo lind grupi i testeve.

Ndërtim. Importimi i dokumenteve, ndarja, indeksimi, kërkimi dhe ndërfaqja. Çdo javë e sheh progresin mbi pyetje reale, jo mbi demo.

Lançim. E hap fillimisht për një grup të vogël përdoruesish, me log të plotë, dhe rregulloj rastet ku sistemi gabon.

Mbështetje. Kur shtohen dokumente të reja ose ndryshon modeli, testet tregojnë nëse saktësia ra apo u rrit.

Kosto dhe afati

Një projekt i tillë zgjat zakonisht 4–10 javë. Diferencën e bën sasia dhe rregullsia e dokumenteve, numri i sistemeve me të cilat duhet të lidhet agjenti dhe sa e rreptë është kërkesa që të dhënat të mos dalin nga serveri yt. Çmimin e jap pas bisedës së parë, kur e shoh materialin.

Pyetje të shpeshta

A dalin të dhënat e mia te OpenAI ose Anthropic?

Vetëm nëse e zgjedh ti. Kur të dhënat nuk mund të largohen, sistemi punon me modele lokale përmes Ollama, në serverin tënd.

Po sikur modeli të japë një përgjigje të gabuar?

Do të ndodhë ndonjëherë, ndaj sistemi ndërtohet për këtë rast: citon burimin, e thotë kur nuk është i sigurt dhe ia kalon pyetjen një njeriu.

A mund ta përditësoj vetë bazën e dokumenteve?

Po. Dokumentet e reja shtohen nga paneli dhe indeksohen automatikisht, pa pasur nevojë për mua.