Šta je RAG i zašto je važniji od „pametnijeg“ modela

Kada firma prvi put isproba AI asistenta, scenario je često isti: pitanje o internom ugovoru, odgovor koji zvuči uverljivo i potpuno je pogrešan. Problem nije u tome što je model „glup“. Problem je u tome što nikada nije video vaš ugovor.

Šta znači RAG

RAG je skraćenica za Retrieval-Augmented Generation, generisanje odgovora uz prethodno pronalaženje informacija. Umesto da model odgovara iz onoga što je naučio tokom treniranja, sistem prvo pronađe relevantne delove vaših dokumenata, a zatim modelu kaže: odgovori koristeći samo ovo.

Tok izgleda ovako:

1. Dokumenti se podele na manje delove (pasuse, sekcije).
2. Svaki deo se pretvori u numerički zapis značenja i sačuva u bazi.
3. Kada stigne pitanje, sistem pronađe delove koji su mu po značenju najbliži.
4. Model dobija pitanje i pronađene delove i formuliše odgovor, uz navođenje izvora.

Zašto je to važnije od jačeg modela

Najjači model na svetu i dalje ne zna koji je otkazni rok u vašem ugovoru sa dobavljačem. RAG mu tu informaciju donosi u trenutku pitanja. U praksi, prosečan model sa dobrim RAG sistemom daje korisnije odgovore od vrhunskog modela bez pristupa vašim podacima.

Postoje i dodatne prednosti:

• Izvor uz svaki odgovor. Korisnik vidi iz kog dokumenta i sa koje strane je odgovor, pa ga lako proveri.
• Uvek ažurno. Kada se dokument promeni, menja se i odgovor, bez ponovnog treniranja modela.
• Prava pristupa. Sistem pretražuje samo dokumente koje korisnik sme da vidi.

Gde RAG greši

RAG nije magija. Najčešći problemi su loše skenirani dokumenti, tabele koje se pogrešno iseku i pitanja koja zahtevaju povezivanje informacija iz desetina dokumenata. Zato dobar sistem ima i ocenu pouzdanosti i jasno kaže „ne znam“ kada izvor ne postoji.

Dobar RAG sistem ne zna sve. Zna gde da pogleda i iskren je kada ne nađe.

Kada ima smisla

Ako vaš tim često traži informacije po ugovorima, procedurama, tehničkoj dokumentaciji ili mejl arhivi, RAG je verovatno najbrži način da AI postane koristan već od prvog dana.