Zašto LLM-u trebaju vanjski izvori?
Veliki jezični model može sastaviti odgovor na pitanje, ali nema automatski pristup internim pravilima vaše tvrtke. Ne zna što ste jučer promijenili u postupku zamjene proizvoda ako mu ta informacija nije dostupna.
Zato mu ponekad treba podloga izvan znanja stečenog treniranjem. „Vanjski izvor” pritom ne mora biti internet. Može biti interna uputa, dokumentacija proizvoda ili drugi dopušteni poslovni sadržaj.
RAG omogućuje da sustav za konkretno pitanje pronađe odgovarajući sadržaj i uključi ga u pripremu odgovora.
Kako RAG radi u praksi?
Zamislite zaposlenika podrške koji pita internog asistenta: „Kome trebam proslijediti zahtjev za zamjenu proizvoda i koje podatke trebam priložiti?”
Odgovor postoji u internoj dokumentaciji, ali zaposlenik ne zna u kojoj je uputi. Tvrtka ima bazu znanja s postupcima za različite upite kupaca.
Sustav najprije pretražuje dostupne izvore i dohvaća dio upute koji odgovara pitanju. Taj korak zove se retrieval, odnosno pronalaženje i dohvat relevantnih informacija. Nije cilj poslati modelu sve dokumente, nego pronaći ono što mu treba za taj odgovor.
Dohvaćeni sadržaj zatim se dodaje pitanju kao podloga. LLM na temelju toga sastavlja odgovor zaposleniku: kome se zahtjev šalje i što treba sadržavati.
Uz odgovor sustav može prikazati poveznicu na korištenu uputu. Zaposlenik tako lakše provjerava odgovara li objašnjenje važećem postupku, umjesto da prihvati samo uvjerljivo napisanu poruku.
Najčešće zabune o RAG-u
Je li RAG isto što i baza znanja ili kontekst?
Nije. Baza znanja je izvor sadržaja i može služiti zaposlenicima bez AI alata. LLM je model koji sastavlja odgovor.
Kontekst za odgovor obuhvaća informacije dostupne modelu dok odgovara: pitanje, upute, prethodni razgovor i, u našem primjeru, pronađeni dio dokumentacije.
RAG povezuje dohvat s generiranjem odgovora. Uputa o zamjeni nalazi se u bazi znanja, sustav je dohvaća, a relevantan dio postaje kontekst na temelju kojeg LLM odgovara.
Samo ručno lijepljenje odlomka u razgovor ne znači da ste postavili RAG sustav. Jednako tako, sama povezanost aplikacije s bazom podataka ne govori koristi li ona dohvat za pripremu odgovora.
Trenira li RAG model na našim dokumentima?
Sam RAG postupak ne trenira model. Dohvaćena uputa služi kao podloga pri odgovaranju; time se njezin sadržaj ne ugrađuje trajno u model.
Ako tvrtka promijeni postupak zamjene, sustav treba imati pristup ažuriranoj verziji. Nije dovoljno da nova uputa negdje postoji: mora biti dostupna dohvatu i jasno razlikovana od stare.
Uklanja li RAG AI halucinacije?
Ne. Relevantni izvori mogu pomoći smanjiti AI halucinacije, odnosno izmišljene ili netočne tvrdnje, ali ne jamče točan odgovor.
Sustav može dohvatiti staru uputu, propustiti iznimku ili pronaći postupak za drugu vrstu zahtjeva. LLM također može pogrešno prenijeti pronađeno ili dodati tvrdnju koju izvor ne podržava.
Zato zaposlenik treba provjeriti važne podatke u uputi. Ako odgovor nije pronađen, dobro postavljen sustav treba to jasno reći ili zatražiti pojašnjenje. Širi problem pripreme podataka i zadatka objašnjava članak Zašto LLM daje loše odgovore.
Kada vam RAG može trebati?
RAG ima smisla razmotriti kada zaposlenici često traže odgovore u većoj zbirci dokumentacije. U našem primjeru podrška bi mogla lakše dolaziti do odgovarajućih postupaka bez ručnog pregledavanja svake upute.
Za jedno pitanje o kratkom dokumentu može biti dovoljno dati relevantan sadržaj alatu. Nije svaki rad s dokumentima razlog za zaseban RAG sustav.
Prije uvođenja treba znati koje su upute važeće, tko ih održava i tko ih smije čitati. Sustav treba dohvaćati samo sadržaj kojem zaposlenik ima pravo pristupa.
Ukratko
RAG povezuje pronalaženje informacija s pripremom odgovora. Njegova je korist u tome što LLM dobiva konkretnu podlogu iz dostupnih izvora. Vrijednost tog odgovora i dalje ovisi o kvaliteti dohvata, aktualnosti dokumentacije i provjeri važnih tvrdnji.