Zašto LLM daje loše odgovore

Napisali ste kratku uputu:

Napiši mail klijentu o kašnjenju projekta.

LLM je vratio uredan tekst. Rečenice su jasne, pravopis je dobar, struktura djeluje profesionalno.

A onda ga pročitate još jednom i shvatite da ga ne možete poslati.

Ton je previše služben za odnos koji imate s tim klijentom. Mail se ispričava za nešto što nije bio vaš propust. Usput obećava novi rok koji nitko u timu nije potvrdio.

Odgovor nije loš zato što model ne zna pisati. Loš je zato što je radio s onime što je dobio, a dobio je samo jednu rečenicu.

LLM može napisati odgovor koji zvuči uvjerljivo i onda kada ne razumije dovoljno vašu stvarnu situaciju. Zato kvaliteta odgovora često ne počinje samim pitanjem, nego informacijama koje ste dali prije njega.

LLM ne zna ono što imate u glavi

Kada postavite pitanje, vi već znate mnogo toga što niste napisali.

Znate:

• kome se obraćate
• kakav je odnos s tom osobom
• što se već dogodilo
• što želite postići
• što ne želite spomenuti
• što se ne smije obećati
• kakav ton je primjeren

Model ne zna ništa od toga ako mu to ne kažete. Lako je zaboraviti koliko je pretpostavki morao popuniti sam.

Zamislite novog kolegu kojem prvog dana kažete: „Odgovori ovom klijentu na mail.” Ne pokažete mu prethodnu komunikaciju. Ne objasnite mu je li odnos formalan ili opušten. Ne kažete što je već obećano ni zašto je tema osjetljiva.

Vjerojatno će napisati pristojan nacrt. Ali će ga gotovo sigurno trebati doraditi.

S LLM-om je slično. Ako nema dovoljno pozadine i ne kažete mu da prvo postavi dodatna pitanja, često će nastaviti na temelju vlastitih pretpostavki.

Što čini dobar kontekst

Kontekst ne znači da trebate napisati pola stranice prije svakog pitanja. Dobar kontekst su informacije koje stvarno mijenjaju odgovor.

Najčešće pomaže navesti:

Cilj
Što želite postići? Smiriti klijenta, dogovoriti novi termin, zatražiti odluku ili samo pripremiti prvi nacrt?

Publiku
Pišete li dugogodišnjem klijentu, novom partneru, upravi ili kolegi?

Relevantnu pozadinu
Što se već dogodilo i što je važno za ovu situaciju?

Podatke ili dokumente
Ako odgovor ovisi o brojkama, tablici, ugovoru ili prethodnoj komunikaciji, model ih treba vidjeti.

Ograničenja
Što se ne smije obećati, spomenuti ili otkriti?

Ton i format
Treba li odgovor biti kratak, formalan, razgovoran, u obliku maila ili natuknica?

Primjer željenog rezultata
Jedan raniji tekst koji vam se sviđa često pomogne više od dugog objašnjavanja.

Ne morate svaki put navesti sve. Dajte ono što stvarno mijenja odgovor.

Jedan zadatak, dva različita konteksta

Slaba uputa izgleda ovako:

Napiši mail klijentu o kašnjenju projekta.

Model sada mora sam pretpostaviti kakav je odnos s klijentom, zašto projekt kasni, treba li se ispričati, koji rok smije navesti i koliko poruka treba biti formalna.

Korisnija uputa može izgledati ovako:

Napiši kratak mail dugogodišnjem klijentu s kojim imamo opušten, ali profesionalan odnos. Projekt kasni dva tjedna jer je klijent kasnio s dostavom materijala, ali to ne želim isticati kao optužbu. Novi realni rok je 15. lipnja. Ton neka bude smiren i konkretan. Nemoj obećavati popust ni dodatne isporuke. Duljina do 150 riječi.

Druga uputa ne garantira savršen odgovor. Ali model sada zna kome piše, što se dogodilo, što želite postići, što smije reći, što ne smije obećati i kakav ton treba koristiti.

Prva uputa traži tekst. Druga traži rješenje konkretne situacije.

Loši podaci stvaraju loš odgovor

Dobra uputa ne može popraviti loš materijal.

Ako pošaljete zastarjeli cjenik, model nema osnovu znati da cijene više ne vrijede. Ako pošaljete tablicu bez zaglavlja i objašnjenja stupaca, model može pogrešno pretpostaviti što podaci znače. Ako postoje dvije različite verzije iste interne upute, model neće znati koja je važeća.

Zato problem s lošim AI odgovorima ponekad uopće nije problem s AI alatom. Može biti problem u tome što su dokumenti zastarjeli, tablice nepotpune ili pravila kontradiktorna.

“

LLM tada samo brže pokaže nered koji je već postojao.

”

Prije slanja dokumenta ili podataka vrijedi provjeriti:

• je li riječ o aktualnoj verziji
• nedostaje li važan dio
• što pojedini stupci ili oznake znače
• postoje li kontradiktorne informacije
• sadrži li materijal podatke koje ne treba dijeliti

Kod poslovnih i osobnih podataka treba postupati prema internim pravilima, a osjetljive informacije po potrebi anonimizirati. Više o tome pročitajte u tekstu Smijem li poslovne podatke staviti u ChatGPT?.

Više konteksta nije uvijek bolje

Nakon ovoga lako je zaključiti da LLM-u treba poslati sve što postoji. To također nije dobro rješenje.

Ako pošaljete deset dokumenata, cijelu prepisku i nekoliko tablica bez objašnjenja, model će teže razlikovati što je važno, što je samo pozadina, a što zastarjela informacija.

Cilj nije količina. Cilj je relevantnost.

Za jedan mail možda su dovoljni zadnja poruka klijenta, potvrđeni rok i nekoliko jasnih ograničenja. Za analizu tablice važniji su razdoblje, značenje stupaca i cilj analize nego cijela povijest projekta.

Kontekst treba biti dovoljno bogat da smanji nagađanje, ali dovoljno čist da se vidi što je važno.

Što napraviti kada odgovor nije dobar

Kada dobijete loš odgovor, ne morate odmah zaključiti da alat ne radi.

Najprije provjerite:

• je li cilj bio jasan
• zna li model za koga radi
• ima li relevantne i aktualne podatke
• jesu li navedena ograničenja
• što je pogrešno pretpostavio

Zadnje pitanje često je najkorisnije.

Ako je ton preformalan, možda niste objasnili odnos s primateljem. Ako je obećao popust, možda niste rekli da ga ne smije nuditi. Ako je naveo pogrešan rok, možda mu niste dali potvrđeni datum.

Tada ne treba ponavljati cijeli zadatak ispočetka. Dovoljno je dopuniti ono što nedostaje:

Ton je preformalan. Klijent već zna razlog kašnjenja i ne smijemo nuditi popust. Napiši kraće i izravnije.

To nije poseban tehnički trik. To je isti način na koji biste doradili zadatak kolegi: objasnili biste što nije pogođeno i što sada treba promijeniti.

Zaključak

LLM ne pogađa ono što ste mislili. Radi s onime što ste mu dali, pa kvaliteta odgovora često počinje prije samog pitanja.

Ne trebate svaki put pisati dugačke upute niti učiti „čarobne promptove”. Za početak je dovoljno jasno navesti cilj, publiku, važnu pozadinu, ograničenja i podatke na kojima treba raditi.

A kada odgovor promaši, korisnije je pronaći što je model pogrešno pretpostavio nego samo tražiti da „bude bolji”.

Ako LLM u vašem poslu često daje odgovore koji zvuče dobro, ali nisu dovoljno korisni, možda problem nije samo u alatu. Vrijedi pogledati kako su pripremljeni zadatak, dokumenti i podaci koje mu dajete.

Često postavljana pitanja (FAQ)

Zašto LLM daje odgovor koji zvuči dobro, ali nije upotrebljiv?

Zato što može sastaviti uvjerljiv tekst i kada nema dovoljno informacija o vašem cilju, publici i ograničenjima. Tada praznine popunjava općim pretpostavkama.

Moram li svaki put napisati jako dugu uputu?

Ne. Važnije je dati relevantne informacije nego mnogo teksta. Nekoliko jasnih rečenica o cilju, publici i granicama često je dovoljno.

Može li dobar prompt popraviti zastarjele podatke?

Ne. Ako je dokument zastario ili tablica nepotpuna, model nema pouzdan temelj za dobar odgovor.

Što napraviti ako LLM promaši ton?

Objasnite odnos s primateljem i recite što nije pogođeno. Možete navesti želite li kraći, razgovorniji, formalniji ili izravniji odgovor.

Trebam li poslati sve dokumente koje imam?

Ne nužno. Bolje je odabrati aktualne i relevantne dokumente te ukratko objasniti zašto su važni.