Najjednostavnije rečeno, kontekst je ono što LLM-u pomaže razumjeti o čemu govorite, za koga radi i koja ograničenja treba poštovati. Bez dovoljno konteksta alat mora nagađati, pa odgovor često zvuči općenito ili promaši stvarnu potrebu.
Zašto je važno u praksi?
Zamislite da vas netko pita: “Koja je cijena?” Ne znate govori li o jednom proizvodu, cijeloj usluzi, osnovnom paketu ili dodatnoj opciji. Ne znate ni treba li navesti cijenu s PDV-om, postoji li količinski popust ili vrijedi li neka posebna ponuda. Bez tih informacija možete samo nagađati ili postaviti dodatno pitanje.
LLM je u sličnoj situaciji. Ako mu napišete samo “odgovori kupcu koja je cijena”, ne zna na što se pitanje odnosi ni koje podatke smije koristiti. Ako mu date originalni upit kupca, naziv proizvoda ili usluge, važeći cjenik, pravila oko popusta i željeni ton, puno mu je lakše pripremiti koristan nacrt.
Ako mu date cilj, publiku, provjerene činjenice, ograničenja i primjer tona, smanjuje se potreba da pretpostavlja što ste mislili. Primjerice, za odgovor na upit možete dati opis usluge, bilješku s potvrđenim podacima, pravilo da ne obećava neprovjeren rok i željenu duljinu poruke. Alat tada ne postaje nepogrešiv, ali ima više relevantnih informacija za zadatak.
Chatbot koji odgovara o uslugama, procedurama ili proizvodima treba relevantne, ažurne i dopuštene izvore iz baze znanja, zajedno s pravilima za situacije kada odgovor nije pronađen. Kada nema dovoljno informacija, dobar sustav treba postaviti dodatno pitanje ili jasno reći da odgovor nije pronađen, umjesto da prazninu popuni pretpostavkom.
Više konteksta nije uvijek bolje. Nepovezani, zastarjeli ili proturječni materijali mogu zbuniti i čovjeka i alat. Korisnije je dati manji broj točnih informacija koje su bliske konkretnom zadatku.
Najčešća zabuna
Kontekst nije isto što i prompt, iako se često nalaze u istoj poruci. Prompt je uputa: što želite da alat napravi. Kontekst su informacije koje mu pomažu to napraviti dobro. U praksi jedan dobar zahtjev obično ima oboje.
Primjerice, “sažmi ovaj dokument u pet točaka” je prompt. Sam dokument, publika kojoj je sažetak namijenjen i informacija da se ne smiju dodavati tvrdnje kojih nema u dokumentu čine kontekst.
Druga česta zabuna je da LLM pamti sve što ste mu ikada rekli. Alati imaju različita pravila rada, ograničenja razgovora i mogućnosti pamćenja. Nemojte pretpostaviti da je stara poruka uvijek dostupna ili da će alat automatski povezati podatak iz drugog razgovora. Za važan zadatak ključne činjenice treba ponovno dati u razgovoru ili ih učiniti dostupnima kroz kontrolirani izvor.
Kontekst također nije isto što i trajno treniranje modela. Kada alat za odgovor koristi priloženi dokument ili dohvaća dio baze znanja, to obično znači da taj sadržaj služi tom konkretnom zadatku prema postavljenom načinu rada. Prije rada s poslovnim ili osobnim podacima ipak treba provjeriti pravila konkretnog alata, računa i integracije.
Kada vam to može trebati?
O kontekstu trebate razmišljati svaki put kada LLM daje previše općenit, netočan ili neupotrebljiv odgovor. Prije nego što odmah promijenite alat, provjerite je li dobio ono što mu je potrebno.
Korisno je pripremiti:
- jasan cilj zadatka
- publiku i situaciju u kojoj će se rezultat koristiti
- potvrđene činjenice ili izvorne materijale
- ograničenja: što ne smije tvrditi, mijenjati ili otkrivati
- željeni oblik odgovora i primjer, ako je potreban
- pravilo tko provjerava rezultat prije slanja ili objave.
Za ponavljajuće zadatke dio konteksta može biti unaprijed pripremljen: uputa za ton, kratak opis ponude, pravila odobravanja ili povezani dokumenti iz baze znanja. Tako tim ne mora svaki put objašnjavati iste osnove, a rezultat postaje dosljedniji.
Ipak, ne treba automatizirati osjetljivu situaciju samo zato što imamo dobar kontekst. Kod pravnih, financijskih, zdravstvenih, sigurnosnih ili važnih poslovnih odluka čovjek mora provjeriti činjenice i preuzeti odgovornost za konačan odgovor.
Ako se izraz kontekst pojavio u razgovoru o AI asistentu, počnite od pitanja: koje informacije asistent smije koristiti, koje su dovoljno pouzdane i što mora napraviti kada ih nema? To je važnije od samog izgleda chat prozora.
Ukratko
Kontekst su informacije dostupne LLM-u dok priprema odgovor: činjenice, prethodni razgovor, dokumenti, pravila i relevantni dijelovi baze znanja. Prompt mu govori što treba napraviti, a kontekst mu pomaže da ne nagađa. Dobar kontekst treba biti točan, relevantan i siguran za dijeljenje.