Novi AI alat izgleda čarobno. Hoće li raditi i u vašem poslu?

Kratak video prikazuje zaposlenika koji u novi AI alat ubacuje korisnički upit. Alat ga u nekoliko sekundi sažima, prepoznaje što kupac traži i priprema uredan odgovor.

Netko iz prodaje šalje video kolegama uz poruku:

„Ovo bi nam moglo riješiti pola inboxa.”

Alat ima probno razdoblje. Nema dugog ugovaranja ni složenog početnog projekta. Tim isti dan otvara račun i počinje ga iskušavati na stvarnim porukama.

Ovo nije prikaz konkretnog klijenta ni stvarnog projekta, nego zamišljeni scenarij sastavljen od tipičnih poslovnih situacija koje se pojavljuju kada se novi AI ili digitalni alat pokuša uklopiti u svakodnevni posao.

Online primjer nije morao biti lažan. Alat možda doista može napraviti upravo ono što je prikazano. No uvjerljiv rezultat u jednom pripremljenom primjeru još nije isto što i ponovljiv poslovni proces.

Kada alat prvenstveno radi s porukama, dokumentima i drugim tekstualnim sadržajem, preciznije je govoriti o LLM alatu, a ne samo o AI-ju. No bez obzira na naziv, isto praktično pitanje ostaje: može li taj alat pouzdano pomoći u stvarnom poslu?

Ako alat stvara vizuale, ista provjera uključuje i pitanje gdje AI slike u oglasima i katalogu pomažu, a gdje mogu dovesti kupca u zabludu.

Prvi rezultati izgledaju obećavajuće

Tim odlučuje početi s jednostavnim korisničkim upitima. Ideja je jasna: zaposlenik kopira poruku u alat, dobije prijedlog odgovora, provjeri ga i pošalje.

Prvih nekoliko pokušaja prolazi dobro.

Kupac pita za radno vrijeme. Drugi želi osnovne informacije o dostavi. Treći traži poveznicu na tehničke podatke proizvoda. Alat priprema razumljive odgovore, a zaposlenici mijenjaju tek poneku riječ.

U tim slučajevima ulaz je jasan, odgovor se temelji na poznatim informacijama, a pogrešku je relativno lako primijetiti. Tim brzo vidi moguću korist.

Zatim stiže poruka kupca koji se poziva na raniju ponudu, pita za drugi model proizvoda i želi potvrdu da još vrijedi prethodno dogovoreni rok isporuke.

Alat ponovno priprema tečan i uvjerljiv odgovor.

Samo što ne zna da je tom kupcu odobrena posebna cijena. Nema pristup cijeloj ranijoj komunikaciji. U dokumentu koji je dobio nalazi se rok isporuke koji više nije aktualan. Ne zna ni da se dostupnost tog modela mora dodatno provjeriti sa skladištem.

Tekst izgleda profesionalno. Podaci na kojima se temelji nisu dovoljno pouzdani.

Tu se prvi put vidi razlika između pisanja dobrog odgovora i rješavanja stvarnog korisničkog upita.

Alat je dobio poruku, ali ne i cijeli kontekst

Da bi zaposlenik odgovorio kupcu, nije dovoljno samo pročitati posljednji mail.

Treba prepoznati o kojem se kupcu radi, otvoriti raniju prepisku, provjeriti vrijedi li posebna ponuda, pronaći aktualnu informaciju o dostupnosti i znati koje se obećanje ne smije dati bez dodatne potvrde.

Dio tih informacija nalazi se u poslovnom sustavu. Dio u zajedničkim dokumentima. Dio u mailovima. Neka pravila postoje samo kao iskustvo ljudi koji taj posao rade godinama.

Alat je dobio zadatak „pripremi odgovor”, ali nije dobio pouzdan način da utvrdi:

• koji je izvor aktualan
• što napraviti kada se dva izvora razlikuju
• kada je dopušten standardni odgovor
• kada treba uključiti drugu osobu ili odjel
• koje se informacije ne smiju potvrditi bez ljudske odluke

To nije samo pitanje kvalitete upute ili prompta. Bolji prompt ne može sam od sebe pronaći dogovor koji nije dostupan, prepoznati nepisanu iznimku ili odlučiti koji je zastarjeli dokument još uvijek u uporabi.

Uvođenje alata zato počinje otkrivati proces koji je ljudima prije izgledao jednostavno upravo zato što su njegove iznimke rješavali gotovo automatski. Ako se pravila, izvori i odgovornosti ne mogu jasno opisati, korisno je prvo provjeriti što treba zapisati prije aplikacije ili automatizacije.

Povratak starom načinu nije nužno otpor promjeni

Nakon nekoliko takvih slučajeva zaposlenici počinju pažljivije provjeravati svaki prijedlog.

Za jednostavne poruke alat je i dalje koristan. Kod složenijih sada prvo moraju pronaći potrebne informacije, objasniti kontekst, provjeriti svaku tvrdnju i zatim doraditi odgovor.

Ponekad im je brže napisati ga od početka.

Iz perspektive osobe koja je predložila novi alat to može izgledati kao povratak starim navikama. Lako je zaključiti da tim ne želi promjenu ili da nije dovoljno motiviran naučiti novi način rada.

No zaposlenici često upravo u toj fazi pokazuju ono što se nije vidjelo u početnom primjeru. Znaju koji se kupac uvijek mora dodatno provjeriti. Prepoznaju rečenicu koja bi mogla zvučati kao obećanje. Vide kada standardno pravilo ne vrijedi i kada bi netočan odgovor mogao stvoriti financijski, ugovorni ili reputacijski problem.

Takve primjedbe nisu prepreka testiranju. One su jedan od njegovih najvažnijih rezultata.

Dobar mali test ne služi samo tome da se pokaže što alat može napraviti. Trebao bi otkriti i pod kojim uvjetima rezultat nije dovoljno pouzdan te gdje mora ostati ljudska provjera.

Pitanje više nije samo radi li alat

U ovom trenutku tim može krenuti u nekoliko smjerova.

Može zaključiti da alat nije dovoljno dobar i prekinuti testiranje. To može biti ispravna odluka, osobito ako se većina stvarnih upita temelji na velikom broju posebnih dogovora, ako se pogreške teško uočavaju ili ako priprema i provjera traju dulje od postojećeg načina rada.

Može otkriti da je problem stvaran i važan, ali da organizacija još nema uređene izvore, pravila i odgovornosti. Tada nema mnogo smisla proširivati uporabu samo zato što je probni račun već otvoren. Prije nastavka možda treba označiti važeće dokumente, dogovoriti gdje se provjeravaju ključni podaci i zapisati najčešće iznimke.

Treća mogućnost jest suziti posao koji je alat dobio.

Umjesto da „odgovara na korisničke upite”, mogao bi najprije razvrstati poruke, sažeti što kupac traži, izdvojiti podatke koji nedostaju i pripremiti nacrt samo za nekoliko dobro definiranih vrsta pitanja.

To su tri različite odluke:

• krenuti u mali, kontrolirani test
• prvo urediti preduvjete
• zasad odustati

Nijedna od njih sama po sebi nije neuspjeh. Problem nastaje kada se testiranje nastavlja samo zato što je alat nov i zanimljiv ili se prekida prije nego što je uopće jasno što se pokušavalo provjeriti. Slična logika vrijedi i kada procjenjujemo je li neki proces uopće spreman za automatizaciju.

Manji zadatak često daje pošteniju sliku vrijednosti

U zamišljenom slučaju tim odlučuje još neko vrijeme testirati alat, ali mu mijenja ulogu.

Za svaku novu poruku alat treba:

1. prepoznati vrstu upita
2. napisati kratak sažetak
3. navesti koje informacije nedostaju
4. pripremiti nacrt odgovora samo kada se potrebni podaci mogu potvrditi

Ako poruka uključuje posebnu cijenu, ugovornu obvezu, rok koji nije potvrđen ili iznimku od uobičajenog pravila, alat to označava za dodatnu provjeru. Ne donosi odluku umjesto osobe koja je za nju odgovorna.

Takva podjela posla manje je dojmljiva od prvotne ideje da će alat „rješavati inbox”. Ali lakše ju je provjeriti.

Poznat je ulaz: nova korisnička poruka.

Poznata su osnovna pravila: koje se vrste upita mogu obraditi, iz kojih se izvora smiju koristiti podaci i što uvijek ide čovjeku.

Poznat je izlaz: sažetak, podaci za provjeru i mogući nacrt.

Poznata je odgovornost: zaposlenik provjerava sadržaj i donosi odluku o tome što se šalje kupcu.

Tek tada tim može poštenije procijeniti pomaže li alat u stvarnom radu. Ne samo proizvodi li lijepe rečenice, nego smanjuje li potrebu da se svaki put ponovno prolazi kroz isti dio zadatka, bez stvaranja novih rizika.

Čovjek nije završna formalnost

Kod AI i drugih digitalnih alata često se kaže da rezultat treba pregledati čovjek. No nije svaka ljudska provjera jednaka.

Ako zaposlenik mora ponovno obaviti cijeli posao kako bi utvrdio je li rezultat točan, alat možda nije donio veliku korist.

Korisnija podjela nastaje kada alat pripremi ono što se može dovoljno pouzdano strukturirati, a čovjek provjerava dijelove u kojima su potrebni kontekst, prosudba ili poslovna ovlast.

To je posebno važno kod cijena, ugovora, osobnih podataka, zdravlja, financija i drugih odluka koje mogu imati ozbiljne posljedice. Alat može pronaći podatak, usporediti tekstove, sažeti dokument ili pripremiti nacrt. Ne preuzima odgovornost za odluku samo zato što je njegov odgovor napisan sigurnim tonom.

Ljudska kontrola zato nije samo gumb za odobravanje na kraju procesa. Treba biti postavljena ondje gdje se pouzdan podatak pretvara u poslovnu odluku.

Što na kraju govori je li alat koristan

U našem zamišljenom slučaju alat nije preuzeo cijeli inbox. Dobio je manji zadatak koji se može ponavljati i provjeravati. Tim zna koje poruke ulaze u test, koje izvore smije koristiti, kako izgleda prihvatljiv rezultat i tko ga provjerava.

To je manje čarobno od kratkog videa s početka. Ali tek sada postoji dovoljno stvaran proces da se može procijeniti donosi li alat korist.

Druga organizacija može doći do drukčijeg zaključka. Možda prvo treba urediti dokumente i odgovornosti. Možda je proces previše rijedak ili pun iznimki da bi se uvođenje isplatilo. A možda je najkorisniji rezultat probnog razdoblja upravo odluka da se alat zasad ne uvodi.

Prvi dojam može biti dobar razlog za istraživanje. Odluka dolazi tek kada alat počne raditi s podacima kakvi doista jesu, pravilima koja organizacija stvarno koristi, iznimkama koje se događaju i jasno određenom osobom koja provjerava rezultat i donosi važnu odluku.