Kako se donosi prava odluka o izboru modela veštačke inteligencije

Poslovna odluka određuje metriku

Izbor bilo kog modela veštačke inteligencije ne počinje samim algoritmom, već odlukom koju će neko doneti na osnovu dobijenih predviđanja. Ukoliko niko u kompaniji ne promeni svoje ponašanje nakon što sistem izbaci rezultat, ta predviđanja nemaju nikakvu vrednost. Nijedna napredna tehnologija ne može popraviti nedostatak jasne poslovne strategije ili odsustvo plana akcije.

Kao primer može poslužiti pretplatnički biznis sa deset hiljada aktivnih korisnika, gde se osam procenata baza gubi svakog tromesečja. Tim zadužen za zadržavanje korisnika traži model koji će uspešno predvideti ko će napustiti uslugu. Međutim, kada se postavi pitanje šta će tačno preduzeti sa tim informacijama, problem dobija sasvim drugačiji oblik.

Pošto slanje promotivne ponude košta, tim ima ograničen budžet koji pokriva samo hiljadu korisnika po kvartalu. To ograničenje potpuno menja zadatak pred analitičarem, pa model više ne odgovara na pitanje da li će neko otići. Umesto toga, zadatak je rangiranje svih desetak hiljada korisnika tako da onih hiljadu na vrhu sadrži što više stvarnih kandidata za odlazak.

Zbog toga relevantna metrika postaje preciznost u vrhu te liste, a ne opšta tačnost celog sistema. Model koji predvidi da niko neće otići ima devedeset dva procenta tačnosti na ovim podacima, ali je potpuno neupotrebljiv za poslovanje. Opšta tačnost je ovde irelevantna, a njeno navođenje kao glavnog pokazatelja sugeriše nerazumevanje stvarne svrhe analize.

Analiza podataka sužava krug kandidata

Krug potencijalnih modela mora proizaći iz stvarnih svojstava podataka, a ne iz navike ili sklonosti programera ka omiljenim algoritmima. Postoji nekoliko osnovnih svojstava skupa podataka koja daju jasne smernice pre nego što se započne bilo kakvo treniranje. Pažljivo čitanje strukture tabela obično samo ispisuje listu prihvatljivih rešenja.

U razmatranju uzimamo u obzir regularizovanu logističku regresiju, slučajne šume i gradijentno bušenje stabala. Duboko učenje se odmah odbacuje na osnovu broja redova u tabeli, dok su modeli namenjeni za sekvence ili slike isključeni jer tip signala ne odgovara tim arhitekturama. Svaki korak mora biti logično opravdan karakteristikama baze.

Posebnu pažnju privlači stvarni obim raspoloživih podataka za učenje specifičnih obrazaca. U posmatranom primeru ključni broj nije deset hiljada ukupnih korisnika, već samo osam stotina onih koji su zaista napustili uslugu. Efektivna veličina uzorka zavisi od ređe klase, a početnici često precenjuju količinu informacija pozivajući se na ukupan broj redova.

Ovakva pisana analiza služi kao čvrst bedem tokom kasnijih razgovora i stručnih procena. Pitanje o odbacivanju složenih neuronskih mreža dobija jednostavan i jasan odgovor ukoliko je prethodna trijaža urađena temeljno. Poznavanje granica primenjivosti svakog pristupa sprečava gubljenje vremena na neadekvatne tehnološke pravce.

Osnovna linija poređenja je obavezna

Rezultat bilo kog modela sam po sebi nema nikakvo značenje bez odgovarajućeg konteksta i merila. Preciznost od trideset osam procenata može biti izuzetna ili poražavajuća, zavisno od toga šta bi alternativni pristupi ostvarili. Jedini način da se to sazna jeste postavljanje jasnih i merljivih početnih linija poređenja.

Prva osnovna linija predstavlja odsustvo bilo kakve pametne strategije i podrazumeva kontaktiranje nasumično izabranih korisnika. Pošto je osnovna stopa osam odsto, nasumični odabir daje tačno onoliko rezultata koliki je prirodni prosečni procenat. Bilo kakvo ciljanje mora nadmašiti ovaj minimalni prag da bi uopšte imalo opravdanje.

Druga linija oslanja se na postojeće poslovno pravilo ili intuiciju unutar tima za zadržavanje. Iskusni radnici često imaju osećaj da su korisnici sa mesečnim ugovorima rizičniji, pa se taj stav može kodirati kao jednostavno pravilo. Izrada takvog pravila traje kratko, a predstavlja direktnog konkurenta novom računarskom modelu.

Treća linija jeste jednostavan model poput logističke regresije sa istim postavkama validacije. Ovaj korak otkriva koliki je deo signala linearan, što predstavlja najkorisniju informaciju pre odluke o uvođenju veće složenosti. Ukoliko linearni model daje slične rezultate, skuplji sistemi gube svoju ekonomsku opravdanost.

Pravilno poređenje sprečava skrivene greške

Sve prethodne korake moguće je izvesti besprekorno, a da se na kraju ipak dobije pogrešan zaključak zbog loše sprovedene evaluacije. Glavne greške u proceni obično nastaju u samom procesu upoređivanja različitih algoritama. Neophodno je strogo odvojiti podatke za obuku od podataka za testiranje kako bi se izbeglo curenje informacija.

Skaliranje, popunjavanje nedostajućih vrednosti i izbor obeležja moraju se vršiti unutar svakog folda posebno. Ukoliko se ovi postupci primene na celom skupu podataka unapred, informacije iz testnih uzoraka procureće u fazu obuke. Tada će konačni rezultati izgledati nerealno optimistično, što vodi u ozbiljne poslovne promašaje nakon puštanja u rad.

Pored toga, validacionu strukturu treba prilagoditi prirodi samih podataka i načinu na koji se oni prikupljaju. Kod nezavisnih korisnika pogodna je stratifikovana k-strukturom podela, dok vremenske serije zahtevaju strogo poštovanje hronološkog redosleda. Ignorisanje ovih zakonitosti dovodi do toga da sistem uči iz budućnosti.

Svim kandidatima mora se obezbediti identičan budžet za podešavanje hiperparametara tokom testiranja. Ukoliko se jedan algoritam optimizuje satima, a drugi pusti sa podrazumevanim vrednostima, to više nije poređenje modela. Time se zapravo meri uloženi trud inženjera, a ne stvarni potencijal tehnologije.

Ekonomska računica opravdava ulaganje

Metrika pokazuje koji model ima bolje rangiranje, ali ne daje odgovor na pitanje da li je ta razlika finansijski isplativa. Za ekonomsku procenu neophodno je izračunati troškove i prihode koje akcija izaziva u realnom poslovanju. Kontaktiranje jednog klijenta košta određenu sumu novca, dok zadržavanje tog istog klijenta donosi višestruko veću vrednost.

U našem primeru trošak kontakta iznosi deset dolara, dok je vrednost zadržanog korisnika dvadeset puta veća. Outreach se finansijski isplati čim kontaktirana osoba ima minimalnu šansu za odlazak koja pokriva taj odnos. Osnovna stopa od osam procenata već se nalazi iznad te ekonomske granice isplativosti.

Kada se primeni ograničenje na hiljadu korisnika, složeniji modeli pokazuju svoju finansijsku superiornost kroz konkretne brojeve. Gradijentno bušenje stabala ostvaruje znatno veći neto prihod na godišnjem nivou u odnosu na jednostavnu logističku regresiju. Ta novčana razlika predstavlja glavni argument koji opravdava uvođenje kompleksnijeg sistema.

Međutim, ekonomske pretpostavke mogu potpuno obrnuti zaključke ukoliko se promene uslovi na tržištu. Pretpostavka da svako ko dobije ponudu zaista ostane u kompaniji retko je u potpunosti tačna u praksi. Pad procenta prihvatanja ponuda automatski podiže prag isplativosti i menja isplativost celog projekta.

Razumevanje kompromisa i održivost sistema

Kada preostanu dva modela čije se performanse ne razlikuju drastično, izbor se pravi na osnovu drugih kriterijuma. Tada na površinu izlazi razumevanje onoga što sistem košta kompaniju nakon što zvanično bude pušten u rad. Održivost u svakodnevnom poslovanju često ima veći prioritet od minimalne prednosti u statističkoj preciznosti.

Ključni kompromisi obuhvataju latenciju, mogućnost interpretacije rezultata i složenost održavanja u produkciji. S obzirom na to da se obrada vrši noću u paketima, brzina izvršavanja ne predstavlja usko grlo. Oba preostala kandidata omogućavaju uvid u značaj pojedinačnih obeležja, što timu olakšava objašnjavanje svake ponude.

Prevagu na kraju donosi složenost podešavanja i održavanja sistema u realnom okruženju. Gradijentno bušenje stabala zahteva pažljivije podešavanje međusobno povezanih hiperparametara i osetljivije je na greške. Slučajne šume se znatno teže mogu pogrešno konfigurisati kada se koriste podrazumevane vrednosti.

Za mali tim koji nema posvećenu platformu za mašinsko učenje, ta vrsta robusnosti ima nemerljivu vrednost. Finansijska razlika između te dve opcije iznosi zanemarljiv iznos na godišnjem nivou, što potvrđuje ispravnost odluke. Najjači argument na razgovoru nije tvrdnja o izboru najboljeg modela, već objašnjenje zašto je izabran sistem koji ljudi mogu bezbedno da održavaju.

Izvor: Towards AI · Fotografija: Pexels / Freepik (ilustracija)