Inovacije u mašinskom učenju kroz spajanje faze evaluacije i inferencije

Infrastruktura mašinskog učenja i njeni skriveni troškovi

Razvoj i primena modela veštačke inteligencije u velikim sistemima podrazumevaju složene cikluse obuke, testiranja i verifikacije. Dok su same faze treniranja i primene dobro proučene, korak koji dolazi nakon toga, poznat kao evaluacija modela, često prerasta u ozbiljnu infrastrukturnu prepreku. Kada inženjeri pokrenu više eksperimenata paralelno, količina podataka koju je potrebno obraditi vrtoglavo raste. Sistemi poput platformi za utvrđivanje važnosti karakteristika moraju efikasno da sakupljaju i izračunavaju metrike nad ogromnim skupovima podataka dobijenih iz inferencije.

Tradicionalni pristup ovom problemu oslanja se na odvojene slojeve koji se naknadno povezuju. U takvoj arhitekturi, inferencija se obavlja nezavisno, a dobijena predviđanja se upisuju u eksternu memoriju ili skladište u oblaku. Tek nakon što se ta faza završi, pokreće se poseban zadatak obrade podataka čiji je zadatak da pročita sačuvane rezultate i izračuna željene metrike. Ovakav razdvojeni tok unosi dvostruko opterećenje kroz pokretanje novih računarskih klastera i neprekidno premeštanje velikih količina fajlova.

Glavni uzrok neefikasnosti leži u činjenici da se podaci bespotrebno pišu na disk i ponovo čitaju. Svaka serija podataka prolazi kroz dugotrajne procese serijalizacije i deserijalizacije dok putuje između različitih softverskih okvira. Kada se uzme u obzir da savremeni sistemi za preporuke i rangiranje izvršavaju stotine eksperimenata istovremeno, troškovi održavanja ovakve infrastrukture postaju značajni. Rešenje ovog problema zahteva korenitu promenu načina na koji sistemi tretiraju podatke tokom evaluacije, prelazeći sa sekvencijalnih na integrisane tokove.

Ujedinjenje procesa inferencije i izračunavanja metrika

Rešenje infrastrukturnog uskog grla leži u konceptu spajanja faza koji briše tradicionalnu granicu između izvođenja modela i merenja njegove tačnosti. Umesto da se rezultati predviđanja čuvaju u spoljnom skladištu, integrisani sistem računa metrike unutar same radne memorije, koristeći deljeni objektni magacin. Na ovaj način se eliminiše potreba za čitanjem i pisanjem fajlova na mrežne diskove, čime se drastično smanjuje opterećenje mreže i procesora.

Ključnu ulogu u ovakvoj arhitekturi ima okruženje Rej, koje omogućava distribuiranu obradu podataka u realnom vremenu. Kada model završi predviđanje za određenu grupu redova, podaci se ne šalju dalje na skladištenje, već se prosleđuju komponentama zaduženim za delimičnu akumulaciju metrika. Ovakav pristup omogućava da se računski resursi optimalno iskoriste, sprečavajući situaciju u kojoj procesori opšte namene miruju čekajući da grafičke kartice završe svoj deo posla.

Prelazak sa razdvojenog na spojeni sistem donosi višestruke koristi za inženjerske timove. Pored direktne uštede u vremenu izvršavanja, arhitektura postepeno skalira linearno sa porastom broja eksperimenata. Smanjenjem broja komponenti u lancu obrade, sistem postaje otporniji na greške i lakši za svakodnevno održavanje, što direktno utiče na produktivnost inženjera koji grade napredne sisteme preporuka.

Matematička struktura i klasifikacija metrika

Da bi se metrike mogle efikasno izračunavati u distribuiranom okruženju, neophodno je uspostaviti jasan interfejs koji definiše kako se podaci pripremaju, obrađuju i kombinuju. Različite metrike imaju različite zahteve u pogledu strukture podataka. Neke metrike tretiraju svaki red potpuno nezavisno, dok druge zahtevaju poznavanje globalnog poretka ili grupisanje podataka po specifičnim semantičkim jedinicama.

Metrike se u ovom kontekstu dele u tri osnovne grupe. Prvu grupu čine razgradive metrike, čije se konačne vrednosti mogu izračunati sumiranjem delimičnih rezultata dobijenih iz nezavisnih delova podataka. Drugu grupu predstavljaju holističke metrike, koje zahtevaju uvid u celokupan skup podataka ili primenu aproksimativnih metoda poput matrika konfuzije. Treću grupu čine grupno zavisne metrike, koje se računaju unutar jasno definisanih segmenata kao što su pojedinačni korisnički zahtevi ili sesije.

Uspostavljanjem zajedničkog programskog obrasca, inženjerski timovi dobijaju mogućnost da primene isti interfejs na sve tipove merenja. Ova apstrakcija omogućava okviru za obradu da automatski upravlja distribucijom posla, bez obzira na to da li se meri prosečna apsolutna greška, preciznost rangiranja ili složene mere klasifikacije. Time se obezbeđuje potpuna doslednost u izveštavanju i poređenju rezultata različitih eksperimenata.

Praktičan primer obrade razgradivih metrika

Prosečna apsolutna greška predstavlja klasičan primer razgradive metrike koja meri srednju vrednost apsolutnih razlika između predviđanja modela i stvarnih ciljnih vrednosti. Budući da se izračunavanje oslanja na pojedinačne redove koji ne zavise jedni od drugih, ova metrika se idealno uklapa u distribuirani radni tok. Svaka radna jedinica može samostalno da obradi svoj deo podataka i vrati sumu grešaka i broj uzoraka.

Tokom obrade, sistem deli ulazni skup na manje delove i prosleđuje ih radnim procesima. Svaki proces izračunava apsolutnu razliku između izlaza modela i kontinuirane labele, a zatim sabira dobijene vrednosti i broji elemente u toj seriji. Ovi delimični rezultati se potom šalju centralnoj komponenti koja vrši konačno sravnjivanje, deleći ukupnu sumu grešaka sa ukupan broj redova.

Ovakav način obrade sprečava potrebu za memorisanjem celokupnog skupa podataka na jednom mestu pre samog izračunavanja. Sistem može linearno da povećava kapacitet obrade dodavanjem novih čvorova, jer se svaka serija podataka obrađuje potpuno paralelno sa ostalima, bez međusobnog uslovljavanja radnih procesa.

Izazovi izračunavanja holističkih metrika i rangiranja

Metrike koje mere kvalitet binarne klasifikacije širom različitih pragova odluke predstavljaju znatno veći inženjerski izazov. Tradicionalni pristupi zahtevaju globalno sortiranje svih predviđanja u opadajućem redosledu kako bi se izračunale kumulativne vrednosti tačno pozitivnih i lažno pozitivnih ishoda. U distribuiranim sistemima, primena globalnog sortiranja nad višemilionskim skupovima podataka narušava performanse i stvara uska grla u mreži.

Pokušaj da se globalni problem zameni prostim utvrđivanjem proseka po pojedinačnim serijama dovodi do netačnih rezultata. Metrike poput površine ispod krive zavise od toga kako se svaki pojedinačni red rangira u odnosu na sve ostale redove u celom skupu podataka, a ne samo u okviru sopstvene radne jedinice. Zbog toga je bilo neophodno pronaći alternativni metod koji zadržava matematičku tačnost uz poštovanje principa distribuirane obrade.

Rešenje se pronalazi u aproksimativnim metodama zasnovanim na unakrsnim matricama. Definisanjem fiksnog skupa pragova unapred, radni procesi mogu nezavisno da izračunaju delimične matrice konfuzije za svaku seriju podataka. Konačna integracija ovih matrica omogućava dobijanje preciznih vrednosti metrike bez potrebe za skupim globalnim operacijama sortiranja preko celog klastera.

Upravljanje grupnim metrikama i segmentacija podataka

Sistemi za preporuke i rangiranje sadržaja u velikoj meri se oslanjaju na metrike koje vrednuju kvalitet iznad određenog praga unutar specifičnih korisničkih zahteva. Preciznost unutar vrha rang-liste zahteva da se podaci prvo grupišu po jedinstvenim identifikatorima zahteva, da se zatim sortiraju prema predviđenim skorovima i da se na kraju izračuna udeo relevantnih stavki među najbolje rangiranim elementima.

Glavna prepreka kod ovakvih metrika leži u činjenici da prirodna veličina pojedinačnih segmenata često ne odgovara optimalnoj veličini računskih jedinica u distribuiranom okruženju. Ukoliko se segmenti cepaju proizvoljno, gubi se semantička celina neophodna za tačno merenje. Sistem stoga mora da primeni napredne procedure pakovanja podataka pre slanja u distribuiranu obradu.

Kombinovanjem mogućnosti Apač Spark radnog okvira za grupisanje i Rej platforme za izvršavanje zadataka, inženjerski timovi uspevajuda obezbede da svi redovi koji pripadaju istom zahtevu ostanu smešteni u istoj memorijskoj jedinici. Na taj način se postiže visoka iskorišćenost resursa bez narušavanja matematičke ispravnosti složenih grupnih metrika.

Merljivi rezultati i uticaj na performanse sistema

Implementacija spojene arhitekture donela je merljiva poboljšanja u radu velikih produkcijskih sistema za mašinsko učenje. Testiranja sprovedena na različitim veličinama skupova podataka pokazala su da paralelno izvođenje inferencije i izračunavanja metrika drastično skraćuje ukupno vreme trajanja eksperimenata. Eliminisanje suvišnih operacija upisa i čitanja podataka oslobodilo je značajne resurse u mrežnoj infrastrukturi.

Analiza performansi pokazuje da se ukupan krajnji trošak vremena evaluacije smanjuje za do trideset i dva procenta u poređenju sa starim, razdvojenim pristupom. Pored toga, linearna skalabilnost sistema omogućava inženjerima da istovremeno pokreću znatno veći broj eksperimenata za utvrđivanje važnosti karakteristika, a da pritom ne ugroze stabilnost i odziv celokupne produkcijske platforme.

Ovakvi pomaci potvrđuju da pažljivo projektovanje infrastrukture ima presudan uticaj na efikasnost primene veštačke inteligencije u industriji. Spajanjem specijalizovanih alata u jedinstven, koherentan ekosistem, tehnološke kompanije mogu lakše da prebrode ograničenja koja donosi eksponencijalni rast količine podataka i složenosti modela.

Izvor: Pinterest Engineering · Fotografija: Pexels / Freepik (ilustracija)