Od aktivnosti do namere: Kako LLM modeli transformišu personalizaciju korisničkog iskustva

Ograničenja klasičnih sistema preporuka

Većina savremenih platformi za pretragu i sadržaj optimizuje svoje algoritme za sledeći klik. Iako ovakav pristup kratkoročno povećava angažovanje, on često promašuje suštinu korisničkog ponašanja. Kada korisnik pretražuje materijale za renoviranje kuhinje, jedan klik na sliku ormarića ne govori mnogo o njegovoj nameri. To je samo trenutna reakcija, a ne odraz dugoročnog plana koji se razvija nedeljama ili mesecima.

Problem nastaje kada sistem tretira svaku akciju kao izolovan događaj. Ako korisnik pretražuje pločice, traži recepte za večeru i istražuje baštenske alate, klasični sistemi često pokušavaju da ga smeste u široke i neprecizne kategorije poput 'uređenje doma'. Ovakva klasifikacija je često beskorisna za stvarnu personalizaciju, jer ne prepoznaje da su ti postupci deo različitih, nezavisnih projekata koje korisnik pokušava da ostvari.

Fragmentacija je glavni neprijatelj korisničkog iskustva. Kada se sistem oslanja na klasterisanje ključnih reči, on često razbija jedan koherentan projekat na nekoliko nepovezanih delova. Rezultat su generička obaveštenja koja korisniku ne nude vrednost, već ga zatrpavaju irelevantnim informacijama koje ne prate njegov stvarni napredak u realizaciji ideja.

Evolucija ka generativnom zaključivanju namera

Umesto da grade složene lance transformacija podataka, inženjeri sve češće koriste generativne modele kao jedinstveni mehanizam za tumačenje korisničkih aktivnosti. Ideja je jednostavna: model čita hronološki dnevnik aktivnosti korisnika i direktno generiše listu njegovih trenutnih namera. Ovim se eliminišu posredni koraci poput ekstrakcije ključnih reči ili hijerarhijskog klasterisanja.

U ovom novom modelu, ulazni podaci su strukturirani tako da odražavaju kontekst korisnika, uključujući demografske podatke i istoriju pretraga. Model ne traži samo najčešću reč, već analizira obrasce ponašanja. Na primer, ako korisnik u kratkom vremenskom periodu pretražuje specifične pojmove vezane za pripremu kiselog testa, model prepoznaje 'pravljenje hleba' kao aktivno putovanje, a ne kao nasumičan skup klikova.

Ovakav pristup omogućava sistemu da bude 'domensko-agnostičan'. To znači da se ista logika može primeniti na e-trgovinu, striming servise ili pretraživače. Kada se ceo proces svede na generisanje odgovora na osnovu istorije, sistem postaje mnogo fleksibilniji i sposoban da prepozna nijanse koje su ranije bile izgubljene u buci podataka.

Dizajniranje promptova kao ranking politike

Kada se proces preporuke svede na jedan generativni model, sam prompt postaje ključni instrument za definisanje pravila ponašanja sistema. Sve ono što je ranije bilo kodirano u težinama modela ili pragovima odlučivanja, sada mora biti jasno definisano kroz instrukcije modelu. To uključuje prioritizaciju akcija, gde se pretraga i čuvanje sadržaja vrednuju više od pukog klika ili komentara.

Promptovi moraju biti pažljivo dizajnirani kako bi se izbegle greške iz prošlosti, poput fokusiranja na šum ili nebitne podatke. Sistem je instruisan da ignoriše izolovanu aktivnost koja nema podršku u širem kontekstu, čime se sprečava kreiranje 'izmišljenih' interesovanja. Takođe, model koristi pravila za diversifikaciju, osiguravajući da lista preporuka ne sadrži pet skoro identičnih stavki.

Ovakav način rada zahteva disciplinu sličnu pisanju softverskog koda. Svaka promena u promptu tretira se kao lansiranje novog proizvoda, jer direktno utiče na to kako sistem interpretira korisničku nameru. Ovim se postiže deterministički pristup, gde je sistem predvidiv, a izlazni podaci su strukturirani u formatu koji se lako može dalje obrađivati.

Strategija destilacije znanja: Učitelj i učenik

Korišćenje ogromnih, 'frontier' modela za svakog korisnika u realnom vremenu bilo bi ekonomski neodrživo zbog visokih troškova procesiranja. Zato se primenjuje strategija destilacije, gde veliki modeli služe kao 'učitelji' koji generišu sintetičke primere visokog kvaliteta. Ovi primeri se zatim koriste za obuku manjih, efikasnijih modela, poznatih kao 'učenici'.

U procesu finog podešavanja, inženjeri koriste tehnike poput LoRA (Low-Rank Adaptation) kako bi ažurirali samo mali deo parametara modela. Ovo omogućava postizanje visokih performansi uz minimalne resurse. Istraživanja su pokazala da veličina modela nije jedini faktor uspeha; kvalitet i raznovrsnost primera za obuku, posebno onih koji pokrivaju teške slučajeve konsolidacije namera, imaju mnogo veći uticaj na krajnji rezultat.

Nakon testiranja različitih verzija modela, pokazalo se da modeli sa oko četiri milijarde parametara nude optimalan balans između brzine obrade i kvaliteta zaključivanja. Manji modeli su brži, ali često gube na preciznosti kod kompleksnih korisničkih putovanja, dok veći modeli postaju neefikasni za masovnu upotrebu na stotinama miliona korisnika.

Infrastrukturni izazovi i optimizacija serviranja

Serviranje ovakvih modela na skali od stotina miliona korisnika zahteva naprednu infrastrukturu. Fokus nije samo na brzini odgovora, već na efikasnom upravljanju GPU resursima. Tehnike poput PagedAttention i kontinuiranog grupisanja zahteva (continuous batching) omogućavaju da se GPU slotovi maksimalno iskoriste, bez čekanja na završetak sporijih procesa.

Sistem koristi keširanje prefiksa kako bi se smanjilo opterećenje, s obzirom na to da svi zahtevi dele dugačak i stabilan sistemski prompt. Ovakva arhitektura omogućava održavanje visokog broja zahteva u sekundi uz prihvatljivu latenciju. Ključna optimizacija nije bila samo u hardveru, već u logici: sistem preskače korisnike koji nisu imali značajne promene u ponašanju u poslednjih nekoliko dana.

Ovakav 'fan-out' pristup, gde se obrada vrši u malim, kontrolisanim grupama, sprečava preopterećenje sistema. Ako jedan proces zakaže, sistem jednostavno ponavlja operaciju za tog korisnika, umesto da rizikuje slanje pogrešnih ili nepotpunih podataka. Ovim se osigurava da korisnik uvek dobije relevantnu informaciju, ili da ne dobije ništa ako sistem nije siguran u nameru.

Bezbednost i etičko usmeravanje generisanja

Generativni sistemi nose rizik od kreiranja neprikladnog sadržaja, zbog čega su ugrađeni višeslojni filteri. Pre nego što podaci o aktivnostima uopšte stignu do modela, oni prolaze kroz filtere koji uklanjaju osetljive ključne reči. Isto važi i za izlazne podatke: imena putovanja koja generiše model moraju proći kroz stroge sigurnosne provere pre nego što postanu vidljiva korisniku.

Model je eksplicitno instruisan da ne zaključuje o osetljivim temama kao što su politička opredeljenja, religija, zdravstveno stanje ili polni identitet. Ovakva ograničenja su ključna za očuvanje poverenja korisnika. Profili se minimizuju, a podaci poput godina se grupišu u šire kategorije kako bi se izbeglo zadiranje u privatnost, uz poštovanje lokalnih zakonskih regulativa poput onih u Evropskoj uniji.

Cilj je da tehnologija služi korisniku, a ne da ga profiliše na način koji bi mogao biti invazivan. Kada se generativni sistem postavi u okvire jasnih etičkih pravila, on postaje moćan alat koji pomaže u organizaciji života, umesto da bude samo još jedan mehanizam za prikupljanje podataka.

Izvor: Pinterest Engineering · Fotografija: Pexels / Freepik (ilustracija)