Tehnološka evolucija pretrage u realnom vremenu

Arhitektonski izazovi dnevnih obrada

Moderni sistemi za preporuke i rangiranje sadržaja oslanjaju se na istoriju interakcija korisnika kako bi ponudili relevantne rezultate. Tradicionalni pristup obradi podataka često se oslanja na takozvane noćne procese, koji tokom noći analiziraju sve aktivnosti iz prethodnog dana i pripremaju nove profile za pretragu. Ovakva postavka uspešno rasteretština glavne serverske sisteme u trenucima kada je saobraćaj najveći, jer se složeni matematički modeli ne izvršavaju u trenutku kada korisnik pošalje upit.

Međutim, oslanjanje isključivo na noćne cikluse ostavlja značajan vremenski procep između realnih akcija posetioca i trenutka kada sistem te akcije postane svestan. Ukoliko neko tokom popodneva pretražuje određene lokacije ili razgleda ponude, te informacije ostaju neiskorišćene za personalizaciju sve do sledećeg dana. U praksi, zbog dodatnih kašnjenja u samom cevovodu podataka, informacija može postati zastarela i po nekoliko desetina sati, što umanjuje preciznost sistema u trenucima kada je korisnik najaktivniji.

Prevazilaženje ovog problema zahteva prelazak sa pasivnog sakupljanja na aktivno reagovanje sistema u realnom vremenu. Izazov leži u činjenici da modeli mašinskog učenja koji obrađuju sekvencijalne podatke nisu dizajnirani da reaguju na pojedinačne, izolovane događaje bez ponovnog učitavanja celokupne istorije. Arhitektura mora biti dovoljno fleksibilna da spoji dugoročne profile sa najnovijim klikovima i pretragama bez ugrožavanja brzine odziva platforme.

Koncept platforme za upravljanje funkcijama

Centralno mesto u rešavanju problema kašnjenja podataka zauzimaju napredne platforme za upravljanje funkcijama, koje služe kao jedinstveni izvor istine za sve modele mašinskog učenja u kompaniji. One standardizuju način na koji se sirovi podaci pretvaraju u korisne atribute za algoritme. Umesto da svaki tim razvija sopstvena rešenja za obradu u toku samog prenosa podataka, centralizovana platforma obezbeđuje konzistentnost između podataka koji se koriste za trening modela i onih koji se primenjuju u radu sa korisnicima.

Osnovni zadatak ovakvih platformi jeste da omoguće brzu dostupnost novoizračunatih vrednosti aplikacijama koje isporučuju sadržaj krajnjem korisniku. Tradicionalno su se ove platforme oslanjale na periodično anketiranje baza podataka ili striming tehnologije koje su samo delimično rešavale potrebu za trenutnim osvežavanjem modela. Nadogradnja ovih sistema novim mehanizmima upravljanja omogućava pomeranje granica onoga što mašinsko učenje može da postigne u deliću sekunde.

Razvoj ovakvih rešenja zahteva pažljivo balansiranje između opterećenja sistema i tačnosti predviđanja. Kada se modeli mašinskog učenja pozivaju neposredno tokom dolaska novih događaja, resursi servera se troše daleko intenzivnije nego pri klasičnom čitanju unapred pripremljenih vrednosti. Zbog toga je neophodno optimizovati kod i osigurati da se složene transformacije izvršavaju samo onda kada je to zaista neophodno za donošenje kvalitetne poslovne odluke.

Push režim kao okidač događaja

Ključni element nove arhitekture predstavlja takozvani Push režim rada koji menja paradigmu prenosa informacija kroz sistem. Umesto da potrošači podataka neprestano proveravaju da li su se vrednosti promenile, novi mehanizam nalaže striming servisima da automatski pošalju lagano obaveštenje čim se nova karakteristika uspešno zabeleži. Ova promena pretvara pasivno čekanje u aktivni, događajem vođeni proces koji pokreće dalje korake bez odlaganja.

U praksi to znači da svaka nova interakcija posetioca sa platformom, poput pregledanja određene stranice ili unosa novog kriterijuma za pretragu, odmah šalje signal daljim komponentama sistema. Sistem više ne čeka zakazani noćni termin, već prepoznaje važnost novog signala u milisekundama. Time se obezbeđuje da se ponašanje korisnika kontinuirano prati i da se svaka promena namere odmah uzima u obzir.

Ovakav pristup donosi visoku modularnost celom sistemu jer razdvaja detekciju događaja od same obrade podataka. Komponente koje obaveštavaju o promenama ne moraju da znaju šta će sledeći korak u lancu raditi sa tim podacima, već samo prenose informaciju da je nova vrednost spremna. To olakšava održavanje softvera i omogućava različitim timovima da grade sopstvene aplikacije na istoj osnovi.

Izvršavanje modela u bliskom realnom vremenu

Drugi važan stub novog rešenja jeste sposobnost da se modeli mašinskog učenja pokreću direktno unutar striming cevovoda podataka. Ranije se zaključenje modela obavljalo ili kroz složeni kod unutar samih aplikacija ili u okviru odvojenih tabelnih procesa. Uvođenjem direktnih transformacija unutar striming toka, platforma može da pozove već obučeni model u trenutku kada stigne obaveštenje o novom događaju.

U ovom kontekstu, složeni algoritmi poput transformatorskih mreža mogu da obrade najnoviju sekvencu događaja u hodu, spajajući je sa ranijom istorijom posetioca. Rezultat ove obrade, takozvano usidrenje ili embedding, upisuje se direktno u brzu bazu podataka iz koje sistem za rangiranje preuzima podatke prilikom slanja upita. Celih proces, od trenutka kada korisnik obavi radnju do trenutka kada je model ažuriran, odvija se za manje od jednog minuta.

Ova tehnika eliminiše potrebu za dupliranjem logike između sistema za obuku modela i sistema za njihovu primenu u praksi. Korišćenjem istog koda i istih definicija u oba okruženja smanjuje se mogućnost grešaka i obezbeđuje se da preporuke ostanu precizne bez obzira na brzinu kojom se korisnik kreće kroz platformu.

Merenje uticaja na kvalitet pretrage

Prelazak sa dnevnih ažuriranja na ažuriranja u realnom vremenu doneo je merljiva poboljšanja u ključnim performansama sistema za pretragu. Analiza tačnosti rangiranja pokazala je statistički značajan rast relevantnosti rezultata, što predstavlja izuzetno dostignuće za sisteme koji su već godinama unazad optimizovani kroz hiljade manjih izmena. Čak i minimalna procentualna poboljšanja u ovoj oblasti donose veliku vrednost za krajnje korisnike.

Uporedo sa tehničkim metrikama, poslovni rezultati su potvrdili da svežiji podaci direktno utiču na konačne ishode poslovanja. Testiranja su pokazala porast broja uspešno realizovanih i neotkazanih rezervacija, što dokazuje da tačnija slika trenutnih želja posetioca direktno doprinosi njegovom zadovoljstvu. Korisnici koji dobijaju relevantnije predloge brže pronalaze ono što traže, čime se skraćuje put od početne pretrage do donošenja odluke.

Ovi rezultati potvrđuju osnovnu pretpostavku da sama svežina podataka predstavlja kvalitet koji se može meriti i unovčiti. Kada tehnološki sistemi uspeju da prate brzinu ljudske pažnje i namere, vrednost koju platforma pruža raste za sve uključene strane, otvarajući put ka novim standardima u oblasti personalizacije digitalnih usluga.

Šira primena i otvoreni pristup tehnologiji

Razvoj naprednih rešenja unutar velikih kompanija sve češće ima uticaj na šire tehnološko okruženje kroz politiku otvorenog koda. Kada se platforme poput Chronon-a razvijaju sa ciljem da reše interne izazovene probleme, njihovo kasnije objavljivanje u javnim repozitorijumima omogućava i drugim organizacijama da iskoriste iste građevinske blokove. Time se ubrzava razvoj industrije i smanjuje potreba da svaki tim iznova izmišlja osnovne infrastrukturne komponente.

Arhitektonski šablon koji kombinuje događajem vođene okidače i izvršavanje modela u striming toku nije rezervisan samo za pretragu turističkih smeštaja. Slični problemi javljaju se u elektronskoj trgovini, finansijskim uslugama i svim drugim industrijama gde se korisničko ponašanje menja iz minuta u minut. Sposobnost sistema da prilagodi ponudu u realnom vremenu postaje standardni zahtev savremenog digitalnog poslovanja.

Učešće inženjerskih timova u deljenju ovakvih saznanja kroz stručne publikacije doprinosi širenju znanja u celoj zajednici. Fokus na merljive rezultate, jasnu arhitekturu i višekratnu iskoristivost koda postavlja temelj za dugoročni razvoj inteligentnih sistema koji mogu pouzdano da rade pod velikim opterećenjem.

Izvor: Airbnb Engineering · Fotografija: Pexels / Freepik (ilustracija)