Lokalni AI agenti u celodnevnom radu i lekcije o stabilnosti sistema

Parametri i postavka celodnevnog eksperimenta

Izvršavanje složenih zadataka putem lokalnih modela veštačke inteligencije zahteva pažljivo podešavanje infrastrukturnog okruženja kako bi se obezbedio kontinuirani rad tokom dugog vremenskog perioda. U ovom eksperimentu korišćena je jedna računarska jedinica Nvidia DGX Spark na kojoj je pokrenut model Qwen3.8 kapaciteta 27 milijardi parametara. Server je funkcionisao putem vLLM okruženja sa specifičnom konfiguracijom koja uključuje Unsloth NVFP4 kontrolnu tačku, FP8 KV keš memoriju i ograničenje memorijskog budžeta na nivo od 0,80. Maksimalna dužina konteksta postavljena je na 262.144 tokena, uz četiri istovremene sekvence i upotrebu špekulativnog dekodiranja sa tri nacrtna tokena.

Na klijentskoj strani primenjen je radni okvir DeepSeek Harness koji je komunicirao sa API krajnjom tačkom kompatibilnom sa OpenAI standardom. Tokom celog radnog ciklusa parametri servera nisu dodatno prilagođavani, što je omogućilo posmatranje ponašanja sistema pod unapred definisanim i nepromenjenim uslovima. Osnovni cilj ovog poduhvata bila je dubinska analiza tržišta privatnog kapitala kroz obradu obimnih i struktuiranih podataka. Zadatak je obuhvatao obradu liste od 93 grupe privatnog kapitala, identifikaciju svih njihovih portfolio kompanija i ocenu svakog preduzeća u skladu sa definisanim kriterijumima.

Krajnji ishod ove operacije trebalo je da bude izrada detaljnih istraživačkih beležki, kao i kreiranje suženog izbora kompanija sa najvećim potencijalom za dalju poslovnu saradnju. Ceo proces je osmišljen kao realan test izdržljivosti, a ne kao sintetički test brzine obrade tokena. Analiza se oslanja isključivo na evidenciju zabeleženu na klijentskoj strani, koja precizno prati korake modela, ponovne pokušaje i vreme odziva.

Arhitektura autonomnih agenata i raspodela rada

Struktura samog radnog procesa bila je zasnovana na hijerarhijskoj podeli poslova između više autonomnih agenata koji su delovali u koordinisanim talasima. Glavni roditeljski agent najpre je pročitao ulazni dokument sa profilom i konvertovao izvorni PDF fajl pomoću alata GenOffice kako bi formirao matricu za ocenjivanje. Nakon toga usledilo je pokretanje 33 istraživačka podagenta, najpre za grupe privatnog kapitala, a potom i za pojedinačne kompanije. Ovi podagenti su zatim samostalno aktivirali dodatnih 58 podređenih sesija, što je ukupno rezultiralo sa 91 aktivnom sesijom tokom procesa.

U okviru ovih sesija izvedeno je ukupno 3.847 poziva različitih alata koji su omogućili prikupljanje i obradu podataka sa Interneta i lokalnih baza. To je uključivalo 1.944 komande u komandnom okruženju, pretežno putem alata curl i grep, zatim 1.186 pretraga veba i 105 operacija upisivanja u fajlove. Agent je samostalno preuzimao zvanične internet stranice investicionih firmi, pretraživao spiskove portfolio kompanija i proveravao zapise u postojećim bazama odnosa sa klijentima.

Učešće ljudskog operatora tokom celog testa od skoro 22 sata bilo je svedeno na svega tri kratke poruke. Prva poruka sadržala je početni zadatak u 18:32 UTC, druga je bila korekcija obima u 18:50, dok je treća u 00:45 UTC predstavljala jednostavnu instrukciju za nastavak rada. Nakon tog momenta, sistem je radio potpuno autonomno više od 15 sati bez ikakvog spoljnog nadzora. Tokom tog perioda mehanizam za sažimanje konteksta aktiviran je tri puta kod roditeljskog agenta i sedam puta u podređenim agentima, što je omogućilo stabilno upravljanje memorijom.

Matematika zagušenja i uzroci masovnih prekida

Ukupno trajanje radne sesije iznosilo je 21 sat i 36 minuta, pri čemu je generisano 3,77 miliona izlaznih tokena kroz 2.874 koraka modela. Ukupan obim izlaznog teksta odgovara količini od oko 2,8 miliona reči, što se može uporediti sa obimom od oko 35 obimnih romana. Prosečna brzina obrade iznosila je 48,5 tokena u sekundi, u šta su uračunati svi prateći procesi poput organizacije agenata, izvršavanja alata i vremena čekanja na odziv. Međutim, sabiranjem posmatranog trajanja svih pojedinačnih koraka na klijentskoj strani dobija se brojka od čak 384,9 sati radnog vremena.

Uzrok ove drastične razlike leži u visokom stepenu paralelizma na strani klijenta koji nije bio usklađen sa kapacitetom servera. Na klijentskom delu sistema u proseku je bilo aktivno 17,8 koraka istovremeno, sa povremenim pikovima do 30 zahteva, dok je vLLM server bio podešen da izvršava najviše četiri sekvence u istom trenutku. Budući da klijentski okvir nije imao ugrađeno ograničenje za broj zahteva u letu, generisana je velika redovna lista čekanja. Zbog toga je zabeleženo čak 1.330 prekida konekcije nakon pet minuta potpunog tišine na mreži.

Korelacija između broja aktivnih koraka i učestalosti prekida iznosila je r = 0,86, što jasno potvrđuje da je zagušenje bilo direktna posledica preopterećenja reda čekanja. Ukupno vreme izgubljeno na prekinute zahteve iznosi 114,4 kumulativnih sati na strani klijenta, što čini oko 30 procenata ukupnog vremena klijentskih koraka. Analiza vremenskih oznaka pokazala je da su prekinuti zahtevi primali prve podatke u roku od nekoliko sekundi, ali su potom ulazili u period tišine jer su čekali na oslobađanje resursa ili obradu obimnog konteksta od prosečno 70.000 tokena.

Mehanizmi oporavka i stabilnost procesa

Iako je broj prekida konekcije bio izuzetno visok, ukupni radni proces nije propao zahvaljujući definisanoj politici ponovnog pokušaja na nivou klijenta. Sistem je bio konfigurisan da dozvoli do pet ponovnih pokušaja nakon početnog neuspeha, što je ukupno pružalo šest prilika za izvršenje svakog koraka. Od ukupnog broja pogođenih koraka, mehanizam oporavka je uspešno izvršio čak 732 koraka koji su prethodno pretrpeli između jednog i pet prekida. Najtežih 15 koraka bilo je prekinuto pet puta zaredom, ali su konačno uspešno procesirani u šestom pokušaju.

Samo 28 koraka je potpuno izgubljeno nakon što su iscrpljeni svi predviđeni ponovni pokušaji bez ikakvog odgovora sa servera. Ovi trajno izgubljeni koraci predstavljaju razliku između ukupnog broja prekida i uspešno obnovljenih zahteva u evidenciji. Ono što je posebno značajno jeste činjenica da ovi gubici nisu direktno narušili ključne izlazne dokumente, jer su istraživački fajlovi za pogođena preduzeća već bili kreirani u ranijim fazama.

Ova dinamika pokazuje važnu razliku između pouzdanosti same infrastrukture za generisanje i otpornosti celokupnog radnog toka. Lokalni AI server može izvesti hiljade neuspešnih ili zakasnelih zahteva pod prevelikim opterećenjem, ali napredna radna arhitektura omogućava da se konačni poslovni cilj ipak ostvari. Bez automatskog mehanizma za obnavljanje konekcija, rad bi bio prekinut već u prvim satima celodnevne radne sesije.

Analiza tačnosti izlaznih podataka i uočene greške

Krajnji rezultat celodnevnog rada obuhvatao je 93 pojedinačna fajla sa istraživačkim beleškama, radnu svesku sa 1.819 redova i suženi izveštaj sa 122 visoko ocenjene kompanije. Međutim, detaljna provera izlaznih dokumenata otkrila je prisustvo tihih sistemskih grešaka u procesu agregacije podataka. U radnoj svesci su se našle portfolio kompanije iz samo 91 grupe privatnog kapitala, dok su dve grupe izostavljene iako su njihovi istraživački fajlovi bili u potpunosti popunjeni i sadržali 32 obrađene kompanije.

Razlog za ovaj propust bila je greška u skripti za objedinjavanje koju je sam agent napisao tokom rada. Skripta je pretraživala naslov sekcije u tačnom formatu pod nazivom Portfolio (current), dok su u dva izostavljena fajla korišćene neznatno drugačije varijacije teksta. Zbog toga su u zbirnom izveštaju te dve grupe prikazane sa nula pregledanih kompanija, bez ikakvog upozorenja ili greške u izvršavanju. To ukazuje na opasnost od neprimećenih gubitaka podataka tokom dugotrajnih autonomnih procesa bez nadzora.

Manuelna provera prvih 25 redova u zbirnoj tabeli, koji su sadržali najbolje ocenjene kompanije sa ocenom sedam ili više, otkrila je pet jasnih grešaka, što čini stopu greške od 20 procenata u tom uzorku. Tri kompanije su u tekstualnim beleškama označene kao prodate, ali su u tabeli dobile visoku ocenu osam bez ostalih podataka, jedna kompanija je imala pogrešan opis poslovanja i prihoda, dok je jedna navedena pod dva različita sponzora sa kontradiktornim detaljima. Ipak, nijedna kompanija nije bila izmišljena, što potvrđuje da je izlazni izveštaj koristan kao polazna osnova, ali zahteva obaveznu kontrolu.

Praktične pouke za primenu lokalne veštačke inteligencije

Rezultati celodnevnog testa pokazuju da merenje performansi lokalnih AI sistema ne treba zasnivati isključivo na maksimalnom broju tokena u sekundi u idealnim uslovima. Ključna vrednost u realnim poslovnim primenama leži u sposobnosti održavanja kontinuiteta rada i samostalnog prevazilaženja tehničkih zastoja. Za buduća testiranja neophodno je uvesti kontrolu povratnog pritiska na klijentskoj strani, korišćenjem semafora koji ograničavaju broj istovremenih zahteva prema serveru na nivo koji odgovara hardverskim mogućnostima.

Pored toga, praćenje serverske metrike putem specijalizovanih API tačaka omogućilo bi jasnije razdvajanje vremena čekanja u redu od vremena potrebnog za obradu početnog konteksta. Dokazano je da nesavršen lokalni model, u kombinaciji sa robusnim softverskim mehanizmima za upravljanje agentima, može uspešno da iznese obimne i složene analitičke zadatke bez upotrebe eksternih servisa u oblaku. Poslovni sistemi koji planiraju implementaciju lokalne veštačke inteligencije moraju uložiti jednaku pažnju u kreiranje mehanizama verifikacije podataka kao i u samu infrastrukturu za obradu.

Izvor: Towards AI · Fotografija: Pexels / Freepik (ilustracija)