Tencent predstavio Hy4 Preview: Novi napredni jezički model sa milion tokena konteksta

Značajan rast performansi i kapaciteta

Razvoj jezičkih sistema nastavljen je lansiranjem novog modela pod nazivom Hy4 Preview, koji je razvila poznata kineska kompanija Tencent. Reč je o modelu otvorenih težina fokusiranom isključivo na tekstualne ulazne podatke, bez podrške za analizu vizuelnih zapisa. Novi sistem donosi impresivne tehničke parametre, uključujući ukupno 770 milijardi parametara, od kojih je 49 milijardi aktivno u procesu rada. Pored toga, kapacitet kontekstualnog prozora dostigao je čak milion tokena, dok ukupna veličina fajlova objavljenih na platformi Hugging Face iznosi 1,56 terabajta.

Napredak je naročito uočljiv kada se napravi poređenje sa prethodnim modelom Hy3, koji je predstavljen u julu iste godine. Prethodna verzija imala je 295 milijardi ukupnih i 21 milijardu aktivnih parametara, uz kontekstualni prozor od 256.000 tokena i veličinu fajla od 598 gigabajta. Razlika između ove dve generacije jasno demonstrira izuzetnu brzinu kojom se razvijaju mogućnosti moderne računarske arhitekture u oblasti obrade prirodnog jezika.

Nivoi razmišljanja i optimizacija resursa

Jedna od ključnih karakteristika novog sistema odnosi se na način na koji upravlja fazom dubokog promišljanja prilikom generisanja odgovora. U strukturi šablona za konverzaciju definisana su dva režima rada: osnovni nivo sa visokim stepenom razmišljanja i opcija kojom se faza rezonovanja potpuno isključuje. Ako korisnik ne navede drugačije, model automatski primenjuje visoki nivo rezonovanja kako bi osigurao maksimalnu preciznost u rešavanju zadatka.

Prilikom analize rada kroz praktični primer generisanja SVG grafike sa motivom pelikana na biciklu putem servisa OpenRouter, primećen je zanimljiv uvid u unutrašnji zapis razmišljanja. Tokom donošenja odluka o detaljima kao što su dodavanje zaštitne kacige, naočara ili vode, sistem u pozadini koristi skraćenu varijantu engleskog jezika bez stroge gramatičke strukture. Ovakav pristup ukazuje na nastojanje da se optimizuje potrošnja tokena, s obzirom na to da savršena gramatika nije neophodna u internim procesima analize.

Značaj otvorenih modela za tehnološku zajednicu

Objavljivanje modela sa otvorenim težinama ima izuzetnu vrednost za celokupnu istraživačku i inženjersku zajednicu širom sveta. Dostupnost parametara omogućava stručnjacima i nezavisnim razvojnim timovima da detaljno proučavaju unutrašnje mehanizme sistema, prilagođavaju ih specifičnim zahtevima industrije i razvijaju sopstvena rešenja bez zavisnosti od zatvorenih eksternih servisa.

Proširenje kontekstualnog prozora na milion tokena otvara mogućnosti za obradu izuzetno obimnih dokumentacija, kompletnih knjiga i složenih baza programskog koda u samo jednoj operaciji. Sa konstantnim unapređenjem mehanizama internog rezonovanja i racionalnijom potrošnjom računarskih resursa, ovakvi modeli postavljaju nove standarde u brzini, efikasnosti i dostupnosti savremenih tehnologija veštačke inteligencije.

Izvor: Simon Willison · Fotografija: Pexels / Freepik (ilustracija)