Merenje veštačke inteligencije i trka za jedinstvenim brojem koji pokreće milijarde

Potreba za jednostavnim brojem u složenom ekosistemu

Poslovni svet, investitori i inženjeri traže jednostavne odgovore na izuzetno složena pitanja. Kada kompanije donose odluke o ulaganjima vrednim stotine miliona dolara, neophodna im je metrička vrednost koja na jedan pogled pokazuje koji je sistem najnapredniji. Metrike koje sažimaju celokupnu inteligenciju modela u jedinstveni rezultat postale su glavno merilo uspeha u tehnološkoj industriji. Tvorci evaluacija moraju da donesu teške odluke o tome kako ponderisati različite zadatke, svesni da svaki metod agregacije nosi ozbiljne kompromise.

Nezavisno ocenjivanje jezičkih modela predstavlja zadatak koji je tehnički izuzetno zahtevan, ali i metodološki nezahvalan. U trenucima kada se tehnologija razvija brzinom bez presedana, jednostavna sertifikacija starih rezultata nije dovoljna. Evaluatori moraju stvoriti sisteme koji verno odražavaju trenutni utisak u zajednici i naučne analize, ali i koji su dovoljno usmereni ka budućnosti kako ne bi postali zastareli za svega nekoliko meseci.

Ulozi u ovoj igri nikada nisu bili veći. Sa količinom kapitala koja trenutno cirkuliše u svetu veštačke inteligencije, nezavisne procene praktično diktiraju pobednike i gubitnike na tržištu. Pored toga što utiču na vrednovanje kompanija, ova merenja usmeravaju i sam pravac razvoja tehnologije, jer razvojni timovi svesno prilagođavaju svoje sisteme kako bi ostvarili bolji plasman na rang-listama.

Struktura novog indeksa i granice merenja

Najnovija, peta verzija indeksa inteligencije koju je objavila organizacija Artificial Analysis donosi revidirani metodološki okvir koji nastoji da odrazi realnu primenu naprednih modela. Ovaj indeks raspodeljuje težine na četiri ključne oblasti u jednakim odnosima od po dvadeset pet procenata. Prva celina obuhvata rad sa znanjem i poslovne zadatke, gde se koriste testovi poput AA-Briefcase, AutomationBench-AA i GDP.pdf. Druga celina fokusirana je na programiranje, gde dominantnu ulogu igraju testovi FrontierCode 2.0 sa petnaest posto i Terminal-Bench 4.0 sa deset posto udela u ukupnoj oceni.

Preostale dve celine pokrivaju naučne primene i opšte sposobnosti modela. Naučni segment oslanja se na Terminal-Bench-Science sa petnaest procenata i zahtevni podskup CritPt v2 sa deset procenata. Sa druge strane, opšta inteligencija procenjuje se kroz kombinaciju AA-Omniscience v1.1 testa koji meri preciznost i odsustvo halucinacija, kao i testa HLE-Diamond koji nosi deset procenata ukupne ocene. Ovakva raspodela pokušava da obuhvati širok spektar primena sa kojima se modeli susreću u realnom okruženju.

Ipak, pokušaj da se stvarna upotreba svede na jedan indeks pokazuje inherentne slabosti i napetosti. Performanse modela u praksi su izuzetno neravnomerne, baš kao i sama priroda zadataka. Na primer, rangiranje u kome model GPT 6.1 Terra ostvaruje bolji rezultat od modela Claude Fable 5.1 ukazuje na to koliko pojedinačni izbor testova može promeniti konačnu sliku. Dok jedni testovi mere krajnje granice mogućnosti u otvorenim zadacima koji zahtevaju masivne modele, drugi testuju specifične veštine potrebne za rutinsko izvršavanje agentskih zadataka.

Raskorak između otvorenih i zatvorenih modela

Jedan od najupečatljivijih nalaza nove verzije indeksa jeste vidljiv jaz u performansama između otvorenih modela i zatvorenih komercijalnih rešenja. Na najnovijoj rang-listi čak osam zatvorenih modela nalazi se ispred vodećeg otvorenog modela pod nazivom Kimi K3.1 Pro. Razlog za ovakvu razliku leži u odluci autora indeksa da veću težinu stave na zadatke koji predstavljaju apsolutnu granicu trenutno mogućeg, što prirodno favorizuje sisteme sa najvećim resursima i najvećim brojem parametara.

Otvoreni modeli posebno zaostaju u naučnim domenima i kompleksnim analitičkim procenama, gde su testovi poput Terminal-Bench-Science otkrili jasna ograničenja. Zbog toga se u javnosti stvorio utisak da otvoreni modeli gube trku na tržištu. Međutim, takav zaključak zanemaruje osnovnu ekonomsku logiku i svrhu otvorenog koda u tehnološkom ekosistemu. Otvoreni modeli nikada nisu primarno projektovani da pobede najskuplje vlasničke sisteme na svakom mogućem testu, već da ponude održivu i fleksibilnu alternativu za širu primenu.

Istorija razvoja pokazala je da se jaz između otvorenih i zatvorenih modela kreće u ciklusima. Pri svakom narednom talasu izdanja, poput očekivanih modela GLM 6 ili Kimi 3.5, laboratorije koje razvijaju otvoreni kod obično naprave značajan korak napred i iznenade posmatrače. Razvojni timovi otvorenih sistema ubrzano rade na rešavanju svojih nedostataka u naučnim domenima, mada preširoko rasipanje fokusa umesto usmeravanja na ključne komercijalne primene može predstavljati stratešku grešku.

Ekonomske vrednosti i izazov prilagođavanja testovima

Prava vrednost otvorenih modela na tržištu ne meri se vrhunskim rezultatima na apstraktnim testovima, već ekonomskom isplativošću. Osnovna uloga otvorenog koda jeste transformacija skupe infrastrukture za obradu podataka u pristupačnu robnu uslugu. Pored toga, otvoreni modeli omogućavaju kompanijama potpunu kontrolu nad sopstvenom inteligencijom, obradu osetljivih internih podataka bez napuštanja bezbednosnog okvira i prilagođavanje autonomnih agenata sopstvenim poslovnim procesima.

Ključni razlog zašto otvoreni modeli zaostaju na najnovijim listama leži u kompleksnosti procesa treniranja zasnovanog na podsticajnom učenju. Da bi model postigao vrhunske rezultate na određenom testu, potrebno je okruženje za učenje čija je distribucija zadataka veoma bliska samoj evaluaciji. Laboratorije sa otvorenim kodom često zavise od nabavke eksternih skupova podataka sa dužim rokovima isporuke i nemaju uvek toliko naprednu infrastrukturu za podsticajno učenje kakvu poseduju vodeći komercijalni giganti.

Pored toga, sve veći problem u industriji predstavlja pojava prepravljanja modela za specifične testove, poznata kao optimizacija radi boljeg plasmana na listama. Kako bi preduhitrile ovaj problem, organizacije poput Artificial Analysis prelaze na privatne testove sa skrivenim zadacima. Iako je ova odluka metodološki opravdana kako bi se sprečilo varanje na testovima, ona nosi i ozbiljan nedostatak. Skrivanje zadataka onemogućava širu istraživačku zajednicu da analizira metodologiju, pronađe greške i pomogne u unapređenju samog testa.

Tržišne motivacije i poslovni modeli evaluatora

Motivacije za učešće u trci za bolji plasman na indeksima inteligencije nisu jednake za sve aktere na tržištu. Velike komercijalne kompanije poput kuća OpenAI i Anthropic u velikoj meri su prestale da se opterećuju javnim rang-listama. Njihov primarni fokus pomerio se ka automatizaciji sopstvenog istraživanja i razvoja, kao i ka zadovoljavanju potreba velikih korporativnih klijenata koji troše milijarde dolara na njihove usluge.

Sa druge strane, za laboratorije male i srednje veličine, visoka pozicija na javnim indeksima inteligencije ima egzistencijalni značaj. Njihov brend i tržišna prepoznatljivost u potpunosti zavise od percepcije da uspevaju da drže korak sa tehnološkim vrhom. Ova dinamika stvara neku vrstu stalne igre mačke i miša na tržištu, gde manji igrači ulažu ogromne resurse u optimizaciju performansi kako bi privukli pažnju investitora i korisnika.

U celom procesu ključnu ulogu igra poslovni model samih kuća koje se bave evaluacijom. Organizacije poput Artificial Analysis ostvaruju prihode tako što verifikuju rezultate za same laboratorije koje razvijaju modele, dok druge organizacije nude usluge testiranja pre zvaničnog lansiranja. Sa druge strane, najviši nivo nepristrasnosti tradicionalno se očekuje od neprofitnih organizacija, akademskih ustanova i državnih tela poput CAISI, ali mlađe privatne kompanije trenutno brže prate dinamične promene na samom čelu tehnološkog razvoja.

Budućnost evaluacije i lekcije za poslovne lidere

Dominacija jednog ili dva opšta indeksa u javnom diskursu stvara iskrivljenu sliku o stvarnom stanju tehnologije. Jedino održivo rešenje za ovaj problem jeste razvoj većeg broja specijalizovanih indeksa koji se fokusiraju na konkretne primene, kao što su alati za pisanje koda poput CursorBench ili platformska rešenja kao što su Vals AI i Intelligence.ai. Svaka evaluacija nosi poglede na svet i pristrasnosti svojih kreatora, zbog čega je oslanjanje na samo jedan broj izuzetno rizično.

Za poslovne lidere i donosioce odluka u regionu, glavna pouka jeste da javne rang-liste ne treba posmatrati kao apsolutnu istinu već kao jedan od uvida u smer kretanja industrije. Prilikom izbora AI modela za konkretne poslovne procese, kompanije moraju sprovesti sopstvene specifične evaluacije zasnovane na sopstvenim podacima i realnim radnim zadacima. Model koji je zauzeo deseto mesto na opštem indeksu može biti višestruko isplativiji i efikasniji za konkretnu poslovnu funkciju od modela sa vrha liste.

U krajnjoj liniji, trka za merenjem inteligencije pokazala je da savršena metrika ne postoji. Poverenje u evaluatore ostaje ključni resurs u industriji, ali racionalan pristup zahteva razumevanje kompromisa koji stoje iza svakog objavljenog broja. Razumevanje metodologije i ekonomskih interesa u pozadini rang-lista omogućava kompanijama da donose pametnije investicione odluke i efikasnije iskoriste potencijal veštačke inteligencije u svom poslovanju.

Izvor: Nathan Lambert, Interconnects · Fotografija: Pexels / Freepik (ilustracija)