Kako je OpenAI rešio zagušenja u radu sa kodom

Novi pritisak na standardne sisteme

Savremeni razvoj softvera oslanja se na sisteme za kontrolu verzija, među kojima je Git decenijama neprikosnoveni standard. Povećanjem broja automatskih alata i agenata koji pišu kod, količina izmena u velikim repozitorijumima raste eksponencijalno. Tradicionalni serveri počinju da pokazuju ozbiljne slabosti jer nisu dizajnirani za toliki obim paralelora. Pouzdanost sistema za skladištenje koda naglo opada kada hiljade procesa istovremeno pokušavaju da upišu promene.

Kompanija OpenAI našla se pred ovim izazovom ranije nego većina industrije zbog masovne upotrebe autonomnih programerskih agenata. Očekuje se da će broj automatskih unosa koda porasti višestruko tokom jedne godine, što stvara kritično usko grlo. Slične probleme već beleže i druge velike tehnološke platforme i servisi za deljenje koda. Zbog toga se u industriji sve glasnije govori o granicama koje tradicionalna infrastruktura ima u eri mašinskog učenja.

Tržište je već reagovalo pojavom novih startap projekata koji pokušavaju da reše iste probleme iz osnove. Neki idu putem dorade postojećih protokola, dok drugi grade potpuno nove arhitekture za rad sa izvornim kodom. Ipak, zadržavanje kompatibilnosti sa postojećim alatima ostaje ključni prioritet za većinu inženjerskih timova. Prelazak na potpuno nova rešenja nosi prevelike rizike u pogledu obuke ljudi i migracije ogromnih baza koda.

Odluka o ostanku u ekosistemu

Inženjeri u kompaniji OpenAI suočili su se sa padom pouzdanosti osnovnog sistema za skladištenje ispod devedeset procenata. Spora preuzimanja i neuspešna spajanja grana postali su svakodnevna prepreka za razvojne timove. Ključno pitanje koje je postavljeno tsmatralo je da li je problem u samom protokolu ili u načinu na koji konvencionalni serveri obrađuju zahteve. Zaključak je bio da protokol i klijentski softver i dalje imaju potencijal, ali da serverska arhitektura mora da se menja.

Izbor je pao na zadržavanje kompatibilnosti sa standardnim alatima na koje su programeri navikli. Kompanija je želela da sačuva decenijama stvarano znanje i navike u radu sa izvornim kodom. Umesto napuštanja proverenih rešenja, fokus je prebačen na redizajniranje serverske strane infrastrukture. Time je izbegnut bolan proces prilagođavanja celokupne radne kulture novim interfejsima.

Ovakav pristup omogućava timovima da nastave korišćenje poznatih komandi bez ikakvih vidljivih promena u svakodnevnom radu. Iako je razvijena prilagođena verzija klijentskog softvera za interne potrebe, osnovna logika rada je očuvana. To pokazuje da se duboke arhitektonske promene mogu sprovesti bez narušavanja produktivnosti krajnjih korisnika. Odluka se pokazala kao ispravna jer je donela stabilnost uz minimalan otpor zaposlenih.

Arhitektura iza sistema Pando

Novo razvijeni server nosi naziv Pando i napravljen je sa ciljem da ukloni glavna uska grla tradicionalnih rešenja. Ključna promena je odustajanje od obaveznog održavanja konzistentnog stanja svake pojedinačne grane u istom trenutku. Tradicionalni serveri koordinišu svaku izmenu na nivou celog repozitorijuma, što dovodi do čekanja kada više procesa piše istovremeno. Pando obrađuje svaku granu potpuno nezavisno, čime se eliminišu nepotrebna čekanja.

Trgovina u performansama postoji jer klijent koji posmatra više grana može videti različite verzije stanja u isto vreme. Ipak, praksa pokazuje da programeri i automatski agenti uvek prate redosled promena unutar jedne specifične grane. Kada klijent pošalje kod, sistem validira pristigle pakete direktno tokom prenosa u skladište podataka. Metapodaci se čuvaju odvojeno, što omogućava izuzetno brzu obradu i kasniju distribuciju.

Distribucija fajlova oslanja se na keširanje i regionalne servere koji obezbeđuju izuzetno visoku stopu uspešnih preuzimanja. Pozadinski procesi automatski spajaju manje pakete u veće tokom vremena, slično načinu na koji rade napredne baze podataka. Na taj način se obezbeđuje da klijenti uvek dobiju potrebne podatke u najkraćem mogućem roku. Celokupan sistem je napisan u programskom jeziku koji garantuje visoku efikasnost i bezbednost memorije.

Prednosti u odnosu na standard

Klasični serveri moraju da proračunavaju koji tačno objekti nedostaju svakom klijentu prilikom svakog preuzimanja. Takve operacije troše ogromne količine računarskih resursa i teško se mogu efikasno keširati na mrežnom nivou. Sa druge strane, novo rešenje uglavnom isporučuje bajtove koje već poseduje u pripremljenom obliku. Time se drastično smanjuje opterećenje centralnih procesora i ubrzava rad celog sistema.

Tradicionalni sistemi takođe zahtevaju redovno čišćenje i rekompresiju podataka kako bi zadržali prihvatljivu brzinu rada. Takvi procesi troše značajnu energiju i blokiraju diskove tokom obavljanja rutinskih poslova održavanja. Novo rešenje nikada ne odbacuje stare pakete podataka i zadržava ih na svim nivoima kompresije. Time se obezbeđuje stabilan rad bez potrebe za skupim intervencijama u trenucima najvećeg opterećenja.

Za same programere ove promene ostaju gotovo nevidljive u svakodnevnom radu sa softverom. Oni nastavljaju da koriste iste komande na koje su navikli tokom godina profesionalne karijere. Brzina odziva je drastično povećana, što direktno utiče na efikasnost pisanja koda. Smanjenje kašnjenja omogućava brže testiranje i isporuku novih funkcionalnosti krajnjim korisnicima.

Doprinos zajednici i otvoreni kod

Rešavanje dubokih tehničkih problema često zahteva ispravljanje nedostataka u samim temeljima tehnologije. Tokom razvoja novog sistema, inženjerski tim naišao je na brojne nedostatke u izvornom kodu alata koji su koristili. Mnoge od tih prepravki poslate su nazad originalnim autorima radi unapređenja opšteg ekosistema. Time kompanija vraća zajednici deo znanja stečenog kroz sopstvene inženjerske izazove.

Unapređenja se najčešće tiču efikasnijeg preuzimanja paralelnih paketa podataka i stabilnosti mrežnih transfera. Određene ispravke su već postale sastavni delovi zvaničnih izdanja, dok se druge još uvek testiraju u internim okruženjima. Saradnja sa šireom zajednicom pomaže u održavanju standarda koji koristi cela globalna industrija. Takav pristup gradnji softvera postao je standard za kompanije koje ulažu u napredne tehnologije.

Iako su mnoga tehnička rešenja podeljena sa javnošću, sama serverska arhitektura ostaje zatvorena za sada. Rukovodstvo kompanije još uvek razmatra načine na koje bi osnovnu tehnologiju moglo da učini dostupnom korisnicima. Sličnu politiku vode i konkurentske organizacije koje razvijaju sopstvene unutrašnje sisteme. Fokus ostaje na održavanju prednosti u brzini razvoja proizvoda na konkurentnom tržištu.

Zaključak o budućnosti alata

Ubrzani razvoj softvera podstaknut veštačkom inteligencijom postavlja nove granice za postojeću infrastrukturu. Primeri velikih kompanija pokazuju da tradicionalni alati moraju da se menjaju iz osnove kako bi pratili zahteve moderne industrije. Ulaganje u sopstvena rešenja postaje neophodnost za organizacije koje se bave najnaprednijim tehnologijama današnjice.

Dugoročna održivost velikih projekata zavisiće od sposobnosti inženjera da prilagode serversku stranu novim navikama. Ravnoteža između korišćenja otvorenih standarda i izgradnje prilagođenih sistema biće ključna za uspeh. Iskustva iz ove oblasti pružiće putokaz i drugim firmama koje se suočavaju sa sličnim infrastrukturnim preprekama.

Razvoj softvera ulazi u novu fazu u kojoj efikasnost alata za upravljanje kodom direktno utiče na poslovne rezultate. Kompanije koje uspeju da eliminišu tehnička uska grla imaće značajnu prednost na tržištu. Inovacije u infrastrukturi nastaviće da pokreću napredak celog sektora u godinama koje dolaze.

Izvor: The New Stack · Fotografija: Pexels / Freepik (ilustracija)