Novi AI model: Opus 5 otporan na manipulacije
Kompanija Anthropic predstavila je novu verziju svog naprednog jezičkog modela, Opus 5, koji pokazuje značajno povećanu otpornost na pokušaje manipulacije i zlonamernog iskorišćavanja. Ovo predstavlja važan korak napred u razvoju bezbednije veštačke inteligencije.
Kompanija Anthropic predstavila je novi jezički model Opus 5 koji pokazuje značajno povećanu otpornost na pokušaje manipulacije i zlonamernog iskorišćavanja.
Izaberi iznos ili skeniraj kod bez iznosa pa ga upiši u banci. Novac ide direktno na račun autora (GoSimple), Trek ne uzima ništa i nije posrednik u plaćanju.
Na telefonu: preuzmi kod, pa ga u aplikaciji banke učitaj iz galerije.
Otpornost na napade
Boris Cherny, ključni akter u razvoju, istakao je da je Opus 5 najmanje podložan takozvanim "prompt injection" napadima do sada. Ovi napadi podrazumevaju ubacivanje skrivenih komandi u upite korisnika, s ciljem da se model navede na izvršavanje neželjenih ili štetnih radnji. Uspesi u testiranjima, uključujući "PI evals" i "red teaming" (simulacija napada), potvrđuju da je Opus 5 izuzetno teško navesti na nepoželjno ponašanje.
Ova poboljšana bezbednost nije slučajna, već rezultat ciljanog rada na arhitekturi modela. Iako detalji nisu u potpunosti otkriveni javnosti, Cherny je naglasio da je ova karakteristika "malo zakopana" u sistemskoj dokumentaciji, što ukazuje na sofisticiranost primenjenih rešenja. Fokus na otpornost na manipulacije postao je jedan od primarnih ciljeva u razvoju naprednih AI sistema.
Šira slika i budućnost
Razvoj modela poput Opusa 5 od suštinskog je značaja za širu primenu veštačke inteligencije u svakodnevnom životu i kritičnim sistemima. Kako AI postaje sve moćniji i integrisaniji, sposobnost da se spreče zlonamerni upiti i potencijalne zloupotrebe postaje imperativ. "Prompt injection" napadi, iako tehnički, mogu imati ozbiljne posledice, od širenja dezinformacija do narušavanja privatnosti.
Ovaj napredak u otpornosti Opus 5 modela otvara vrata ka sigurnijoj upotrebi generativne AI u raznim domenima, uključujući korisničku podršku, obrazovanje i kreativne industrije. Kompanija Anthropic ovim potezom postavlja nove standarde u odgovornom razvoju AI, naglašavajući važnost bezbednosti jednako kao i performansi samog modela. Dalji razvoj će verovatno nastaviti da se fokusira na jačanje ovih odbrambenih mehanizama.
Izvor: Simon Willison · Fotografija: Pexels / Daniil Komov (ilustracija)
