OBAVJEŠTAJNO izvješće koje je ovog proljeća stvorila umjetna inteligencija umalo je dovelo do oružanog sukoba SAD-a i Kine. U izvješću je pisalo da kineski brod na Bliskom istoku prevozi komponente za nuklearni program, što je potaknulo hitnu vojnu reakciju.

Američka vojska pripremala je presretanje plovila, a prema tvrdnjama više izvora upućenih u događaj, naoružani vojnici bili su spremni za upad na brod dok su vojni zrakoplovi već bili u zraku, piše CNN.

Operacija je zaustavljena u posljednji trenutak. Dužnosnici su dodatnom provjerom utvrdili da je izvješće, koje je sastavio analitičar Zapovjedništva za specijalne operacije, generirano uz pomoć umjetne inteligencije. Chatbot koji je analitičar koristio pogrešno je protumačio podatke i identificirao teret. CNN nije uspio doznati što je brod doista prevozio.

Jedan od izvora opisao je izvješće kao "potpuno lažno" i dodao da je "zamalo izazvalo rat". Bilo kakva američka akcija protiv kineskog plovila mogla je eskalirati u oružani sukob dviju svjetskih sila.

Rizici nekontrolirane primjene
Incident jasno pokazuje rizike koji proizlaze iz primjene nove i nedovoljno ispitane tehnologije u ratnim uvjetima. Američka vojska i obavještajna zajednica nastoje integrirati umjetnu inteligenciju u gotovo sve aspekte djelovanja, od analize podataka i odabira ciljeva do logistike i upravljanja proračunom.

Analitičari već dugo upozoravaju da bi se AI, ako se oslanja na loše ili kompromitirane podatke, mogao koristiti za donošenje katastrofalnih odluka, poput napada na kineski brod na temelju dezinformacija.

 
Kako je došlo do pogreške
U ovom slučaju, analitičar je od chatbota zatražio analizu obavještajnih podataka s brodskog manifesta. Podaci su stigli iz Zapovjedništva za specijalne operacije SAD-a na Pacifiku. Nije poznato je li korišten komercijalni chatbot ili alat koji je razvila američka vlada. Bivši visoki američki dužnosnik upućen u sustave umjetne inteligencije kaže da su "interni alati uglavnom samo kopije komercijalnih proizvoda s malo ušminkanom vanjštinom".

Softver je povezao javno dostupne informacije s tajnim podacima iz vladinih baza i izveo pogrešan zaključak o teretu. Analitičar je potom istim AI alatom formatirao nalaze u standardni format obavještajnog izvješća i proslijedio ga dalje unutar sustava. Zapovjedništvo za specijalne operacije na Pacifiku i Pentagon nisu odgovorili na upit za komentar.

Strateški imperativ Pentagona
Brza implementacija umjetne inteligencije temelji se na uvjerenju da ona vojsci može omogućiti brže donošenje odluka na bojištu, od odabira ciljeva do raspoređivanja resursa. Dužnosnici smatraju da si SAD ne smije dopustiti zaostatak za Kinom ili drugim protivnicima koji bi mogli biti tehnološki napredniji.

Ministar obrane Pete Hegseth u siječnju je predstavio "Strategiju ubrzanja primjene umjetne inteligencije". "Potaknut ćemo eksperimentiranje, ukloniti birokratske prepreke, usmjeriti ulaganja i pokazati pristup potreban da osiguramo vodeću poziciju u vojnoj primjeni umjetne inteligencije", rekao je Hegseth.

Strategija nalaže široku primjenu AI-ja u cijeloj vojsci. Cilj je "demokratizirati eksperimentiranje" i omogućiti transformaciju unutar Ministarstva. Plan predviđa da se vodeći svjetski AI modeli stave na raspolaganje za tri milijuna civilnih i vojnih djelatnika na svim razinama tajnosti podataka.

Problem je što je taj proces decentraliziran, navodi više američkih dužnosnika. Različiti dijelovi vlade koriste različite alate, pod različitim zapovjedništvima i sigurnosnim standardima. Ne postoji jedinstveni sustav pravila za provjeru informacija koje ti alati generiraju. Zbog toga pouzdanost i funkcionalnost brojnih AI sustava u vojsci i obavještajnoj zajednici značajno variraju.

Ljudski faktor kao najveći rizik
Dok političari u Washingtonu raspravljaju o dugoročnim egzistencijalnim prijetnjama umjetne inteligencije, potaknuti upozorenjima tehnoloških lidera, incident s kineskim brodom ukazuje na puno neposredniju opasnost. Riječ je o ljudima koji donose kritične odluke na temelju netočnih ili zavaravajućih informacija koje generiraju automatizirani sustavi.

Izvori upozoravaju da se vojska sve više oslanja na AI za pomoć pri odabiru meta, što nosi očit rizik od kobnih pogrešaka. "Primjena AI-ja u odabiru meta definitivno je u porastu, a ne postoje jasne smjernice o tome kako će prisutnost čovjeka u tom procesu spriječiti civilne žrtve ili prijateljsku vatru", rekao je drugi izvor upućen u vojnu politiku.

Takozvana "halucinacija" AI alata, kakva se dogodila u ovom slučaju, nije izoliran incident otkako su se takvi sustavi proširili unutar vlade, tvrdi jedan od izvora. Neki stariji obavještajni dužnosnici smatraju da tehnologija stvara pritisak na analitičare da brže obrađuju i šalju izvješća, što povećava mogućnost pogreške. Više izvora ističe da su mlađi analitičari posebno skloni nekritički vjerovati alatima koje koriste.

Kako je sažeo jedan od sugovornika: "AI vam omogućuje da brže dođete do loše ideje".