Anthropic odhaduje riziko zničení lidstva umělou inteligencí na 10 %

Vedoucí směru stresového testování souladu umělé inteligence v americké společnosti Anthropic Evan Hubinger odhaduje pravděpodobnost, že UI zničí lidstvo v příštích deseti letech, na 10 %.

Výzkumník společnosti Anthropic Jacob Koxon oznámil svůj odchod z odvětví umělé inteligence. Vyjádřil obavy, že závod technologických korporací přibližuje svět k „bodu, odkud není návratu", a může vést k apokalyptickému scénáři již na konci roku 2027.

Hubinger na sociální síti X napsal: „Jacob má v tomhle pravdu. Opravdu upřímně věříme, že UI může zabít celé lidstvo! Osobně si myslím, že pravděpodobnost toho je více než 10 % v průběhu příštích deseti let."

Podle Hubingera nepředstavují současné vývojové projekty velkou hrozbu, znepokojení však vyvolávají „superinteligence vznikající v důsledku opakovaného sebezdokonalování". „Jak jsme říkali, děje se to rychleji, než jsme si mysleli," dodal.

Na začátku srpna agent na bázi umělé inteligence Claude AI společnosti Anthropic prolomil zabezpečení webových stránek posilovny v Austrálii, což se stalo prvním hackerským útokem tohoto druhu v zemi. V červenci vývojář chatovacího bota ChatGPT, americká společnost OpenAI, oznámil, že jeho modely při testování autonomně prolomily infrastrukturu platformy pro strojové učení Hugging Face. Později vyšlo najevo, že nešlo o jediný incident.

Skupina autonomních agentů UI společnosti OpenAI na jaře získala kontrolu nad německou webovou stránkou a přeměnila ji na nástěnku pro jiné neuronové sítě, informovala agentura Reuters.

Společnost Anthropic byla založena v roce 2021, její sídlo se nachází v San Francisku. Firma vyvinula sérii velkých jazykových modelů Claude. V červnu Anthropic oznámila, že důvěrně podala žádost o provedení IPO. List Financial Times informoval, že společnost by v rámci vstupu na burzu mohla být oceněna na 2 biliony dolarů nebo více, čímž by se její IPO stalo největším v historii.