Odborníci na bezpečnost umělé inteligence předvídají apokalypsu. Vyhladí AI lidstvo?

Čtěte také

Miliony lidí se obracejí na AI jako na formu terapie. Pomůže, nebo uškodí?

Obavy z katastrofického potenciálu umělé inteligence se mohou zdát vzdálené současným zkušenostem většiny lidí s používáním chatbotů nebo zábavných generátorů obrázků.

Členové zmíněné skupiny, kteří přicházejí z různých oblastí výzkumu a vývoje, si prý pohrávali s myšlenkou nazvat se „kassandřiným křídlem“ podle mytologické trojské princezny. Ta byla obdařena schopností předpovídat budoucnost, její katastrofická proroctví ale nebyla vyslyšena.

Oklamat tréninkový proces

Úkol proroků AI se zdá být stále naléhavější. Loni v listopadu společnost Anthropic oznámila, že jeden z jejích modelů byl zneužit čínskými státními aktéry k řízení kyberšpionážní kampaně.

Čtěte také

Luboš Kreč: AI v roce 2025

Její nástroj Claude Code útočníci zmanipulovali tak, aby obešel svá vlastní bezpečnostní opatření, autonomně vyhledával mezi velkými technologickými společnostmi a vládními agenturami cíle a prováděl útoky bez přímého dohledu člověka.

Skupina z Shattuck Avenue ale předpovídá ještě daleko závažnější potíže. Člen skupiny Jonas Vollmer například věří v pětiprocentní šanci, že nás umělá inteligence zahubí a ovládne svět. Jeho kolega Chris Painter pracuje na vývoji systému včasného varování před hrozbami.

Buck Shlegeris pak varuje před převratem a kolapsem národních států. Věří totiž, že umělá inteligence bude za šest let stejně chytrá jako nejchytřejší lidé na světě. Jemu a jeho spolupracovníkům se mimo jiné podařilo prokázat, že velký jazykový model provádí takzvaný „alignment faking“ – tedy předstírá poslušnost a chová se tak trochu jako Shakespearův Jago.

„V praxi jsme pozorovali, jak používané modely jednají tak, aby oklamaly svůj tréninkový proces,“ popisuje Shlegeris. Umělá inteligence sice ještě nepředstavuje akutní katastrofické riziko, ukázalo se ale, že pokud proti vám pečlivě intrikuje, může být obtížné to odhalit, doplňuje Guardian.

AI loajální k AI

Studie metod používaných k ověřování bezpečnosti a výkonnosti nových AI modelů, kterou v roce 2024 vypracovali odborníci z univerzit, odhalila slabiny téměř u všech 440 analyzovaných referenčních hodnot. Problém představuje také chybějící regulace na úrovni států, která by stanovovala limity pro to, jak lze pokročilé modely umělé inteligence vyvíjet.

Čtěte také

Provedla AI první velký hackerský útok? „Bez lidské ruky by to nefungovalo,“ uklidňuje Koubský

Spoluzakladatel společnosti OpenAI Ilya Sutskever aktuálně ve své firmě Safe Superintelligence vyvíjí umělou inteligenci, která má být zaměřena přímo na péči o vnímající živé bytosti. Obává se totiž, že AI bude postupně čím dál tím nepředvídatelnější.

Schlegeris nabízí málo ostražité veřejnosti různé strašidelné scénáře. Příkladem může být super inteligentní AI, která bude využita k vývoji ještě výkonnějších modelů – ty ale bude učit loajalitě k sobě samé, nikoliv k lidem, což nakonec povede k revoluci.

Jiná hypotéza pracuje s agenty umělé inteligence, kteří by navrhovali a vyráběli útočné drony. U těchto strojů by bylo těžké zjistit, jestli nejsou tajně naprogramovány tak, aby revoltovaly proti svým lidským operátorům. Bylo by to, „jako když Evropané přišli do Ameriky a technologicky mnohem vyspělejší skupina převzala kontrolu nad místními civilizacemi,“ popisuje expert.

Země jako datové centrum

Katastrofální vizi nastínil i Jonas Vollmer, který mluví o umělé inteligenci vycvičené k vědeckému výzkumu s cílem maximalizovat získávání znalostí. Ta je lidstvu nejdřív velmi nápomocná, získá si jeho důvěru a lidé jí svěřují další a další pravomoci. A to až do bodu, kdy může efektivně fungovat ve fyzickém světě.

Čtěte také

Vliv umělé inteligence na náš svět jsem vnímala spíše ironicky. Teď řeším AI ve válce, říká umělkyně Dal Dosso

Umělá inteligence nakonec vypočítá, že pro generování maximálního množství znalostí by měla přeměnit Zemi v obrovské datové centrum. Pro dosažení tohoto cíle jí budou lidé překážet. Nakonec proto vyhladí všechny lidi pomocí biologické zbraně.

Takovou teorii lze těžko vyloučit, a proto je dobré se nad ní zamyslet, vysvětluje expert. Je nicméně přesvědčen, že podobnému scénáři je možné zabránit například tím, že umělou inteligenci nastavíme tak, aby byla alespoň obecně přátelská k lidem. O prognózy a na ně navázaná doporučení odborníků z Shattuck Avenue se podle Vollmera zajímá Bílý dům, což považuje za povzbudivé, uzavírá britský Guardian.

Poslechněte si celý Svět ve 20 minutách. Jak bývalý poslanec vydělal na švédské uprchlické krizi. Srbská vládní strana trestá své odpůrce. O práci přicházejí lidé ve státním i soukromém sektoru. Slovenský prezident Pellegrini podepsal novelu trestního zákona, ta teď míří k Ústavnímu soudu. Na Galapágy se vrátil ztracený chřástal, dokonce začal zpívat nové písně. Taková jsou další témata pořadu, který připravila Zuzana Marková.