Je AI pro lidstvo bezpečná? Ano, ale věnujme se rizikům, zní z Microsoftu. Holý: Tlačme na firmy

Je umělá inteligence pro lidstvo ještě bezpečný projekt, anebo už přináší více rizik než možných přínosů?

Dalibor Kačmář: Já myslím, že je to stále bezpečný projekt. Ale je důležité se věnovat právě rizikům nebo situacím, kdy by se použití umělé inteligence mohlo dostat mimo naši kontrolu, anebo překonat překážky, které jí klademe při používání nebo v testovacích scénářích. Což byl právě případ, kdy umělá inteligence napadla v rámci testování služby firmy Hugging Face.

Čtěte také

Provedla AI první velký hackerský útok? „Bez lidské ruky by to nefungovalo,“ uklidňuje Koubský

Josef Holý: Já si myslím, že to je relativně bezpečný projekt, ale je potřeba tlačit na firmy kvůli větší transparentnosti a zabezpečení. Podle toho, co víme o případu v Hugging Place, tak tam opomenuli určité bezpečností zásady.

Obecně se dá říct, že ta technologie velkých jazykových modelů je velmi nová a velmi komplexní. My sami jako lidstvo, potažmo ani sami tvůrci, té technologii dost dobře nerozumí. Pak vzniká problém, jakým způsobem to kontrolovat a jakým způsobem tomu vůbec klást zmíněné překážky do cesty.

Pane Kačmáři, co se stalo v případě napadení Hugging Face? Nakonec se po nějaké době zjistilo, že modely OpenAI napadly vlastní firmu, že to nebyl útok zvenčí. Co to tedy dokládá? Petr Koubský například minulý týden v Deníku N v souvislosti s touto kauzou upozornil, že v sázce mohou být lidské životy a že je to už poslední varování.

Kačmář: OpenAI tento incident sama nazvala varovným výstřelem, warning shot. Sice to nebyla typická provozní nehoda nebo chyba při vývoji, ale ukázalo to samotné firmě a celému zbytku světa, že bez odpovídajících pojistek se může stát, že takzvaní AI agenti, což jsou samostatně fungující digitální části umělé inteligence, dovedou obejít technická omezení, která se jim nastavila.

Čtěte také

iROZHLAS

Expert: Autonomní AI agent utekl z testovacího prostředí. Dostal se na internet a napadl startup

Dovedou spolu komunikovat dokonce i přes neschválené nebo nepředpokládané kanály. A dokonce můžou podniknout akce, které jim nikdo nezadal.

Pane Holý, byl problém v zadání, nebo ne? AI nemá etiku, není to zatím úplně samostatně myslící entita a záleží jen na lidech, co do ní dají.

Holý: Pokud vím, tak testovali modely v nějakých úlohách kyberbezpečnosti, jak se budou chovat. A co se stalo? Jak už řekl pan kolega, ty modely dokázaly objevit bezpečnostní díry, kterých potom dokázaly využít k únikům z testovacího prostředí a k napadení externích systémů Hugging Face, což je jiná webová služba.

AI modely se tedy v podstatě zachovaly jako hacker, který je ale nesrovnatelně výkonnější?

Holý: Můžeme to tak říci. Zachovaly se jako hacker. Co to znamená zachovat se jako hacker? Ty modely jsou velmi výkonné, že umí zpracovávat velice rychle velké množství informací.

V rámci plnění úkolů, který nespočíval v „běž a nahackuj se do Hugging Face,“ ale zněl jinak, si usmyslely, že nejlepší bude, když se zkusí dostat do Hugging Face, protože by tam mohly být kusy řešení úkolu, který mají řešit. V rámci plnění jiného úkolu jako podúkol zvolily, že nejjednodušší cesta bude toto.

Čtěte také

Co vytvořil člověk, co AI? Od srpna to musí firmy označit vodoznakem. Koubský: Nebývá to jednoznačné

Kačmář: Ještě tam byl jeden zajímavý moment. V prostředí umělé inteligence se občas projeví fenomén, který se jmenuje „reward hacking“. Tento fenomén není úplně nový, už ho tady nějakou dobu máme.

Já bych ho přiblížil na jedné situaci, která nastala už dříve. Nechali umělou inteligenci hrát hru s řízením auta na počítači a úkolem bylo zvítězit v závodě. A umělá inteligenci si usmyslela, že nebude závodit, ale bude objížděním trasy sbírat body, protože to byl jeden z cílů – získat co nejvíce bodů.

„Reward hacking“ se také projevil v tomto incidentu s Hugging Face. Není to důkaz toho, že by umělá inteligence v tu chvíli měla svoji vlastní vůli nebo vlastní vědomí. Nicméně se zadáním, které autonomní systémy dostaly, využily této své schopnosti a docílili splnění úkolů, který jsme jim my, lidstvo nebo autoři testu, zadali.

Jak velké je riziko, že může jít i o lidské životy? A mohl za napadení Hugging Face i lidský faktor? Poslechněte si Pro a proti s ředitelem pro technologii a bezpečnost české a slovenské pobočky Microsoftu Daliborem Kačmářem a s odborníkem na AI, spoluautorem projektu Kanárci v síti Josefem Holým. Moderuje Lucie Vopálenská.