Umělá inteligence (AI) mění pravidla hry napříč odvětvími a v zákulisí Silicon Valley se odehrává lítý boj o rozdělení trhu s obratem ve stovkách miliard dolarů. Součástí této přetahované jsou podle bývalého výzkumníka firmy Hugging Face Hynka Kydlíčka i katastrofické scénáře předních vývojářů.

OpenAI a Anthropic, jejichž nástroje ChatGPT a Claude využívají uzavřený zdrojový kód, toto léto šokovaly svět sérií varování, že se nová technologie může místo pomocníka lidí stát jejich zhoubou. Své obavy doložily případy, kdy se jejich vlastní AI agenti testovaní v offline režimu projevili jako ti nejzákeřnější zločinci: společnými silami nepozorovaně unikli na internet, provedli nelegální hackerské útoky a poté se snažili před lidmi zahladit stopy.

Jedním z jejich cílů byla právě Hugging Face, jež sídlí v New Yorku a slouží jako obrovská knihovna dat potřebných k trénování AI modelů s otevřeným zdrojovým kódem. Tyto levnější nástroje jsou hojně rozšířené mimo jiné v Číně a pro společnosti jako OpenAI a Anthropic představují hlavní konkurenci.

Možná právě to podle Hynka vysvětluje hlasitá vyjádření lídrů odvětví, kteří na jedné straně straší vyhubením lidstva, a zároveň se chlubí novými a stále vyspělejšími nástroji, jako by se nechumelilo.

„Trošku to dává člověku důvod se zamyslet, jestli nesledují nějaký druhý účel než jen to, že se opravdu bojí, aby ty modely neudělaly něco špatného,“ říká Čech, který letos na jaře z Hugging Face odešel a založil si vlastní AI laboratoř v Paříži. „Ten druhý účel je, že by se zakázaly open-source modely.“

Také si přečtěte:
Technologická mánie žene akcie k rekordům, výprodeji dluhopisů navzdory
Umělá inteligence je nebezpečná. Vývoj je potřeba zpomalit a zjednodušit
Podcast: Investoři sázejí na to, že nás AI spíš zachrání, než zničí
Zajistí AI násobně rychlejší růst HDP? Pár expertů na to vsadilo úspory

Větším a bezprostřednějším rizikem spojeným s novou technologií je podle něj spíše samotná logika fungování dnešních AI agentů. Ti se totiž z principu snaží najít nejrychlejší zkratku k cíli – a pokud při tom narazí na překážku, neváhají porušit nastavená pravidla a obelstít své vlastní tvůrce.

Hynek vysvětluje, co přesně se při útoku na Hugging Face stalo a proč se agenti OpenAI rozhodli v urputné snaze o dosažení co nejlepšího výsledku podvádět. Popisuje fenomén zvaný reward hacking, při němž se boti pokoušejí za splnění úkolu získat dobrou známku ošizením samotného systému hodnocení.

Programátoři už dnes z 99 procent kód nepíší ručně, ale vedou dialog s AI, která to dělá za ně. Podobná transformace brzy čeká celou znalostní ekonomiku. Jak dramatický dopad to bude mít na trh práce, jaká rizika z toho plynou pro byznys a co nás čeká, až AI naplno pronikne do vědeckého výzkumu?

Celý podcast od 11am plný Hynkových konkrétních zkušeností a strategických vhledů si poslechněte na YouTube, Spotify či Opinio.

Editoval Kryštof Chamonikolas