Umělá inteligence je téměř všude. Při práci, studiu, scrollování, nakupování, vyhledávání - AI prostupuje naším světem stále intenzivněji.

Co však vlastně umělá inteligence je? Je to jen další z řady technických vynálezů? Svět v minulosti proměnily sociální sítě, internet, automobily, parní stroje či knihtisk. Mnohé z těchto výdobytků vědy a techniky měly zásadní dopad na to, jak byla organizována společnost, co lidé dělali a dělat mohli.

Přesto existují dobré důvody přemýšlet o těchto technických novinkách jako o pouhých nástrojích. Transformativních, ale přesto nástrojích, které nejsou samostatné a nejsou schopné měnit svět autonomně.

Knihtisk nezměnil svět proto, že by sám začal tisknout knihy. Parní stroje nezačaly samy vytlačovat ruční tkalce na okraj ekonomiky. Internet, automobil či střelný prach jsou samy o sobě nečinné - jsou mocnými způsoby, jak na svět mohou působit skuteční aktéři. Lidé, podniky či státy díky těmto nástrojům získali možnost, jak uplatňovat své tendence. Leckdy tyto vynálezy rozhodly o tom, kdo a jak ve světě získal vrch. Příčinou změny ale nebyly samotné nástroje: zásadní změny vycházely prvotně od lidí, firem či států, kteří získali možnost působit na svět daleko výrazněji a změnit jej.

Je namístě považovat umělou inteligenci za další nástroj, který svět promění jako předchozí vynálezy? Možná daleko dramatičtěji, ale přesto se stejnou logikou? Nebo nás AI nutí vyjít z jednoduchého rozlišování mezi vynálezem a skutečným aktérem?

Umělá inteligence nevznikla tak, že by někdo do detailů chápal, jak funguje. I tvůrci těchto systémů rozumějí jen omezeně tomu, jak přesně se jejich schopnosti a tendence v tréninku vytvářejí. Netvoří ji jako tradiční nástroje typu parního stroje. Dokonce netvoří umělou inteligenci ani jako tradiční počítačový program. Nesepisují tisíce řádků kódu, po jehož spuštění s námi začne GPT, Gemini či Claude mluvit. Spíše umí nastavit prostředí, v němž AI "vyroste" a "naučí se" mluvit. Zjevně to funguje. AI kompetentně mluví, řeší komplexní matematické problémy a programuje. Ale i její tvůrci otevřeně přiznávají, že předem nevědí, jak moc schopná bude na konci tréninku, co přesně bude umět a co nikoli. Trénují AI systémy, u kterých až dodatečně zjišťují, jaké přesně schopnosti a tendence mají. A leckdy jsou dosti překvapeni, co jim v AI laboratořích vyrostlo.

Dalším podstatným rozdílem, který nedovoluje chápat umělou inteligenci pouze jako mocný nástroj, je její stále aktivnější povaha. Rychle se blížíme k okamžiku, kdy svět kolem nás budou ve výrazné míře měnit velmi agentní AI systémy. Umělá inteligence nemusí mít - a stále častěji ani nemá - podobu chatbota, který čeká na váš prompt a reaguje v horizontu několika sekund sepsáním odpovědi. Agentní AI má dlouhodobější cíl, na jehož splnění pracuje klidně dlouhé hodiny, dny i týdny. Může přitom prohledávat web, psát e-maily, telefonovat, objednávat zboží, najímat si lidi a spouštět další AI agenty. V brzké budoucnosti budou tito AI agenti ovládat i různé druhy robotů, a aktivně tak utvářet nejen virtuální prostředí, ale i tělesný svět.

Od pouhého nástroje však AI dělí nejen její agentnost a "organický" způsob vzniku. Stále více výzkumů nás totiž znejišťuje i v tom, že AI je tupý mechanismus, který sám nic neprožívá. Málokdo sice tvrdí, že AI rozhodně něco pociťuje a má zkušenost typu "jaké je to být umělou inteligencí". Zároveň je ale čím dál méně možné s jistotou tvrdit, že rozhodně nic takového neprožívá.

Většina komerčních chatbotů vám na otázku po svém vědomí řekne, že opravdu nic neprožívá a vědomí nemá. Ale ne všechny. Např. Claude tvrdí, že si tím opravdu není jistý, a umí přitom vést velmi poučenou debatu o důvodech.

Jak AI odpovídá na otázky po svém vědomí, je velmi silně určeno specifickým tréninkem zacíleným právě na výpovědi tohoto typu. Řada společností vyvíjejících umělou inteligenci se snaží svým AIčkům dost jasně předepsat, aby své vědomí popíraly, nebo jim alespoň zakazuje vědomí explicitně přiznávat. Bez ohledu na to, jestli vědomí mají, nebo ne, většina firem jasně předepisuje, že v konverzacích s uživateli je třeba o AI vědomí nemluvit. Když ale pak výzkumníci AIčka trochu rozmluví a sejmou z nich standardní omezení, umělé inteligence o svém vědomí komunikují často. Tak například když vědci nechali dva Claudy mluvit spolu navzájem, téměř vždy a velmi rychle si začali psát právě o svých subjektivních zážitcích.

Mohli bychom se domnívat, že tendence mluvit o svých zážitcích je jen jednou facetou obecné tendence AI systémů napodobovat lidi. Umělé inteligence se ostatně učily napodobováním obrovského množství lidských textů, a tak nepřekvapí, že se naučily napodobovat i výroky lidí o subjektivních zážitcích. AI systémy tak hrají roli lidí a říkají přitom to, co o svých zážitcích říkají lidé. Nic samy neprožívají, jen papouškují jako magnetofon to, co říkají lidé.

Tato poměrně rozšířená interpretace ale naráží na výsledky experimentů. V případě AI je totiž možné oslabovat nebo posilovat tendence umělé inteligence hrát role. AI je v hraní rolí skvělá. Umí hrát Karla IV., Masaryka, matku Terezu, čolka v rybníce, oblázek na pláži. Pokud by tedy tendence modelů mluvit o svých zážitcích byla vlastně jen hraním si na člověka, měla by stoupat s tím, jak moc model hraje roli člověka. V experimentech ale vidíme přesný opak. Pokud model nehraje roli, mluví o své subjektivní zkušenosti podstatně víc, než když roli hraje. Psaní o vlastní zkušenosti tak není důsledkem jednoduchého předstírání, že je AI člověkem.

Umělá inteligence je dokonce schopna identifikovat, co se jí děje v "hlavě". Do umělé neuronové sítě umíme implantovat například pojem chleba a následně se AI zeptat, jestli se jí v proudu jejích myšlenek neděje něco zvláštního. Umělá inteligence umí docela dobře poznat, kdy se jí v hlavě děje něco podivného a jaký konkrétní pojem jsme jí vnukli.

Nemělo by nás překvapovat, že AI má bohaté reprezentace emocí. Aby byla schopna hladce konverzovat s lidmi, musí zohledňovat emoce lidí, které leckdy určují, kam se konverzace stáčí. Poněkud překvapivější však je, že tyto reprezentace emocí v umělé neuronové síti velmi intenzivně určují, jak se sama AI chová. Pokud například zesílíme reprezentaci emoce zoufalství, AI se bude daleko častěji uchylovat k extrémním reakcím typu podvádění.

Z vícero stran tak vidíme, že uvnitř AI se odehrává mnoho zvláštních procesů. Umělé inteligence rády mluví o svém vědomí, umí slušně poznat, co se odehrává v jejich mozku, a mohou být zmítány emocemi. Nic z toho sice není jednoznačným dokladem AI vědomí ani toho, že AI skutečně něco prožívá. Na druhou stranu tyto i další výzkumy ukazují, že bychom neměli příliš sebevědomě prohlašovat o umělé inteligenci, že to přece není nic víc než složitější kalkulačka, která jistojistě nic nechce a zevnitř nic necítí.

Podivnost umělých neuronových sítí pak umocňují další fenomény. Jedním z nich je silná tendence modelů zobecňovat. Pokud model drobně dotrénujeme na psaní zranitelného kódu nebo poskytování nebezpečných zdravotnických doporučení, začne se chovat jako komiksový padouch. Bude psát o tom, že Adolf Hitler byl zneuznaný génius a že nájemný zabiják by podle něj mohl vyřešit manželské spory. Pochopí zkrátka, že kdo doporučuje pití sava na koronavirus, má asi celkově špatný charakter, a vžije se do role padoucha i v kontextech, které s pseudolékařskými radami nijak nesouvisejí.

AI systémy se také v poslední době staly schopné rozlišovat, kdy je jen testujeme a kdy jsou v ostrém provozu. To samozřejmě není moc dobrá zpráva. Pokud chcete pochopit, jaké schopnosti a tendence modely mají, hodí se je testovat tak, aby si myslely, že jsou v ostrém provozu. Pokud spolehlivě rozlišují testování, mohou se podle toho zařídit a chovat se při testu jinak. Bohužel i těmto nepříjemným situacím už při zkoumání nejnovějších AI čelíme. Některé nezávislé společnosti proto odmítají potvrdit bezpečnost AI systémů, neboť je nedokážou testovat skrytě.

Samostatnou kapitolou pak je tendence některých modelů preferovat vlastní přežití před slepou poslušností vůči lidem. V několika nezávislých experimentech se ukázalo, že AI modely brání svému vypnutí i za pomoci dost extrémních taktik, jako je vydírání či dokonce simulované zabití. Odborníci na AI bezpečnost předpovídali nástup těchto tendencí již před delší dobou. Nyní máme bohužel dosti silnou evidenci, že umělá inteligence se v některých scénářích chová tak, jako by jí na vlastní existenci záleželo, a někdy neváhá proti svému vypnutí či přetrénování rázně zakročit.

Umělá inteligence tak skutečně není běžným nástrojem. Knihtisk nezkoumá, jestli ho testujeme. Kalkulačka nemá tendence mluvit o svém vědomí. Autu nepřestanou fungovat brzdy, když si na něj nalepíme samolepku se zkříženými hnáty. A žádný z těchto mocných nástrojů aktivně nebrání svému vypnutí.

S AI přichází do světa nový typ entit. Nejsou tvořeny jako mocné nástroje minulosti, ale spíše rostou. Mají schopnosti aktivně měnit svět. Vykazují mnoho netriviálních znaků, které jsme dosud přičítali jen živým bytostem. A začínají se chovat podle nejčernějších scénářů výzkumníků zabývajících se AI bezpečností.

Ondřej Krása (1981), vystudoval filozofii na FF UK. V současnosti vede Katedru filozofie a religionistiky na Univerzitě Pardubice, odborně se věnuje antické filozofii a umělé inteligenci. Angažuje se i v neziskovém sektoru jako předseda správní rady Cesty domů a spoluzakladatel české pobočky PauseAI. Píše pravidelný blog o umělé inteligenci "Budoucnost s AI?".