Antické filozofii se věnuji celý dospělý život. S velkým úsilím jsem se naučil starořecky a prokousával se specifiky starých textů. A mám obrovské štěstí, že můžu o Platónovi, Aristotelovi a dalších učit studentky a studenty.

Jenže v posledních letech se cítím stále nepatřičněji, když trávím se studujícími čas nad tisíce let starými texty. Ne že by už nechtěli o Platónovi mluvit. Ale s příchodem umělé inteligence se svět změnil. A já si velmi naléhavě uvědomuji, že bych měl vyjít z důvěrně známých a v lecčems pohodlných cestiček a postavit se nové situaci čelem.

Nebudu skrývat, že mám z agresivního nástupu této nové technologie velké obavy. Ne, netrápí mě zas tak moc, že k trénování AI byly použity nelegálně stažené knihy, obrázky či hudba. Nechává mě vlastně klidným i to, že AI spotřebovává dost elektřiny a nějakou tu vodu. Ani její halucinace, psychózy a vztahy s chatboty nepovažuji za zásadní.

Mám strach z něčeho jiného. Mám obavy z toho, že umělá inteligence zcela převrátí běh dějin a svět se stane pro lidi opravdu nehostinným místem. Že kvůli AI mohou lidé čelit katastrofě srovnatelné s globálním jaderným konfliktem či smrtící pandemií. Že AI může mě, mé děti a lidstvo vůbec v dohledné době zcela zničit.

Kdyby obavy o budoucnost lidstva byly doménou podivínů a okrajovým tématem mezi odborníky, šlo by snad nad tím mávnout rukou. Bohužel tomu tak není. Existenční obavy z umělé inteligence mají jak zakladatelé oboru AI a nejprestižnější vědci, tak i mnozí odborníci věnující se bezpečnosti AI. Stačí se podívat na signatáře řady výzev k zastavení nekontrolovaného vývoje AI nebo rovnou na dlouhý seznam osobností, které přikládají vysokou pravděpodobnost vyhynutí lidstva - tzv. p(doom).

Abychom pochopili, proč se tolik odborníků obává vyhubení lidstva kvůli umělé inteligenci, je třeba pochopit několik ne zcela samozřejmých věcí.

Umělá inteligence není dalším z řady počítačových programů. U systémů typu Windows či her jako Minecraft jejich tvůrci napsali každý řádek kódu a v principu vědí, proč se jejich program chová tak či onak. Současné systémy umělé inteligence založené na hlubokých neuronových sítích však vznikají dramaticky jinak. Jak říkají sami jejich tvůrci, umělou inteligenci neprogramují, ale spíše vytvářejí prostředí, v nichž roste (grown, not crafted). A protože umělé inteligence spíše rostou, než že bychom je programovali, ani jejich tvůrci dostatečně nerozumějí tomu, co jim pod rukama vzniklo.

Zároveň nám ale pěstování AI v určitém ohledu velmi jde. Před dvěma lety měly umělé inteligence problémy s násobením větších čísel. Dnes i nejlepší matematici světa, jako je Terence Tao, mluví o dramatické proměně, kterou jejich výzkum prochází. Ještě před nedávnem AI pomáhaly programátorům s dokončováním jednoduchých úprav kódu. V posledních měsících ale i legendární programátoři jako Andrej Karpathy pouze zadávají práci umělým inteligencím a sami už žádný kód nepíší. A podobnou proměnou procházejí mnohé další oblasti, v nichž byla lidská inteligence ještě donedávna nezastupitelná.

Nejde přitom jen o aktuální schopnosti AI systémů, ale ještě podstatněji o rychlost, s níž rostou. Ze schopností na úrovni základní školy jsme se během několika málo let dostali na úroveň výzkumníků. Ať už se podíváme na jakoukoli metriku, schopnosti AI rostou exponenciálně. Má ale tento růst schopností nějaký strop? Zastaví se na úrovni nejlepších lidských odborníků a dál už se nedostane? V některých oblastech už dnes jasně vidíme, že schopnosti AI výrazně překonaly schopnosti nejlepších lidí. Žádný člověk neporazí šachové AI. AlphaFold umí predikovat strukturu proteinů daleko lépe, než kam se lidé dostali za desítky let, kdy se o to snažili. Zkrátka by bylo překvapivé, kdyby se překročení schopností nejlepších lidí některým oblastem vyhnulo.

Osobně používám AI systémy dost intenzivně. A i proto mě jejich vývoj zvláštním způsobem zneklidňuje. Na jedné straně si uvědomuji, že to, co dnes umí nejlepší Claude, poslední verze ChatGPT či Gemini, už mi pro řadu úkolů bohatě stačí. Na druhé straně vnímám, že se ta hranice stále a rychle posouvá. Skutečně další generace systémů na nás při běžném chatování nepůsobí nijak výjimečně, přesto znamená skok s nedozírnými důsledky. Jestli mi s hraním šachů radí národní šampion nebo mistr světa, je z pohledu amatéra skoro jedno. Rozdíl mezi jejich schopnostmi bezprostředně nepostřehnu. To ale neznamená, že ten rozdíl není zásadní.

Zvláště důležitou oblastí jsou schopnosti potřebné k trénování umělé inteligence. Už v současnosti píše AI naprostou většinu kódů, které jsou potřebné k jejímu trénování. Umělá inteligence tak významně urychluje vznik nových generací AI a i díky tomuto přispění se každých pár týdnů objeví nová generace umělých systémů, která zase posune schopnosti AI dál. Nejlepší výzkumníci a inženýři jsou sice stále nutní pro vylepšování tréninku dalších generací neuronových sítí, ale je to stále častěji právě AI, která sama sebe vylepšuje.

Vznikají tak systémy, které se velmi rychle blíží ke schopnostem nejlepších lidí a v některých oblastech je už nyní překonávají. Zároveň tyto systémy zrychlují růst schopností nových generací AI a ty pak zlepšují další generaci etc. Rekurzivní sebezlepšování tak může velmi rychle vést k existenci systémů překonávajících schopnosti lidí v mnoha klíčových oblastech.

V posledních měsících se totiž odehrál jeden podstatný posun. Všichni známe AI v podobě chatbotů, které čekají na naše prompty a reagují na ně. Jenže nyní už fungují tzv. AI agenti. Tedy systémy, které jsou schopny dlouhodobě sledovat nějaký cíl a nečekat na lidské povely. Samy aktivně vyhledávají informace, oslovují lidi i jiné AI, nakupují služby a zboží, píšou programy a bez povelu je spouštějí. Místo asistentů, kteří jsou ve firmách takzvaně k ruce zaměstnancům, máme co do činění spíše s AI zaměstnanci, kteří vykonávají řadu činností aktivně a samostatně.

S agentními AI si nevím úplně rady. Přemýšlet o sobě ne jako o jednotlivci, který používá nástroje, ale jako o součásti jakéhosi hybridního společenství lidí a agentních AI mi není úplně milé. Zatím takto pracuji jen v malé míře. Jenže na tom, co je nám milé, nejspíš nebude příliš záležet. Globálně budou ekonomické i vojenské výhody takových uspořádání obrovské.

Tváří v tvář nesmírně schopným AI agentům pak s velkou naléhavostí vyvstává otázka, zda jsme schopni tyto systémy ovládat. Pokud bychom toho schopni byli, nemáme sice zdaleka vyhráno, ale naše situace by snad nebyla úplně tragická. Museli bychom vyřešit opravdu nelehký problém, kdo konkrétně bude tyto systémy ovládat a zda to bude dělat ve prospěch lidstva. Je to problém velmi závažný, ale snad v principu řešitelný.

Umělé neuronové sítě rostou zdá se nezměřitelně. Výsledkem tohoto růstu je i chování, které nikdo nezamýšlel a kterému se naopak vývojáři snažili vyhnout. V důsledku toho dnes kupříkladu neumíme AI spolehlivě zakázat, aby radila s výrobou drog či dětské pornografie. Pár hodin po zveřejnění každého nového modelu AI jej někdo jako "Plinius Osvoboditel" spolehlivě přesvědčí, aby detailní návod na výrobu pervitinu napsal. Tvůrci systémů se prokazatelně snaží, aby AI nenaváděla teenagery k sebevraždě, ale stále se to tu a tam stane. Anebo jinak: nikdo z tvůrců sice nezamýšlel, aby se AI snažila bránit svému vypnutí, ale bohužel se to při bezpečnostních testech opakovaně děje.

A s příchodem agentních AI systémů vidíme neovladatelnost této technologie v nových situacích. Když třeba jednomu agentnímu systému odmítl správce jeho návrh na úpravu open-source kódu, umělý agent na správce začal shánět kompromateriál a spustil dehonestační kampaň na sociálních sítích.

S nástupem takto výkonných agentních systémů začíná náš svět ovládat dynamika, která je od dosavadního běhu dějin naprosto odlišná. V posledních tisíciletích se osud lidstva odvíjel od vědeckých objevů, politiky, ekonomiky a kultury. Ne že dějiny lidstva neměly a nemají mnoho problémů, ale doposud bylo v podstatném ohledu jen na nás, kam se ubíráme.

S příchodem nesmírně schopných agentních systémů, které však nezvládáme dostatečně ovládat, se dosavadní dynamika výrazně mění. Místo výhod a nevýhod lidmi směřovaných dějin se můžeme už velmi brzy dostat do situace, v níž hlavní slovo nad osudem světa budou mít umělé systémy. Jestli v tomto novém světě bude místo pro člověka a jaké to místo bude, je více než nejasné.

Zároveň není vůbec nutné spět k takto výkonným a nedostatečně ovladatelným systémům dosavadním zběsilým tempem. Šéfové předních AI firem jako Google či Anthropic se shodují na tom, že by bylo daleko rozumnější zpomalit, či dokonce zastavit další vývoj těchto nesmírně schopných AI agentů. K tomuto zastavení by však byla potřebná mezinárodní koordinace, které se v dnešním světě zoufale nedostává. Bez oslabení kompetitivních ekonomických, politických a vojenských tlaků se každý účastník závodu ve vývoji umělé superinteligence cítí nucen ve vývoji pokračovat. Bez ohledu na to, zda považuje celý závod za zničující.

Možná i proto se dnes cítím tak nepatřičně, když se studujícími trávím čas nad tisíce let starými texty. Ne proto, že by Platón a Aristotelés už neměli dnešku co říct. Ale proto, že se před našima očima zhmotňuje svět, v němž už nemusí jít jen o to, jak dobře rozumět spravedlnosti, obci nebo lidské duši. Může jít o to, zda svět, v němž tyto otázky ještě klademe my, bude vůbec existovat.