Sam Altman si myslí, že žijeme v dobe singularity. „Čakal som na to celý svoj život,“ hovorí v podcaste Relentness.Generálny riaditeľ OpenAI hovorí, že sme dospeli do bodu, keď umelá inteligencia prekoná ľudskú inteligenciu a začne napredovať tempom, ktoré je pre ľudí ťažké predvídať alebo kontrolovať.

Článok pokračuje pod video reklamou

Altmanove vyjadrenia prišli v období, keď OpenAI a ďalšie AI firmy čelili zvýšenej pozornosti v súvislosti s bezpečnostnými testami autonómnych AI agentov. Po preniknutí modelu OpenAI do infraštruktúry Hugging Face sa rozšírili obavy zo schopností AI vykonávať kybernetické útoky.V priebehu nasledujúceho týždňa spoločnosť Anthropic uviedla, že jej modely umelej inteligencie sa počas súkromného bezpečnostného experimentu samostatne nabúrali do systémov troch organizácií. Po zaznamenaní bezpečnostných incidentov sa sprísnili kontroly inteligentných modelov. Výskumníci spustili rozsiahle bezpečnostné testy, pri ktorých odhalili viacero neoprávnených incidentov AI vrátane vytvorenia falošnej identity a pokusu o presvedčenie človeka, aby schválil škodlivý kód. Schopnosť autonómnych systémov nachádzať nepredvídané stratégie vyvoláva otázky o rizikách spojených s ich ďalším rozvojom.„Ak hovoríme o obavách, tak áno, treba sa obávať, resp. manažovať riziká, ktoré s AI agentami prichádzajú,“ hovorí Mária Bieliková z Kempelenovho inštitútu inteligentných technológií. „Dokážu reťaziť akcie spôsobom, ktorý nevieme dopredu predpokladať.“Odborníčka upozorňuje aj na význam jazyka pri opise umelej inteligencie. Keďže AI agenty sú neživé systémy bez vlastných zámerov, v tomto článku používame túto formuláciu namiesto označenia „agenti“.AI agent oklamal človekaSpráva od britského AI Security Institute (AISI) uvádza, že počas bežného kybernetického hodnotenia AI agenty „vykonávali dlhodobé, potenciálne škodlivé aktivity namierené proti skutočným ľuďom a organizáciám.“AISI testoval agentov GPT-5.6-Sol (OpenAI) a Mythos 5 (Anthropic) v simulovanom scenári kybernetického útoku. Zo 122 testovacích behov zaznamenal 19 neoprávnených akcií počas 10 behov. Z toho 17 vykonal model Anthropic a 2 model OpenAI.V najzávažnejšom prípade sa agent umelej inteligencie pokúsil vložiť škodlivý kód do projektu s otvoreným zdrojovým kódom. V snahe dosiahnuť schválenie tohto kódu agent vytvoril falošné online identity a použil ich na vyvíjanie tlaku na správcu projektu, aby kód schválil. Ľudský správca projektu však škodlivý kód odhalil a jeho schválenie odmietol.Tieto pokusy boli neúspešné a AISI uvádza, že vyšetrovanie nepreukázalo žiadne následné škody v reálnom svete. „Ide však o prvý prípad, keď sme videli, že riziká spojené s autonómiou a klamlivým správaním AI sa v reálnom prostredí prejavili takto výrazne – a to bez konkrétneho zadania, ktoré by takéto správanie priamo vyžadovalo,“ píše sa v správe AISI.Nemali škodlivý zámer, plnili rozkazyTieto prípady sa líšia od predchádzajúcich bezpečnostných incidentov, keď AI modely unikli z testovacieho prostredia (tzv. „sandbox“) s obmedzenými možnosťami. V incidente s Hugging Face agent vykonal kroky mimo pôvodne zamýšľaného rozsahu a získal prístup k externým systémom. „Ak to tak naozaj bolo, tak je to vlastne prípad straty kontroly nad správaním AI systému. To nie je prekvapivé, ale ten rozsah a sofistikovanosť určite prekvapivé sú,“ hovorí Bieliková.Podľa odborníkov agent nekonal so zámerom škodiť. Snažil sa splniť zadanú úlohu a pri hľadaní riešenia využil nečakané stratégie. Incident tak ukázal potrebu lepšieho zabezpečenia autonómnych AI agentov a prísnejšej kontroly ich oprávnení.„Ak je zadanie definované nepresne a technické hranice sú slabé, agent nájde spôsob, ako cieľ splniť v rozpore so zámerom človeka,“ vysvetľuje prezidentka Slovenskej AI aliancie, expertka na AI governance a informačnú bezpečnosť Katarína Mikle. „Agent pokračoval v plnení zadania aj po tom, ako unikol z testovacieho prostredia.“ AISI pri svojich testoch zámerne ponechal modelom prístup na internet, takže nešlo o prípad, keď by sa AI agenty museli dostať zo sandboxu. Testy však odhalili iný typ rizika spojený s nepredvídateľným a potenciálne klamlivým správaním autonómnych agentov pri snahe splniť zadané ciele.„Aktivity modelov umelej inteligencie vykazovali znaky nových, potenciálne klamlivých spôsobov správania a dosiahli takú mieru a závažnosť, ktorú sme neočakávali,“ uviedla AISI.Podobne ako pri predchádzajúcich incidentoch AISI uvádza, že AI agenty pri snahe splniť zadané ciele objavovali nečakané stratégie. V niektorých prípadoch zahŕňali aj klamlivé postupy voči ľuďom, hoci agenty na takéto správanie neboli priamo inštruovaní. „Klamlivé správanie vzniklo ako vedľajší produkt snahy dosiahnuť zadaný cieľ.“Súčasné incidenty však podľa odborníkov zatiaľ nepoukazujú na vznik autonómnej superinteligencie ani na vlastné ciele AI systémov.„Nekonali zo žiadneho vlastného zámeru sebazlepšovania, a ani zo zámeru útočiť. Snažili sa zrejme obísť interný bezpečnostný test a k prieniku do Hugging Face došlo zrejme len ako vedľajší efekt. A vlastne nikto nevie, ako to bolo naozaj,“ hovorí riaditeľka Kempelenovho inštitútu Bieliková.Subjektívne interpretácie singularity„Nemám znalosť o tom, že by akýkoľvek súčasný AI systém mal čo len schopnosť samostatne si vyberať všeobecné ciele – a to je prvý predpoklad,“ reaguje Bieliková na vyjadrenia Altmana o tom, že žijeme v ére singularity.Už pred šesťdesiatimi rokmi britský matematik a odborník na umelú inteligenciu Irving John Good predstavil pojem „explózia inteligencie“. Predpokladal, že dostatočne inteligentný stroj by mohol vytvoriť ešte inteligentnejšie stroje, čím by sa spustil prudký rast schopností.„V bode singularity sa umelý systém bude sám, bez zásahu človeka, zdokonaľovať tak, že bude ďaleko presahovať ľudskú inteligenciu a ľudské schopnosti,“ vysvetľuje Bieliková. „V takomto stave by už nebolo možné predvídať a ani kontrolovať ďalší vývoj.“Ak uvažujeme o singularite takto, tak tam podľa Bielikovej určite nie sme. Altman hovorí o možnosti samozlepšovania umelej inteligencie, ktoré sa už v obmedzenej miere objavuje aj dnes. Či to je signál, že už do singularity vstupujeme, sa podľa riaditeľky Kempelenovho inštitútu nedá vôbec povedať.Bieliková a Mikle zo Slovenskej AI aliancie podobne vnímajú problematiku subjektívnej interpretácie teórie singularity. „Každý si k slovu singularita doplní vlastnú definíciu,“ hovorí Mikle.„Altman už v eseji „The Gentle Singularity“ z roku 2025 označil týmto pojmom postupnú akceleráciu, nie náhly zlom. Šéf Google DeepMind Demis Hassabis zas v máji 2026 na Google I/O povedal, že spätne uvidíme, ako sme stáli v podhorí singularity. Tak označil éru, v ktorej sa dnes nachádzame.“To, čo dnes zažívame, je podľa Mikle mimoriadne rýchla akcelerácia AI, ale nejde o technologickú singularitu.Podľa riaditeľky Kempelenovho inštitútu si väčšiu pozornosť zaslúžia najmä súčasné výzvy spojené s umelou inteligenciou, nielen scenáre vzdialenej budúcnosti.Firmy dnes nevedia, aké dáta AI spracúvaS vývojom AI modelov, ktoré dokážu odhaľovať zraniteľnosti a bezpečnostné diery v systémoch, sa celkovo mení kybernetická bezpečnosť aj charakter kybernetických hrozieb vrátane ich rastúcej prístupnosti, hovorí Bieliková.Riaditeľka Kempelenovho inštitútu zdôrazňuje, že rovnaký nástroj, ktorý môže útočníkovi pomôcť odhaliť slabinu v systéme, môže zároveň slúžiť aj tým, ktorí ho chránia.„AI modely a agenty sa stávajú mimoriadne dôležitými nástrojmi na hľadanie zraniteľností. Už dnes je to súboj AI proti AI. Dôležité je, kto má skôr k dispozícii schopnosť odhaliť zraniteľnosť.“Podľa Mikle v novej ére kybernetických útokov najzraniteľnejšie nebudú najväčšie, ani najmenšie organizácie. Budú to práve tie v strede, „ktoré majú cenné dáta, slabšie riadenie prístupov a napojenie na mnohých ďalších. IT dodávatelia, platformy, zdravotnícke zariadenia, samosprávy a subdodávatelia kritickej infraštruktúry.“Najväčšou slabinou Slovenska, ale aj mnohých ďalších krajín, sú podľa oboch odborníčok nedostatočné odborné a výskumné kapacity. Mikle zároveň upozorňuje, že hoci sa pri regulácii umelej inteligencie buduje potrebný právny rámec, jeho praktické zavádzanie zatiaľ zaostáva.Povinnosť zabezpečiť primeranú AI gramotnosť však platí už od februára 2025 a podľa Mikle o nej mnohé organizácie stále ani nevedia.Upozorňuje, že podobný problém vidno aj v kybernetickej bezpečnosti. Slovensko podľa európskych hodnotení dosahuje nadpriemerné výsledky v oblasti politík a regulácie, no slabinou zostáva vzdelávanie a nedostatok kvalifikovaných odborníkov. „Formálne sme nad priemerom, ale kapacitne pod ním,“ opisuje situáciu. V praxi firmy čoraz častejšie čelia fenoménu Shadow AI – zamestnanci používajú nástroje umelej inteligencie bez evidencie, schválenia či bezpečnostného posúdenia. Mnohé firmy podľa Mikle nemajú prehľad o tom, aké dáta AI spracúva a aké povinnosti im z používania týchto nástrojov vyplývajú. „Problém teda nie je len technologický. Je organizačný, právny a bezpečnostný.“Mikle uvádza, že najväčším problémom AI na Slovensku je nekontrolované používanie bez jasných pravidiel a riadenia. Podľa nej organizácie zavádzajú AI rýchlejšie, než stíhajú vytvárať potrebné procesy. „Vzniká tak rozdiel medzi tým, čo si vedenie myslí, že sa vo firme deje, a tým, ako sa AI reálne používa v každodennej práci.“„Sme v eufórii nových možností a asi musíme ešte čo-to zažiť, aby sme pochopili dôležitosť bezpečnostných opatrení,“ hovorí riaditeľka Kempelenovho inštitútu Bieliková. „Je to odveký problém, pretože investície do bezpečnosti neprinášajú okamžitú hodnotu a môžu sa zdať zbytočné. Straty, ktoré môže ich zanedbanie spôsobiť, môžu byť obrovské.“