Technologie, která ještě před pěti lety vyžadovala profesionální studio a týmy expertů, je dnes dostupná každému s internetovým připojením. NSFW AI generátory obrázků otevřely prostor pro nové formy tvorby, ale zároveň zpřístupnily nástroje, jejichž zneužití má reálné a závažné důsledky pro skutečné lidi.
Co je deepfake a proč ho nezaměňovat s běžnou AI generací?
Generovaný AI obrázek a deepfake jsou dvě různé věci, přestože hranice mezi je někdy tenká. Klasický AI generátor vytváří obsah na základě textového popisu. Výsledkem je fiktivní postava nebo scéna, která nikdy neexistovala. Deepfake naproti tomu bere podobu konkrétního reálného člověka a zasazuje ji do situace, ve které nikdy nebyl.
V kontextu NSFW obsahu to znamená, že kdokoli s fotografií druhé osoby a přístupem ke správnému nástroji technicky dokáže vygenerovat sexuálně explicitní materiál s tváří této osoby. Bez jejího vědomí, bez souhlasu a s minimálním technickým úsilím.
Jak rychle se technologie dostala do rukou běžných uživatelů?
Ještě v roce 2019 vyžadovala tvorba přesvědčivých deepfake videí výkonný hardware, znalost strojového učení a desítky hodin tréninkových dat. Dnes existují webové aplikace, které celý proces zredukují na nahrání fotografie a stisknutí tlačítka. Výsledek je hotový během sekund.
Modely jako Stable Diffusion, které jsou volně dostupné a modifikovatelné, umožnily vznik komunitních verzí trénovaných specificky na obcházení bezpečnostních filtrů. Tyto neoficiální varianty kolují na fórech a specializovaných platformách a jejich kontrola je prakticky nemožná. Každý technický zásah, který platformy zavedou, komunita vývojářů obejde v řádu dnů.
Dopady na oběti nejsou virtuální
Nejčastějšími oběťmi sexuálních deepfake jsou ženy, a to jak veřejně známé osobnosti, tak zcela soukromé osoby. Výzkumy zaměřené na tuto problematiku ukazují, že naprostá většina deepfake NSFW obsahu zobrazuje reálné ženy bez jejich souhlasu.
Psychologické dopady deepfake pornografie na oběti jsou dobře zdokumentované. Pocit ztráty kontroly nad vlastní podobou, úzkost, sociální izolace a v závažnějších případech posttraumatický stres. Žena, jejíž tvář se objeví v sexuálním obsahu distribuovaném online, čelí situaci, kdy tento obsah nelze spolehlivě smazat. Jakmile se materiál dostane na internet, šíří se mimo dosah jakékoli kontroly.
Zvlášť zranitelní jsou teenageři. Šikana prostřednictvím vygenerovaných sexuálních obrázků spolužaček nebo spolužáků je jev, který řeší školy v řadě zemí včetně těch s přísnou legislativou.
Co říká zákon a kde jsou jeho limity?
Legislativa na tuto oblast reaguje pomalu a nerovnoměrně. V České republice lze postihnout šíření takového obsahu prostřednictvím ustanovení o ochraně osobnosti, pomluvy nebo v závažnějších případech přes paragrafy týkající se stalkingu a obtěžování. Specifická legislativa přímo cílená na non-consensual intimate imagery, zkráceně NCII, v ČR prozatím chybí.
Evropská unie situaci řeší prostřednictvím AI Actu a nařízení o digitálních službách, DSA, která ukládají platformám povinnost odstraňovat škodlivý obsah. Vymahatelnost těchto pravidel vůči anonymním provozovatelům nebo zahraničním serverům je ale v praxi omezená.
Ve Velké Británii vstoupil v roce 2024 v platnost zákon, který kriminalizuje samotné vytváření sexuálního deepfake obsahu bez souhlasu, nejen jeho šíření. Podobným směrem se vydává i legislativa v USA na úrovni jednotlivých států. Česká republika za tímto vývojem zaostává.
Kde platformy stanovují hranici a proč to nestačí?
Komerční AI platformy jako Midjourney, DALL-E nebo Adobe Firefly mají přísné filtry zabraňující generování explicitního nebo manipulativního obsahu s reálnými osobami. Tyto filtry fungují, ale pokrývají jen část ekosystému.
Problémem jsou open-source modely provozované bez centrálního dohledu. Stable Diffusion ve své základní podobě filtry neobsahuje a komunita vytvořila stovky specializovaných modelů trénovaných na explicitním obsahu. Tyto modely jsou volně ke stažení a jejich provoz nevyžaduje souhlas žádné centrální autority.
Technická řešení, která výzkumníci vyvíjejí, jdou cestou digitálních vodoznaků a detekčních nástrojů. Organizace jako C2PA pracují na standardech pro označování AI generovaného obsahu přímo v metadatech souboru. Detekční nástroje pro deepfake obsah mezitím dosahují stále vyšší přesnosti, ale závod mezi generátory a detektory nikdy nekončí.
Co s tím může udělat běžný člověk?
Pokud narazíte na obsah, ve kterém je bez souhlasu zobrazena vaše podoba nebo podoba někoho blízkého, existují konkrétní kroky. StopNCII.org je mezinárodní platforma, která umožňuje hashovat intimní obsah a distribuovat hash mezi partnerské platformy, které pak obsah automaticky blokují. Tento systém funguje i pro AI generovaný materiál.
Nahlášení obsahu přímo platformám je prvním krokem, přičemž velcí hráči jako Meta, Google nebo Microsoft mají dedikované formuláře pro NCSII (non-consensual intimate imagery). Právní cesta je možná, ale zdlouhavá, a má smysl ji zvažovat především v případech cíleného obtěžování konkrétním pachatelem.
AI generátory obrázků jsou nástroje a jako každý nástroj závisí jejich dopad na tom, kdo a jak je používá. Fiktivní obsah generovaný bez spojení s reálnými osobami je jiná kategorie než deepfake zneužívající podobu skutečného člověka bez jeho souhlasu.
Nezáleží tak technologii samotné, ale na vědomém rozhodnutí, co s ní děláme. A na ochotě společnosti toto rozlišení promítnout do zákonů, které budou vymahatelné v praxi, ne jen na papíře.
