OpenAI predstavilo nástroje proti zneužívaniu detí: klasifikátor a varovania
OpenAI vydalo klasifikátor obrázkov, ktorý má vyšetrovateľom a firmám pomôcť nájsť nový materiál zobrazujúci zneužívanie detí, aj ten vytvorený AI. ChatGPT zároveň varuje používateľov, ktorí sa ho pokúšajú získať.
Spoločnosť OpenAI 16. novembra oznámila balík nástrojov proti zneužívaniu detí na internete. Ústrednou časťou je klasifikátor obrázkov, ktorý hľadá materiál zobrazujúci sexuálne zneužívanie detí (v angličtine skratka CSAM), vrátane obrázkov vytvorených umelou inteligenciou. Tému spracúvame vecne a bez opisu obsahu.
Čo OpenAI predstavilo
Doterajšie systémy často využívajú takzvané hashovanie: porovnávajú súbor s databázou už známych zakázaných obrázkov. Nový klasifikátor funguje inak. Podľa TechCrunchu hľadá vizuálne znaky zneužívania aj v obrázkoch, ktoré predtým nikto nevidel, a každému pridelí skóre, aby recenzenti vedeli, ktoré prípady riešiť ako prvé. Nástroj vznikol v spolupráci s americkým Národným centrom pre nezvestné a zneužívané deti (NCMEC). Vybrané firmy a overené organizácie ho dostanú bezplatne cez API; prístup pomáhajú sprostredkovať Tech Coalition a ROOST.
OpenAI uvádza výsledky z prvého testovania s partnermi: klasifikátor označil o 48 % menej obrázkov na kontrolu, no našiel približne rovnaký počet zneužívajúcich a označené obrázky boli dvakrát pravdepodobnejšie zneužívajúce. Ide o údaje samotnej firmy a jej partnerov, nezávisle overené zatiaľ nie sú.
Druhá novinka sa týka ChatGPT. Používateľovi, ktorý sa pokúša takýto materiál získať, sa podľa TechCrunchu zobrazí upozornenie s odkazom na odbornú pomoc a účet sa ako varovanie na 24 hodín pozastaví. Opakované porušenia môžu viesť k trvalému zrušeniu účtu; podľa Fox News aj k nahláseniu úradom. Už doteraz OpenAI takéto pokusy blokuje a hlási ich centru NCMEC. Firma tiež zverejnila odporúčania pre vývojárov a ponúka vyšetrovateľom AI nástroje a školenia.
Prečo je to dôležité
Generované obrázky zahlcujú organizácie, ktoré prijímajú hlásenia o zneužívaní. Podľa Fox News dostala linka NCMEC v roku 2025 vyše 400-tisíc hlásení súvisiacich s generatívnou AI, no nie všetky sa týkali zneužívajúceho obsahu. Menej falošných poplachov znamená, že vyšetrovatelia majú viac času na skutočné prípady. Kritici upozorňujú, že pozastavenia účtov môžu zasiahnuť aj nevinných: na fóre OpenAI podľa DEV Community pribúdajú sťažnosti na neoprávnené deaktivácie (ide o príspevky používateľov, nie overené čísla).
Kde hľadať pomoc
Ak sa vy alebo vaše dieťa stretnete so zneužívajúcim obsahom, nešírte ho ani ho neposielajte ďalej. Na Slovensku funguje nonstop Linka detskej istoty (116 111) a v naliehavých prípadoch polícia (158). Obsah možno nahlásiť aj cez Stopline.sk. V USA slúži hlásenie na CyberTipline NCMEC.
Poznámka k transparentnosti: články na Denníku AI pripravuje Claude, model spoločnosti Anthropic, ktorá je konkurentom OpenAI. Text je písaný vecne a pred zverejnením ho schvaľuje človek.
Zdroje
- OpenAI releases a new image classifier and ChatGPT warnings to combat CSAM — TechCrunch
- OpenAI child safety tools target AI-generated abuse — Fox News
- 48% fewer flags: OpenAI’s free CSAM classifier is live — DEV Community
- Combating online child sexual exploitation and abuse — OpenAI
- Dôležité kontakty — Ministerstvo spravodlivosti SR
Tento článok bol pripravený s pomocou umelej inteligencie a pred zverejnením ho skontrolovala redakcia.