OpenAI lancia un tool per rilevare contenuti di abuso su minori via API

OpenAI ha annunciato un nuovo strumento per il rilevamento dei contenuti di abuso sessuale su minori, con l’obiettivo di rafforzare la sicurezza online e offrire un supporto più efficace alle attività di moderazione.

La novità unisce un classificatore di immagini inedito a nuove misure di intervento dentro ChatGPT. L’approccio non si limita quindi all’identificazione dei materiali illeciti, ma punta anche a interrompere comportamenti dannosi, segnalare le conseguenze agli utenti coinvolti e indirizzarli verso forme di aiuto.

OpenAI 推出儿童性虐待内容检测工具,加强儿童网络安全防护

Il nuovo sistema di OpenAI punta a migliorare precisione e priorità nella moderazione

Il cuore del progetto è un nuovo classificatore di immagini progettato per individuare potenziali contenuti di abuso sessuale su minori attraverso l’analisi delle caratteristiche visive associate a questo tipo di materiale.

Oltre al rilevamento, il sistema assegna un punteggio ai contenuti individuati, così da aiutare i moderatori a stabilire quali casi meritano attenzione immediata. OpenAI indica anche un miglioramento concreto sul piano operativo: rispetto alle protezioni già in uso, il nuovo strumento riduce del 48% il numero di immagini segnalate per errore.

Nel lavoro di sviluppo, addestramento e distribuzione è stato coinvolto anche il National Center for Missing and Exploited Children, organizzazione statunitense già attiva su questo fronte. Il supporto di un soggetto specializzato suggerisce che OpenAI stia cercando di costruire uno strumento utile non solo in teoria, ma anche nelle procedure reali usate da enti investigativi e team di sicurezza.

ChatGPT aggiunge avvisi dedicati e sospensioni temporanee per le richieste illecite

OpenAI estende la strategia anche a ChatGPT con un nuovo meccanismo di avviso pensato per intercettare richieste legate alla ricerca di materiale di abuso. In questi casi il sistema interrompe l’azione, spiega le possibili conseguenze e propone indicazioni per fermare il comportamento dannoso. È un passaggio importante perché sposta la risposta dall’analisi del solo contenuto alla prevenzione dell’intento.

Sul fronte enforcement, un utente che formula questo tipo di richieste vedrà il proprio account sospeso per 24 ore. In caso di violazioni ripetute, le restrizioni possono diventare più lunghe fino al blocco permanente o alla segnalazione alle autorità competenti.

La collaborazione con Anthropic e Google allarga il tema alla sicurezza dell’intero settore

Parallelamente al lancio del nuovo strumento, OpenAI ha lavorato con Anthropic e Google alla definizione di linee guida su come gestire nei sistemi di intelligenza artificiale le situazioni che coinvolgono sfruttamento e violenza sessuale sui minori. Il documento è stato pubblicato da Tech Coalition e punta a offrire indicazioni pratiche agli sviluppatori chiamati a trattare scenari particolarmente sensibili.

Il dato più rilevante è che la nuova iniziativa viene proposta come infrastruttura utilizzabile via API e non come semplice funzione interna. Questo rende il progetto interessante anche sul piano tecnico, perché può diventare un tassello concreto per piattaforme, servizi di moderazione e organizzazioni specializzate che hanno bisogno di strumenti più affidabili senza dover costruire tutto da zero.

Condividi con i tuoi amici

Lascia una risposta

Il tuo indirizzo email non sarà pubblicato. I campi obbligatori sono contrassegnati *

Questo sito utilizza Akismet per ridurre lo spam. Scopri come vengono elaborati i dati derivati dai commenti.

Verified by ExactMetrics

Privacy e contenuti esterni

Puoi autorizzare i servizi esterni. Le nuove autorizzazioni si applicano subito; dopo una revoca la pagina viene ricaricata.

Leggi l'informativa sulla privacy