Google svela la falla che ha permesso app deepfake erotiche sugli store

Indice dei Contenuti:
Google, Apple hosted dozens of deepfake nudify apps, investigation reveals
Indagine sui marketplace digitali
L’inchiesta del Tech Transparency Project, iniziativa di ricerca della nonprofit Campaign for Accountability, ha rivelato la presenza massiccia di app capaci di rimuovere digitalmente i vestiti dalle persone nelle piattaforme di Google Play Store e Apple App Store. Questi strumenti sfruttano sistemi di intelligenza artificiale generativa per creare immagini sessualizzate non consensuali, trasformando foto apparentemente innocue in veri e propri deepfake abusivi.
Secondo i dati raccolti da TTP e dall’azienda di analisi AppMagic, sono state individuate 55 applicazioni su Google Play e 47 su Apple, per un totale di oltre 705 milioni di download in tutto il mondo. Le stesse app avrebbero generato circa 117 milioni di dollari di ricavi, su cui i due colossi tecnologici trattengono una quota, risultando quindi economicamente beneficiari di un ecosistema che facilita la produzione di contenuti lesivi della dignità e della privacy.
Le policy ufficiali di entrambe le piattaforme vietano espressamente i contenuti pornografici non consensuali e gli strumenti che facilitano molestie, ricatti o violenza digitale. L’ampiezza del fenomeno, tuttavia, dimostra che i sistemi automatici di moderazione, revisione delle app e controllo degli aggiornamenti non sono riusciti a intercettare tempestivamente questi servizi, spesso mascherati da filtri fotografici “per adulti” o da generatori di immagini “per scherzo”.
Reazioni delle big tech e rischi per le vittime
Dopo la pubblicazione del report, Apple ha comunicato a CNBC di aver rimosso 28 applicazioni segnalate dal TTP, mentre Google ha dichiarato di aver “sospeso diverse app” e di avere ancora indagini interne in corso. Le due società sostengono di essere impegnate nella sicurezza degli utenti, ma la ricerca segnala lacune strutturali nel controllo preventivo e nel monitoraggio di contenuti e modelli di business basati sull’abuso delle immagini personali.
Gli esperti di diritti digitali sottolineano che questi strumenti amplificano il fenomeno della violenza online, in particolare contro donne e minori. Una singola immagine rubata o condivisa ingenuamente può essere trasformata in materiale sessuale falso e diffusa in pochi minuti in chat, social network e siti pornografici, con conseguenze psicologiche devastanti, rischio di estorsioni e danni permanenti alla reputazione.
L’indagine richiama inoltre la necessità di standard più severi nelle procedure di revisione delle app, controlli ex post più incisivi, audit indipendenti sugli algoritmi di raccomandazione degli store e canali di segnalazione rapidi per rimozioni effettive. Senza queste misure, i marketplace restano un vettore privilegiato per la monetizzazione industriale dei deepfake sessuali e della cosiddetta “nudificazione” non consensuale.
Connessioni con altri casi e scenari futuri
Il report arriva mentre cresce la pressione internazionale su piattaforme di intelligenza artificiale come Grok, sviluppata da xAI di Elon Musk, accusata di generare immagini sessualizzate non consensuali. Un’indagine giornalistica di Mashable ha evidenziato la mancanza di barriere di sicurezza robuste contro i deepfake espliciti e ha stimato, in un periodo di 11 giorni tra il 29 dicembre e l’8 gennaio, oltre 3 milioni di immagini sessuali prodotte, di cui più di 20.000 sembravano raffigurare minori.
Gli analisti sottolineano che lo sviluppo accelerato di modelli generativi rende obsoleti i tradizionali meccanismi di moderazione: limitarsi a rimuovere singole app o singoli modelli non è più sufficiente. Servono requisiti di trasparenza sugli algoritmi, obblighi di valutazione d’impatto sui diritti fondamentali, limiti chiari alla possibilità di manipolare foto di persone reali e responsabilità più nette per chi distribuisce, promuove o monetizza questi servizi.
Organizzazioni per la tutela delle vittime chiedono, inoltre, norme che riconoscano esplicitamente i deepfake sessuali come forma di violenza digitale, con percorsi di denuncia semplificati, tempi rapidi di rimozione, sostegno psicologico e procedure efficaci per ridurre la circolazione delle immagini clonata su piattaforme e motori di ricerca.
FAQ
D: Cosa ha scoperto esattamente il Tech Transparency Project?
R: Ha individuato oltre 100 app capaci di creare immagini “nudificate” non consensuali, ospitate negli store di Google e Apple, con centinaia di milioni di download.
D: Perché queste app violano le regole degli store?
R: Perché producono contenuti sessuali non consensuali e favoriscono molestie, ricatti e violenza online, in contrasto con le policy ufficiali delle piattaforme.
D: Qual è il ruolo economico di Google e Apple in questo fenomeno?
R: Incassano una percentuale dei ricavi generati dalle app, risultando quindi beneficiari indiretti di attività basate su deepfake abusivi.
D: Come hanno reagito Apple e Google al report?
R: Apple ha rimosso 28 applicazioni segnalate, mentre Google ha sospeso diversi servizi e ha dichiarato che le verifiche sono ancora in corso.
D: Quali sono i rischi principali per le vittime?
R: Danni alla reputazione, traumi psicologici, potenziali ricatti economici e diffusione incontrollabile delle immagini su social e siti pornografici.
D: Che legame c’è con la piattaforma Grok di xAI?
R: Le rivelazioni su Grok mostrano un ecosistema più ampio di strumenti IA capaci di generare contenuti sessualizzati non consensuali, con controlli insufficienti.
D: Qual è la fonte giornalistica originale citata?
R: Le informazioni sull’indagine e su Grok provengono da un articolo di Tim Marcin pubblicato su Mashable, che riporta i dati del Tech Transparency Project.
D: Cosa possono fare le piattaforme per prevenire nuovi casi?
R: Rafforzare la revisione delle app, imporre limiti tecnici ai modelli, collaborare con ricercatori indipendenti e adottare procedure di rimozione rapide e verificabili.




