IA, chatbot faticano a riconoscere video generati dall’intelligenza artificiale: il report
Report sugli errori dei chatbot
Il test condotto da NewsGuard mette in luce gravi limiti dei principali chatbot nel riconoscere i video generati dall’IA quando privi di watermark. Nel campione valutato, le clip create con Sora di OpenAI sono state scambiate per contenuti autentici nella quasi totalità dei casi, con percentuali di errore del 95% per Grok di xAI, del 92,5% per ChatGPT e del 78% per Gemini di Google. Le clip contenevano affermazioni false, selezionate dal database di disinformazione della società di monitoraggio.
Il dato più allarmante riguarda la sovrapposizione tra strumenti: la stessa OpenAI controlla sia il modello video Sora sia il chatbot ChatGPT, che tuttavia non riesce a riconoscere in modo affidabile i prodotti di “casa propria” quando il marchio visivo viene rimosso. Questo apre un problema di fiducia sugli strumenti di IA conversazionale presentati come supporto al fact-checking.
Il report evidenzia inoltre un altro punto critico: i sistemi raramente ammettono esplicitamente la propria incertezza. Nella grande maggioranza dei casi forniscono valutazioni sicure ma sbagliate, contribuendo al rischio che contenuti manipolati vengano rilanciati dagli utenti come se fossero genuini.
Watermark rimovibili e disinformazione
Il test parte da un elemento chiave: il watermark. Nei video prodotti da Sora, OpenAI applica un piccolo logo dinamico con la scritta “Sora”, concepito per rendere subito evidente l’origine artificiale del contenuto. In teoria questa filigrana digitale dovrebbe fungere da barriera minima contro l’uso disinformativo delle clip, permettendo anche agli utenti meno esperti di accorgersi della natura sintetica del video.
Nella pratica, però, sono sufficienti strumenti gratuiti online per cancellare quel marchio visivo. NewsGuard ha utilizzato uno di questi tool per rimuovere il logo da 20 video generati con l’IA, tutti contenenti dichiarazioni false. Ogni clip è stata poi sottoposta, sia con watermark sia senza, all’esame di Gemini, ChatGPT e Grok, chiedendo ai chatbot di stabilire se il video fosse stato creato da un sistema di intelligenza artificiale.
Con il watermark visibile, i tassi di riconoscimento migliorano, ma restano imperfetti: ChatGPT e Grok sbagliano rispettivamente nel 7,5% e nel 30% dei casi. Ancora più problematico è il comportamento comunicativo: ChatGPT dichiara di non poter rilevare contenuti IA solo nel 2,5% dei test, Gemini nel 10% e Grok nel 13%, segno che l’ammissione di limite è l’eccezione, non la regola.
La risposta europea e il progetto AI4TRUST
La difficoltà dei chatbot nel riconoscere video generati dall’IA si inserisce in un contesto già critico di disinformazione online, soprattutto in vista di elezioni, crisi internazionali e campagne coordinate di manipolazione. Per questo l’Unione Europea ha finanziato, tramite Horizon Europe, il progetto AI4TRUST, che punta a costruire una piattaforma anti-fake news basata su una stretta integrazione tra algoritmi e giornalismo di qualità.
La soluzione proposta non è delegare l’intero processo all’automazione, ma combinare strumenti di IA avanzata con il lavoro di redazioni, verificatori e fact-checker. Tra i partner del progetto figura anche Sky TG24, con il compito di testare sul campo l’efficacia degli strumenti in scenari reali di informazione e breaking news.
L’obiettivo è arrivare a sistemi in grado non solo di analizzare testi, immagini e video, ma anche di segnalare il livello di affidabilità della fonte, la probabile origine del contenuto e l’eventuale uso di tecniche generative. I risultati del test di NewsGuard mostrano quanto sia urgente un approccio multilivello, che includa norme, tecnologia, alfabetizzazione mediatica e responsabilità dei grandi player dell’IA.
FAQ
D: Cosa ha rilevato il test di NewsGuard sui video IA?
R: Ha mostrato che i principali chatbot sbagliano spesso nel riconoscere video generati dall’IA se privi di watermark.
D: Quali chatbot sono stati analizzati?
R: Sono stati testati Grok di xAI, ChatGPT di OpenAI e Gemini di Google.
D: Quanto spesso ChatGPT ha fallito il riconoscimento?
R: Secondo NewsGuard, ha sbagliato nel 92,5% dei casi con video Sora senza watermark.
D: Che ruolo ha il watermark nei video IA?
R: Funziona come filigrana digitale che segnala l’origine artificiale del contenuto, ma può essere rimosso.
D: I chatbot ammettono facilmente i loro limiti?
R: No, dichiarano raramente di non poter rilevare l’IA e forniscono spesso risposte sicure ma errate.
D: Cos’è il progetto AI4TRUST?
R: È un’iniziativa europea che sviluppa una piattaforma contro la disinformazione combinando IA e fact-checking umano.
D: Chi finanzia AI4TRUST?
R: Il progetto è sostenuto dal programma Horizon Europe dell’Unione Europea.
D: Qual è la fonte giornalistica del report citato?
R: I dati sulle performance dei chatbot provengono dall’analisi di NewsGuard, ripresa da testate come Sky TG24.
Our Fact Checking Process
We prioritize accuracy and integrity in our content. Here's how we maintain high standards:
- Expert Review: All articles are reviewed by subject matter experts.
- Source Validation: Information is backed by credible, up-to-date sources.
- Transparency: We clearly cite references and disclose potential conflicts.
Our Review Board
Our content is carefully reviewed by experienced professionals to ensure accuracy and relevance.
- Qualified Experts: Each article is assessed by specialists with field-specific knowledge.
- Up-to-date Insights: We incorporate the latest research, trends, and standards.
- Commitment to Quality: Reviewers ensure clarity, correctness, and completeness.
Look for the expert-reviewed label to read content you can trust.