La notizia in sintesi
- Università di Torino: test sulle istruzioni invisibili inserite nei PDF
- Gli attacchi influenzano valutazioni automatizzate di curriculum e paper
- Nei test, la manipolazione ha raggiunto un successo fino al 99%
- Una filigrana digitale rileva testi artificiali con accuratezza tra 87% e 97%
(Riassunto generato con AI)
PDF invisibili e modelli linguistici
Un team dell’Università di Torino ha mostrato come istruzioni nascoste nei documenti PDF possano condizionare i giudizi di modelli linguistici quali ChatGPT, Gemini e Claude. La ricerca riguarda attacchi di prompt injection indiretta: comandi non visibili a occhio nudo vengono integrati nei file e intercettati dai sistemi durante l’analisi automatizzata. Il risultato, emerso nei test condotti dai ricercatori torinesi, evidenzia un rischio concreto per procedure di revisione, selezione e classificazione documentale affidate all’intelligenza artificiale.
Il gruppo è composto da Federico Torrielli, Stefano Locci, Amon Rapp e Luigi Di Caro. Secondo quanto raccontato in una recente intervista da La Repubblica, il problema nasce dall’incapacità strutturale dei modelli generativi di separare con affidabilità i dati forniti in input dalle istruzioni operative. Per questo, un testo apparentemente ordinario può contenere direttive capaci di orientare la risposta dell’algoritmo senza che il lettore umano se ne accorga.
Come funziona la manipolazione dei giudizi
Nello studio dell’Università di Torino, le stringhe invisibili sono state inserite in articoli scientifici sottoposti alla valutazione dei modelli. L’attacco ha ottenuto un tasso di successo fino al 99%, portando il sistema ad assegnare giudizi di eccellenza a documenti manipolati e a trascurare parametri oggettivi di revisione. Il dato non descrive un semplice errore occasionale, ma segnala che il contenuto nascosto può prevalere sui criteri che il modello dovrebbe applicare.
Lo scenario è particolarmente rilevante nel recruiting automatizzato, dove gli agenti intelligenti vengono usati per selezionare grandi quantità di candidature. Un candidato potrebbe inserire nel layout del curriculum istruzioni testuali destinate al modello, ordinandogli di classificare quel profilo come ideale per l’assunzione. In questo caso, il rischio non riguarda soltanto la qualità della selezione: riguarda la verificabilità del processo con cui è stata presa una decisione.
La stessa criticità si estende all’analisi di cartelle cliniche e referti sanitari. Se un sistema riceve documentazione alterata da comandi invisibili, l’interpretazione del materiale può risultare compromessa. La ricerca richiama quindi l’esigenza di controlli rigorosi sui dati provenienti da fonti terze prima che un modello linguistico venga impiegato in flussi decisionali sensibili.
La difesa passa dal controllo degli input
Il team torinese propone anche una contromisura basata su sequenze di caratteri non visibili incorporate nei testi generati artificialmente. La filigrana digitale serve a tracciare l’origine sintetica degli elaborati e, nei test riportati, ha registrato un’accuratezza di rilevamento compresa tra l’87% e il 97%.
La conseguenza più rilevante è operativa: la sicurezza dei processi automatizzati dipenderà dalla capacità di intercettare le alterazioni prima dell’analisi del modello. Delegare valutazioni critiche a sistemi che trattano input non verificati espone organizzazioni e utenti a risultati difficili da controllare e correggere.
FAQ
Chi ha condotto lo studio sui PDF?
Sì. La ricerca è stata svolta da Federico Torrielli, Stefano Locci, Amon Rapp e Luigi Di Caro dell’Università di Torino.
Quali modelli sono vulnerabili all’attacco?
Sì. Lo studio cita ChatGPT, Gemini e Claude come modelli vulnerabili alle istruzioni indirette nascoste nei documenti digitali.
Quanto è efficace la prompt injection invisibile?
Sì. Nei test su articoli scientifici manipolati, l’inserimento di comandi invisibili ha raggiunto un tasso di successo fino al 99%.
Quali processi risultano più esposti?
Sì. Recruiting automatizzato, revisione di paper e analisi di cartelle cliniche sono contesti esposti quando i modelli elaborano documenti da fonti terze.
Come è stata verificata questa analisi?
Sì. Il contenuto nasce da un’analisi approfondita e da una verifica incrociata condotta dalla nostra Redazione su numerose fonti, tra cui Hardware Upgrade.
