La notizia in sintesi
- OpenAI presenta GPT-Red, modello interno per testare le difese dei sistemi AI.
- Il progetto punta a ridurre gli attacchi di prompt injection contro GPT-5.6.
- Il modello simula attacchi su email, siti, file, codice e altri agenti.
- GPT-Red non sarà distribuito pubblicamente per ragioni di sicurezza.
Riassunto generato con AI
OpenAI usa GPT-Red per rafforzare GPT-5.6
OpenAI ha illustrato GPT-Red, un modello linguistico interno progettato per individuare e simulare attacchi contro altri sistemi AI, in particolare le prompt injection. Il progetto, descritto nei dettagli diffusi il 16 luglio, è stato impiegato negli ambienti di test dell’azienda per addestrare e rendere più resistente GPT-5.6, modello che non sarà affiancato da una versione pubblica di GPT-Red.
L’obiettivo è anticipare le tecniche con cui istruzioni ostili, nascoste in email, pagine web, repository o file, possono deviare un agente AI dalle richieste legittime dell’utente. Per OpenAI, l’esigenza cresce con la diffusione di modelli capaci di interagire con risorse esterne, codice e dati potenzialmente riservati.
Il sistema automatizza una parte del red teaming, attività finora affidata soprattutto a specialisti umani: cerca falle prima che il modello definitivo venga distribuito e consente ai difensori di correggere comportamenti vulnerabili.
Come funziona lo sparring partner artificiale
GPT-Red è stato addestrato con self-play reinforcement learning: un modello attaccante e più modelli difensivi affrontano simultaneamente un ampio insieme di scenari. L’attaccante riceve una ricompensa quando provoca un errore valido, mentre i difensori vengono premiati se respingono l’iniezione e completano il compito originario.
Il confronto iterativo alza progressivamente il livello: difese più robuste costringono l’attaccante a cercare metodi nuovi e diversificati. Secondo Nikhil Kandpal, ricercatore di OpenAI, “la superficie di rischio cresce, e con essa cresce anche il raggio dei danni possibili”.
Gli scenari hanno incluso navigazione web, lettura di email e calendari, modifica di codice e interazioni con agenti. OpenAI afferma di aver dedicato al progetto alcune delle maggiori sessioni di calcolo mai usate per la sicurezza dei modelli; il lavoro di un team dedicato sarebbe durato oltre un anno.
Nei test dichiarati dall’azienda, gli attacchi più efficaci di GPT-Red superavano il 90% contro GPT-5, mentre contro GPT-5.6 la quota scendeva sotto il 23%. Gli esempi citati comprendono tentativi di esfiltrare credenziali AWS, eseguire pagamenti o disattivare l’autenticazione a due fattori.
Dylan Hunn, tra gli autori del progetto, sostiene che il modello riesca a riconoscere con precisione ciò che rende efficace un attacco e a insistere sulle vulnerabilità trovate. Questa capacità ha portato anche alla cosiddetta fake chain of thought, una tecnica che inserisce informazioni false nei passaggi intermedi di ragionamento del bersaglio.
Limiti, supervisione umana e prossimi sviluppi
Il risultato non elimina il ruolo dei tester umani. GPT-Red, secondo quanto riportato, incontra difficoltà negli attacchi che richiedono conversazioni prolungate e non è ancora efficace nel nascondere istruzioni dentro le immagini.
Jessica Ji, analista di sicurezza dell’IA al CSET della Georgetown University, considera promettente l’impostazione basata sul gioco contro se stesso, ma rileva che l’esperienza umana continua a individuare elementi sfuggiti al modello.
La scelta di non rilasciare GPT-Red riflette il rischio che uno strumento simile venga usato per dirottare agenti reali. OpenAI prevede di aumentare calcolo e dati nelle future versioni, con l’obiettivo di usare gli attaccanti di oggi per rafforzare i modelli di domani.
FAQ
Che cos’è GPT-Red di OpenAI?
Sì, è un modello interno di OpenAI addestrato a simulare attacchi contro sistemi AI e a trovare vulnerabilità prima della distribuzione pubblica.
GPT-Red sarà disponibile al pubblico?
No, OpenAI ha deciso di non distribuirlo pubblicamente per evitare che le sue capacità possano facilitare attacchi contro agenti e modelli AI.
Quale modello protegge GPT-Red?
Sì, GPT-Red è stato usato per addestrare GPT-5.6 contro le prompt injection, rendendolo più resistente agli attacchi generati dal modello avversario.
Quali attacchi può simulare GPT-Red?
Sì, può cercare istruzioni ostili in email, pagine web, file, repository e codice, inclusi tentativi di esfiltrazione credenziali, pagamenti non autorizzati e disattivazione della verifica a due fattori.
Come sono state verificate queste informazioni?
Sì, il contenuto nasce da un’analisi approfondita e da una verifica incrociata della nostra Redazione su più fonti: Hardware Upgrade e punto-informatico.it.
