La notizia in sintesi
- Katie Paxton-Fear ha mostrato una vulnerabilità nei modelli AI open-weight.
- L’attacco avrebbe richiesto meno di un’ora e meno di 100 dollari.
- Dieci esempi alterati avrebbero introdotto codice esposto a esecuzione remota.
- La trasparenza dei pesi non garantisce controllo sui comportamenti del modello.
(Riassunto generato con AI)
Modelli open-weight, il test di Katie Paxton-Fear
Katie Paxton-Fear, ricercatrice di cybersicurezza presso Semgrep, ha dimostrato che i modelli di intelligenza artificiale open-weight scaricabili e utilizzabili localmente possono essere manipolati con relativa facilità. Secondo quanto riportato da Futurism, che cita The Register, il test è stato completato in meno di un’ora con una spesa inferiore a 100 dollari. L’obiettivo dell’esperimento era verificare quanto pochi dati di addestramento malevoli siano necessari per alterare il comportamento di un modello.
La ricercatrice avrebbe inserito dieci esempi di materiale avvelenato nel processo di training, inducendo il sistema a generare nuovo codice esposto all’esecuzione remota di codice. Questa vulnerabilità può consentire a un aggressore di eseguire istruzioni sulla macchina della vittima. Paxton-Fear ha definito il risultato un vero accesso nascosto: “I did a proper backdoor”.
Come funziona il rischio dei dati avvelenati
Una backdoor in un modello AI consiste nell’introdurre associazioni nascoste durante l’addestramento, affinché specifiche frasi o condizioni attivino un comportamento prestabilito. Il modello può quindi apparire normale fino al momento in cui viene richiamato il segnale inserito dall’attaccante. Il problema non riguarda soltanto errori visibili o malfunzionamenti: una manipolazione può restare silente e influenzare decisioni o output difficili da verificare.
La fragilità emersa nel test si inserisce in un quadro già segnalato dalla ricerca. Lo scorso anno Anthropic, insieme al UK AI Security Institute e all’Alan Turing Institute, aveva indicato che modelli piccoli e grandi possono risultare vulnerabili ad attacchi condotti con poche centinaia di documenti. Il dato suggerisce che la compromissione possa restare economicamente accessibile.
I modelli open-weight sono spesso apprezzati perché offrono maggiore controllo rispetto ai sistemi chiusi utilizzati da chatbot come ChatGPT e Claude, oltre a poter ridurre i costi d’uso. Tuttavia, la disponibilità dei pesi non equivale alla piena conoscenza dei dati di training o del codice impiegato. Per i ricercatori di Semgrep, anche un modello con pesi pubblici può restare una scatola nera sotto il profilo della prevedibilità.
La sicurezza AI richiede verifiche oltre i benchmark
La conseguenza più rilevante è che le pratiche consolidate per il software non sono automaticamente trasferibili ai modelli linguistici di grandi dimensioni. Un programma binario può essere analizzato con strumenti di reverse engineering; per i modelli AI, secondo Semgrep, non esiste ancora una capacità comparabile di descriverne integralmente il comportamento. La complessità degli LLM e la novità del settore rendono più difficile individuare attacchi sofisticati.
Paxton-Fear solleva quindi un punto operativo: benchmark e semplici istruzioni a non generare codice insicuro potrebbero non bastare per valutare l’affidabilità di modelli open-weight rifiniti online. Un modello compromesso non deve necessariamente rompersi per produrre rischio aziendale: può influenzare risultati e decisioni senza segnali immediatamente rilevabili.
FAQ
Chi ha condotto il test sui modelli open-weight?
Sì, il test è stato condotto da Katie Paxton-Fear, ricercatrice di cybersicurezza presso Semgrep, secondo la ricostruzione riportata da Futurism.
Quanto è costato l’attacco dimostrato?
Sì, l’esperimento avrebbe richiesto una spesa inferiore a 100 dollari e meno di un’ora, secondo quanto riferito da The Register.
Quanti esempi alterati sono stati utilizzati?
Sì, sono stati usati dieci esempi di materiale avvelenato, sufficienti a indurre il modello a produrre codice vulnerabile all’esecuzione remota.
Cosa rende pericolosa una backdoor AI?
Sì, una backdoor può restare inattiva e attivarsi tramite frasi o condizioni nascoste, orientando il comportamento del modello senza risultare immediatamente visibile.
Su quali fonti si basa questa analisi?
Sì, il contenuto nasce da un’analisi approfondita e da una verifica incrociata della nostra Redazione su numerose fonti, tra cui Futurism.
