Cosa è successo
Alcuni ricercatori di Microsoft hanno dimostrato che un modello di intelligenza artificiale può ricevere una backdoor nascosta intervenendo su meno di dieci dei suoi neuroni, scelti tra quelli usati raramente. L'operazione non richiede un nuovo addestramento: si modificano direttamente i pesi del modello.
Quando nell'input compare un innesco (trigger) scelto dall'attaccante, il modello produce un comando deciso dall'attaccante. Se il modello alimenta un agente AI che esegue azioni, quel comando viene eseguito con i permessi dell'agente stesso. Non servono quindi vulnerabilità nel software dell'agente: è sufficiente che il modello sia compromesso.
La condizione indispensabile è che l'attaccante possa modificare i pesi. La fonte disponibile è un riassunto e non descrive nel dettaglio i modelli testati né i risultati numerici; qui si riportano solo gli elementi confermati.
Perché è importante
Il punto centrale è la provenienza del modello. Chi scarica pesi da un repository pubblico, da un mirror o da un fornitore terzo, oppure usa una versione ottimizzata (fine-tuned o quantizzata) da altri, si affida a un artefatto che non può ispezionare facilmente. Alterare meno di dieci neuroni lascia il comportamento ordinario quasi invariato, quindi i normali test funzionali possono non rilevare nulla. Il comportamento anomalo emerge solo con l'innesco.
Il rischio cresce con gli agenti, che hanno accesso a shell, repository, API e credenziali. Un output malevolo diventa un'azione reale con privilegi legittimi, e nei log appare come attività normale dell'agente. È lo stesso schema delle altre compromissioni della catena di fornitura, come quella descritta nel nostro articolo su bee-js e Swarm Desktop: l'artefatto sembra affidabile ma non lo è.
Va ricordato il limite: l'attacco non è un accesso remoto, richiede di poter intervenire sui pesi. Il perimetro è quindi quello di chi gestisce, distribuisce o scarica modelli, non di chi usa un servizio ospitato dove i pesi restano al fornitore.
Cosa fare
Le misure seguenti sono buone pratiche di mitigazione generali, non indicazioni tratte dalla ricerca.
- Inventario dei modelli: censire quali modelli e quali versioni sono in uso, da dove provengono e chi li ha modificati.
- Fonti attendibili: scaricare pesi solo da publisher verificabili e preferire fornitori che offrono firme digitali o attestazioni di provenienza.
- Integrità degli artefatti: registrare gli hash dei file dei pesi al momento dell'approvazione e controllarli a ogni distribuzione; bloccare l'accesso in scrittura ai repository interni dei modelli e tracciare ogni modifica.
- Evitare modelli di terzi non verificati per agenti con privilegi elevati, inclusi derivati, merge e versioni quantizzate di origine incerta.
- Minimo privilegio per gli agenti: limitare strumenti, permessi e credenziali disponibili; usare account dedicati e a breve durata.
- Approvazione umana per comandi sensibili (esecuzione di shell, scritture, accessi a segreti, richieste di rete) e allowlist dei comandi consentiti.
- Isolamento: eseguire gli agenti in sandbox o container con rete limitata, così che un comando indesiderato abbia un impatto contenuto.
- Monitoraggio: registrare i comandi generati dagli agenti e segnalare quelli fuori profilo o non correlati al compito richiesto.
- Valutazione prima dell'adozione: affiancare ai test funzionali verifiche di sicurezza sul modello, consapevoli che non garantiscono l'assenza di trigger nascosti.
Conviene seguire le pubblicazioni originali di Microsoft per eventuali contromisure di rilevamento specifiche.