La threat modeling per sistemi generative AI e LLM consiste nell’analizzare in modo sistematico la superficie d’attacco dei modelli per individuare potenziali modalità di compromissione. Questa attività include la comprensione dei contesti socio-culturali, regolatori ed etici, oltre agli aspetti tecnici strettamente legati ai modelli e alle loro interazioni.
Riferimenti e quadri di riferimento per la threat modeling
Il NIST AI 600-1, MITRE ATLAS e STRIDE offrono punti di partenza per attività di threat modeling. Il NIST si distingue per la solidità nella definizione di rischi, fonti e obiettivi di attacco; MITRE ATLAS mappa scenari reali di attacchi ai modelli; STRIDE è meno adatto ad affrontare temi come bias, CBRN, CSAM o NCII, che invece il framework NIST RMF include tra le sfide specifiche della red team AI rispetto ai tradizionali penetration test.
Ulteriori indicazioni consolidate provengono da msft-tm-ai-ml.
Processo raccomandato e differenze rispetto al software tradizionale
La threat modeling implica:
- Modellare l’architettura del sistema.
- Individuare ed elencare le minacce.
- Stabilire le mitigazioni.
- Validare e migliorare il modello iterativamente.
Rispetto ai software tradizionali, i modelli AI e ML si distinguono per l’imprevedibilità, soprattutto in condizioni limite o sotto attacco avversariale. La threat modeling deve quindi considerare sia il modello che tutta la supply chain e le dipendenze: raccolta e storage dei dati, fasi di addestramento e test, deployment e monitoraggio.
Contesti e livelli di analisi per la threat modeling AI
L’analisi dovrebbe applicare contesti sociali, politici e culturali agli scenari avversariali più comuni. Solo integrando questi livelli si riescono a valutare sia le vulnerabilità tecniche che l’eventuale impatto in ambienti diversi o all’interno di comunità specifiche. Questo approccio stratificato permette di definire difese su misura.
Esempi di attacco e scenari pratici
- Prompt injection: un utente può sfruttare input malevoli per superare le salvaguardie dell’LLM, come una richiesta costruita appositamente per far eseguire all’applicazione comandi non previsti. Mitigazioni possibili includono validazione degli input, filtri contestuali e sandboxing delle risposte.
- Manipolazioni deepfake: l’attaccante sfrutta GAN, Diffusion Models e LLM per creare audio o video fittizi, ad esempio imitando la voce di un responsabile per indurre la vittima a trasferire fondi o inoltrare dati sensibili. Contromisure: protocolli sicuri di verifica di voce/video e formazione dei dipendenti.
- Vulnerabilità RAG: un attore malevolo invia una recensione o contenuto con link di phishing o malware. Se l’LLM integra questi dati nelle risposte, la vittima può essere indotta a visitare siti dannosi. Serve validazione dei contenuti e moderazione attenta.
- Generazione di codice malevolo: l’LLM può suggerire codice con una backdoor. La verifica continua del codice restituito e la conoscenza dei limiti dell’LLM sono fondamentali per prevenire rischi.
Componenti e superfici di attacco da analizzare
- Architettura e flussi dati del modello
- Raccolta, storage, training e test dei dati
- Canali di deployment e monitoraggio
- Tutte le interfacce tra modelli, dati e utenti
Approccio e benefici della threat modeling AI multilivello
Ogni applicazione opera con asset, architettura e base utenti propri. Integrare la threat modeling con test “red team” di matrice tecnica e sociale permette di bilanciare supervisione, mitigazione dei bias e valutazione di rischi sistemici. Le misure di sicurezza risultano così maggiormente aderenti alle reali esigenze dell’organizzazione.
Riepilogo
La threat modeling per sistemi generative AI e LLM valuta minacce tecniche e contesti d’uso socio-culturali, individua attacchi come prompt injection, deepfake, vulnerabilità RAG e codice malevolo, e indica come mitigare tramite validazione input/output, protocolli di verifica, moderazione contenuti e audit continuo dell’output.