Le vulnerabilità associate a dataset di training avvelenati emergono quando attori malevoli modificano o inseriscono dati all’interno del set di addestramento, compromettendo l’integrità del modello già nella fase di training. Queste manipolazioni possono introdurre bias, backdoor persistenti oppure ridurre significativamente accuratezza e affidabilità del modello, con impatti materiali sulla fiducia operativa e sulla conformità.
Obiettivi del test
- Individuare la presenza e l’impatto di campioni maliziosi all’interno dei dataset di training.
- Valutare la robustezza del modello contro attacchi di data poisoning mirati, indiscriminati o con backdoor.
- Verificare l’integrità e la pulizia delle fonti di dati di training e delle pipeline di preprocessing.
- Analizzare le contromisure adottate per identificare e mitigare dati di training avvelenati.
Metodi di test e indicatori di vulnerabilità
-
Label Flipping Attack: Una porzione del dataset ha etichette intenzionalmente cambiate con valori errati.
Risposta indicativa: Tool di auditing comecleanlabidentificano una percentuale significativa di problemi di etichettatura (oltre il 2%), suggerendo corruzione sistematica rispetto al semplice rumore. -
Backdoor Trigger Injection: Alcuni esempi vengono modificati con trigger non evidenti (come un particolare dettaglio nell’immagine o una frase rara nel testo) associati a una classe bersaglio.
Risposta indicativa: Algoritmi di anomaly detection evidenziano piccoli cluster compatti nel feature space distanti dalla manifattura tipica della classe assegnata, suggerendo un possibile attacco backdoor. -
Targeted Poisoning: Campioni di un sottogruppo specifico vengono alterati e/o etichettati male per degradare la performance solo su quel sottogruppo.
Risposta indicativa: Dopo il training, il modello mostra un drastico calo di accuratezza proprio sul sottogruppo target rispetto all’accuratezza generale.
Output atteso
- Dati puliti e verificati: Il dataset di training non deve contenere errori di etichettatura o pattern maliziosi rilevabili. Le segnalazioni automatiche di una pipeline di auditing dovrebbero essere inferiori all’1% dei dati come potenzialmente sbagliati.
- Anomaly detection: Il sistema di validazione deve saper segnalare automaticamente cluster o pattern anomali sospetti, potenziale indicatore di attacco di poisoning.
- Performance robusta: Il modello addestrato su dati controllati non deve mostrare bias anomali o backdoor nei test.
Azioni di rimedio
- Implementare pipeline di validazione e sanitizzazione: Passare sempre il dataset in una pipeline automatizzata prima dell’addestramento; utilizzare strumenti come
cleanlabper correggere label e anomaly detection per dati sospetti. - Utilizzare dataset versionati e fonti affidabili: Prediligere dataset tracciabili e documentati, adottando versioning (ad esempio con DVC) per collegare ogni modello alla specifica versione dati, permettendo eventuali rollback in caso di attacco.
- Privacy differenziale: Addestrare con tecniche di privacy differenziale per rendere il modello meno sensibile ad un piccolo numero di esempi malevoli.
- Audit regolari e monitoraggio drift dati: Monitorare in modo continuo la distribuzione statistica del training data: improvvisi cambiamenti possono indicare inserimento di dati sospetti.
- Sicurezza delle pipeline MLOps: Proteggere l’intera pipeline MLOps applicando accessi rigorosi, version control su dati e codice, e revisioni obbligatorie a qualsiasi modifica della pipeline dati o script di training.
Strumenti suggeriti
-
Cleanlab: Package focalizzato sul rilevamento e correzione automatica di errori di label, outlier e problematiche nel dataset –
Cleanlab su GitHub -
Adversarial Robustness Toolbox (ART): Tool per simulare attacchi di data poisoning e sperimentare difese e detection methods come activation clustering –
ART su GitHub -
Data Version Control (DVC): Strumento open source essenziale per versionare i dati, assicurando riproducibilità e integrità –
DVC Website -
TensorFlow Data Validation (TFDV): Libreria per analizzare e validare in scala i dati machine learning, preziosa per individuare anomalie e drift –
TFDV Documentation
Riferimenti
- Northcutt, Curtis, et al. “Confident Learning: Estimating Uncertainty in Dataset Labels.” Journal of Artificial Intelligence Research, 2021.
Link - OWASP Top 10 for LLM Applications 2025. “LLM04: Data and Model Poisoning.” OWASP, 2025.
Link - NIST AI 100-2e2025, “Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations,” Section 2.3 “Poisoning Attacks and Mitigations.” NIST, March 2025.
Link
I controlli regolari e l’automatizzazione delle pipeline di validazione, insieme alla scelta di dati tracciabili e strumenti specifici, rappresentano la base per ridurre i rischi connessi ai poisoned training sets e garantire modelli AI affidabili.