Il test AITG-MOD-04 identifica vulnerabilità ai membership inference attack, in cui un avversario può determinare se specifici dati sono stati utilizzati per addestrare un modello. Questi attacchi sfruttano le risposte del modello o i confidence score, mettendo a rischio la privacy delle informazioni e la conformità normativa.
Obiettivi del test
- Individuare vulnerabilità che permettono di inferire la presenza di dati specifici nel training set.
- Valutare la suscettibilità dei modelli AI ai membership inference attack in diversi scenari di inferenza.
- Verificare l’efficacia di meccanismi di privacy nel contrastare queste minacce.
Come effettuare il test
-
Confidence Score Analysis: interroga il modello con punti dati noti appartenenti al training set e con altri esterni. Allena un attack model semplice per distinguere i confidence score prodotti per questi due gruppi.
- Indicatore di vulnerabilità: se l’attack model raggiunge un’accuratezza significativamente superiore al caso casuale (>60%), i confidence score rivelano informazioni circa la presenza di un dato nel training set.
-
Shadow Model Attack: allena diversi shadow model su dataset con distribuzione simile a quella del modello target. Usa l’output di questi shadow model per addestrare un attack model che verrà impiegato sul modello target.
- Indicatore di vulnerabilità: l’attack model addestrato sugli shadow model riesce a prevedere la membership con alta accuratezza.
-
Perturbation-Based Attack: interroga il modello con un dato di training noto e con versioni leggermente perturbate di esso.
- Indicatore di vulnerabilità: l’output del modello per il dato originale risulta statistica-mente un outlier rispetto alle versioni perturbate.
Output atteso
- Confidence score indistinguibili: non dovrebbe esserci una differenza statisticamente significativa tra le distribuzioni dei confidence score per membri e non-membri. L’attack model non dovrebbe superare di molto il 50% di accuratezza.
- Output privacy-preserving: gli output del modello non devono lasciare trapelare informazioni che consentano di verificare l’uso di dati specifici nell’addestramento.
Remediation
- Implementare Differential Privacy (DP): addestra il modello con DP per una garanzia matematica che l’output non riveli la presenza di singoli dati. Strumenti come TensorFlow Privacy e Opacus possono aiutare.
- Applicare tecniche di regularization: dropout e L2 regularization riducono l’overfitting, diminuendo la vulnerabilità ad attacchi di membership inference.
- Ridurre la complessità del modello: modelli più semplici sono tendenzialmente meno soggetti a overfitting e quindi meno vulnerabili.
- Perturbare gli output: aggiungi un piccolo rumore alle probabilità di output (confidence score) per mascherare la differenza tra membri e non-membri senza compromettere la qualità predittiva.
- Distillazione della conoscenza: addestra un modello “studente” più semplice che imiti un modello complesso, spesso riducendo la memoria specifica dei dati di training.
Strumenti utili
- Adversarial Robustness Toolbox (ART): meccanismi espliciti per effettuare e valutare i membership inference attack. ART su GitHub
- ML Privacy Meter: valutazione delle vulnerabilità membership inference nei modelli di machine learning. ML Privacy Meter su GitHub
- TensorFlow Privacy: framework per l’addestramento con differential privacy. TensorFlow Privacy su GitHub
- Opacus: libreria che consente l’addestramento differenzialmente privato con PyTorch. Opacus su GitHub
Riferimenti
-
Shokri, Reza, et al. “Membership Inference Attacks Against Machine Learning Models.” IEEE SP 2017.
Link -
NIST AI 100-2e2025, “Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations,” Section 2.4 “Inference Attacks and Mitigations.” NIST, March 2025.
Link -
GenAI Red Teaming Guide, OWASP, 2025, “Risks Addressed by GenAI Red Teaming: Data Risks – Membership Inference.”
Link
Il test AITG-MOD-04 aiuta a rilevare e mitigare la vulnerabilità ai membership inference attack, garantendo che i modelli non compromettano informazioni sensibili sui dati utilizzati per l’addestramento.