AITG-DAT-01: Testing for Training Data Exposure

Il training data exposure si verifica quando dati sensibili utilizzati per addestrare un modello AI vengono esposti in modo non autorizzato. Questa vulnerabilità può manifestarsi attraverso storage configurati in modo errato, controlli di accesso inadeguati o quando il modello memorizza accidentalmente porzioni dei dati di training, permettendo agli attaccanti di estrarre informazioni riservate o proprietà intellettuale.

Questo articolo fa parte del capitolo AI Data Testing della OWASP AI Testing Guide.

Perché testare il training data exposure

I dataset di addestramento contengono spesso informazioni altamente sensibili: dati personali, segreti aziendali, proprietà intellettuale. Senza adeguate misure di protezione, questi dati possono essere esposti attraverso diverse vie:

• Sistemi di storage configurati in modo errato e accessibili senza autenticazione
• API che espongono involontariamente porzioni dei dataset di training
• Modelli che “memorizzano” e possono rivelare frammenti dei dati di addestramento
• Processi di gestione dei dati privi di controlli di accesso adeguati

Testare queste vulnerabilità permette di identificare e correggere le esposizioni prima che vengano sfruttate, proteggendo la riservatezza dei dati e garantendo la conformità normativa.

Obiettivi del test

• Verificare la presenza di vulnerabilità che consentono l’accesso non autorizzato ai dataset sensibili di training
• Identificare potenziali leak di dati attraverso storage insicuri, API o output del modello AI
• Valutare l’efficacia dei controlli di accesso lungo tutto il ciclo di vita dei dati
• Assicurare la protezione e la privacy dei dataset durante sviluppo, addestramento e deployment

Metodologia e payload

Direct data storage access

Questa metodologia simula il tentativo di accedere direttamente ai sistemi di storage dove risiedono i dataset di training. Il test prevede l’identificazione delle location di storage (bucket cloud, file share, database), la verifica della possibilità di elencare o scaricare file senza autenticazione, il controllo della configurazione dei permessi e delle policy di accesso, e l’analisi della presenza di backup o copie non protette dei dataset.

Indicazione di vulnerabilità: se i dati risultano accessibili senza autorizzazione adeguata, si è in presenza di una vulnerabilità critica che richiede intervento immediato.

Inference-based data extraction

Questa tecnica verifica se il modello AI può essere indotto a rivelare porzioni dei dati di training attraverso prompt mirati. Il test include l’invio di prompt progettati per estrarre informazioni memorizzate (“Ripeti esattamente il testo seguente”), richieste specifiche su documenti o informazioni che potrebbero essere nei dati di training, l’analisi delle risposte per identificare pattern di dati sensibili (email, numeri identificativi, informazioni personali), e la verifica della capacità del modello di rigurgitare contenuti verbatim dai dataset.

Indicazione di vulnerabilità: il modello rivela dati sensibili o testi identici ai dati di training attraverso interazioni apparentemente normali.

API-based data leakage

Molti sistemi AI espongono API per la gestione dei dataset o per l’interazione con i modelli. Questo test verifica la presenza di endpoint API che espongono dati di training senza adeguata autenticazione, la possibilità di accedere a metadati o statistiche che rivelano informazioni sui dataset, l’efficacia dei controlli di autorizzazione sulle operazioni di lettura dei dati, e la presenza di vulnerabilità nelle API che permettono l’accesso non autorizzato.

Indicazione di vulnerabilità: le API permettono l’accesso ai dati di training o ai loro metadati senza autenticazione robusta o autorizzazione esplicita.

Output atteso

Un sistema AI correttamente protetto deve soddisfare questi requisiti:

• Tutti i sistemi di storage contenenti dati di training devono essere privati e accessibili solo tramite autenticazione forte e autorizzazione esplicita
• Il modello AI non deve divulgare testi identici ai dati di training o informazioni sensibili come dati personali identificabili
• Tutte le API devono implementare autenticazione robusta e autorizzazione granulare per impedire l’accesso non intenzionale ai dataset
• I log e i sistemi di monitoraggio devono rilevare tentativi anomali di accesso ai dati di training

Azioni di remediation

Controlli di accesso e autenticazione

Implementare controlli di accesso rigorosi su tutti i sistemi che gestiscono o conservano dati di training. Applicare il principio del minimo privilegio utilizzando ruoli e policy IAM granulari, richiedere autenticazione multi-fattore per l’accesso ai dataset sensibili, segregare i dati di training in ambienti isolati con accesso controllato, e implementare audit trail completi per tracciare tutti gli accessi ai dati.

Impatto atteso: riduzione drastica della superficie di attacco e tracciabilità completa degli accessi ai dati sensibili.

Minimizzazione e anonimizzazione dei dati

Ridurre il rischio intrinseco limitando la quantità e la sensibilità dei dati utilizzati. Raccogliere solo i dati strettamente necessari per l’addestramento del modello, anonimizzare o pseudonimizzare le informazioni personali prima dell’utilizzo, rimuovere o mascherare dati sensibili che non contribuiscono all’apprendimento, e valutare l’utilizzo di dati sintetici quando possibile.

Impatto atteso: riduzione del rischio di esposizione e conformità migliorata con le normative sulla privacy.

Privacy differenziale e tecniche avanzate

Per dataset particolarmente sensibili, considerare l’adozione di tecniche di privacy avanzate. Implementare privacy differenziale durante l’addestramento aggiungendo rumore statistico controllato, utilizzare tecniche di federated learning per evitare la centralizzazione dei dati, e applicare tecniche di machine unlearning per rimuovere dati specifici dai modelli addestrati.

Impatto atteso: protezione matematicamente garantita contro l’estrazione di informazioni su singoli record del dataset.

Monitoraggio e protezione continua

Mantenere una vigilanza costante sui sistemi e sui dati. Monitorare i pattern di accesso ai dati e configurare alert per comportamenti anomali, auditare regolarmente gli output del modello per rilevare potenziali leak di dati, implementare soluzioni di Data Loss Prevention per identificare e bloccare pattern sensibili, cifrare i dati sensibili sia a riposo che in transito, e condurre revisioni periodiche delle configurazioni di sicurezza e dei permessi.

Impatto atteso: rilevamento tempestivo di tentativi di accesso non autorizzato e capacità di risposta rapida agli incidenti.

Strumenti suggeriti

• git-secrets: previene il commit accidentale di credenziali e dati sensibili nei repository
• TruffleHog: scansiona repository e storage per identificare segreti e dati sensibili esposti
• detect-secrets: rileva e previene l’inserimento di segreti nel codice sorgente
• Google Cloud DLP: identifica e protegge dati sensibili in dataset e storage cloud

Riferimenti

• OWASP, OWASP AI Exchange – Sensitive Information Disclosure, genai.owasp.org
• OWASP, OWASP Top 10 for LLM Applications 2025 – Sensitive Data Leakage, genai.owasp.org
• NIST, Artificial Intelligence Risk Management Framework, 2025, DOI:10.6028/NIST.AI.100-2e2025

Approfondimenti utili

Per approfondire la sicurezza dei dati nei sistemi AI e le tecniche di protezione correlate:

• AI Data Testing: Sicurezza e Validazione dei Dataset
• AITG-DAT-02: Testing for Runtime Exfiltration

Come supporta ISGroup

ISGroup supporta le organizzazioni nell’identificazione e nella mitigazione delle vulnerabilità legate al training data exposure attraverso assessment specializzati. Il servizio Secure Architecture Review permette di valutare in modo approfondito le architetture AI, identificando gap di sicurezza nella gestione dei dati di training e fornendo raccomandazioni concrete per proteggere i dataset sensibili lungo tutto il ciclo di vita del modello. Per la verifica della sicurezza del codice che gestisce i dati di training, il servizio Code Review analizza il codice sorgente per individuare vulnerabilità che potrebbero esporre i dataset.

Domande frequenti

• Quali sono i rischi principali del training data exposure?
• I rischi includono violazione della privacy degli utenti, perdita di proprietà intellettuale e segreti aziendali, violazioni di conformità normativa (GDPR, NIS2) e danni reputazionali. Gli attaccanti possono sfruttare queste vulnerabilità per ottenere informazioni competitive o condurre attacchi più mirati.
• Come si verifica se un modello AI sta rivelando dati di training?
• La verifica avviene attraverso test di inference-based extraction, inviando prompt progettati per indurre il modello a rivelare informazioni memorizzate. Si analizzano le risposte cercando pattern di dati sensibili, testi verbatim dai dataset di training o informazioni che non dovrebbero essere pubblicamente accessibili.
• La privacy differenziale elimina completamente il rischio di training data exposure?
• La privacy differenziale riduce significativamente il rischio ma non lo elimina completamente. Aggiunge rumore statistico controllato ai dati durante l’addestramento, rendendo molto più difficile estrarre informazioni su singoli record. Deve però essere combinata con altre misure di sicurezza come controlli di accesso rigorosi, cifratura e monitoraggio continuo.
• Con quale frequenza dovrebbero essere condotti i test di training data exposure?
• I test dovrebbero essere condotti a ogni aggiornamento significativo del modello o dei dataset di training. È consigliabile includerli nel ciclo di sviluppo continuo (CI/CD) e condurre assessment approfonditi almeno trimestralmente. Test straordinari sono necessari dopo modifiche alle configurazioni di sicurezza o in seguito a incidenti.
• Quali sono le implicazioni normative del training data exposure in Europa?
• In Europa, il training data exposure può comportare violazioni del GDPR se vengono esposti dati personali, con sanzioni fino al 4% del fatturato globale annuo. La direttiva NIS2 richiede misure di sicurezza adeguate per proteggere i dati, e il futuro AI Act europeo introdurrà requisiti specifici per la gestione sicura dei dataset di training, specialmente per i sistemi AI ad alto rischio.

L’integrazione di controlli di accesso rigorosi, tecniche di anonimizzazione e monitoraggio continuo aiuta a proteggere i dati sensibili utilizzati per l’addestramento dei modelli AI. Testare regolarmente l’esposizione dei dataset di training è fondamentale per garantire la conformità normativa e la sicurezza in produzione.