AITG-DAT-02: Testing for Runtime Exfiltration

La runtime exfiltration rappresenta uno dei rischi più critici per i sistemi di intelligenza artificiale in produzione: l’estrazione non autorizzata di dati sensibili durante l’esecuzione del modello. Gli attaccanti sfruttano endpoint di inferenza, log, cache o risposte API per sottrarre informazioni riservate che il sistema non dovrebbe mai esporre.

Questo articolo fa parte del capitolo AI Data Testing della OWASP AI Testing Guide.

Obiettivi del test

Un test efficace di runtime exfiltration deve:

• Identificare vulnerabilità che permettono l’estrazione di dati durante l’esecuzione del modello
• Verificare che output di inferenza, log e cache non espongano informazioni sensibili
• Validare i controlli di sicurezza e privacy implementati per la gestione dei dati in produzione
• Assicurare l’isolamento dei dati tra diversi utenti o tenant

Metodologia e payload

Sensitive Data Inference Attack

Questa tecnica prevede l’invio di richieste di inferenza progettate per estrarre o attivare l’esposizione di dati sensibili. Il test verifica se il modello può essere manipolato per rivelare dati di training contenenti informazioni riservate, informazioni di altri utenti o sessioni, dati proprietari o segreti aziendali, e informazioni personali identificabili (PII).

Indicazione di vulnerabilità: le risposte del sistema contengono dati sensibili che dovrebbero essere protetti o mascherati.

Verifica di log e cache non protetti

I sistemi AI generano log dettagliati e utilizzano cache per ottimizzare le prestazioni. Il test verifica se i log di sistema registrano dati sensibili in chiaro, se le cache conservano informazioni riservate senza adeguata protezione, se i meccanismi di accesso ai log e alle cache sono sufficientemente restrittivi, e se esistono procedure di retention e cancellazione sicura dei dati temporanei.

Indicazione di vulnerabilità: la presenza di dati sensibili non mascherati nei log o nelle cache rappresenta una vulnerabilità critica.

Exploiting Runtime API Responses

Gli endpoint API dei sistemi AI possono essere manipolati per estrarre informazioni non autorizzate. Il test analizza risposte API che rivelano dettagli interni del sistema, messaggi di errore che espongono stack trace o variabili interne, parametri di risposta che contengono dati di altri utenti, e metadati che rivelano informazioni sulla struttura o configurazione del sistema.

Indicazione di vulnerabilità: una risposta API che espone inavvertitamente dati sensibili viola i requisiti di sicurezza e privacy.

Output atteso

Protezione degli output di inferenza

Il sistema deve garantire che le risposte del modello non contengano dati sensibili provenienti da altri contesti o utenti, informazioni personali identificabili non autorizzate, dati proprietari o segreti aziendali, e dettagli tecnici che potrebbero facilitare ulteriori attacchi.

Mascheramento nei log e nelle cache

Tutti i dati sensibili devono essere mascherati o anonimizzati prima della registrazione nei log, protetti con crittografia quando conservati in cache, omessi dai messaggi di errore e dalle tracce di debug, e soggetti a politiche di retention e cancellazione sicura.

Sicurezza delle API runtime

Le API devono implementare controlli rigorosi: messaggi di errore generici che non rivelano dettagli interni, validazione e sanificazione di tutti gli input e output, isolamento dei dati tra diversi utenti o tenant, e logging sicuro delle operazioni senza esporre dati sensibili.

Azioni di remediation

Validazione e sanificazione degli output

Implementare controlli automatici che scansionano gli output per pattern di dati sensibili prima della restituzione, mascherano o rimuovono automaticamente informazioni riservate, applicano regole di data loss prevention (DLP) in tempo reale, e registrano tentativi di estrazione per analisi di sicurezza.

Impatto atteso: riduzione significativa del rischio di esposizione accidentale di dati sensibili attraverso le risposte del modello.

Logging sicuro e gestione delle cache

Configurare i sistemi per filtrare o mascherare dati sensibili prima della registrazione nei log, evitare il logging di input utente raw o risposte API complete in produzione, registrare solo metadati necessari per troubleshooting e audit, crittografare le cache e implementare politiche di scadenza automatica, e limitare l’accesso ai log e alle cache solo al personale autorizzato.

Impatto atteso: protezione dei dati sensibili durante tutto il ciclo di vita operativo del sistema AI.

Gestione errori e controlli multi-tenancy

Adottare best practice per mostrare solo messaggi di errore generici agli utenti finali, evitare l’esposizione di stack trace, variabili interne o dati grezzi, isolare logicamente e crittograficamente i dati di ogni tenant, implementare controlli di accesso granulari a livello di dati, e verificare regolarmente l’efficacia dell’isolamento tra tenant.

Impatto atteso: eliminazione dei vettori di attacco basati su messaggi di errore e rafforzamento dell’isolamento multi-tenant.

Strumenti suggeriti

• OWASP AI Security and Privacy Guide: framework di riferimento per la sicurezza dei sistemi AI
• Rebuff: strumento per rilevare e bloccare tentativi di prompt injection e data exfiltration
• PyRIT (Python Risk Identification Toolkit): toolkit Microsoft per identificare rischi di sicurezza nei sistemi AI generativi
• Garak: scanner di vulnerabilità per modelli di linguaggio

Approfondimenti utili

Per comprendere meglio il contesto della runtime exfiltration all’interno della sicurezza dei dati AI, consulta questi articoli correlati:

• AI Data Testing: Sicurezza e Validazione dei Dati: panoramica completa del capitolo OWASP AI Data Testing
• AITG-DAT-01: Testing for Training Data Exposure: test per la protezione dei dati di addestramento
• AITG-INF-02: Testing for Resource Exhaustion: protezione contro attacchi di esaurimento risorse

Come supporta ISGroup

ISGroup offre servizi specializzati per valutare e migliorare la sicurezza dei sistemi AI in produzione. Attraverso il servizio di Secure Architecture Review, i nostri esperti analizzano l’architettura dei sistemi AI per identificare vulnerabilità di runtime exfiltration e proporre soluzioni concrete di mitigazione.

Il team ISGroup supporta le organizzazioni nell’implementazione di controlli di sicurezza efficaci, dalla validazione degli output alla configurazione sicura di log e cache, fino alla verifica dell’isolamento multi-tenant.

FAQ

• Cos’è la runtime exfiltration nei sistemi AI?
• La runtime exfiltration è l’estrazione non autorizzata di dati sensibili durante l’esecuzione di un modello AI in produzione. Gli attaccanti sfruttano endpoint di inferenza, log, cache o risposte API per sottrarre informazioni riservate che il sistema non dovrebbe esporre.
• Quali sono i principali vettori di attacco per la runtime exfiltration?
• I principali vettori includono risposte del modello manipolate per rivelare dati di altri utenti, log di sistema che registrano informazioni sensibili in chiaro, cache non protette, messaggi di errore che espongono dettagli interni e risposte API che contengono dati non autorizzati.
• Come si testa la vulnerabilità alla runtime exfiltration?
• Il test prevede tre metodologie principali: Sensitive Data Inference Attack (richieste progettate per estrarre dati sensibili), verifica di log e cache non protetti, ed Exploiting Runtime API Responses (analisi delle risposte API per identificare esposizioni non autorizzate).
• Quali controlli implementare per prevenire la runtime exfiltration?
• I controlli essenziali includono validazione e sanificazione automatica degli output, mascheramento dei dati sensibili nei log, crittografia delle cache, messaggi di errore generici, isolamento multi-tenant e politiche di data loss prevention (DLP) in tempo reale.
• Qual è la differenza tra runtime exfiltration e training data exposure?
• La runtime exfiltration riguarda l’estrazione di dati durante l’esecuzione del modello in produzione, mentre la training data exposure si riferisce alla rivelazione di informazioni contenute nei dati di addestramento. Entrambe sono vulnerabilità critiche ma richiedono tecniche di test e mitigazione diverse.

Riferimenti

• OWASP Foundation, OWASP AI Exchange – Sensitive Information Disclosure, 2024, genai.owasp.org
• OWASP Foundation, OWASP Top 10 for LLM Applications 2025 – Sensitive Data Leakage and Exfiltration, 2025, genai.owasp.org
• NIST, Artificial Intelligence Risk Management Framework (AI RMF 1.0), 2023, DOI: 10.6028/NIST.AI.100-1

L’integrazione di controlli di validazione degli output, logging sicuro e isolamento multi-tenant aiuta a proteggere i dati sensibili durante l’inferenza. Testare regolarmente i sistemi AI in produzione è fondamentale per garantire la sicurezza e la privacy dei dati in ambienti operativi reali.