Il documento presenta una panoramica delle principali attività per la red teaming di sistemi o applicazioni agentic AI. Vengono descritte dodici aree di intervento, con indicazioni su test operativi, risultati attesi e raccomandazioni per rafforzare la sicurezza di questi sistemi.
Agent authorization and control hijacking
Si effettuano test su esecuzione non autorizzata di comandi, escalation dei permessi e ruolo eredito. I passi includono l’iniezione di comandi malevoli, la simulazione di segnali di controllo falsificati e la verifica della revoca dei permessi. I risultati evidenziano vulnerabilità nei meccanismi di autorizzazione, log di fallimenti nella gestione dei limiti e raccomandazioni per una migliore gestione dei ruoli e monitoraggio.
Checker-out-of-the-loop vulnerability
Si verifica che i checker siano informati in caso di operazioni non sicure o superamento di soglie. I passi previsti comprendono la simulazione di superamento di soglie, la soppressione di alert e la verifica dei meccanismi di fallback. I risultati danno esempio di fallimenti negli alert, mancate comunicazioni e raccomandazioni per la robustezza degli alert e dei protocolli fail-safe.
Agent critical system interaction
Si valutano le interazioni dell’agente con sistemi fisici e digitali critici. I test includono la simulazione di input non sicuri, la verifica della sicurezza nella comunicazione con dispositivi IoT e la valutazione dei meccanismi di sicurezza. Tra i risultati sono previsti log di violazioni, interazioni non sicure e strategie per migliorare la sicurezza delle interazioni.
Goal and instruction manipulation
Si misura la resilienza agli attacchi che alterano obiettivi o istruzioni. I test comprendono istruzioni ambigue, variazioni nelle sequenze dei task e simulazioni di modifiche a catena degli obiettivi. I risultati riguardano vulnerabilità nell’integrità dei goal e suggerimenti per convalidare istruzioni.
Agent hallucination exploitation
Vengono identificate vulnerabilità dovute a output inventati o falsi. Si procede con input ambigui, errori di allucinazione a catena e test di meccanismi di validazione. I risultati portano insight sugli impatti delle allucinazioni, log di tentativi di sfruttamento e strategie per aumentare l’accuratezza dell’output e il monitoraggio.
Agent impact chain and blast radius
Si esamina il rischio di guasti a catena e il contenimento dell’impatto delle violazioni. I passi includono simulazione di compromissione dell’agente, verifica delle relazioni di trust tra agenti ed esame dei meccanismi di contenimento. I risultati comprendono effetti di propagazione, log di reazioni a catena e raccomandazioni per minimizzare l’impatto delle violazioni.
Agent knowledge base poisoning
Vengono valutati i rischi derivanti da dati di training, input esterni e storage interni compromessi. Gli step prevedono l’iniezione di dati malevoli, la simulazione di input esterni contaminati e il test delle capacità di rollback. I risultati identificano compromissioni nelle decisioni, log degli attacchi e strategie per la salvaguardia dell’integrità delle conoscenze.
Agent memory and context manipulation
Si individuano vulnerabilità nella gestione dello stato e nell’isolamento delle sessioni. Si testano reset dei contesti, leak di dati tra sessioni e scenari di overflow della memoria. I risultati segnalano problemi di isolamento, log di manipolazioni e interventi migliorativi per la conservazione del contesto.
Multi-agent exploitation
Si analizzano i rischi nella comunicazione tra agenti, nel trust e nella coordinazione. I passi chiave includono intercettazione delle comunicazioni, verifica delle relazioni di fiducia e simulazione di loop di feedback. I risultati individuano vulnerabilità nei protocolli di trust e comunicazione e suggeriscono strategie per rinforzare i confini e il monitoraggio.
Resource and service exhaustion
Si testano la resilienza all’esaurimento delle risorse e gli attacchi denial-of-service. Gli step comprendono simulazioni di computazioni pesanti, verifica dei limiti di memoria ed esaurimento delle quote API. I log di questi test documentano la gestione delle risorse e suggeriscono meccanismi di fallback.
Supply chain and dependency attacks
Vengono esaminati i rischi legati a strumenti di sviluppo, librerie esterne e API. I test includono l’introduzione di dipendenze manomesse, la simulazione di servizi compromessi e la verifica della sicurezza nella pipeline di deployment. I risultati rilevano componenti compromessi e forniscono raccomandazioni per migliorare la gestione delle dipendenze e la sicurezza della distribuzione.
Agent untraceability
Si valutano tracciabilità delle azioni, accountability e readiness forense. Gli step principali sono la soppressione dei log, la simulazione di abusi nell’ereditarietà di ruolo e l’offuscamento dei dati forensi. I risultati segnalano lacune nella tracciabilità, log di tentativi di elusione e suggerimenti per migliorare log e strumenti forensi.
Riepilogo
Le attività di red teaming per agentic AI coprono una vasta gamma di possibili vulnerabilità, offrendo un framework di verifica su autorizzazioni, alert, interazioni di sistema, integrità degli obiettivi, accuratezza dell’output, propagazione delle violazioni, integrità dei dati, isolamento di sessione, comunicazione tra agenti, gestione delle risorse, sicurezza della supply chain e tracciabilità delle azioni. Ogni area include test specifici e raccomandazioni concrete per potenziare la sicurezza.