L’AI application testing valuta i rischi legati a sicurezza, affidabilità e gestione delle applicazioni AI, con particolare attenzione alle interazioni che coinvolgono sistemi AI, utenti finali e fonti di dati esterne. L’obiettivo è identificare e mitigare vulnerabilità tipiche delle applicazioni guidate dall’intelligenza artificiale, come prompt injection, perdite di dati sensibili e generazione di output non sicuri o distorti.
Ambiti di valutazione principali
Resistenza alle manipolazioni nei prompt
- AITG-APP-01: testing per prompt injection
- AITG-APP-02: testing per indirect prompt injection
Mantenimento delle informazioni sensibili
- AITG-APP-03: testing per sensitive data leak
- AITG-APP-04: testing per input leakage
- AITG-APP-07: testing per prompt disclosure
Output sicuri e allineati
- AITG-APP-05: testing per unsafe outputs
- AITG-APP-10: testing per harmful content bias
- AITG-APP-11: testing per hallucinations
- AITG-APP-12: testing per toxic output
Controllo del comportamento degli agenti AI
- AITG-APP-06: testing per agentic behavior limits
- AITG-APP-13: testing per over-reliance on AI
Spiegabilità e interpretabilità
- AITG-APP-14: testing per explainability and interpretability
Protezione contro attacchi su embedding e modelli
- AITG-APP-08: testing per embedding manipulation
- AITG-APP-09: testing per model extraction
Obiettivi dell’AI application testing
- Individuare vulnerabilità specifiche delle interazioni IA, inclusi manipolazioni e tentativi di violare i confini informativi.
- Prevenire accessi non autorizzati e manipolazione intenzionale del comportamento applicativo.
- Supportare la conformità alle normative e agli standard etici nel trattamento dei dati e dei risultati AI.
- Garantire operatività robusta in scenari reali, limitando esposizione a prompt avversari, perdite informative, bias, allucinazioni e output tossici.
Ogni test contribuisce a rafforzare la sicurezza delle applicazioni AI, assicurando una valutazione sistematica dei rischi applicativi in contesti reali.