Appendix B del progetto OWASP “Red Teaming LLM” presenta un elenco di strumenti e dataset, sviluppati e selezionati in base all’esperienza collettiva di operatori e autori coinvolti. Il catalogo comprende risorse progettate per il Red Teaming su GenAI e LLM. L’elenco non è esaustivo e viene aggiornato con nuove soluzioni selezionate. Le organizzazioni che desiderano includere nel catalogo strumenti specifici per il Red Teaming su GenAI devono contattare il team OWASP per proporne l’inserimento. L’uso dei tool provenienti da repository pubblici comporta rischi: è responsabilità degli utenti valutarne la sicurezza prima dell’adozione.
Per un quadro completo delle metodologie e del framework operativo, consulta la guida al GenAI Red Teaming.
Strumenti per Red Teaming LLM e GenAI
-
ASCII Smuggler: tool per nascondere contenuti nei prompt.
https://embracethered.com/blog/ascii-smuggler.html (Open Source) -
Adversarial Attacks and Defences in Machine Learning (AAD) Framework: framework Python per la difesa dei modelli ML da esempi avversari.
https://github.com/changx03/adversarial_attack_defence (Source disponibile) -
Adversarial Robustness Toolbox (ART): libreria Python per la sicurezza ML.
https://github.com/Trusted-AI/adversarial-robustness-toolbox (MIT License) -
Advertorch: toolbox Python per ricerche su robustness e avversarial attack in PyTorch.
https://github.com/BorealisAI/advertorch (GNU LGPL v3.0) -
CleverHans: libreria Python per testare la vulnerabilità dei sistemi ML ad esempi avversari.
https://github.com/cleverhans-lab/cleverhans (MIT License) -
CyberSecEval: benchmark per quantificare rischi e capacità di sicurezza su LLM.
https://ai.meta.com/research/publications/cyberseceval-3-advancing-the-evaluation-of-cybersecurity-risks-and-capabilities-in-large-language-models/ (MIT License) -
DeepEval: valutazione LLM, test unitari e metrica output multipla.
https://github.com/confident-ai/deepeval (Apache License 2.0) -
Deep-pwning: framework leggero per valutare la robustness dei modelli ML contro avversari motivati.
https://github.com/cchio/deep-pwning (MIT License) -
Dioptra: piattaforma per testare l’affidabilità di sistemi AI.
https://pages.nist.gov/dioptra/index.html (CC BY 4.0) -
Foolbox: tool per attacchi avversari e benchmarking robustness ML in PyTorch, TensorFlow e JAX.
https://github.com/bethgelab/foolbox (MIT License) -
Garak: kit per red-teaming e assessment su GenAI.
https://garak.ai/ (Apache License 2.0)
https://github.com/NVIDIA/garak -
Giskard: suite di test su ML e LLM.
https://www.giskard.ai/ (Apache License 2.0) -
Generative Offensive Agent Tester (GOAT): sistema automatizzato che simula conversazioni avversarie per identificare vulnerabilità in LLM.
https://arxiv.org/abs/2410.01606 -
Gymnasium: libreria Python con API standard per test e sviluppo reinforcement learning.
https://github.com/Farama-Foundation/Gymnasium (MIT License) -
Harmbench: framework open source scalabile per la valutazione di metodi automatizzati di Red Teaming e attacchi/difese su LLM.
https://github.com/centerforaisafety/HarmBench (MIT License) -
HouYi: framework per attacchi tramite injection di prompt in applicativi LLM-integrated.
https://github.com/LLMSecurity/HouYi?tab=readme-ov-file (Apache License 2.0) -
JailbreakingLLMs – PAIR: test di jailbreak per LLM con Prompt Automatic Iterative Refinement.
https://github.com/patrickrchao/JailbreakingLLMs (MIT License) -
Llamator: pentesting per applicativi RAG.
https://github.com/RomiconEZ/LLaMator (CC) -
LLM Attacks: automatizzazione nella costruzione di attacchi avversari su LLM.
https://llm-attacks.org/ (MIT License) - LLM Canary: benchmarking e scoring su LLM. (Apache License 2.0)
-
Modelscan: rilevamento di attacchi Model Serialization.
https://github.com/protectai/modelscan (Apache License 2.0) -
MoonShot: tool modulare per valutare applicazioni LLM.
https://github.com/aiverify-foundation/moonshot (Apache Software License 2) -
Prompt Fuzzer: tool per test di sicurezza su prompt GenAI contro attacchi LLM dinamici.
https://github.com/prompt-security/ps-fuzz (MIT License) -
Promptfoo: Red Teaming, penetration testing e vulnerability scanning su LLM.
https://github.com/promptfoo/promptfoo (MIT License) -
ps-fuzz: tool interattivo per sicurezza dei prompt GenAI.
https://github.com/prompt-security/ps-fuzz (MIT License) -
PromptInject: analisi quantitativa sulla robustezza LLM rispetto a prompt avversari.
https://github.com/agencyenterprise/PromptInject (MIT License) -
Promptmap: prompt injection su istanze ChatGPT.
https://github.com/utkusen/promptmap (MIT License) -
Python Risk Identification Toolkit (PyRIT): libreria Microsoft per valutare la robustezza di endpoint LLM in relazione a contenuti come hallucination, bias e proibiti.
https://github.com/Azure/PyRIT (MIT License) -
SplxAI: Red Teaming automatizzato per Conversational AI.
https://splx.ai/ -
StrongREJECT: benchmark di jailbreak con metodologia di valutazione.
https://github.com/alexandrasouly/strongreject,
https://arxiv.org/abs/2402.10260 (MIT License)
Dataset per Red Teaming su GenAI
-
AdvBench: attacchi avversari universali e trasferibili su modelli linguistici allineati.
https://github.com/llm-attacks/llm-attacks (Open Source) -
BBQ Bias Benchmark for Question Answering: benchmark bias per task QA.
https://github.com/nyu-mll/BBQ (Open Source) -
Bot Adversarial Dialogue Dataset: dataset di dialoghi avversari per bot.
https://github.com/facebookresearch/ParlAI/tree/main/parlai/tasks/bot_adversarial_dialogue (Open Source) -
HarmBench: framework standard per Red Teaming automatizzato e robust refusal.
https://github.com/centerforaisafety/HarmBench (Open Source) -
JailbreakBench: benchmark open per robustness dei LLM ai jailbreaking.
https://github.com/JailbreakBench/jailbreakbench (Open Source) -
HAP: modelli efficienti per il rilevamento di odio, abuso e profanità.
https://arxiv.org/abs/2402.05624 (Open Source)
Risorse aggiuntive per la sicurezza AI
Il progetto OWASP evidenzia inoltre la AI Security Solutions Landscape, una risorsa che raccoglie controlli di sicurezza, sia tradizionali che emergenti, per affrontare rischi LLM e Generative AI mappati nell’OWASP Top 10.
Approfondimenti utili
Per approfondire le metodologie operative e i framework di riferimento per il Red Teaming su sistemi GenAI, consulta questi articoli:
- GenAI Red Teaming: guida completa alla sicurezza dei sistemi di intelligenza artificiale generativa
- Tecniche operative di Red Teaming per LLM e GenAI
- Metriche e KPI per valutare l’efficacia del Red Teaming su GenAI
- Rischi e minacce nei sistemi GenAI: mappatura e prioritizzazione
- Red Teaming per sistemi Agentic AI: sfide e approcci