Une attaque adverse est une tentative délibérée de tromper un système d'IA avec des entrées soigneusement conçues, d'apparence normale pour un humain mais qui font échouer le modèle. Quelques pixels modifiés peuvent faire mal classer un panneau stop par un système de vision, et des messages habilement formulés peuvent pousser un chatbot à ignorer ses règles de sécurité. Pour une banque dont le filtre antifraude ou un commerçant dont la reconnaissance de produits affronte des attaquants motivés, tester ces manipulations, le red teaming, est indispensable avant le déploiement.