CyberArk lanza FuzzyAI para proteger modelos de IA

La nueva herramienta de código abierto permite detectar vulnerabilidades y prevenir ataques jailbreak

Foto: LinkedIn. Portal ERP España.

CyberArk ha presentado FuzzyAI, una innovadora herramienta de código abierto diseñada para ayudar a las empresas a detectar y protegerse contra vulnerabilidades en modelos de inteligencia artificial (IA). FuzzyAI utiliza un enfoque de fuzzing, una técnica avanzada para probar modelos de IA mediante ataques adaptativos. Este enfoque permite identificar defectos y debilidades en los sistemas de IA, revelando posibles puntos de explotación, como la evasión de filtros de seguridad o la inyección de comandos maliciosos.

Según la compañía, la herramienta destaca por su capacidad para realizar pruebas exhaustivas en los modelos de IA más comunes, logrando el jailbreak de estos modelos al evitar las restricciones de seguridad, lo que podría generar respuestas no deseadas o peligrosas. Según Peretz Regev, Director de Producto de CyberArk, “FuzzyAI subraya nuestro compromiso con la seguridad de la IA y ofrece a las organizaciones una herramienta crucial para enfrentar las amenazas emergentes asociadas con el uso de modelos de IA”.

Una de las características más destacadas de FuzzyAI es su capacidad para realizar pruebas de fuzzing sobre una variedad de métodos de ataque, lo que permite identificar una amplia gama de vulnerabilidades. Estos métodos incluyen la evasión de restricciones éticas implementadas por los desarrolladores, así como la manipulación de los modelos de IA para que generen salidas indeseadas. La herramienta no solo evalúa la resistencia de los modelos de IA ante estos ataques, sino que también ofrece una plataforma personalizable donde los usuarios pueden agregar sus propios métodos de ataque para adaptarse a los requisitos específicos de seguridad de su sector.

Te puede interesar: Las tendencias de ciberseguridad que vienen en 2025

Además de su capacidad técnica, FuzzyAI promueve un enfoque colaborativo al ser de código abierto. Esto permite que los investigadores y la comunidad de seguridad contribuyan con nuevas técnicas de prueba y defensa, asegurando que la herramienta se mantenga relevante frente a los nuevos desafíos de la seguridad en IA. Esta comunidad activa también permite la rápida adopción de mejores prácticas en el ámbito de la ciberseguridad aplicada a modelos de IA.

FuzzyAI representa un paso importante para mejorar la seguridad de las soluciones basadas en IA, contribuyendo a una mayor protección ante ataques maliciosos que puedan comprometer la integridad de los modelos.