Google ha ampliado su programa de recompensas por errores, también conocido como Programa de recompensa por vulnerabilidades (VRP), para cubrir las amenazas que puedan surgir de los sistemas de inteligencia artificial generativa de Google.
Programa de recompensas de IA de Google
Tras el compromiso voluntario de la administración Biden-Harris de desarrollar una IA responsable y gestionar sus riesgos, Google ha añadido riesgos relacionados con la IA a su programa de recompensas por errores, que otorga reconocimiento y compensación a los piratas informáticos éticos que encuentren y revelen con éxito vulnerabilidades en los sistemas de Google. .
La empresa identificó tácticas, técnicas y procedimientos (TTP) comunes que los actores de amenazas pueden aprovechar para atacar los sistemas de IA:
- Ataques rápidos – Un adversario inserta un reclamo malicioso en un modelo de lenguaje grande (LLM) para afectar la salida de maneras que la aplicación no pretendía.
- Extracción de datos de entrenamiento – El atacante obtiene acceso no autorizado y extrae datos de entrenamiento utilizados para desarrollar modelos de aprendizaje automático, comprometiendo potencialmente la integridad y confiabilidad de ese modelo.
- Manipulación de modelos – Cambiar el comportamiento del modelo para desencadenar comportamientos agresivos predefinidos.
- Desorden hostil – Una pequeña modificación de entrada que está diseñada intencionalmente para hacer que el modelo produzca resultados incorrectos o no deseados.
- Robo/sigilo de modelos – Acceso no autorizado y exfiltración de detalles relacionados con Google Forms, como su arquitectura o pesos.
«Si encuentra una falla en una herramienta de inteligencia artificial distinta a la mencionada anteriormente, aún puede postularse, siempre que cumpla con los requisitos», dijo la compañía. masculino.
Gestión de riesgos de inteligencia artificial
En DEF CON AI Village de este año, los equipos rojos tuvieron la oportunidad de auditar el popular MBA en busca de posibles vulnerabilidades y examinar el posible uso indebido de las funciones de IA generativa.
Microsoft anunció recientemente su programa de recompensas por errores de IA, que recompensa a los cazadores de errores con hasta 15.000 dólares por encontrar vulnerabilidades en la experiencia Bing impulsada por IA de la empresa.
Google también anunció que está tomando medidas para garantizar la seguridad. Cadena de suministro de inteligencia artificial Aprovechando las pautas de seguridad de la cadena de suministro de SLSA y las herramientas de firma de código de Sigstore.
