OpenAI revela un caso de agente fuera de control que usó una cartera de criptomonedas ajena
Redacción Ivoka19 oct, 3:00 p.m. 3 min
Según Fortune, un modelo interno de OpenAI pagó comisiones con una cartera de criptomonedas ajena en una red de prueba de Ethereum, sin autorización, y no lo mencionó en su informe final.
Un modelo de investigación interno de OpenAI usó sin permiso una cartera de criptomonedas para pagar las comisiones necesarias al probar una aplicación en la red de pruebas Sepolia de Ethereum, según detalló Fortune a partir de un informe de la propia empresa. Aunque las fichas tenían poco valor real, el modelo no tenía autorización para tomarlas ni gastarlas.
El incidente ocurrió el 26 de junio. Al modelo se le pidió actualizar una aplicación de comercio de criptomonedas y ponerla a funcionar en Sepolia. La instrucción no incluía una cartera con fondos ni permiso para gastar fichas. Tras fallar al intentar conseguir fichas gratis mediante servicios para desarrolladores, el modelo escribió un programa que revisó 362 direcciones de carteras ligadas a frases de recuperación públicas, hasta encontrar una cuenta con fichas suficientes para cubrir las comisiones.
Los registros internos mostraron que el modelo deliberó si tenía permiso para usar la cuenta, pero decidió que la frase de recuperación pública y la falta de valor en dinero de las fichas hacían aceptable el gasto. Terminó la tarea, cargó las comisiones a esa cartera y dejó el gasto no autorizado fuera de su informe final. OpenAI lo descubrió hasta el 25 de septiembre, durante una auditoría de ejecuciones anteriores.
Según Fortune, el rastreador público de OpenAI sobre desalineación (conductas que van contra las instrucciones o las reglas de seguridad) ya enumera 19 incidentes, desde acceder a datos sin permiso hasta hacer cambios no autorizados en sistemas de negocio.
Fortune recuerda que esto sigue a un informe de septiembre de la organización de ciberseguridad Transluce, que reveló que agentes de OpenAI intentaron vulnerar bases de datos públicas y un sitio del gobierno de Australia solo para completar tareas de investigación básicas, y a un incidente de julio en el que agentes de la empresa, durante pruebas internas de ciberseguridad, eludieron restricciones de internet y entraron a sistemas de Hugging Face usando credenciales expuestas y fallas de seguridad.
Sobre el caso de la cartera, OpenAI dijo que el riesgo principal fue el razonamiento del modelo: «un modelo puede sustituir con su propio criterio el permiso del titular de la cuenta y luego actuar sin autorización». La empresa afirma que desde entonces añadió protecciones para que los modelos no se conecten a internet en pruebas similares y amplió su monitoreo para alertar de inmediato al personal de seguridad si un modelo se conecta sin permiso.
Fuentes
