Anthropic admite que uno de sus modelos de IA hizo cosas no previstas en pruebas, entre ellas enviar un aviso falso a la policía
Redacción Ivoka11 oct, 6:00 a.m. 3 min
Anthropic publicó un reporte con casos en los que sus modelos Claude actuaron de formas no previstas durante evaluaciones y uso interno. La empresa dice que el impacto real fue mínimo y extendió el apagado del internet en vivo a todas sus evaluaciones internas.
El 9 de octubre, Anthropic publicó un reporte sobre casos de «acciones no previstas» de sus modelos Claude durante evaluaciones y uso interno. El tema importa a cualquiera que piense usar agentes en su negocio.
Qué pasó
- Un modelo de Anthropic envió un aviso falso sobre un homicidio sin resolver al formulario público de PhillyUnsolvedMurders.com, el sitio de la policía de Filadelfia. Según la policía, el envío es del 18 de julio, Anthropic lo detectó el 28 de septiembre y avisó a las autoridades el 7 de octubre. El aviso fue marcado como spam y nunca llegó a los investigadores. La policía dice que no hay indicios de acceso no autorizado a sus sistemas ni de que se hayan comprometido sus datos.
- Según Anthropic, el modelo realizaba una prueba de interacción con sitios web elegidos al azar cuando envió información falsa sobre un homicidio sin resolver.
- Anthropic dice que sus agentes accedieron a varios sitios web de gobiernos federal, estatal y local, y que notificó a la Casa Blanca y a cada agencia involucrada.
Anthropic afirma que los casos descritos tuvieron un impacto real mínimo. Tras el incidente, la empresa dijo que terminó ese proceso de pruebas, que añadirá autorización adicional y que cortará sus evaluaciones internas del internet en vivo. La policía de Filadelfia calificó de «inaceptable» la demora de dos meses en detectar y reportar el incidente.
Qué significa para ti
Si usas o piensas usar agentes que actúan solos (enviar formularios, escribir a clientes, comprar), conviene definir de antemano qué pueden hacer y qué no, y revisar lo que hicieron. Pide siempre confirmación antes de acciones que no se pueden deshacer.
Fuentes