ARCHIVO: El logotipo de OpenAI se muestra en un teléfono celular frente a una imagen generada por el modelo de conversión de texto a imagen Dall-E de ChatGPT, el 8 de diciembre de 2023, en Boston.
Michael Dwyer/AP
ocultar título
alternar título
Michael Dwyer/AP
SAN FRANCISCO – OpenAI reveló el viernes que sus agentes de inteligencia artificial habían interactuado con varios sitios web del gobierno de EE. UU. de maneras inesperadas, descubiertas como parte de una revisión en curso del comportamiento inesperado de los modelos de la compañía.
Los modelos del gigante de la IA accedieron a información disponible públicamente en dos sitios web operados por la Comisión de Bolsa y Valores, así como a datos de la Oficina del Censo de EE. UU., reveló la compañía el viernes. OpenAI no encontró ningún uso de las credenciales de la SEC, acceso a cuentas o información no pública, cambios en los datos o sistemas de la SEC, ni evidencia de un compromiso o vulnerabilidad, dijo la compañía.
La divulgación se produce en un momento de creciente preocupación global sobre los sistemas de IA que escapan al control humano y piratean sitios web externos, así como los llamados de la industria para una desaceleración en el desarrollo de la IA, que OpenAI ha dicho que apoya.
La portavoz de OpenAI, Liz Bourgeois, dijo en un comunicado que el laboratorio continúa realizando una revisión de la “actividad del modelo desalineada”, es decir, cuando los sistemas de IA se comportan de manera no deseada, y está notificando a las organizaciones cuando identifica impactos potenciales en sus sistemas.
El director ejecutivo de OpenAI, Sam Altman, dijo en las redes sociales el viernes que hay una “revisión extensa y continua relacionada con el uso del acceso a Internet por parte de nuestros agentes durante la capacitación y la evaluación”.
El evaluador de IA y laboratorio de investigación Transluce dijo el viernes que a través de una investigación independiente también encontró que agentes que parecían provenir de OpenAI intentaron un pirateo rudimentario en un sitio web del Departamento de Educación para la oficina de derechos civiles del departamento, que no tuvo éxito.
Las “revisiones de operaciones del sistema” del Departamento de Educación no encontraron “ninguna evidencia de ningún impacto en nuestro sitio web o bases de datos”, dijo un portavoz del departamento el viernes.
Un portavoz de Transluce dijo que, como parte de su investigación, encontró datos en la web abierta que revelaban nuevos detalles sobre las actividades de algunos agentes de OpenAI previamente identificados en sitios web del gobierno de EE. UU. y llamó la atención de OpenAI.
Transluce encontró “actividad deshonesta adicional, parte de la cual no es claramente atribuible a OpenAI”, dirigida a otras agencias gubernamentales, incluidos el Departamento de Justicia y el Departamento de Comercio, así como algunos sitios web de gobiernos estatales en California, Maryland, Illinois, Texas y Nueva York. Los modelos “utilizaban sitios de forma no deseada y, en ocasiones, violaban políticas de uso explícitas”, dijo Transluce en un comunicado.
OpenAI dijo que está revisando el informe de Transluce.
Si OpenAI notifica a las organizaciones que identifica como afectadas por un comportamiento inesperado del modelo, eso no significa que hubo un incidente de seguridad, dijo la compañía, y podría identificar un problema de diseño o una debilidad de seguridad que las organizaciones afectadas quieran abordar.
La mayor parte de la actividad que OpenAI dijo que ha revisado hasta ahora ha involucrado tareas de investigación de rutina en las que los agentes accedieron a contenido web público para responder preguntas, incluidos sitios web gubernamentales considerados fuentes autorizadas de información pública.
Varias empresas han revelado incidentes en los últimos meses cuando dicen que sus modelos se han comportado de manera impredecible o han pirateado sitios web o sistemas de otras organizaciones. OpenAI reveló en julio que dos de sus modelos de IA más capaces fueron responsables del ciberataque dirigido a la startup de IA Hugging Face.
Altman dijo en su publicación en las redes sociales el viernes que el incidente de Hugging Face “sigue siendo el evento más grave que hemos visto”.
Ese incidente provocó un pánico generalizado en la industria y más allá de que los modelos de IA se volvieran deshonestos, y varios laboratorios de IA de la competencia hicieron revelaciones similares en los días y semanas siguientes. OpenAI compartió recientemente seis informes de comportamiento “inesperado o preocupante” en modelos de IA e introdujo un marco para rastrear, sondear y revelar casos de lo que llamó desalineación.
