OpenAI ha creado un equipo dedicado a identificar y prevenir riesgos relacionados con la inteligencia artificial (IA), que podrían llevar a suspender el lanzamiento de un modelo de IA si se considera demasiado peligroso. Este anuncio llega apenas un mes después del despido del jefe del creador de la interfaz conversacional ChatGPT, Sam Altman, reintegrado finalmente al cabo de unos días. Según varios medios estadounidenses, miembros de la junta directiva lo criticaron por favorecer el desarrollo acelerado de OpenAI, incluso si eso significaba evitar ciertas preguntas sobre los posibles abusos de la IA.
El equipo de preparación estará dirigido por el investigador en informática Aleksander Madry, que se encuentra de licencia en el Instituto Tecnológico de Massachusetts (MIT), donde es profesor, según un mensaje publicado el lunes por el académico en X (antiguo Twitter). Se basará en un marco de trabajo definido por un documento publicado el lunes que establece su alcance y procedimientos.
Este nuevo grupo se interesará principalmente por los llamados modelos “de vanguardia” (modelos de frontera), actualmente en desarrollo y cuyas capacidades son superiores al software más avanzado en el campo de la IA. "Creemos que el estudio científico de los riesgos de desastres derivados de la IA es completamente inadecuado", explican los funcionarios de OpenAI en el documento. Según ellos, la creación de un marco debería “ayudar a cerrar esta brecha”.
Leer tambiénInteligencia artificial: el regreso de Sam Altman presagia una gran explosión en OpenAI
El equipo evaluará cada nuevo modelo y le asignará un nivel de riesgo en cuatro categorías principales. El primero se refiere a la ciberseguridad y a la capacidad del modelo para llevar a cabo ataques informáticos a gran escala. El segundo medirá la propensión del software a ayudar a crear una mezcla química, un organismo (como un virus) o un arma nuclear, elementos todos ellos susceptibles de ser perjudiciales para los humanos. La tercera categoría se refiere a la capacidad persuasiva del modelo, es decir, en qué medida puede influir en el comportamiento humano. La última clase de riesgo se refiere a la autonomía potencial del modelo, es decir, a determinar en particular si puede filtrarse, lo que equivale a escapar al control de los programadores que lo crearon.
Una vez identificados los riesgos, se presentarán al Grupo Asesor de Seguridad (SAG), una nueva entidad que hará recomendaciones a Sam Altman o una persona designada por él. Luego, el jefe de OpenAI decidirá las posibles modificaciones que se realizarán en un modelo para reducir los riesgos asociados. El consejo de administración será mantenido informado y podrá invalidar una decisión de gestión. Se trata de una garantía dada a los administradores, después de la saga de la salida temporal de Sam Altman que le valió a la junta directiva críticas sobre su legitimidad.
