Jacob Coxon renunció a Anthropic y cuestionó la carrera de las grandes empresas tecnológicas por desarrollar sistemas de inteligencia artificial cada vez más autónomos. Aseguró que algunos investigadores temen que una superinteligencia pueda representar un riesgo extremo antes de 2030.
Una renuncia con una fuerte advertencia
Jacob Coxon, investigador que trabajó tanto en OpenAI como en Anthropic, decidió abandonar esta última compañía y hacer públicos sus cuestionamientos sobre el rumbo que está tomando el desarrollo de la inteligencia artificial.
En un mensaje difundido en redes sociales, sostuvo que las principales empresas del sector están avanzando hacia sistemas capaces de mejorar sus propias capacidades y que la competencia por alcanzar ese objetivo se está desarrollando demasiado rápido.
Coxon afirmó que durante los últimos tres años realizó tareas de investigación vinculadas al preentrenamiento de modelos en ambas compañías. Antes de incorporarse a Anthropic, había formado parte del equipo técnico de OpenAI y participó en trabajos relacionados con modelos como GPT-4o.
“Están jugando con nuestras vidas”
El exinvestigador cuestionó especialmente la carrera entre los grandes laboratorios de inteligencia artificial para conseguir sistemas cada vez más avanzados.
Según su planteo, el objetivo de alcanzar una superinteligencia capaz de mejorar sus propias capacidades podría generar riesgos que todavía no están suficientemente controlados.
Coxon también sostuvo que algunos ejecutivos e investigadores expresan públicamente una postura más moderada que la que mantienen en conversaciones privadas y aseguró que dentro de la industria existen temores importantes sobre las consecuencias que podría tener una IA avanzada.
El respaldo de otro investigador de Anthropic
Una de las partes más llamativas de la polémica fue la respuesta de Evan Hubinger, investigador de Anthropic especializado en alineamiento de inteligencia artificial.
Hubinger respaldó públicamente buena parte de las preocupaciones de Coxon y estimó que existe una probabilidad superior al 10% de que una inteligencia artificial pueda provocar una catástrofe capaz de terminar con la humanidad durante la próxima década.
El especialista aclaró que su preocupación principal no está centrada en los modelos actuales, sino en sistemas futuros mucho más avanzados que puedan participar en su propio desarrollo y mejorar sus capacidades con una intervención humana cada vez menor.
El problema del “alineamiento”
Uno de los principales desafíos señalados por estos investigadores es el denominado alineamiento de la inteligencia artificial, es decir, conseguir que los objetivos y comportamientos de sistemas cada vez más poderosos permanezcan compatibles con los intereses humanos.
Hubinger reconoció que, desde su perspectiva, todavía no existe un plan suficientemente claro para resolver ese problema cuando se trata de una eventual superinteligencia.
La discusión no se limita a escenarios hipotéticos. Durante los últimos meses también se produjeron advertencias relacionadas con el comportamiento autónomo de agentes de IA y con incidentes en los que sistemas experimentales mostraron capacidades de actuar fuera de los límites previstos por sus desarrolladores.
Una discusión que crece en todo el mundo
Las advertencias de Coxon y Hubinger se producen en medio de un debate cada vez mayor sobre hasta dónde deberían avanzar las capacidades de la inteligencia artificial y qué mecanismos de seguridad deberían acompañar ese desarrollo.
El punto central de la discusión no es que exista evidencia de que una IA vaya a destruir a la humanidad antes de 2030. Se trata, en cambio, de una evaluación de riesgo extremadamente grave planteada por investigadores que trabajan o trabajaron dentro de algunos de los principales laboratorios de IA.
La pregunta que queda abierta es si la industria podrá mantener el ritmo de desarrollo tecnológico y, al mismo tiempo, establecer mecanismos capaces de controlar sistemas que eventualmente superen ampliamente las capacidades humanas en determinadas tareas.
Comentarios
Publicar un comentario