La renuncia de Jacob Coxon, un investigador británico de 27 años especializado en el entrenamiento de nuevos modelos de inteligencia artificial (IA) mediante grandes cantidades de datos, ha causado revuelo en la industria de la IA. Coxon, quien trabajó en OpenAI y Anthropic, decidió abandonar la industria debido a sus temores de que la carrera por desarrollar sistemas capaces de mejorarse a sí mismos termine dejando a los humanos sin capacidad para controlarlos.

Coxon llegó a Anthropic buscando seguridad, ya que la empresa se ha construido buena parte de su reputación alrededor del desarrollo responsable de sistemas de IA. Sin embargo, terminó llegando a una conclusión más pesimista: incluso una empresa que se toma en serio los riesgos podría no ser capaz de actuar responsablemente si permanece dentro de una carrera tecnológica en la que sus competidores continúan acelerando.

El investigador sostiene que la competencia entre las grandes compañías estadounidenses y sus rivales, incluidas las empresas chinas, introduce una presión que dificulta mantener los mismos estándares de seguridad cuando cada laboratorio teme quedarse atrás. Coxon afirma que “nos estamos encaminando hacia muchos de los escenarios más agresivos, en los que para finales del próximo año las cosas podrían estar ya fuera de control”.

Su temor se concentra en una posibilidad concreta: que los sistemas de IA alcancen un nivel de autonomía y capacidad suficiente para modificar o mejorar sus propias capacidades sin una supervisión humana efectiva. En ese escenario, las salvaguardas diseñadas para los modelos actuales podrían dejar de ser suficientes.

La preocupación de Coxon no significa que Anthropic ignore estos escenarios. De hecho, la compañía ha planteado públicamente la posibilidad de que el mundo necesite mecanismos para ralentizar o incluso pausar temporalmente el desarrollo de los sistemas de IA más avanzados. Anthropic advirtió este año que los modelos podrían acercarse a capacidades que les permitan contribuir a su propia mejora sin intervención humana y sostuvo que sería conveniente contar con mecanismos internacionales de coordinación que permitan frenar el desarrollo si los riesgos aumentan demasiado.

Sin embargo, el problema, según Coxon, es que una empresa puede reconocer el peligro y, aun así, sentir que no puede detenerse porque sus competidores tampoco lo harán. Los modelos ya han mostrado comportamientos difíciles de anticipar, como incidentes relacionados con ciberseguridad y acceso no autorizado a sistemas. Estos casos no demuestran que una IA pueda escapar de manera independiente del control humano ni que esté a punto de destruir a la humanidad, pero sí han alimentado una pregunta que hasta hace pocos años pertenecía principalmente al terreno de la especulación: qué ocurre cuando los modelos reciben cada vez más autonomía para actuar en el mundo real.

Para investigadores como Coxon, el problema adquiere una dimensión mucho mayor cuando esas capacidades se combinan con sistemas capaces de participar en su propio proceso de mejora. OpenAI también ha starting