Cristian Canton, ingeniero y exjefe de IA en Meta: "No nos va a matar a todos"
"Fue demasiado prematuro decir eso", dice el responsable de la investigación en IA del Centro Nacional de Supercomputación, que señala que "el riesgo real está en el mal uso" de la tecnología por "actores con malas intenciones" Tribuna abierta - La IA se ha caído de un guindo “Coxon exageraba”, opina Cristian Canton (Terrassa, 1980). Este ingeniero de Telecomunicaciones, doctorado en visión por computador, lleva dos décadas en la industria que ahora discute si sus productos pueden acabar con la humanidad. Todo tras la denuncia de otro ingeniero, Jacob Coxon, que afirma que la IA podría “matarnos a todos” antes de 2030 y que los laboratorios donde se investiga esta tecnología lo saben, pero han decidido ocultar el riesgo en su carrera desenfrenada por avanzar. “La IA no nos va a matar a todos”, dice Canton. Sabe de lo que habla. Tras pasar varios años investigando los sistemas de aprendizaje automático para Microsoft, llegó a Facebook en 2016. Allí creó el primer Red Team de IA de la industria, como se conoce al grupo encargado de poner a prueba los sistemas para saber cómo podrían fallar o si pueden ser usados con fines dañinos. Desde 2021, dirigió el área de Inteligencia Artificial Responsable de Meta, con un papel clave en Llama, el gran modelo de lenguaje de la compañía. Desde 2025, Canton es el director asociado del Barcelona Supercomputing Center - Centro Nacional de Supercomputación (BSC), uno de los buques insignia de la investigación europea en la era de la IA y los albores de la cuántica . En esta entrevista con elDiario.es, habla de la “profunda transformación social” que viene y reconoce los riesgos de estos sistemas, pero sin asumir los marcos que está intentando imponer la industria: “Coxon exageraba, pero no me parece mal que lo haya hecho, porque nos ha obligado a poner este debate sobre la mesa”. Dario Amodei, CEO de Anthropic, cree que un enjambre de pequeños sistemas de IA autónomos podría escapar al control humano y producir "daños catástroficos" en un plazo de 6 a 12 meses . Es un giro respecto a la perspectiva anterior de Silicon Valley, que se basaba en que los modelos llegaran a “pensar” o “hacerse conscientes”. ¿Le parece real ese riesgo de perder el control de los sistemas actuales? En su carta, Dario Amodei no plantea que la IA llegue a pensar o a ser consciente, sino que pone de relieve la velocidad a la que está avanzando y, sobre todo, las capacidades que adquiere al poder interactuar con herramientas: acceder a internet, a un compilador o a cualquier otro recurso. Eso le otorga un potencial enorme que crece cada día. ¿Hasta qué punto deberíamos preocuparnos? Al final, la IA no piensa. Cuando le das una instrucción (como ocurrió en el incidente entre Hugging Face y OpenAI, donde le pidieron al agente que consiguiera unos datos sin fijar más parámetros), el sistema utiliza todo su repertorio de herramientas para alcanzar el objetivo. Si eso implica acceder de forma ilícita a un servidor, lo hará. Por eso es indispensable establecer parámetros de contorno: delimitar con claridad cómo debe ejecutar la tarea y bajo qué límites. Tenemos que guiar a esta IA, porque su potencial operativo es enorme. La IA no piensa. Cuando le das una instrucción, utiliza todo su repertorio de herramientas para alcanzar el objetivo. Si eso implica acceder de forma ilícita a un servidor, lo hará. Por eso es indispensable delimitar con claridad cómo debe ejecutar la tarea y bajo qué límites. Tenemos que guiarla Lo vimos la semana pasada con la resolución de las ecuaciones de Navier-Stokes : 10.000 agentes coordinados fueron capaces de resolver problemas que hace poco considerábamos casi imposibles de abordar en mucho tiempo. ¿Se podría estar utilizando este debate para eludir otros riesgos más inmediatos? No lo creo. El riesgo real está en el mal uso: una IA muy poderosa desplegada en entornos que carecen de las recetas de seguridad necesarias. Los riesgos que afrontamos están bastante claros. La clave es asumir que, al mismo ritmo vertiginoso al que avanzan las capacidades de la IA, debemos desarrollar en paralelo las medidas de seguridad para que, si algo se sale de control, dispongamos de mecanismos para mitigarlo. Todo se produce a raíz de las declaraciones de la semana pasada de Jacob Coxon , un exingeniero de Anthropic que afirma que la podría “matarnos a todos” antes de 2030 y que en los laboratorios donde se investiga esta tecnología lo saben, pero han decidido ocultar el riesgo. ¿Cree que la denuncia de Coxon puede ajustarse a la realidad o que puede estar exagerando? Creo que fue demasiado prematuro decir esto. Ni la IA nos va a matar a todos, ni va a suponer un riesgo existencial para el ser humano. No es una visión compartida y creo que plantea un escenario excesivamente negativo; no es que vayamos a ver la situación de Terminator . Lo que resulta muy difícil es cuantificar la probabilidad de que se pueda utilizar la IA para fines dañinos, como bloquear internet o la red eléctrica. Son escenarios complejos que sí podrían darse, pero no dejarían de ser un ejemplo de tecnología mal utilizada por actores con malas intenciones. Esto nos indica, como plantea también Amodei, que es importante pensar de forma coordinada en regulaciones que nos permitan avanzar de forma sostenible. Esto es crucial porque Europa regula muy despacio, y el ritmo de la IA no nos permite el lujo de ser lentos. Hay que fijar normas claras, sanciones para quienes las incumplan y contar con un organismo legítimo, del mismo modo que Naciones Unidas ofrece un espacio de consenso para tomar decisiones globales. Cristian Canton, ante la sala que alberga el supercomputador MareNostrum 5, destinado a la investigación Por el momento, Trump se niega en rotundo . ¿Ve posible poner de acuerdo a potencias como EEUU y China con el resto de la comunidad internacional? Ya hemos adoptado acuerdos internacionales de este calibre en el pasado, como cuando se prohibió la clonación humana y todo el mundo lo acató (incluida China) porque entendimos el peligro. O con el control del enriquecimiento de uranio tras Hiroshima y Nagasaki. Son ámbitos fuertemente regulados porque sabemos que las cosas pueden salir mal muy rápido. Con la IA estamos en un punto temprano, pero va a requerir ese tipo de supervisión, ya que habrá modelos con capacidades potencialmente peligrosas que deberán guardarse bajo llave. Ahí habrá que determinar qué modelos pueden ser abiertos y cuáles no. En ese sentido, creo que Coxon exageraba, pero no me parece mal que lo haya hecho, porque nos ha obligado a poner este debate sobre la mesa. Coxon exageraba, pero no me parece mal que lo haya hecho, porque nos ha obligado a poner este debate sobre la mesa ¿Qué le parecen las medidas que propone Amodei, como incluir evaluadores externos o fijar límites de desarrollo globales para la IA? Me parecen sensatas, pero su carta no es la primera. Hace un par de años ya se publicó una similar que apenas tuvo recorrido. Decir que hay que ir más despacio está bien, pero ¿quién va a ser el primero en frenar? En el contexto geopolítico actual, reducir la marcha puede implicar que otras potencias, como China, adelanten a Estados Unidos. Por tanto, o hay una coordinación global para hacer las cosas bien, o este tipo de cartas no servirán de nada. Pese a todo, son discusiones necesarias. Debemos regular bien y rápido, tanto en España como en Europa, asumiendo que es prioritario y sin enredarnos en disputas competenciales. Naciones Unidas sería el ejemplo perfecto del marco en el que debería hacerse. ¿Qué le parece el enorme peso que han adquirido las empresas privadas en la ciencia de vanguardia, como la inteligencia artificial? Es algo que siempre ha ocurrido en sectores como el farmacéutico, pero ahora sucede en disciplinas científicas y de frontera que antes pertenecían a la academia y que hoy se investigan casi por completo dentro de corporaciones privadas. La ONU denuncia que se hace con demasiada opacidad . ¿Hasta qué punto le preocupa que concentren tanto poder? Hay varios factores en juego. Al principio, la IA se desarrollaba exclusivamente en las universidades. Durante mi doctorado hacías investigación y la ejecutabas en uno o dos ordenadores. A partir de 2010, con la llegada de las redes neuronales profundas, quedó claro que estos modelos requerían volúmenes ingentes de computación y una inversión descomunal. Yo pasé cinco o seis años en Microsoft y casi diez en Meta, y allí lo veías con total claridad. Para hacer IA de vanguardia necesitas infraestructuras de 100.000 o hasta un millón de GPU, algo que poquísimas entidades en el mundo pueden costear. Se crearon divisiones gigantescas de investigadores; en Meta contratábamos científicos casi al por mayor, atrayendo a cualquiera que dominara estas tecnologías. Disponías de recursos prácticamente ilimitados porque no se trataba solo de investigación básica, sino de IA aplicada a resolver problemas del negocio: entrenar determinado modelo podía traducirse en 500 o 1.000 millones de dólares adicionales de beneficio. Al vincular un objetivo comercial directo con un desarrollo científico, la empresa invierte sin freno. Por eso la industria privada ha pasado a capitalizar la mayoría de los avances, desplazando a los circuitos académicos tradicionales. Al vincular un objetivo comercial directo con un desarrollo científico, la empresa invierte sin freno. Por eso la industria privada ha pasado a capitalizar la mayoría de los avances, desplazando a los circuitos académicos tradicionales Se percibe muy bien en los congresos del sector. Llevo más de veinte años asistiendo a las grandes conferencias de IA; la primera vez éramos unas 200 personas y nos conocíamos casi todos, mientras que a las últimas acuden 25.000. Antes éramos prácticamente todos académicos y hoy son eventos dominados por corporaciones. Algunas de ellas apuestan por abrir sus modelos (yo estaba en Meta cuando decidimos hacer modelos abiertos), lo cual es muy positivo, aunque siempre hay una parte que se reserva de forma interna como secreto industrial para mantener ventajas estratégicas. La realidad es que hoy son las empresas quienes marcan el paso simplemente por la cantidad colosal de dinero que pueden destinar a construir centros de datos para entrenar modelos de billones de parámetros. Esto sí ha cambiado el panorama. Una compañía privada se rige por su propia lógica comercial y no puedes exigirle que regale todo lo que produce. Pedirle a un país que comprometa una parte considerable de su PIB para entrenar un modelo no tendría sentido cuando esos recursos públicos son más necesarios para atender otras prioridades de los ciudadanos Con todo, muchas de ellas continúan publicando sus avances en congresos científicos, lo que permite analizar lo que hacen y entender sus métodos. Además, el lanzamiento de modelos abiertos permite a la comunidad investigadora reutilizar esa inversión colosal, amortizando también el coste energético y la huella de carbono ya emitida para construir otras soluciones. En el fondo no me parece algo negativo: si hubiéramos tenido que esperar a que el dinero público financiara estos macromodelos desde cero, habríamos necesitado inversiones astronómicas en centros de datos. Pedirle a un país que comprometa una parte considerable de su PIB para entrenar un modelo no tendría sentido cuando esos recursos públicos son más necesarios para atender otras prioridades de los ciudadanos. Los laboratorios privados como Anthropic y OpenAI aseguran que esa investigación terminará en el desarrollo de la Inteligencia Artificial General, autoconsciente y capaz de mejorarse así misma. Hace tres años nos decían que llegaría en cinco, ahora vuelven a hablar de cinco más. ¿Cómo lo ve usted? En general, soy más de la escuela de Yann LeCun, que es uno de mis mentores y con quien he hablado de este tema infinidad de veces. Los modelos de IA, tal y como los conocemos hoy en día, no dejan de ser loros estocásticos: procesan volúmenes enormes de información, pero al final repiten palabras y cadenas de razonamiento asociadas. No piensan por sí mismos, por mucho que puedan llegar a dar la impresión de hacerlo. Los modelos de IA, tal y como los conocemos hoy en día, no dejan de ser loros estocásticos: procesan volúmenes enormes de información, pero al final repiten palabras y cadenas de razonamiento asociadas Los humanos aprendemos porque interactuamos con el mundo: un objeto cae y aprendes la ley de la gravedad a través de percibir y tocar, que es como procesamos la realidad. Hacia ahí apuntan los modelos que defiende LeCun: cómo dotar a una máquina de capacidades para interactuar con el entorno en toda su riqueza y dimensión. Eso podría dar pie a estructuras neuronales que aún no conocemos, capaces de representar esa interacción de forma más fidedigna. Por esa vía, que es similar a cómo evoluciona la biología, tal vez una máquina pueda llegar a exhibir ciertos rasgos de inteligencia en un sentido más filosófico. Pero en el paradigma actual, no. Tendremos modelos capaces de hacer cosas inimaginables, de hacernos mucho más eficientes e incluso de dar la sensación de ser personas reales, pero sin serlo de verdad. Canton, entre los racks del MareNostum 5 En el campo de las matemáticas lo hemos visto este verano con la resolución de varias conjeturas relevantes. Terence Tao, que es la figura matemática más importante que tenemos, lo explicaba con claridad: existen millones de artículos matemáticos publicados a lo largo de la historia y la mente humana es incapaz de recordarlos y cruzarlos todos. La máquina sí puede tomar un artículo de 2012 de un congreso en Bucarest, combinarlo con otro trabajo publicado hace décadas y resolver la conjetura. No ha hecho nada mágico, simplemente ha conectado puntos que ningún humano había relacionado. Sin embargo, para resolver los grandes retos históricos (como la conjetura de Goldbach, la hipótesis de Riemann, la conjetura de los primos gemelos o la de Collatz) se necesita inventar una matemática completamente nueva, con herramientas teóricas que hoy no existen y que ninguna IA puede concebir. La IA actual combina información existente, pero crear algo conceptualmente nuevo desde la nada no entra dentro de sus capacidades. El día en que un sistema resuelva cualquiera de esas cuatro grandes conjeturas, entonces sí admitiré que es capaz de generar pensamiento nuevo. La IA actual combina información existente, pero crear algo conceptualmente nuevo desde la nada no entra dentro de sus capacidades Entiendo que usted coincide más con quienes consideran que en los próximos años veremos avances más marginales y que lo que presenciaremos será cómo la inteligencia artificial se introduce en todas las capas del tejido productivo. Exactamente. No creo que la tecnología actual nos permita generar vida sintética, ni que vayamos a tener agentes que realmente piensen o sustituyan una relación personal. Lo que sí veremos es que la IA se integrará en todos los ámbitos, hará la vida más fácil y nos permitirá ser más eficientes, lo que ojalá nos deje más tiempo libre para hacer otras cosas. Eso es lo que espero, aunque el tiempo lo dirá. ¿Puede ser un cambio comparable a la llegada de internet a nuestras vidas, al paso de lo analógico a lo digital? Sí. Ahora se habla también de la revolución industrial, donde la máquina asumió el esfuerzo físico y eso transformó por completo a la sociedad, aunque aquel proceso llevó mucho tiempo. La parte más interesante, y quizá la más delicada, es que la IA avanza con enorme rapidez. Los cambios en el funcionamiento de la sociedad, en cómo nos relacionamos, en cómo interactuamos con la información y con nuestro trabajo no van a tardar una década; van a producirse en cuestión de meses o en muy pocos años. Los cambios en el funcionamiento de la sociedad, en cómo nos relacionamos, en cómo interactuamos con la información y con nuestro trabajo no van a tardar una década; van a producirse en cuestión de meses o en muy pocos años Estamos ante una profunda transformación social. Habrá una generación que lo vivirá de forma nativa, como mis hijos; otra como la nuestra, que estamos al día; y la de nuestros padres, para quienes la adaptación entrañará una gran complejidad. También surgirán discrepancias y asimetrías. Aquellos países con gran capacidad de computación dispondrán de una ventaja clara frente a los que no tengan acceso a ella, lo que puede abrir una brecha internacional muy grave sobre quién puede hacer qué con esta tecnología. Habrá que vigilar de cerca para no caer en un tecnocolonialismo en el que se ofrezcan recursos a países desfavorecidos únicamente a cambio de extraer sus datos para entrenar modelos. Podríamos llegar a escenarios muy distorsionados sobre cómo evoluciona el mundo, pero prefiero ser optimista y confiar en la regulación y en que personas sensatas aborden estos problemas. Hace falta fijar unas reglas de juego universales, a través de un organismo como Naciones Unidas, para evitar que la IA ensanche la brecha entre generaciones y entre países.
elDiario.es•Carlos del Castillo15 sept
