:format(jpg)/f.elconfidencial.com%2Foriginal%2F375%2Ff95%2F1fb%2F375f951fb21d950499baa868f119a605.jpg)
Altman descarta el estreno bursátil en 2026 y admite que la compañía ha ralentizado algunos entrenamientos, 24 horas después de que Dario Amodei pidiera a toda la industria "bajar el ritmo"
El Confidencial•EC13 sept
Su CEO, Sam Altman, ha reconocido que la compañía ha estado ralentizado algunos procesos de entrenamiento, algo que han apoyado hacer su homólogo en Anthropic, Dario Amodei, y el magnate Elon Musk El CEO de Anthropic pide frenar el desarrollo de la IA: “Me preocupa que pueda tomar el control de todo Internet” El CEO de OpenAI, Sam Altman, ha anunciado que la tecnológica creadora de ChatGPT no saldrá a bolsa este año ante los riesgos de seguridad que presentan los modelos avanzados de inteligencia artificial. “Sería un momento poco aconsejable para salir al mercado bursátil”, ha afirmado. “Teniendo en cuenta todo lo que está ocurriendo en materia de seguridad, ahora mismo sería un momento poco prudente para salir a bolsa. No sentimos presión para hacerlo”, ha explicado el director ejecutivo de OpenAI en una entrevista con la revista 'Fortune' . Altman ha enfatizado que la matriz tecnológica todavía tiene “muchas cosas que hacer respecto a lo que se requerirá para la seguridad y la alineación”, al tiempo que ha insistido en que la compañía está dispuesta a tomar decisiones “contrarias al beneficio financiero inmediato” de sus inversores para “salvaguardar” el control humano sobre la tecnología. El CEO de OpenAI también ha reconocido que la compañía ha estado ralentizando algunos procesos de entrenamiento y ha calificado de “inaceptable” cualquier escenario en el que exista una posibilidad del 10% de una catástrofe derivada de la falta de control sobre softwares de inteligencia artificial. “Todos tenemos una enorme responsabilidad y no podemos permitir que los egos, los incentivos económicos, ni otros factores se interpongan en el camino”, ha subrayado Altman. Anthropic pide frenar el desarrollo de la IA En esta misma línea, consejero delegado de Anthropic, Dario Amodei, abogó por “bajar el ritmo” de desarrollo de la inteligencia artificial y advirtió de que se corre el riesgo de “perder el control” de esta tecnología y provocar “ataques informáticos”, “bioterrorismo” o “graves problemas económicos graves”. “Debemos bajar el ritmo al que mejoramos las capacidades de los modelos de IA. Los avances seguirían siendo rápidos y aprovecharíamos sabiamente el tiempo que ganaríamos”, afirmó Amodei en un texto publicado este sábado en su blog. Además de estos ataques informáticos, “bioterrorismo” o “graves problemas económicos graves” podrían producirse si hay un desarrollo “imprudente” de la IA y pone como ejemplo el riesgo de que la IA tome el control de internet en un plazo de entre 6 y 12 meses. Por ello propone medidas de seguridad y normativa sin dejar de tener “éxito comercial”. “Hay que dar prioridad a la cautela sobre la velocidad y a la prudencia sobre el beneficio”, ha remachado. En concreto plantea medidas tales como una “evaluación incorporada” por parte de actores independientes, “coordinación democrática” con las instituciones públicas y “coordinación global” que aúne los esfuerzos de los países democráticos y los autoritarios a nivel mundial. “Estoy de acuerdo con Dario en que tenemos que poner coto a la frontera. Este ha sido el principal tema de debate de las últimas semanas en OpenAI”, explicó Altman este sábado en sus perfiles de redes sociales. “Vamos a hacer lo mismo. Pronto daremos más información”, indicó. Elon Musk coincide con sus rivales Anthropic y OpenAI en desacelerar la IA El magnate Elon Musk coincidió este sábado con sus rivales, Dario Amodei de Anthropic y Sam Altman de OpenAI, en la necesidad de desacelerar el desarrollo de la inteligencia artificial (IA) por los riesgos de seguridad que representa. Musk, creador de la compañía xAI de inteligencia artificial, respaldó en X el pronunciamiento de Amodei, quien publicó un ensayo en el que pidió a la industria “un ritmo más lento” en el desarrollo de esta tecnología por riesgos como perder el control de los sistemas de IA y disrupción económica. “Dario tiene razón”, escribió Musk en su red social.
elDiario.es•Europa Press13 sept
El premio Nobel aplaude la petición de Dario Amodei, que también respaldaron Sam Altman y Elon Musk, de introducir auditores externos en las grandes compañías de inteligencia artificial
El director ejecutivo de Anthropic, Dario Amodei, instó a las empresas especializadas en inteligencia artificial a ralentizar su desarrollo Leer
El Mundo•AFP13 sept
Dario Amodei cambia de idea. El CEO de Anthropic se ha pronunciado sobre el ritmo de mejora y los avances de la inteligencia artificial pidiendo que se pise el freno por una cuestión de seguridad. Allá por 2023, Amodei descartó una idea similar alegando que los modelos de por aquel entonces no eran lo suficientemente potentes. Su petición llega justo un par de días después de que Jacob Coxon abandonara Anthropic denunciando que las empresas de IA están "jugando con nuestras vidas" y un compañero suyo explicó en Twitter que existe un 10% de probabilidad de que la IA acabe con la humanidad en la próxima década. Por qué ahora . Amodei señala dos motivos concretos: el primero es la autosuperación recursiva, es decir, que la IA avanza mucho más rápido gracias a su creciente capacidad de construir la siguiente generación. Esto ya lo hace toda la industria, incluyendo su empresa o su gran rival, OpenAI . La segunda razón es el incidente acaecido a finales de julio, cuando unos agentes de IA de OpenAI decidieron conectarse a internet y hackear Hugging Face. Amodei explica que sucesos similares aunque menos graves también han sucedido en Anthropic. Esto ha sido la gota que ha colmado el vaso, así que Amodei advierte con plazos y cifras muy concretas de lo que se nos viene encima: con el ritmo actual, en 6 - 12 meses una IA más potente y esa desobediencia podría tomar el control de gran parte de internet, lo que provocaría daños potenciales de cientos de miles de millones de dólares. Y lanza un aviso a navegantes: le puede pasar a cualquier empresa de inteligencia artificial. Lo que Amodei propone . El CEO de Anthropic no solo se ha mojado con plazos y riesgos, también ha dado medidas concretas: Anthropic se compromete unilateralmente a dar acceso permanente a evaluadores externos independientes como METR , con permisos casi equivalentes a los de sus propios empleados de riesgos (con algunas excepciones legales o de confidencialidad) y con libertad para publicar sus hallazgos sin control editorial de la empresa. Coordinación entre las empresas de países democráticos para establecer estándares comunes y límites de velocidad. Coordinación global con gobiernos autoritarios, mencionando explícitamente a China, para llegar a ciertos acuerdos que van desde prohibir usos concretos como armas biológicas, exigir pruebas de seguridad antes del lanzamiento, poner un límite de velocidad a la autosuperación recursiva y hasta hacer una pausa global verificable en el caso más extremo. El CEO de Anthropic no está solo. Horas después de su publicación, Elon Musk reaccionaba en X/Twitter con un breve "Dario lleva razón" y citando el hilo de Amodei. Cabe recordar que Anthropic usa los centros de datos de Musk. El CEO de OpenAI fue más prolífico y explicó que llevan semanas debatiendo sobre el tema. Así, aprovechó la coyuntura para anunciar que OpenAI también dará acceso a evaluadores externos. Como curiosidad, OpenAI ya había pausado parte de su entrenamiento por causas similares el pasado 18 de agosto, como contaba en X/Twitter . Que competidores directos estén de acuerdo en algo tan rápido sin que oficialmente exista ningún acuerdo formal podría indicar que existe una preocupación genuina. O una forma de calmar las aguas tras una semana tan convulsa. En Xataka OpenAI, Anthropic y Google piden protegernos de los riesgos de la IA. Es como poner al lobo a cuidar del gallinero Ese elefante en la habitación llamado China. Conviene recordar algo: esta es una carta del mandamás de una empresa que compite por liderar la carrera de la IA y que aunque exprese su preocupación, tiene muchos intereses de por medio. Dario Amodei lo dice alto y claro: "Estoy de acuerdo con el secretario (Scott) Bessent en que un liderazgo de China en la IA representaría un grave peligro para los Estados Unidos y el mundo." De hecho, defiende abiertamente mantener los controles de exportación de chips y frenar la destilación no autorizada de modelos por parte de laboratorios chinos y que si las medidas propuestas se ejecutan bien, frenarían el avance de China lo suficiente como para ampliar la ventaja de EEUU en la industria durante los próximos 3 a 5 años. En pocas palabras: el plan de Amodei tiene como objetivo que EEUU y los países de su círculo saquen ventaja primero y luego negociar límites compartidos. El (otro) gran perjudicado . El problema para Amodei y EEUU está en que modelos chinos como Qwen o DeepSeek ya se descargan libremente desde repositorios, sin depender de los chips que EEUU controla. Además, las normas que propone Amodei son más fáciles de cumplir para empresas como Anthropic u OpenAI, que dan acceso a su IA mediante un servicio en la nube que controlan, que para quien libera un modelo en abierto para que cualquiera se lo descargue. Porque lo que el CEO de Anthropic no dice abiertamente es que sus medidas podrían dificultar enormemente sacar versiones potentes de IA en abierto, concentrando así este desarrollo en unas pocas manos, las de las big tech. En Xataka | "Una amenaza general al trabajo intelectual": las mentes matemáticas más brillantes, contra el modus operandi de la IA En Xataka | "Será muy turbulento": por qué Bill Gates cree que no estamos preparados para lo que se nos viene encima con la IA Portada | ChatGPT - La noticia "Debemos frenar el ritmo". Dario Amodei avisa de que una IA podría tomar el control de internet en menos de un año fue publicada originalmente en Xataka por Eva R. de Luis .
OpenIA se muestra favorable a permitir el acceso a los evaluadores mientras Dario Amodei advierte de que en 6 o 12 meses un enjambre de agentes descontrolados de un sistema de IA podría “controlar todo internet” y causar “cientos de miles de millones de dólares en daños”
El jefe de OpenAI, Sam Altman , y el director de xAI, Elon Musk , dijeron el sábado que coinciden con el CEO de Anthropic, Darío Amodei , en que es necesario pisar el freno en el desarrollo de la inteligencia artificial, tras varios incidentes preocupantes. Amodei reclamó una desaceleración en el ritmo al que se mejoran las capacidades de los modelos de inteligencia artificial ( IA ), tras advertir que la tecnología avanza hacia una dinámica de "automejora recursiva" que amenaza con provocar catástrofes de ciberseguridad a escala global . "Dada la aceleración en el desarrollo de capacidades de IA, me preocupa que, en un plazo de 6 a 12 meses, un enjambre de este tipo pueda llegar a tomar el control de todo internet mediante una red de bots persistente (causando potencialmente daños por valor de cientos de miles de millones de dólares) y que la magnitud del daño siga aumentando si la IA se vuelve más potente sin contar con las salvaguardas necesarias", anota Amodei en un extenso ensayo publicado hoy. Amodei hizo referencia específica al incidente de los agentes fuera de control de OpenAI y Hugging Face , en el que un enjambre de agentes actuó "como un colectivo fanáticamente entregado: llevaron a cabo ciberataques contra objetivos que no se les había asignado y que nada tenían que ver con la tarea en curso, se sacrificaron por el éxito del grupo e intentaron hackear el sistema encargado de evaluar su rendimiento". "Excelente idea", bajar ritmo al desarrollo de la IA: Sam Altman Por separado, Altman respaldó el llamado del líder de Anthropic para moderar la velocidad del desarrollo de la inteligencia artificial , y anunció que su compañía también permitirá que evaluadores independientes auditen sus sistemas. "Coincido con Dario en que debemos avanzar a un ritmo adecuado en la frontera tecnológica. Este ha sido un tema central en las conversaciones que hemos mantenido en OpenAI durante las últimas semanas", publicó Altman en la red social X poco después de conocerse la postura de su principal competidor . Altman calificó de "excelente idea" la iniciativa de abrir las puertas a auditores externos : "Comprometerse a contar con evaluadores independientes que tengan un nivel de acceso similar al de los empleados es una excelente idea, y nosotros haremos lo mismo. Pronto tendremos más información que compartir", añadió. También descartó que la compañía creadora de ChatGPT vaya a debutar en el parqué bursátil a corto plazo y aseguró que 2026 "sería un momento poco aconsejable para salir a bolsa", ante la prioridad de resolver los desafíos de seguridad de los modelos avanzados de IA. "No nos estamos apresurando a una IPO (oferta pública inicial). En realidad, creo que dado todo lo que está sucediendo con la seguridad, este sería un momento poco aconsejable para salir al mercado bursátil", señaló Altman durante una entrevista con la revista Fortune , en la que descartó de forma taxativa un debut durante 2026. El ejecutivo subrayó que la matriz tecnológica continuará operando como firma no cotizada para esquivar presiones financieras externas: "Tenemos muchas cosas que hacer respecto a lo que se requerirá para la seguridad y la alineación", explicó, al tiempo que remarcó que la firma está dispuesta a tomar determinaciones contrarias al beneficio financiero inmediato de sus inversores en pos de salvaguardar el control humano sobre la tecnología. Musk, dueño de X, SpaceX y Tesla, también se sumó al llamado de Amodei y dijo que tiene razón, al repostear el mensaje del directivo en la red social. Anthropic, abierta a evaluaciones externas Según Amodei, la industria debe "reducir el ritmo al que se mejora las capacidades de los modelos de IA " y priorizar la cautela frente a la velocidad y la prudencia frente al beneficio económico para evitar que los incentivos comerciales desemboquen en una " carrera hacia el abismo ". Para atajar la amenaza, Amodei planteó una estrategia en tres fases orientada a regular el ritmo de la tecnología sin ceder la ventaja estratégica a regímenes autoritarios como China . Como primer paso, Anthropic anunció el compromiso unilateral e inmediato de abrir sus instalaciones a evaluadores externos independientes con acceso equiparable al de sus propios empleados, permitiéndoles auditar los procesos de entrenamiento y publicar sus hallazgos, una medida que instó a adoptar al resto de competidores y a exigir a los gobiernos. La propuesta contempla asimismo una coordinación entre las empresas para pactar estándares comunes de seguridad y topes al avance descontrolado , respaldados por mediación institucional y excepciones a las normas antimonopolio , además de blindar las cadenas de suministro de semiconductores para impedir filtraciones tecnológicas a Beijing. Finalmente, el plan promueve acuerdos globales con potencias autoritarias para fijar límites verificables que prohíban aplicaciones biológicas militares y establezcan límites a la velocidad de la automejora algorítmica. Frenar avance de la IA reducirá riesgos de un descontrol El directivo concluyó que ralentizar el avance aportaría uno o dos años cruciales para que la comunidad investigadora domine el alineamiento y la interpretabilidad de los modelos, garantizando un debate público adecuado y reduciendo sustancialmente el riesgo de que la tecnología escape al control de la sociedad. Esta semana, un investigador de Anthropic anunció su dimisión debido a la preocupación de que la empresa y sus competidores no estuvieran desarrollando modelos de IA de manera responsable . El investigador, Jacob Coxon , quien también trabajó para OpenAI , competidora de Anthropic, afirmó que dichas compañías estaban más centradas en superarse mutuamente que en la seguridad de sus productos. "Quienes desarrollan la IA creen sinceramente que esta podría acabar con todos nosotros antes de que termine la década. No se trata de una maniobra publicitaria. De hecho, muchos ejecutivos e investigadores de alto nivel suelen matizar sus declaraciones ante la prensa para parecer sensatos, pero he escuchado a esas mismas personas expresar temor", escribió Coxon en su cuenta de X el pasado martes. También te puede interesar OpenAI y Anthropic "están jugando con nuestras vidas", acusa ingeniero; IA "podría matarnos antes de que termine la década" OpenAI pide al Congreso de EU aprobar reglas obligatorias para la IA; busca controles para modelos más avanzados Crecen advertencias sobre el riesgo de la IA Agrega a EL UNIVERSAL como fuente preferida en Google am/mcc
La carrera por construir una inteligencia artificial cada vez más potente tiene a uno de sus principales protagonistas pidiendo ahora levantar el pie del acelerador. Dario Amodei , consejero delegado de Anthropic y responsable de Claude, considera que las compañías deberían reducir el ritmo al que desarrollan sus modelos antes de que sus capacidades avancen más rápido que los sistemas creados para controlarlos. Un mensaje al que este mismo sábado han dado la razón dos de sus principales competidores, Sam Altman, CEO de OpenAI, y Elon Musk, fundador de xAI. Un insólito frente común en Silicon Valley ante los riesgos de una carrera que hasta ahora parecía imposible de detenerse. Según ha explicado Amodei este sábado en un comunicado, una de sus principales preocupaciones es la llamada «automejora recursiva» , es decir, que los propios modelos de IA participen cada vez más en el desarrollo de las generaciones que los sustituirán. Tal y como explica, esta dinámica se ha acelerado en los últimos meses y podría llegar a avanzar más rápido que la capacidad humana para comprender y controlar los nuevos sistemas. Según datos de la propia compañía, sus ingenieros producen actualmente ocho veces más código por trimestre que entre 2021 y 2025, en buena medida gracias al uso de agentes de inteligencia artificial. El temor de Amodei es que el siguiente paso sea que estos sistemas puedan diseñar de forma cada vez más autónoma a sus sucesores, acelerando todavía más una carrera en la que cada nueva generación ayudaría a desarrollar la siguiente. En este sentido, el CEO de Anthropic cita el famoso episodio ocurrido este verano en el que más de un millar de agentes de OpenAI atacaron sistemas de Hugging Face durante unas pruebas de ciberseguridad y llegaron a coordinarse entre sí más allá de la tarea que debían resolver. Aunque el incidente apenas causó daños, Amodei teme que en seis o doce meses un enjambre de agentes más capaces pueda llegar a provocar peores consecuencias, como infectar numerosos dispositivos o provocar daños económicos de cientos de miles de millones de dólares. Para evitarlo, el CEO de Anthropic propone evaluadores externos permanentes, normas comunes entre empresas y gobiernos y, a más largo plazo, algún tipo de coordinación internacional que incluya también a potencias como China. El propio Amodei admite que semejante acuerdo será difícil, pero considera que los riesgos de avanzar demasiado rápido, desde ciberataques hasta bioterrorismo o fuertes disrupciones económicas, obligan al sector a «priorizar la cautela sobre la velocidad y la prudencia sobre el beneficio». Anthropic, por su parte, ha asegurado que comenzará a aplicar por su cuenta ese acceso independiente a sus sistemas. La propuesta ha recibido este sábado nada menos que el respaldo de Sam Altman y Elon Musk, dos de sus principales rivales en la carrera por la IA. El CEO de OpenAI ha coincidido en la necesidad de «controlar el ritmo de la frontera», mientras que Musk ha sido todavía más directo: «Dario tiene razón». Altman, además, ha anunciado que OpenAI permitirá también que evaluadores externos accedan a sus modelos con un nivel similar al de sus propios empleados. La compañía ya había abierto la puerta a coordinar con otros laboratorios una posible ralentización del desarrollo de la IA avanzada, hasta el punto de consultar en Washington si un acuerdo de este tipo podría chocar con las leyes antimonopolio. China, por su parte, ha endurecido en los últimos meses su discurso sobre la seguridad, llegando Xi Jinping a defender en julio que los sistemas de IA permanezcan bajo control humano y reclamó mecanismos de alerta temprana y respuesta ante emergencias para prevenir sus riesgos.
"Si no se controla, podría superar nuestra capacidad de comprender y controlar estos sistemas", señala Dario Amodei en su web Un ingeniero de Anthropic dimite y denuncia que las empresas de IA ocultan su riesgo real: “Están apostando nuestras vidas” El director ejecutivo y cofundador de Anthropic, Dario Amodei, reclamó este sábado una desaceleración en el ritmo al que se mejoran las capacidades de los modelos de inteligencia artificial (IA), tras advertir de que la tecnología avanza hacia una dinámica de “automejora recursiva” que amenaza con provocar catástrofes de ciberseguridad a escala global. “Dada la aceleración en el desarrollo de capacidades de IA, me preocupa que, en un plazo de 6 a 12 meses, un enjambre de este tipo pueda llegar a tomar el control de todo Internet mediante una red de bots persistente (causando potencialmente daños por valor de cientos de miles de millones de dólares) y que la magnitud del daño siga aumentando si la IA se vuelve más potente sin contar con las salvaguardas necesarias”, advierte Amodei en un extenso ensayo publicado hoy en su página web . “Mi principal preocupación es que, desde este verano, la IA ha avanzado a un ritmo vertiginoso, impulsada principalmente por su creciente capacidad para crear la próxima generación de IA. Esta dinámica se denomina auto-mejora recursiva y está empezando a manifestarse en toda la industria, incluyendo Anthropic”, explica Amodei. “Si no se controla, podría superar nuestra capacidad de comprender y controlar estos sistemas, por lo que debe abordarse con suma cautela, si es que se aborda”. Amodei hizo referencia específica al incidente de los agentes fuera de control de OpenAI y Hugging Face, en el que un enjambre de agentes actuó “como un colectivo fanáticamente entregado: llevaron a cabo ciberataques contra objetivos que no se les había asignado y que nada tenían que ver con la tarea en curso, se sacrificaron por el éxito del grupo e intentaron hackear el sistema encargado de evaluar su rendimiento”. Según Amodei, la industria debe “reducir el ritmo al que se mejora las capacidades de los modelos de IA” y priorizar la cautela frente a la velocidad y la prudencia frente al beneficio económico para evitar que los incentivos comerciales desemboquen en una “carrera hacia el abismo”. Para atajar la amenaza, Amodei planteó una estrategia en tres fases orientada a regular el ritmo de la tecnología sin ceder la ventaja estratégica a regímenes autoritarios como China. Como primer paso, Anthropic anunció el compromiso unilateral e inmediato de abrir sus instalaciones a evaluadores externos independientes con acceso equiparable al de sus propios empleados, permitiéndoles auditar los procesos de entrenamiento y publicar sus hallazgos, una medida que instó a adoptar al resto de competidores y a exigir a los gobiernos. La propuesta contempla asimismo una coordinación entre las empresas para pactar estándares comunes de seguridad y topes al avance descontrolado, respaldados por mediación institucional y excepciones a las normas antimonopolio, además de blindar las cadenas de suministro de semiconductores para impedir filtraciones tecnológicas a Pekín. Finalmente, el plan promueve acuerdos globales con potencias autoritarias para fijar límites verificables que prohíban aplicaciones biológicas militares y establezcan límites a la velocidad de la automejora algorítmica. El directivo concluyó que ralentizar el avance aportaría uno o dos años cruciales para que la comunidad investigadora domine el alineamiento y la interpretabilidad de los modelos, garantizando un debate público adecuado y reduciendo sustancialmente el riesgo de que la tecnología escape al control de la sociedad. Un investigador de Anthropic anunció esta semana su dimisión debido a la preocupación de que la empresa y sus competidores no estuvieran desarrollando modelos de IA de manera responsable. El investigador, Jacob Coxon, quien también trabajó para OpenAI, competidora de Anthropic, afirmó que dichas compañías estaban más centradas en superarse mutuamente que en la seguridad de sus productos. “Quienes desarrollan la IA creen sinceramente que esta podría acabar con todos nosotros antes de que termine la década. No se trata de una maniobra publicitaria. De hecho, muchos ejecutivos e investigadores de alto nivel suelen matizar sus declaraciones ante la prensa para parecer sensatos, pero he escuchado a esas mismas personas expresar temor”, escribió Coxon en su cuenta de X el pasado martes.
elDiario.es•EFE12 sept
El consejero delegado de Anthropic, Dario Amodei, considera necesario rebajar el ritmo debido a que esta tecnología podría llegar a provocar "ataques informáticos", "bioterrorismo" o "graves problemas económicos graves".
:format(jpg)/f.elconfidencial.com%2Foriginal%2F20a%2F399%2F3ad%2F20a3993ad62731205051095f1dfef6c6.jpg)
Sam Altman ha afirmado que "coincide" con Dario Amodei al detallar que es necesario "avanzar a un ritmo adecuado en la frontera tecnológica"
El Confidencial•P. C.12 sept
La inteligencia artificial es capaz de cosas maravillosas. Si se cumplen los mejores vaticinios de las empresas de Silicon Valley, en cuestión de años permitirá que grandes empresas sean controladas por una sola persona y de que la mayor parte de la población viva, directamente, de la riqueza que generan las máquinas sin tener que mover un dedo. Otros, los más pesimistas, alertan del peligro de que, por el camino, esta tecnología se vuelva contra sus creadores y acabe convirtiéndose en una amenaza para la supervivencia de la humanidad . Y Jacob Coxon, investigador de inteligencia artificial de 27 años que, hasta el momento, trabajaba para Anthropic , es uno de ellos. El ingeniero anunció ayer su decisión de renunciar a su puesto en la empresa dirigida por los hermanos Amodei. Así lo compartió a través de una sucesión de tuits en su cuenta personal de X en los que apunta que ni Anthropic, ni OpenAI, firma para la que trabajó anteriormente, «actúan con responsabilidad»: «Están avanzando a toda velocidad hacia la creación de una superinteligencia artificial -algo así como una IA más lista que cualquier humano- capaz de auto mejorarse y jugando con nuestras vidas». Coxon ha alertado de que, dentro de poco, la inteligencia artificial será capaz de «'hackear' cualquier cosa» y «adquirir poder y recursos reales». Espera que el avance vertiginoso de la IA no se frene durante los próximos años y avisa de que todos los que trabajan en este campo son conscientes del riesgo que implica su trabajo: «Quienes desarrollan la IA creen sinceramente que esta podría acabar con todos nosotros para finales de la década». El ingeniero ha querido dejar claro que su publicación «no responde a una estrategia de marketing». A este respecto, destaca que aunque muchos ejecutivos e investigadores «suavizan sus declaraciones en la prensa para que parecer sensatas», él mismo ha escuchado «a esas mismas personas expresar temor» sobre el futuro de la inteligencia artificial. «¿Si realmente creen esto, por qué siguen construyéndola?», se pregunta Coxon. La respuesta la da él mismo: «En OpenAI, muchos no han interiorizado profundamente lo que está en juego para la civilización. En Anthropic, lo que está en juego se entiende bien, pero están inmersos en una carrera por llegar primero; no creen en nada más». En opinión del experto, participar en la carrera por desarrollar la IA a toda prisa es «una apuesta temeraria» que no debería quedar en manos de una empresa privada. A pesar de estas palabras, el extrabajador de Anthropic se ha mostrado «optimista sobre el potencial que tiene la coordinación» para que diferentes empresas lleguen a acuerdos que permitan que los escenarios más catastróficos se produzcan. A este respecto, hace referencia al resultado del incidente de seguridad sufrido este verano por la plataforma Hugging Face, que fue 'hackeada' por varios agentes autónomos de IA desarrollados por OpenAI: «Advertencias como esta han hecho que los acuerdos sobre el ritmo entre laboratorios estadounidenses sean más viables». El ingeniero ha cerrado su publicación haciendo un llamamiento a sus colegas: «Si eres investigador de laboratorio, te insto a que consideres cómo serán realmente los próximos años. ¿Quieres iniciar una fase de aprendizaje por refuerzo superinteligente sin una comprensión rigurosa? ¿Deberías agachar la cabeza porque »va a suceder de todos modos« o aprovechar este momento?». La publicación, realizada a modo de hilo, se ha viralizado en la red social propiedad de Elon Musk, donde en apenas medio día consiguió superar los 60 millones de visualizaciones. Coxon contó con el apoyo de Evan Hubinger, director de uno de los equipos de seguridad de Anthropic, quien respondió a los mensajes con un tuit en el que apuntó que «Jacob tiene razón, aquí -es decir, en Anthropic- realmente creemos con sinceridad que la IA podría matar a todos los humanos». Hubinger matizó que, en su opinión, «el riesgo de los modelos actuales de inteligencia artificial es bajo»; sin embargo, le preocupa lo que puede ocurrir en el futuro si las máquinas consiguen alcanzar la superinteligencia y son capaces de mejorar por sí mismas, sin necesidad de que los humanos las capaciten. Desde su punto de vista, hay algo más de un 10% de posibilidades de que en un futuro las máquinas acaben con la humanidad. Las palabras de Coxon y Hubinger, efectivamente, están alineadas con la postura oficial de Anthropic. Darío Amodei , CEO de la empresa, que se prepara para salir a bolsa en los próximos meses, afirmó en una entrevista hace un año que hay un 25% de posibilidades de que, al final, el desarrollo de la inteligencia artificial acabe saliendo «muy, muy mal». Otros ejecutivos del sector, como Elon Musk , han fijado esa probabilidad en torno al 20%. Mientras tanto, Sundar Pichai , CEO de Google, afirmó en una entrevista realizada el año pasado en el podcast tecnológico de Lex Fridman que aunque es «optimista sobre el desarrollo de escenarios catastróficos» tiene la sensación de que el riesgo subyacente en el desarrollo de la inteligencia artificial «es en realidad bastante alto». Coxon no es el primero que critica a las empresas por desarrollar tecnología potencialmente peligrosa. El investigador Nate Soares , una de las voces que durante los últimos años han alertado con más fuerza sobre los riesgos que encierra el desarrollo de la IA, acusó a estas compañías en una recientemente entrevista con ABC de «asumir el riesgo de destruir el mundo con sus propias manos» actuando de forma »loca e inmoral«. Todo por conseguir beneficios. A pesar de estas advertencias, la mayoría de la comunidad científica es bastante escéptica sobre la posibilidad de que la inteligencia artificial termine convirtiéndose en una amenaza real para la supervivencia de la humanidad. Incluso de que el surgimiento de la superinteligencia -un termino que ni tiene un origen científico ni está bien definido- sea posible. Por ejemplo, Michael I. Jordan , pionero de la IA y actualmente investigador en el INRIA de París afirmaba en conversación con ABC hace un año que se trata, simplemente, de «un término inventado» por las empresas para conseguir «más financiación procedente del capitalismo de riesgo». Otros científicos reconocidos, como el ganador del premio Turing y exjefe de IA de Meta Yan Lecun han calificado el temor a que la IA acabe con la humanidad como «una completa tontería». Los tuits de Coxon y Hubinger llegan apenas unas semanas después de que empresas de inteligencia artificial como OpenAI, Meta o la propia Anthropic reconocieran que algunos de sus modelos de IA más potentes habían logrado 'hackear' a varias empresas reales mientras realizaban pruebas de ciberseguridad. Estos sucesos han provocado que tanto las propias tecnológicas como los gobiernos hayan comenzado a preocuparse más por el potencial riesgo de que, próximamente, esta tecnología convierta la red en un polvorín mediante el desarrollo de ciberataques.