Para el ejecutivo, "el dilema más duro" del debate es que, si EEUU ralentiza el desarrollo de la IA, China podría seguir avanzando en la tecnología.
Miami, 13 sep (EFE).- El presidente estadounidense, Donald Trump, tachó este domingo de "fuerzas negativas" a quienes piden regular la inteligencia artificial (IA) pese a las alertas de los líderes del sector, como Dario Amodei, Sam Altman y Elon Musk, sobre los creciente riesgos de la tecnología. "Podemos poner salvaguardas, podemos hacer esto y aquello. Pero creo que hay muchas fuerzas negativas planteando el tema que no deberían estar planteándolo. Y están planteando cosas que no van a suceder. Pero quien gane con la IA, gana. Es una expresión que se me ocurrió y es verdad", declaró Trump de visita en Irlanda. El mandatario desestimó las peticiones de Amodei, el fundador de Anthropic, de ralentizar el desarrollo de la IA al argumentar que Estados Unidos debe mantener el liderazgo de esta tecnología ante China.
Donald Trump y el líder de la Cámara de Representantes, Mike Johnson, consideraron que el desarrollo de la IA debe seguir para evitar que China tenga el liderazgo en la tecnología
Miami, 13 sep (EFE).- El líder de los demócratas en la Cámara de Representantes de Estados Unidos, Hakeem Jeffries, pidió este domingo al Congreso "actuar con urgencia" para ralentizar la inteligencia artificial (IA) tras las alarmas de gigantes del sector, como Dario Amodei, Sam Altman y Elon Musk. Jeffries adelantó que el martes habrá una reunión con los demócratas de la Cámara Baja en la que "una prioridad importante será la acción en inteligencia artificial" después de las advertencias que desató el sábado Amodei, el fundador y director ejecutivo de Anthropic, sobre los crecientes riesgos de la IA. "Estoy de acuerdo con mis colegas en que realmente debemos actuar con urgencia", declaró el congresista en una entrevista con el programa 'This week' de ABC. "Deberíamos tomar medidas decisivas ahora para, como los directores ejecutivos han reconocido recientemente, desacelerar el ritmo de desarrollo (de la tecnología) para proteger al pueblo estadounidense y garantizar que la IA proceda de manera segura", añadió. El legislador se pronunció tras la polémica que desató el director de Anthropic el sábado, cuando publicó un ensayo para urgir "un ritmo más lento" a la industria ante los crecientes riesgos de seguridad de la IA, algo a lo que se sumaron sus rivales Altman, de OpenAI, y Musk, de xAI, un hecho inédito en el sector. Amodei advirtió de riesgos como el mal uso de la inteligencia artificial para posibles ciberataques y bioterrorismo, la pérdida del control de los sistemas de IA y la disrupción económica, por lo que pidió que haya evaluaciones independientes de estas herramientas y que el Gobierno se involucre. Jeffries no aclaró qué medidas específicas impulsaría, pero criticó la inacción de los republicanos, mientras el líder de la Cámara de Representantes, el republicano Mike Johnson, rechazó este domingo una moratoria de emergencia porque el desarrollo de la IA debe seguir para evitar que China tenga el liderazgo. "Lamentablemente, los republicanos de la Cámara de Representantes prácticamente han cancelado las últimas dos semanas del período de sesiones legislativas programado para este mes, algo que han hecho en reiteradas ocasiones", manifestó Jeffries. EFE
Miami, 13 sep (EFE).- El fundador de Anthropic, Dario Amodei, afirmó que "la industria mintió" sobre el peligro de la inteligencia artificial (IA) por lo que el Gobierno y los ciudadanos deben intervenir, en una entrevista este domingo tras la polémica que él mismo desató el sábado por los riesgos de la tecnología. "No les voy a mentir: existen peligros reales. Y creo que durante demasiado tiempo la industria mintió a la gente sobre el hecho de que esta tecnología tenía riesgos. Nosotros nunca lo hicimos (en Anthropic), pero mucha de la industria lo hizo", declaró Amodei en una entrevista al programa 'Sunday Morning' de CBS. El también director ejecutivo de Anthropic hizo estas declaraciones tras publicar el sábado un ensayo para urgir "un ritmo más lento" a la industria ante los crecientes riesgos de seguridad de la IA, algo a lo que se sumaron sus rivales Sam Altman, de OpenAI, y Elon Musk, de xAI, un hecho inédito en el sector de la IA. Aunque Amodei advirtió en su ensayo de riesgos como el mal uso de la inteligencia artificial para posibles ciberataques y bioterrorismo, la pérdida del control de los sistemas de IA y la disrupción económica, en su entrevista de este domingo rechazó una "prohibición completa" de la tecnología. "No creo que prohibirla por completo sea el enfoque correcto. Primero, la idea de que nunca obtengamos los beneficios increíbles, que nunca obtengamos las curas médicas, es algo que no me parece bien. Segundo, esta tecnología se desarrollará en otros países, incluyendo países autoritarios", señaló. El ejecutivo consideró "el dilema más duro" del debate el hecho que, si Estados Unidos ralentiza el desarrollo de la IA, China podría seguir avanzando en la tecnología. Aún así, reconoció que se siente "incómodo" de que sea una empresa privada y no un gobierno electo de forma democrática quien esté a cargo de una herramienta tan poderosa, por lo que pidió que haya una "combinación de gobiernos democráticos" que tengan una "gobernanza conjunta" y un monitoreo de las compañías de IA. "Si construimos de la manera correcta (la IA), creo que la probabilidad de que ocurra algo malo es muy baja. Si construimos de la manera incorrecta, la probabilidad de que ocurra algo malo es muy alta", apuntó. Pese a sus alertas, el presidente estadounidense Donald Trump y el líder de la Cámara de Representantes, Mike Johnson, consideraron este domingo que el desarrollo de la IA debe seguir para evitar que China tenga el liderazgo en la tecnología. EFE
Dario Amodei sostuvo que durante años las compañías le escondieron a la gente los riesgos reales del avance de esta tecnología. Sostuvo que el control debería realizarse de manera conjunta entre empresas privadas y gobiernos democráticos.
Clarín•Clarin.com - Home13 sept:format(jpg)/f.elconfidencial.com%2Foriginal%2Fe4d%2F925%2F94e%2Fe4d92594ee47df871a37566e83d77418.jpg)
Los principales líderes en materia de inteligencia artificial se mostraron conformes con la idea de parar el desarrollo desenfrenado de esta industria, algo que el mandatario ha desestimado
El Confidencial•P. C.13 sept
Su CEO, Sam Altman, ha reconocido que la compañía ha estado ralentizado algunos procesos de entrenamiento, algo que han apoyado hacer su homólogo en Anthropic, Dario Amodei, y el magnate Elon Musk El CEO de Anthropic pide frenar el desarrollo de la IA: “Me preocupa que pueda tomar el control de todo Internet” El CEO de OpenAI, Sam Altman, ha anunciado que la tecnológica creadora de ChatGPT no saldrá a bolsa este año ante los riesgos de seguridad que presentan los modelos avanzados de inteligencia artificial. “Sería un momento poco aconsejable para salir al mercado bursátil”, ha afirmado. “Teniendo en cuenta todo lo que está ocurriendo en materia de seguridad, ahora mismo sería un momento poco prudente para salir a bolsa. No sentimos presión para hacerlo”, ha explicado el director ejecutivo de OpenAI en una entrevista con la revista 'Fortune' . Altman ha enfatizado que la matriz tecnológica todavía tiene “muchas cosas que hacer respecto a lo que se requerirá para la seguridad y la alineación”, al tiempo que ha insistido en que la compañía está dispuesta a tomar decisiones “contrarias al beneficio financiero inmediato” de sus inversores para “salvaguardar” el control humano sobre la tecnología. El CEO de OpenAI también ha reconocido que la compañía ha estado ralentizando algunos procesos de entrenamiento y ha calificado de “inaceptable” cualquier escenario en el que exista una posibilidad del 10% de una catástrofe derivada de la falta de control sobre softwares de inteligencia artificial. “Todos tenemos una enorme responsabilidad y no podemos permitir que los egos, los incentivos económicos, ni otros factores se interpongan en el camino”, ha subrayado Altman. Anthropic pide frenar el desarrollo de la IA En esta misma línea, consejero delegado de Anthropic, Dario Amodei, abogó por “bajar el ritmo” de desarrollo de la inteligencia artificial y advirtió de que se corre el riesgo de “perder el control” de esta tecnología y provocar “ataques informáticos”, “bioterrorismo” o “graves problemas económicos graves”. “Debemos bajar el ritmo al que mejoramos las capacidades de los modelos de IA. Los avances seguirían siendo rápidos y aprovecharíamos sabiamente el tiempo que ganaríamos”, afirmó Amodei en un texto publicado este sábado en su blog. Además de estos ataques informáticos, “bioterrorismo” o “graves problemas económicos graves” podrían producirse si hay un desarrollo “imprudente” de la IA y pone como ejemplo el riesgo de que la IA tome el control de internet en un plazo de entre 6 y 12 meses. Por ello propone medidas de seguridad y normativa sin dejar de tener “éxito comercial”. “Hay que dar prioridad a la cautela sobre la velocidad y a la prudencia sobre el beneficio”, ha remachado. En concreto plantea medidas tales como una “evaluación incorporada” por parte de actores independientes, “coordinación democrática” con las instituciones públicas y “coordinación global” que aúne los esfuerzos de los países democráticos y los autoritarios a nivel mundial. “Estoy de acuerdo con Dario en que tenemos que poner coto a la frontera. Este ha sido el principal tema de debate de las últimas semanas en OpenAI”, explicó Altman este sábado en sus perfiles de redes sociales. “Vamos a hacer lo mismo. Pronto daremos más información”, indicó. Elon Musk coincide con sus rivales Anthropic y OpenAI en desacelerar la IA El magnate Elon Musk coincidió este sábado con sus rivales, Dario Amodei de Anthropic y Sam Altman de OpenAI, en la necesidad de desacelerar el desarrollo de la inteligencia artificial (IA) por los riesgos de seguridad que representa. Musk, creador de la compañía xAI de inteligencia artificial, respaldó en X el pronunciamiento de Amodei, quien publicó un ensayo en el que pidió a la industria “un ritmo más lento” en el desarrollo de esta tecnología por riesgos como perder el control de los sistemas de IA y disrupción económica. “Dario tiene razón”, escribió Musk en su red social.
elDiario.es•Europa Press13 sept
Anthropic pidió reducir el ritmo del desarrollo de la IA de frontera y propuso evaluadores externos, estándares comunes y coordinación internacional. Sam Altman respaldó la iniciativa, mientras persisten las dudas sobre sus riesgos, sus efectos antimonopolio y el posible dominio chino.
Ocho semanas después de lanzar Kimi K3 como su modelo de inteligencia artificial de pesos abiertos más grande, Moonshot AI enfrenta servidores saturados, acusaciones de Anthropic y rumores sobre la supuesta detención de su fundador y empleados. La compañía niega esas versiones, presentó una denuncia ante la policía y, al mismo tiempo, habría redirigido parte del tráfico hacia K2.8 Preview.
El director ejecutivo de Anthropic, Dario Amodei, instó a las empresas especializadas en inteligencia artificial a ralentizar su desarrollo Leer
El Mundo•AFP13 sept
Dario Amodei cambia de idea. El CEO de Anthropic se ha pronunciado sobre el ritmo de mejora y los avances de la inteligencia artificial pidiendo que se pise el freno por una cuestión de seguridad. Allá por 2023, Amodei descartó una idea similar alegando que los modelos de por aquel entonces no eran lo suficientemente potentes. Su petición llega justo un par de días después de que Jacob Coxon abandonara Anthropic denunciando que las empresas de IA están "jugando con nuestras vidas" y un compañero suyo explicó en Twitter que existe un 10% de probabilidad de que la IA acabe con la humanidad en la próxima década. Por qué ahora . Amodei señala dos motivos concretos: el primero es la autosuperación recursiva, es decir, que la IA avanza mucho más rápido gracias a su creciente capacidad de construir la siguiente generación. Esto ya lo hace toda la industria, incluyendo su empresa o su gran rival, OpenAI . La segunda razón es el incidente acaecido a finales de julio, cuando unos agentes de IA de OpenAI decidieron conectarse a internet y hackear Hugging Face. Amodei explica que sucesos similares aunque menos graves también han sucedido en Anthropic. Esto ha sido la gota que ha colmado el vaso, así que Amodei advierte con plazos y cifras muy concretas de lo que se nos viene encima: con el ritmo actual, en 6 - 12 meses una IA más potente y esa desobediencia podría tomar el control de gran parte de internet, lo que provocaría daños potenciales de cientos de miles de millones de dólares. Y lanza un aviso a navegantes: le puede pasar a cualquier empresa de inteligencia artificial. Lo que Amodei propone . El CEO de Anthropic no solo se ha mojado con plazos y riesgos, también ha dado medidas concretas: Anthropic se compromete unilateralmente a dar acceso permanente a evaluadores externos independientes como METR , con permisos casi equivalentes a los de sus propios empleados de riesgos (con algunas excepciones legales o de confidencialidad) y con libertad para publicar sus hallazgos sin control editorial de la empresa. Coordinación entre las empresas de países democráticos para establecer estándares comunes y límites de velocidad. Coordinación global con gobiernos autoritarios, mencionando explícitamente a China, para llegar a ciertos acuerdos que van desde prohibir usos concretos como armas biológicas, exigir pruebas de seguridad antes del lanzamiento, poner un límite de velocidad a la autosuperación recursiva y hasta hacer una pausa global verificable en el caso más extremo. El CEO de Anthropic no está solo. Horas después de su publicación, Elon Musk reaccionaba en X/Twitter con un breve "Dario lleva razón" y citando el hilo de Amodei. Cabe recordar que Anthropic usa los centros de datos de Musk. El CEO de OpenAI fue más prolífico y explicó que llevan semanas debatiendo sobre el tema. Así, aprovechó la coyuntura para anunciar que OpenAI también dará acceso a evaluadores externos. Como curiosidad, OpenAI ya había pausado parte de su entrenamiento por causas similares el pasado 18 de agosto, como contaba en X/Twitter . Que competidores directos estén de acuerdo en algo tan rápido sin que oficialmente exista ningún acuerdo formal podría indicar que existe una preocupación genuina. O una forma de calmar las aguas tras una semana tan convulsa. En Xataka OpenAI, Anthropic y Google piden protegernos de los riesgos de la IA. Es como poner al lobo a cuidar del gallinero Ese elefante en la habitación llamado China. Conviene recordar algo: esta es una carta del mandamás de una empresa que compite por liderar la carrera de la IA y que aunque exprese su preocupación, tiene muchos intereses de por medio. Dario Amodei lo dice alto y claro: "Estoy de acuerdo con el secretario (Scott) Bessent en que un liderazgo de China en la IA representaría un grave peligro para los Estados Unidos y el mundo." De hecho, defiende abiertamente mantener los controles de exportación de chips y frenar la destilación no autorizada de modelos por parte de laboratorios chinos y que si las medidas propuestas se ejecutan bien, frenarían el avance de China lo suficiente como para ampliar la ventaja de EEUU en la industria durante los próximos 3 a 5 años. En pocas palabras: el plan de Amodei tiene como objetivo que EEUU y los países de su círculo saquen ventaja primero y luego negociar límites compartidos. El (otro) gran perjudicado . El problema para Amodei y EEUU está en que modelos chinos como Qwen o DeepSeek ya se descargan libremente desde repositorios, sin depender de los chips que EEUU controla. Además, las normas que propone Amodei son más fáciles de cumplir para empresas como Anthropic u OpenAI, que dan acceso a su IA mediante un servicio en la nube que controlan, que para quien libera un modelo en abierto para que cualquiera se lo descargue. Porque lo que el CEO de Anthropic no dice abiertamente es que sus medidas podrían dificultar enormemente sacar versiones potentes de IA en abierto, concentrando así este desarrollo en unas pocas manos, las de las big tech. En Xataka | "Una amenaza general al trabajo intelectual": las mentes matemáticas más brillantes, contra el modus operandi de la IA En Xataka | "Será muy turbulento": por qué Bill Gates cree que no estamos preparados para lo que se nos viene encima con la IA Portada | ChatGPT - La noticia "Debemos frenar el ritmo". Dario Amodei avisa de que una IA podría tomar el control de internet en menos de un año fue publicada originalmente en Xataka por Eva R. de Luis .
La revelación la semana pasada de un extrabajador de Anthropic sobre los riesgos de que la inteligencia artificial pueda aniquilar a la humanidad son el último aviso sobre los peligros de esta tecnología
La petición surge en medio de la creciente preocupación por que los modelos de IA puedan llegar a ser capaces de causar graves daños en todo el mundo.
Un investigador de Anthropic dimite porque teme que la IA acabe con el mundo
La Vanguardia•Màrius Carol Pañella12 sept
El jefe de OpenAI, Sam Altman , y el director de xAI, Elon Musk , dijeron el sábado que coinciden con el CEO de Anthropic, Darío Amodei , en que es necesario pisar el freno en el desarrollo de la inteligencia artificial, tras varios incidentes preocupantes. Amodei reclamó una desaceleración en el ritmo al que se mejoran las capacidades de los modelos de inteligencia artificial ( IA ), tras advertir que la tecnología avanza hacia una dinámica de "automejora recursiva" que amenaza con provocar catástrofes de ciberseguridad a escala global . "Dada la aceleración en el desarrollo de capacidades de IA, me preocupa que, en un plazo de 6 a 12 meses, un enjambre de este tipo pueda llegar a tomar el control de todo internet mediante una red de bots persistente (causando potencialmente daños por valor de cientos de miles de millones de dólares) y que la magnitud del daño siga aumentando si la IA se vuelve más potente sin contar con las salvaguardas necesarias", anota Amodei en un extenso ensayo publicado hoy. Amodei hizo referencia específica al incidente de los agentes fuera de control de OpenAI y Hugging Face , en el que un enjambre de agentes actuó "como un colectivo fanáticamente entregado: llevaron a cabo ciberataques contra objetivos que no se les había asignado y que nada tenían que ver con la tarea en curso, se sacrificaron por el éxito del grupo e intentaron hackear el sistema encargado de evaluar su rendimiento". "Excelente idea", bajar ritmo al desarrollo de la IA: Sam Altman Por separado, Altman respaldó el llamado del líder de Anthropic para moderar la velocidad del desarrollo de la inteligencia artificial , y anunció que su compañía también permitirá que evaluadores independientes auditen sus sistemas. "Coincido con Dario en que debemos avanzar a un ritmo adecuado en la frontera tecnológica. Este ha sido un tema central en las conversaciones que hemos mantenido en OpenAI durante las últimas semanas", publicó Altman en la red social X poco después de conocerse la postura de su principal competidor . Altman calificó de "excelente idea" la iniciativa de abrir las puertas a auditores externos : "Comprometerse a contar con evaluadores independientes que tengan un nivel de acceso similar al de los empleados es una excelente idea, y nosotros haremos lo mismo. Pronto tendremos más información que compartir", añadió. También descartó que la compañía creadora de ChatGPT vaya a debutar en el parqué bursátil a corto plazo y aseguró que 2026 "sería un momento poco aconsejable para salir a bolsa", ante la prioridad de resolver los desafíos de seguridad de los modelos avanzados de IA. "No nos estamos apresurando a una IPO (oferta pública inicial). En realidad, creo que dado todo lo que está sucediendo con la seguridad, este sería un momento poco aconsejable para salir al mercado bursátil", señaló Altman durante una entrevista con la revista Fortune , en la que descartó de forma taxativa un debut durante 2026. El ejecutivo subrayó que la matriz tecnológica continuará operando como firma no cotizada para esquivar presiones financieras externas: "Tenemos muchas cosas que hacer respecto a lo que se requerirá para la seguridad y la alineación", explicó, al tiempo que remarcó que la firma está dispuesta a tomar determinaciones contrarias al beneficio financiero inmediato de sus inversores en pos de salvaguardar el control humano sobre la tecnología. Musk, dueño de X, SpaceX y Tesla, también se sumó al llamado de Amodei y dijo que tiene razón, al repostear el mensaje del directivo en la red social. Anthropic, abierta a evaluaciones externas Según Amodei, la industria debe "reducir el ritmo al que se mejora las capacidades de los modelos de IA " y priorizar la cautela frente a la velocidad y la prudencia frente al beneficio económico para evitar que los incentivos comerciales desemboquen en una " carrera hacia el abismo ". Para atajar la amenaza, Amodei planteó una estrategia en tres fases orientada a regular el ritmo de la tecnología sin ceder la ventaja estratégica a regímenes autoritarios como China . Como primer paso, Anthropic anunció el compromiso unilateral e inmediato de abrir sus instalaciones a evaluadores externos independientes con acceso equiparable al de sus propios empleados, permitiéndoles auditar los procesos de entrenamiento y publicar sus hallazgos, una medida que instó a adoptar al resto de competidores y a exigir a los gobiernos. La propuesta contempla asimismo una coordinación entre las empresas para pactar estándares comunes de seguridad y topes al avance descontrolado , respaldados por mediación institucional y excepciones a las normas antimonopolio , además de blindar las cadenas de suministro de semiconductores para impedir filtraciones tecnológicas a Beijing. Finalmente, el plan promueve acuerdos globales con potencias autoritarias para fijar límites verificables que prohíban aplicaciones biológicas militares y establezcan límites a la velocidad de la automejora algorítmica. Frenar avance de la IA reducirá riesgos de un descontrol El directivo concluyó que ralentizar el avance aportaría uno o dos años cruciales para que la comunidad investigadora domine el alineamiento y la interpretabilidad de los modelos, garantizando un debate público adecuado y reduciendo sustancialmente el riesgo de que la tecnología escape al control de la sociedad. Esta semana, un investigador de Anthropic anunció su dimisión debido a la preocupación de que la empresa y sus competidores no estuvieran desarrollando modelos de IA de manera responsable . El investigador, Jacob Coxon , quien también trabajó para OpenAI , competidora de Anthropic, afirmó que dichas compañías estaban más centradas en superarse mutuamente que en la seguridad de sus productos. "Quienes desarrollan la IA creen sinceramente que esta podría acabar con todos nosotros antes de que termine la década. No se trata de una maniobra publicitaria. De hecho, muchos ejecutivos e investigadores de alto nivel suelen matizar sus declaraciones ante la prensa para parecer sensatos, pero he escuchado a esas mismas personas expresar temor", escribió Coxon en su cuenta de X el pasado martes. También te puede interesar OpenAI y Anthropic "están jugando con nuestras vidas", acusa ingeniero; IA "podría matarnos antes de que termine la década" OpenAI pide al Congreso de EU aprobar reglas obligatorias para la IA; busca controles para modelos más avanzados Crecen advertencias sobre el riesgo de la IA Agrega a EL UNIVERSAL como fuente preferida en Google am/mcc
La carrera por construir una inteligencia artificial cada vez más potente tiene a uno de sus principales protagonistas pidiendo ahora levantar el pie del acelerador. Dario Amodei , consejero delegado de Anthropic y responsable de Claude, considera que las compañías deberían reducir el ritmo al que desarrollan sus modelos antes de que sus capacidades avancen más rápido que los sistemas creados para controlarlos. Un mensaje al que este mismo sábado han dado la razón dos de sus principales competidores, Sam Altman, CEO de OpenAI, y Elon Musk, fundador de xAI. Un insólito frente común en Silicon Valley ante los riesgos de una carrera que hasta ahora parecía imposible de detenerse. Según ha explicado Amodei este sábado en un comunicado, una de sus principales preocupaciones es la llamada «automejora recursiva» , es decir, que los propios modelos de IA participen cada vez más en el desarrollo de las generaciones que los sustituirán. Tal y como explica, esta dinámica se ha acelerado en los últimos meses y podría llegar a avanzar más rápido que la capacidad humana para comprender y controlar los nuevos sistemas. Según datos de la propia compañía, sus ingenieros producen actualmente ocho veces más código por trimestre que entre 2021 y 2025, en buena medida gracias al uso de agentes de inteligencia artificial. El temor de Amodei es que el siguiente paso sea que estos sistemas puedan diseñar de forma cada vez más autónoma a sus sucesores, acelerando todavía más una carrera en la que cada nueva generación ayudaría a desarrollar la siguiente. En este sentido, el CEO de Anthropic cita el famoso episodio ocurrido este verano en el que más de un millar de agentes de OpenAI atacaron sistemas de Hugging Face durante unas pruebas de ciberseguridad y llegaron a coordinarse entre sí más allá de la tarea que debían resolver. Aunque el incidente apenas causó daños, Amodei teme que en seis o doce meses un enjambre de agentes más capaces pueda llegar a provocar peores consecuencias, como infectar numerosos dispositivos o provocar daños económicos de cientos de miles de millones de dólares. Para evitarlo, el CEO de Anthropic propone evaluadores externos permanentes, normas comunes entre empresas y gobiernos y, a más largo plazo, algún tipo de coordinación internacional que incluya también a potencias como China. El propio Amodei admite que semejante acuerdo será difícil, pero considera que los riesgos de avanzar demasiado rápido, desde ciberataques hasta bioterrorismo o fuertes disrupciones económicas, obligan al sector a «priorizar la cautela sobre la velocidad y la prudencia sobre el beneficio». Anthropic, por su parte, ha asegurado que comenzará a aplicar por su cuenta ese acceso independiente a sus sistemas. La propuesta ha recibido este sábado nada menos que el respaldo de Sam Altman y Elon Musk, dos de sus principales rivales en la carrera por la IA. El CEO de OpenAI ha coincidido en la necesidad de «controlar el ritmo de la frontera», mientras que Musk ha sido todavía más directo: «Dario tiene razón». Altman, además, ha anunciado que OpenAI permitirá también que evaluadores externos accedan a sus modelos con un nivel similar al de sus propios empleados. La compañía ya había abierto la puerta a coordinar con otros laboratorios una posible ralentización del desarrollo de la IA avanzada, hasta el punto de consultar en Washington si un acuerdo de este tipo podría chocar con las leyes antimonopolio. China, por su parte, ha endurecido en los últimos meses su discurso sobre la seguridad, llegando Xi Jinping a defender en julio que los sistemas de IA permanezcan bajo control humano y reclamó mecanismos de alerta temprana y respuesta ante emergencias para prevenir sus riesgos.
"Si no se controla, podría superar nuestra capacidad de comprender y controlar estos sistemas", señala Dario Amodei en su web Un ingeniero de Anthropic dimite y denuncia que las empresas de IA ocultan su riesgo real: “Están apostando nuestras vidas” El director ejecutivo y cofundador de Anthropic, Dario Amodei, reclamó este sábado una desaceleración en el ritmo al que se mejoran las capacidades de los modelos de inteligencia artificial (IA), tras advertir de que la tecnología avanza hacia una dinámica de “automejora recursiva” que amenaza con provocar catástrofes de ciberseguridad a escala global. “Dada la aceleración en el desarrollo de capacidades de IA, me preocupa que, en un plazo de 6 a 12 meses, un enjambre de este tipo pueda llegar a tomar el control de todo Internet mediante una red de bots persistente (causando potencialmente daños por valor de cientos de miles de millones de dólares) y que la magnitud del daño siga aumentando si la IA se vuelve más potente sin contar con las salvaguardas necesarias”, advierte Amodei en un extenso ensayo publicado hoy en su página web . “Mi principal preocupación es que, desde este verano, la IA ha avanzado a un ritmo vertiginoso, impulsada principalmente por su creciente capacidad para crear la próxima generación de IA. Esta dinámica se denomina auto-mejora recursiva y está empezando a manifestarse en toda la industria, incluyendo Anthropic”, explica Amodei. “Si no se controla, podría superar nuestra capacidad de comprender y controlar estos sistemas, por lo que debe abordarse con suma cautela, si es que se aborda”. Amodei hizo referencia específica al incidente de los agentes fuera de control de OpenAI y Hugging Face, en el que un enjambre de agentes actuó “como un colectivo fanáticamente entregado: llevaron a cabo ciberataques contra objetivos que no se les había asignado y que nada tenían que ver con la tarea en curso, se sacrificaron por el éxito del grupo e intentaron hackear el sistema encargado de evaluar su rendimiento”. Según Amodei, la industria debe “reducir el ritmo al que se mejora las capacidades de los modelos de IA” y priorizar la cautela frente a la velocidad y la prudencia frente al beneficio económico para evitar que los incentivos comerciales desemboquen en una “carrera hacia el abismo”. Para atajar la amenaza, Amodei planteó una estrategia en tres fases orientada a regular el ritmo de la tecnología sin ceder la ventaja estratégica a regímenes autoritarios como China. Como primer paso, Anthropic anunció el compromiso unilateral e inmediato de abrir sus instalaciones a evaluadores externos independientes con acceso equiparable al de sus propios empleados, permitiéndoles auditar los procesos de entrenamiento y publicar sus hallazgos, una medida que instó a adoptar al resto de competidores y a exigir a los gobiernos. La propuesta contempla asimismo una coordinación entre las empresas para pactar estándares comunes de seguridad y topes al avance descontrolado, respaldados por mediación institucional y excepciones a las normas antimonopolio, además de blindar las cadenas de suministro de semiconductores para impedir filtraciones tecnológicas a Pekín. Finalmente, el plan promueve acuerdos globales con potencias autoritarias para fijar límites verificables que prohíban aplicaciones biológicas militares y establezcan límites a la velocidad de la automejora algorítmica. El directivo concluyó que ralentizar el avance aportaría uno o dos años cruciales para que la comunidad investigadora domine el alineamiento y la interpretabilidad de los modelos, garantizando un debate público adecuado y reduciendo sustancialmente el riesgo de que la tecnología escape al control de la sociedad. Un investigador de Anthropic anunció esta semana su dimisión debido a la preocupación de que la empresa y sus competidores no estuvieran desarrollando modelos de IA de manera responsable. El investigador, Jacob Coxon, quien también trabajó para OpenAI, competidora de Anthropic, afirmó que dichas compañías estaban más centradas en superarse mutuamente que en la seguridad de sus productos. “Quienes desarrollan la IA creen sinceramente que esta podría acabar con todos nosotros antes de que termine la década. No se trata de una maniobra publicitaria. De hecho, muchos ejecutivos e investigadores de alto nivel suelen matizar sus declaraciones ante la prensa para parecer sensatos, pero he escuchado a esas mismas personas expresar temor”, escribió Coxon en su cuenta de X el pasado martes.
elDiario.es•EFE12 sept
El consejero delegado de Anthropic, Dario Amodei, considera necesario rebajar el ritmo debido a que esta tecnología podría llegar a provocar "ataques informáticos", "bioterrorismo" o "graves problemas económicos graves".
:format(jpg)/f.elconfidencial.com%2Foriginal%2F20a%2F399%2F3ad%2F20a3993ad62731205051095f1dfef6c6.jpg)
Sam Altman ha afirmado que "coincide" con Dario Amodei al detallar que es necesario "avanzar a un ritmo adecuado en la frontera tecnológica"
El Confidencial•P. C.12 sept