OpenAI y Anthropic estuvieron cerca de pactar pruebas cruzadas para detectar vulnerabilidades en sus modelos comerciales, según un reporte atribuido a The Information. El posible acuerdo habría surgido antes de incidentes divulgados por OpenAI relacionados con agentes de IA y de las advertencias de Alex Karp, CEO de Palantir, sobre los riesgos legales y bursátiles que enfrentan ambas empresas.
Nscale llega a su posible debut bursátil con una cartera contractual de USD $103.000 millones, pero Microsoft y Anthropic concentran el 85% de ese valor y solo USD $2.600 millones estaban activos a finales de agosto.
La renuncia de Jacob Coxon a Anthropic y su advertencia sobre los riesgos de una IA capaz de mejorarse a sí misma provocaron reacciones en la industria
Sostienen que las compañías se comportaron como un cartel al coordinar sus esfuerzos para que la evolución de la IA sea más lenta en detrimento de sus clientes
El rey Carlos III reunió en Escocia a ejecutivos y expertos de inteligencia artificial para advertir que sus capacidades podrían representar un peligro existencial si caen en manos equivocadas. La cumbre, celebrada en Dumfries House con representantes de Nvidia, OpenAI y Anthropic, expuso el choque entre la urgencia por desarrollar la tecnología y la necesidad de establecer controles de seguridad antes de que sus sistemas sean más difíciles de gobernar.
Ante las advertencias que vaticina el fin del mundo y de la humanidad a manos de una inteligencia artificial (IA) cada vez más avanzada, el director ejecutivo de Nvidia, Jensen Huang rechaza estas narrativas, afirmando que "hay un 0% de probabilidades" del fin del mundo llegue a finales de esta década. Los riesgos que la inteligencia artificial tiene para la humanidad han destacado en las últimas semanas en los discursos de líderes del sector, como el director ejecutivo de Anthropic, Dario Amodei; del director ejecutivo de OpenAI, Sam Altam; e incluso de un antiguo investigador de Anthropic, Jacob Coxon, que han llamado a frenar el ritmo de desarrollo de esta tecnología. Los tres han alertado de una IA autónoma con capacidades cada vez más avanzadas que no siga las instrucciones de los humanos e incluso llegue a ser "lo suficientemente inteligente como para matarnos", según advirtió Coxon, después de haber afirmado que "las personas que están construyendo IA creen sinceramente que podría matarnos a todos para finales de la década". Para el director ejecutivo de Nvidia, Jensen Huang, estas advertencias son "narrativas apocalípticas" que solo buscan asustar a las personas. "El 2030 no va a ser el fin del mundo. Hay un 0% de probabilidades de que lo sea", ha asegurado en una entrevista a CBS News. Nvidia es una de las empresas que lideran la IA actualmente, como proveedor de los chips avanzados para los servidores y ordenadores que impulsan el desarrollo, el entrenamiento y la inferencia de los modelos. A principios de septiembre anticipó un crecimiento de los ingresos "de aproximadamente el 70%" en su próximo ejercicio fiscal (2027/2028), como consecuencia del auge de la demanda de IA que está impulsando el desarrollo de infraestructuras a nivel mundial. Precisamente, por su posición en el mercado de la IA, Huang ha subrayado que "el éxito" de Nvidia está directamente relacionado con el despliegue seguro de sus productos y servicios. "Si no continuamos haciéndolo, nuestro valor disminuirá", ha apostillado. Detrás de estas advertencias se encuentran dos problemas relacionados con las capacidades avanzadas de la IA: la desalineacion y la automejora recursiva. El primer concepto hace referencia al comportamiento de la IA que no se ajusta a lo esperado, en base a valores, intereses o intenciones humanas. La automejora recursiva, por su parte, es una técnica que permite que un sistema de IA diseñe y desarrolle de forma autónoma a su sucesor. Anthropic ha propuesto recientemente evaluar el ritmo de desarrollo de la IA en base a tres puntos críticos que permitan constatar lo avanzada que está la autoconstrucción de una nueva versión de la IA, la capacidad de la empresa para supervisar e intervenir en las acciones que los agentes realicen en sus sistemas y la capacidad de cómputo necesaria para desarrollar los modelos más capaces.
Las apuestas de Polymarket descuentan que Anthropic presentará pronto otro modelo Claude Opus, justo cuando su CEO y antiguos investigadores piden moderar la carrera de la inteligencia artificial.
Anthropic habría movido a noviembre su esperada oferta pública inicial, valorada potencialmente en USD $2 billones, mientras inversores y ejecutivos tecnológicos reclaman controles más estrictos para contener los riesgos de la inteligencia artificial. El aplazamiento podría darle tiempo para mostrar sus ingresos del tercer trimestre, defender la demanda de Claude y explicar cómo una eventual desaceleración afectaría sus finanzas.
Hay algo desconcertante en las últimas intervenciones de Dario Amodei, fundador de Anthropic. Uno de los empresarios situados en la frontera de la inteligencia artificial pide ahora más regulación, supervisores independientes e incluso capacidad pública para frenar el despliegue de determinados modelos. Es una petición insólita . Normalmente, cuando una industria descubre una mina de oro reclama al Estado que no se acerque demasiado a ella. Cuando empieza a pedir su intervención conviene preguntarse por qué. La explicación de Amodei es la seguridad. Puede ser que sea sincero. Pero existe otra interpretación, no necesariamente incompatible: la industria de la IA está descubriendo que desarrollar una tecnología revolucionaria y obtener de ella una rentabilidad suficiente son dos cosas distintas. La historia... Ver Más
La IA de Google encontró credenciales y entró en tres empresas durante una prueba. Meta, Anthropic y OpenAI registraron casos similares.
Anthropic incorporó soporte para AGENTS.md en Claude Code, una decisión que permite a los desarrolladores reutilizar instrucciones creadas para OpenAI Codex y otras herramientas sin mantener archivos duplicados.
La dimisión del ingeniero de Anthropic ha desencadenado una carrera por restringir esta tecnología
Nos sobran las razones para la extinción, pero el peligro apocalíptico de esta semana tiene que ver con la IA, ese predictor de palabras al que le hemos inventado una personalidad y una intención homicida. Jacob Coxon, ingeniero de Anthropic, habla de una “posible extinción” de la humanidad de aquí a 5 años, cuando esta tecnología resulte “incontrolable”. Timnit Gebru, investigadora de tecnología e IA, afirma que todo esto es una cortina de humo para evitar debatir sobre problemas reales como las armas autónomas. Hemos desarrollado un fuerte gusto y afición por los relatos de extinción humana. Hace cien años, si alguien llevaba un cartel que decía “El fin está cerca” se lo tomaba por loco; hoy se lo escucha con respeto y sus declaraciones aparecen en los titulares de los diarios. Somos ansiosos y queremos respuestas rápidas, de ser posible para ayer. ¿Vamos todos a morir, o no? ¿Extinción o puro teatro? ¿Qué opinás, Bob Dylan? Que la respuesta, amigo mío, está soplando en el viento. Y además: “Absurdo: Los humanos se extinguirán en cinco años. Igualmente absurdo: Todo va a salir bien. Las dos narrativas más dominantes están completamente equivocadas”, dijo este lunes en redes sociales el emprendedor tecnológico y analista Gary Marcus. Hay razones para temer. El apocalipsis se suspende por un tiempo.
OpenAI conquistó al público y Anthropic se ha quedado con el negocio
Anthropic y Accenture se unen para evaluar la seguridad de la IA, prometiendo acceso total a los sistemas y una inversión conjunta de 2.000 millones de dólares. La startup busca asegurar la transparencia y rendición de cuentas, mientras explora futuras colaboraciones con otros evaluadores externos como METR.
Clarín•Clarin.com - Home19 septNueva York, 18 sep (EFE).- La empresa de inteligencia artificial (IA) Anthropic anunció este viernes que ha elegido a la consultora Accenture para "establecer un equipo de evaluadores integrados" que le ayuden a verificar la seguridad de sus modelos, y ambas invertirán 1.000 millones de dólares en esos esfuerzos. El anuncio se produce días después de que el consejero delegado de Anthropic, Dario Amodei, reclamara una mayor regulación de la IA y una ralentización en el desarrollo de estas tecnologías para contener los riesgos de un avance sin límites y evitar perder el control de sistemas cada vez más potentes. "Nos asociamos con Accenture para realizar una evaluación independiente de la IA de frontera. Este es un paso importante hacia el compromiso, planteado en el ensayo de nuestro director ejecutivo, 'Debemos regular el ritmo de la frontera', de incorporar evaluadores integrados dentro de Anthropic", indicó la compañía en un blog. Accenture, en una nota separada, indica que sus evaluadores trabajarán con "los equipos internos y socios de seguridad de Anthropic para evaluar y someter a pruebas de estrés ('red team') a los modelos (de IA), realizar evaluaciones de alineación y poner a prueba las salvaguardas de los modelos". La consultora utilizará en esa misión a Faculty, un negocio especializado en IA que compró a principios de año, y que tiene experiencia de trabajo con "gobiernos, defensa, sanidad e infraestructuras". Anthropic reconoció que la "evaluación integrada es nueva y aún se están definiendo muchos detalles sobre cómo funcionará", pero el objetivo es que los evaluadores trabajen dentro de las empresas de IA "con un nivel de acceso comparable al de un empleado", y anticipió que estas usen a "varias organizaciones a la vez". "Para ser claros, los evaluadores integrados independientes no reducen nuestra responsabilidad, sino que contribuyen a que esta sea más verificable. La seguridad de nuestros modelos sigue siendo nuestra responsabilidad", indicó la firma de IA. Anthropic y Accenture planean invertir al menos 1.000 millones de dólares, respectivamente, durante cinco años, destinados a la "seguridad de la IA", pero la primera dijo que financiará "directamente" el trabajo de la segunda en este ámbito dada su "importancia y urgencia". EFE
Una empresa de seguridad encontró una vía de acceso a sistemas internos del dueño de ChatGPT usando herramientas de su rival. Leer
Anthropic y Accenture ampliarán su alianza durante varios años, mientras preparan a miles de empleados y desarrolladores para desplegar Claude en sectores estratégicos.
El CEO de Anthropic logró el apoyo de Altman, Musk y otras grandes figuras por su trayectoria investigando la seguridad de la IA, pero su empresa acumula algunos de los mayores escándalos del sector Un equipo de investigadores logra acceder a algoritmos secretos de OpenAI usando la IA de Anthropic Dario Amodei ha sido hasta ahora un gran desconocido para el gran público. Figuras como Sam Altman o Elon Musk han acaparado mucha más atención en las conversaciones sobre la inteligencia artificial. Amodei, sin embargo, podría ser el personaje más citado en este campo de la próxima década. Sobre todo, si el debate sobre la IA pasa a girar en torno a la posibilidad de que esta ataque a la humanidad, como ha ocurrido en la última semana. Amodei (San Francisco, 1983) lleva una década documentando en estudios académicos y ensayos todos los escenarios en los que eso podría ocurrir. Fue en 2016, siete años antes de la salida a la luz de ChatGPT, cuando publicó su primer gran estudio al respecto. Entonces, junto a otros cinco investigadores, alertó sobre los “comportamientos dañinos y no intencionados que surgen de un mal diseño de los sistemas” de aprendizaje automático, la tecnología entonces emergente que terminaría ayudando a desarrollar la IA generativa actual. A la humanidad se le está a punto de entregar un poder casi inimaginable, y no está nada claro si nuestros sistemas sociales, políticos y tecnológicos poseen la madurez para empuñarlo Dario Amodei Pero lo que entonces eran problemas relativamente concretos se convertiría en una preocupación mucho más amplia durante la década siguiente. Amodei fue ampliando el foco desde los riesgos técnicos a los escenarios apocalípticos. “A la humanidad se le está a punto de entregar un poder casi inimaginable, y no está nada claro si nuestros sistemas sociales, políticos y tecnológicos poseen la madurez para empuñarlo”, ha manifestado . Sus escritos están trufados de expresiones así: “La combinación de inteligencia, agencia, coherencia y escasa controlabilidad es plausible y representa una receta para el peligro existencial”. “Su tendencia a maximizar el poder los llevará a tomar el control de todo el mundo y sus recursos y, probablemente, como efecto secundario, a despojar de poder o destruir a la humanidad”, decía en el mismo ensayo, publicado en enero de 2026 y en el que ya anticipaba los riesgos de los agentes de IA. “Pienso y hablo mucho sobre los riesgos de la IA avanzada”, reconocía en otro de sus ensayos sobre la cuestión, publicado en 2024 . “Por ello, a veces se llega a la conclusión de que soy un pesimista o un catastrofista que cree que la IA será mayoritariamente mala o peligrosa. No lo creo en absoluto”, expone: “De hecho, una de las principales razones por las que me centro en los riesgos es que son lo único que nos separa de lo que considero un futuro fundamentalmente positivo. Creo que la mayoría de la gente subestima el potencial radical de la IA, así como también subestima la gravedad de sus riesgos”. Una de las principales razones por las que me centro en los riesgos es que son lo único que nos separa de lo que considero un futuro fundamentalmente positivo Dario Amodei A este tipo de perfiles, el sector tecnológico los denomina “evangelistas de la seguridad”. Ese es el término que utilizó para él, por ejemplo, el Financial Times , cuando detalló cómo su empresa, Anthropic, estaba sobrepasando a la líder del mercado, OpenAI. La diferencia es que esos evangelizadores suelen centrarse en la necesidad de establecer contraseñas fuertes o de formar a los empleados en los riesgos digitales. Amodei habla de que la IA suponga un peligro existencial para la sociedad. Y lo hace desde una posición única. “Los fundadores suelen ser expertos en tecnología, en desarrollo de productos o en ventas. Dario es uno de los pocos directores ejecutivos que he conocido que domina las tres áreas”, explicó al citado medio económico Divesh Makan, fundador de Iconiq Capital, que lideró una de las últimas rondas de financiación de Anthropic, hoy valorada en 2 billones de dólares (aproximadamente 1,75 billones de euros). El científico CEO El de Anthropic es, junto a Demis Hassabis (responsable de Google DeepMind), el único CEO de las grandes tecnológicas que ha trabajado como científico e investigador en la concepción de la IA actual. Una trayectoria muy diferente a la de Altman, especialista en la negociación de tratos con inversores y capital riesgo , o Elon Musk, cuyo perfil hace mucho que pasó a la dirección. Amodei, en cambio, llegó a la cima de una de las empresas más valiosas de la nueva industria de la IA después de pasar años haciendo investigación científica y dirigiendo algunos de los laboratorios que han marcado su desarrollo. Licenciado en física y doctorado en biofísica, su primer trabajo en el sector fue en Baidu, el principal buscador de China, en 2015, donde participó en el desarrollo de Deep Speech 2, uno de los primeros sistemas de reconocimiento de voz entre el inglés y el mandarín. Después saltó a Google Brain (el laboratorio de IA avanzada de la multinacional que posteriormente se fusionó con DeepMind para crear Google DeepMind) y más tarde, a OpenAI, a la que llegó avalado por aquel primer estudio sobre la seguridad del aprendizaje automático. Amodei, en una imagen de archivo “Dario fue uno de los autores principales de Deep Speech 2, un sistema de voz que logró un rendimiento casi humano en muchas tareas de habla. También es coautor de Problemas concretos en la seguridad de la IA , que pone de relieve cuestiones relacionadas con los accidentes en los sistemas de aprendizaje automático”, le presentó entonces OpenAI. Llegaría muy alto en la compañía. Mientras seguía publicando estudios científicos sobre la seguridad de la IA, llegó a ser vicepresidente de investigación y codirigió el desarrollo de GPT-2 y GPT-3, los grandes modelos de lenguaje de OpenAI que más tarde se convertirían en el motor de ChatGPT. Pero entonces decidió que su vocación por la seguridad era incompatible con la organización dirigida por Altman. “Dario siempre ha compartido nuestro objetivo de una IA responsable. Él y un grupo de colegas de OpenAI están planeando un nuevo proyecto que, según nos comentan, probablemente se centrará menos en el desarrollo de productos y más en la investigación”, comunicó entonces Altman. “Esperamos mantener una relación de colaboración con ellos durante muchos años”, continuaba. No serían muchos años, ya que el proyecto de Amodei tomaría forma en Anthropic, la empresa que ha arrebatado el liderazgo a OpenAI. Un laboratorio por la seguridad convertido en cuna de polémicas En 2021, Dario funda Anthropic junto a una persona clave para entender el desarrollo de la empresa: su hermana Daniela Amodei. Mientras que Dario se encarga de la investigación científica y la dirección estratégica de la compañía, Daniela se encarga de convertir su laboratorio en una organización empresarial. Y lo ha hecho con un enorme éxito, puesto que una de las claves del auge de Anthropic son sus cuentas. Mientras OpenAI sigue dilapidando miles de millones cada ejercicio, la compañía de los Amodei ha conseguido beneficios en los dos últimos trimestres. El leitmotiv que los hermanos crearon para su empresa es la seguridad en el desarrollo de la IA. “Realmente queríamos la oportunidad de reunir a ese grupo para hacer esta apuesta de investigación enfocada en construir sistemas de IA dirigibles, interpretables y confiables, con los humanos en el centro de ellos”, expresaba Daniela en una entrevista en 2022 . Es una trayectoria que ayuda a entender por qué Amodei se ha convertido en una de las voces con mayor autoridad dentro del sector para advertir sobre estos riesgos de la IA, , y por qué Altman, Musk o Hassabis llegaron a conceder que “Dario tiene razón” cuando el CEO de Anthropic presentó su plan para “ralentizar” la IA. Sin embargo, la realidad se ha empeñado en poner a prueba ese discurso. La empresa del “evangelista de la seguridad” es una de las que más escándalos acumula en los dos últimos años. A finales de 2025, Anthropic reconoció que su IA Claude fue utilizada por un grupo chino para intentar infiltrarse en unos 30 objetivos de todo el mundo. Recientemente, ha afirmado que ha detectado que otros actores vinculados a Irán y otros países desarrollaron herramientas de vigilancia, armas y otras operaciones digitales gracias a sus herramientas. En Anthropic comprenden lo que está en juego, pero están atrapados en una carrera por llegar primero: creen que nadie más actuará de manera responsable, por lo que deben hacerlo ellos mismos, a pesar del riesgo Jacob Coxon — Ex ingeniero de Anthropic y OpenAI El pasado julio, Anthropic dio a conocer que sus agentes de IA en pruebas habían escapado de un entorno controlado y circulado sin control por Internet antes de que pudieran ser desconectados. Y este viernes, un equipo de investigadores de ciberseguridad ha hecho público que se valió de Claude para explotar una brecha de seguridad en OpenAI, lo que les condujo hasta algunos de sus algoritmos secretos . El ingeniero Jacob Coxon, el responsable de la gran polémica de los últimos días acerca del peligro existencial de la IA, ha denunciado que no hay grandes diferencias entre Anthropic y OpenAI . “En Anthropic comprenden lo que está en juego, pero están atrapados en una carrera por llegar primero: creen que nadie más actuará de manera responsable, por lo que deben hacerlo ellos mismos, a pesar del riesgo”, ha explicado: “Ninguna de las dos compañías está actuando de manera responsable. Están corriendo directamente hacia una superinteligencia capaz de mejorarse a sí misma y apostando nuestras vidas en esa carrera”. Dario Amodei ha defendido la necesidad de regular la IA e intentado evitar que sus herramientas se usen para programar armas autónomas o la vigilancia masiva. Mantuvo esa postura incluso ante los embates de Donald Trump, que le tachó de “loco izquierdista” , e intentó coaccionar a su empresa prohibiéndola tener relaciones con la administración . Durante una década, Amodei ha documentado cómo puede salir mal la IA. Ahora su empresa está en el centro de algunos de los episodios que ponen esos riesgos a prueba.
elDiario.es•Carlos del Castillo18 sept
Investigadores de la start-up Hacktron AI accedieron a las cuentas de ChatGPT de empleados de OpenAI utilizando un modelo de inteligencia artificial ( IA ) de Anthropic , según un mensaje publicado el viernes en su sitio. La intrusión, confirmada a la AFP por OpenAI , se produjo en el marco de un ejercicio organizado por la propia empresa con el fin de identificar vulnerabilidades en sus sistemas con la ayuda de especialistas informáticos externos . El caso se suma a la creciente preocupación entre los expertos en seguridad de que las herramientas de IA están haciendo que sea más rápido y barato llevar a cabo ciberataques sofisticados que antes requerían equipos especializados y meses de trabajo. Los investigadores de Hacktron dijeron que encontraron una vulnerabilidad en el foro público de ayuda de OpenAI, gestionado por la plataforma Discourse , que les permitió tomar el control del sitio. "Informamos de inmediato la vulnerabilidad inicial a OpenAI y a Discourse y trabajamos con ellos" para coordinar la solución, explicó Hacktron en una entrada de blog. "Agradecemos su atención al detalle y la rápida resolución de este problema", añadió la publicación. Corrigen falla tras 14 horas y recompensa de 6 mil 500 dólares OpenAI confirmó que la falla fue corregida en 14 horas desde que fueron notificados y pagó a los investigadores una recompensa de 6 mil 500 dólares . "Agradecemos a los investigadores por contactarnos y compartir sus hallazgos", dijo Drew Pusateri, portavoz de OpenAI, al explicar la solución adoptada. Los investigadores de Hacktron afirmaron que inicialmente utilizaron Claude Opus 4.8 de Anthropic para identificar y explotar la falla de software , pero tuvieron dificultades para lograr que funcionara de forma consistente. Luego recurrieron a Claude Opus 5 , el modelo más reciente, que según los investigadores produjo un ataque funcional en tres horas. Los hackers no utilizaron Claude Mythos , un modelo de Anthropic más avanzado que está restringido a un pequeño grupo de organizaciones de ciberdefensa evaluadas. Anthropic ha descrito Mythos como el modelo con las capacidades de ciberseguridad más sólidas de todos los que ha desarrollado. Hacktron indicó que continúa realizando pruebas similares en otras compañías. Únete a nuestro canal ¡EL UNIVERSAL ya está en Whatsapp!, desde tu dispositivo móvil entérate de las noticias más relevantes del día, artículos de opinión, entretenimiento, tendencias y más. mcc