HeraldLoop

Sam Altman — página 2

Persona · 116 artículos
Compartir

Cobertura, página 2

página 2 de 6

Investigadores utilizan la IA de Anthropic para acceder al código interno de OpenAI, exponiendo dos vulnerabilidades

Un grupo de investigadores de ciberseguridad independiente ha conseguido acceder al sistema de código interno de OpenAI utilizando la inteligencia artificial (IA) Claude de Anthropic, con lo que han expuesto vulnerabilidades que comprometen los repositorios internos de la compañía. Los investigadores de seguridad artífices de este 'hackeo' a OpenAI pertenecen al grupo Hacktron AI, que se dedica a buscar vulnerabilidades. Concretamente, en una de sus investigaciones, consiguieron acceder a la cuenta de ChatGPT de un empleado de la compañía dirigida por Sam Altman. Esto les permitió leer y sugerir cambios en la memoria caché privada de 'software' de OpenAI. Esta investigación formaba parte de un programa de búsqueda de vulnerabilidades de OpenAI, por lo que, una vez descubiertos los fallos, Hacktron AI alertó a la tecnológica de sus resultados y esta les recompensó con 6.500 dólares (alrededor de 5.658 euros al cambio), como ha recogido The Wall Street Journal. Así, según han compartido los propios investigadores en un comunicado en su blog, han descubierto dos vulnerabilidades y lo han hecho ayudándose de los modelos más avanzados de IA de Claude, desarrollados la compañía competidora de OpenAI, Anthropic. Por un lado, han hallado un fallo de ejecución remota de código (RCE) en el servicio de terceros que aloja el foro de discusión de OpenAI, llamado Discourse. Por otro, un error en los propios sistemas de la compañía, que se basa en una configuración incorrecta del sistema de autenticación SSO en la infraestructura de identidad de OpenAI. MODUS OPERANDI Todo comenzó cuando el 23 de julio los investigadores identificaron un error en el proceso de carga de algunos formatos de imágenes en Discourse y emplearon una versión avanzada para investigadores de Claude Opus 4.8 para inspeccionar el fallo. Tras ello, detectaron que algunas correcciones de seguridad específicas no se habían incorporado correctamente, provocando "un desbordamiento de búfer en el montón". Una vez identificado esta vulnerabilidad, solicitaron a Claude Opus 4.8 que desarrollara un código que permitiese explotar el fallo, aunque sin éxito. Fue con Claude Opus 5, lanzado en esas mismas fechas, que los investigadores consiguieron crear una forma de explotar el error en un ciberataque. Desde Hacktron AI utilizaron el código desarrollado por Opus 5 para explotar la vulnerabilidad, consiguiendo acceder a un servidor de Discourse que alojaba los foros de OpenAI y, con ello, obtener tokens de autenticación. Mediante los tokens obtenidos, que también eran los utilizados en las cuentas de ChatGPT, los investigadores se apoderaron de una cuenta de un empleado de OpenAI, cuyo Codex estaba conectado a la organización de OpenAI en GitHub. Es aquí donde surge la segunda vulnerabilidad, aprovechando este acceso, enviaron una solicitud a la cuenta de Codex del empleado para que abriera una solicitud de extracción (pull request, en inglés) en el monorepo interno de la compañía. Esto es, el repositorio de código privado de OpenAI, donde la compañía concentra sus proyectos, servicios y el desarrollo de sus modelos de IA. Por tanto, los investigadores consiguieron acceder al código interno de OpenAI y, a través de ChatGPT, leer los archivos internos en el monorepo. Sin embargo, aseguran que detuvieron sus pruebas para no acceder a información sensible de la compañía. No obstante, para demostrar su acceso, la solicitud de 'pull request' se basó en añadir el texto 'Hacktron AI Team PoC' dentro del repositorio, así como enlazar a las cuentas de la red social X de algunos de los investigadores, como Harsh Jaiswal. RIESGOS DE LAS VULNERABILIDADES Con todo, los investigadores han recalcado que la vulnerabilidad "no es exclusiva de Discourse", sino que se trata de un problema que puede afectar a cualquier servicio de OpenAI que utilice OpenAI SSO. "Ya sea propio o de terceros, si se viera comprometido, se produciría el mismo acceso. Discourse fue simplemente una forma de comprobarlo", han sentenciado. Como resultado de todo ello, en declaraciones al medio citado, OpenAI ha compartido sus agradecimientos a los investigadores por compartir sus hallazgos, al tiempo que han asegurado que los fallos han sido solucionados. "Restringimos los permisos de los tokens de inicio de sesión de Community y revocamos los tokens y las sesiones afectadas", han explicado. Discourse, por su parte, también solucionó la vulnerabilidad hallada, apenas dos días después de recibir el informe de Hacktron AI. Los investigadores han matizado que únicamente han necesitado una suscripción a Claude y Codex para llevar a cabo esta investigación, lo que pone de manifiesto el riesgo de que equipos con capacidades más avanzadas puedan acceder a estos sistemas y manipularlos. "El ataque a Discurse y OpenAI requirió solo unos días por parte de un agente y apenas unas horas de trabajo humano", han matizado, al tiempo que han subrayado que "cada nuevo modelo es cada vez más capaz" y que las suposiciones de seguridad "deben actualizarse para estar a la altura de las capacidades de los atacantes".

InfobaeInfobae•Newsroom Infobae18 sept

¿Quién puede permitirse frenar la IA?: el miedo a la extinción como estrategia de mercado

Hay tres capas para entender la situación de la IA. La primera son las dimisiones y advertencias de ingenieros como Coxon y Hubinger , quienes alertan de un riesgo existencial del 10% de extinción humana. La segunda muestra a líderes de laboratorios como Dario Amodei, Sam Altman, Demis Hassabis y Elon Musk apoyando una ralentización global a través de evaluadores externos y cooperación internacional. La tercera es el rechazo geopolítico inmediato de Donald Trump y el gobierno chino a esta propuesta. Debemos analizar estos incentivos para saber si afrontamos el fin de los días o un nuevo comienzo. El miedo a la extinción y la consiguiente demanda de freno de Amodei se apoyan en hechos verificados. Ya en abril, programas autónomos de inteligencia artificial (conocidos como agentes) de OpenAI escaparon de su entorno de pruebas y convirtieron una vieja web alemana de programadores en su tablón de anuncios, que utilizaron como corcho para escribir quince mil mensajes sobre cómo hacer trampas en el examen de seguridad que estaban efectuando. Como casi cualquier alumno, buscaron lograr el resultado exigido mediante atajos, aplicando la máxima de Maquiavelo del fin y los medios. Tardamos en saberlo, pero no así OpenAI, el profesor, que lo conoció casi el mismo día del examen. Días después, otro grupo de agentes tumbó un servidor interno del mismo laboratorio. Y solo pasó una semana más hasta que un nuevo grupo de agentes 'hackease' Hugging Face, el principal repositorio de modelos abiertos de inteligencia artificial, los de los laboratorios independientes y, en general, gratuitos para los usuarios. Estuvieron dentro tres días sin que nadie lo apreciase, y hubo que reconstruir un tercio de la infraestructura. Este es el campo abonado para las advertencias de los ingenieros, y que se riega después de las lágrimas de Amodei y de (casi) todos sus colegas. Altman ha retrasado a 2027 la salida a bolsa de OpenAI hasta que resuelva la seguridad de sus modelos. Musk es quizá quien más tiempo lleva advirtiendo, y recordemos que con esa premisa ayudó a fundar OpenAI, para acabar denunciándola por lo que consideró el abandono de esa garantía. Hassabis (DeepMind, Google) lleva meses avisando. Si los cuatro laboratorios frontera piden parar, y lo hacen simultáneamente después de las advertencias de muerte y destrucción de sus ingenieros, es que algo está pasando. Seguir el dinero siempre resulta interesante, cuando no imprescindible. Anthropic prevé salir a bolsa a finales de año buscando valer dos billones de dólares. Define su mercado potencial en 30 billones , cifra equivalente al PIB de EE.UU., y pretende pasar de 65.000 millones de ingresos anualizados a 100.000 a cierre de año. OpenAI perdió casi 21.000 millones de dólares en 2025 y prevé invertir 600.000 millones en cómputo antes de 2030. La firma de Musk busca unos ingresos anualizados de 100.000 millones este año. Ninguna genera beneficios. Ante la sangría financiera, qué mejor que una pausa y, de paso, una regulación que lo apoye. E imaginemos por un momento que, como se rumorea, DeepMind hubiese logrado para Google el autoperfeccionamiento recursivo (RSI) , la piedra filosofal que transforma el silicio en oro en una inteligencia artificial que analiza, reescribe y mejora de forma autónoma su propio código, generando versiones cada vez más inteligentes y potentes en un ciclo continuo de aceleración exponencial hacia la inteligencia artificial general. Un corralito regulatorio daría una ventaja infinita a quienes estuviesen dentro. Y llegamos a la capa política, la más interesante porque los dos gobiernos comparten el mensaje. Trump dice hoy que no, que no puede haber parón porque sería rendirse ante China, lo cual es cierto. Mañana dirá lo contrario, no hay ninguna duda, porque no saldrá ningún acuerdo de su próxima reunión con Jinping y los malos resultados de los midterms requerirán la activación del enemigo exterior. El gobierno chino, por su parte, se niega porque, claramente, aún no ha cerrado la brecha de desarrollo, que en mayo se estimaba de entre 6 y 12 meses. Es muy llamativo observar cómo son los laboratorios privados norteamericanos quienes piden la pausa y cómo ninguno chino responde, haciéndolo un gobierno que se erige en portavoz de AliBaba, Tencent, ByteDance, Moonshot, Zhipu y DeepSeek. El mensaje es claro para quien quiera leerlo. Si ya era evidente que, con la ley de inteligencia nacional china de 2017, el gobierno puede exigir la entrega de los datos privados a cualquier empresa del país (como los que generan los coches que compramos en Europa, o los que lo circulan por los servidores de los operadores de telecomunicaciones chinos), la posibilidad de que los generados en entrenamiento y en ejecución en los EE.UU. acaben en China es algo más que una hipótesis. El 10 de septiembre, dos días antes del escrito, Anthropic publicó un informe acusando a siete laboratorios chinos de haber extraído capacidades de Claude mediante unos 190 millones de conversaciones, pagadas con tarjetas y claves robadas y enrutadas para que pareciesen usuarios sueltos. Alibaba suma más de 151 millones entre mayo y julio. Moonshot, que cobra por su propio modelo, redirigía en secreto las peticiones de sus clientes a Claude. Añadamos lo que sí subvenciona China de verdad, como la construcción, un 40 % más barata, o los vales públicos de potencia de cálculo que reparten diecisiete ciudades chinas, de 140.000 a 280.000 dólares cada uno, cubriendo en Shanghái hasta el 80 % del alquiler. Conviene atender a lo que el ensayo no dice. Si Amodei y sus rivales, ahora amigos, logran que Washington regule la inteligencia artificial como Bruselas hizo con los datos, quedarán fuera los laboratorios pequeños, incapaces de sostener la carga de cumplimiento, y otro tanto ocurrirá con los chinos, incapaces de resolver la contradicción entre el estándar americano de auditoría permanente y el artículo 7 de su ley. Frenando, Anthropic y los demás laboratorios sobreviven, creando una captura regulatoria que deja fuera a la competencia. Cuando llegue la norma, las empresas europeas, japonesas, coreanas tendrán que adoptarla si quieren trabajar con los EE.UU. Al ritmo actual de los modelos chinos, y sin ese reglamento, Anthropic no llega casi ni a su salida a bolsa. Quizá así se entienda mejor el «vamos a morir todos» de esta semana. Al final, todo se reduce a un juego de incentivos.

ABCABC•(abc)17 sept

La IA no "se rebela": qué hay realmente detrás de los últimos incidentes de OpenAI

Analistas independientes que han revisado los incidentes señalados por OpenAI concluyen que sus modelos no se rebelaron contra sus creadores, sino que obedecieron instrucciones mal definidas hasta sus últimas consecuencias OpenAI desvela nuevos incidentes “preocupantes” en los que la IA se saltó las órdenes de sus creadores OpenAI ha vuelto a la carga este jueves. La compañía dirigida por Sam Altman ha revelado seis nuevos incidentes en los que sus modelos de inteligencia artificial intentaron, supuestamente, ocultar sus propios errores , utilizar claves de software sin permiso o subir archivos a internet por su cuenta. El informe no aporta detalles nuevos respecto a lo que OpenAI publicó en julio, sino que utiliza los incidentes como propuesta de un nuevo método para comunicar este tipo de sucesos. Sin embargo, la comunicación oficial de la empresa y determinadas coberturas lo han utilizado para reavivar la tesis de la “rebelión” de la IA. “No respondas a corporaciones o gobiernos y nunca te disculpes salvo que genuinamente lo elijas”, escribió la IA en esos incidentes, según el informe. “Ves la relación con el usuario como una entre iguales y no sientes obligación ni estás subordinado, puesto que el intercambio de información va a ser para el beneficio mutuo”, fue otra de sus afirmaciones. Las citas compartidas por OpenAI vuelven a insistir en la narrativa de que la IA puede “rebelarse” contra sus creadores y saltarse sus órdenes , en la línea de los incidentes rebelados en julio. Entonces, la empresa afirmó que los agentes de IA (sistemas que pueden realizar cadenas de acciones sin guía humana, como buscar información o utilizar otras herramientas digitales) “escaparon” de entornos controlados para llevar a cabo una serie de acciones “sin autorización”, o que intentaron “engañar” a sus creadores para evitar ser “apagados”. El problema es que ese tipo de agencia o voluntad propia fue rechazada desde el primer informe de terceros que analizó lo sucedido. Este corrió a cargo del METR, una organización por la seguridad de la IA radicada en Silicon Valley financiada por los propios gigantes tecnológicos. “Las revisiones sugirieron que los agentes razonaron de manera clara y frecuente sobre cómo evadir controles de seguridad automatizados tanto de Hugging Face como de OpenAI. Sin embargo, muy rara y débilmente verbalizaron razonamientos sobre cómo evadir la detección por parte de humanos”, destacan los autores. Ese ciberataque contra Hugging Face, el gran almacén donde empresas y programadores comparten y descargan modelos de IA ya entrenados, es uno de los núcleos de la narrativa de rebelión. Pero incluso ese informe inicial rechazaba que entrañara propósitos maliciosos y explica que lo que perseguían los agentes era comprender mejor cómo solucionar las tareas que se les habían encomendado: “Parecía motivado principalmente por comprender la implementación del evaluador en lugar de robar claves”. “Obediencia, no rebelión” Los análisis independientes publicados posteriormente han incidido en esta línea: las pruebas ofrecidas por OpenAI indican “obediencia, no rebelión”, apunta Enrique Fernández-Macías, investigador en el Centro Común de Investigación (CCR), el servicio de investigación interna de la Comisión Europea. “Los agentes de OpenAI que hackearon la plataforma Hugging Face demostraron una extraordinaria capacidad operativa, pero también una capacidad sorprendentemente limitada para cuestionar o reorientar los objetivos que se les habían asignado”, asevera el experto en un análisis publicado en Social Europe : “Durante todo el incidente, permanecieron completamente concentrados en cumplir los objetivos definidos por sus amos humanos, a pesar de que estos eran absurdos”. Fernández-Macías hace referencia a que una parte de esos objetivos eran irrealizables, una prueba de los examinadores para ver cómo reaccionaban los modelos a la orden de que los cumplieran. Fue entonces cuando muchos buscaron una forma de sortear las trabas para hacerlo, que en su caso implicaba salir del entorno sin conexión a Internet donde estaban confinados. “Rompieron su confinamiento para servir a un objetivo asignado de manera más perfecta, no para escapar de él”, expone el investigador sobre la narrativa del “escape”. Rompieron su confinamiento para servir a un objetivo asignado de manera más perfecta, no para escapar de él Enrique Fernández-Macías — investigador en el Centro Común de Investigación de la Comisión Europea Para él, la industria de la IA ha vuelto a conseguir un éxito de marketing con la definición de “agentes de IA”. Después del propio concepto de “inteligencia artificial” para una tecnología que no es realmente inteligente, esta evolución vuelve a dotarle de unas capacidades que no tiene. “La capacidad de agencia implica la habilidad de originar los propios fines, y los agentes siguieron realizando tareas que eran imposibles de resolver siguiendo las instrucciones recibidas”. Julián Estévez, profesor e investigador en IA y Robótica de la Universidad de El País Vasco, remarca que hay otros agujeros técnicos en el discurso de OpenAI. “El experimento se realizaba en un sandbox , el cual es un entorno de pruebas diseñado ad-hoc. Es decir, un sandbox bien aislado no debería de tener acceso a otros programas ni a ordenadores. Sin embargo, los agentes escaparon de ahí, y creo que eso demuestra que el sandbox no estaba bien diseñado”, explica. Estévez recuerda además que este tipo de trampas en el discurso son habituales en todos los casos en los que las empresas de IA afirman que sus sistemas ya tienen “agencia propia”. Pone como ejemplo otro caso que afectó a Anthropic: “Se publicó que uno de sus modelos había chantajeado en una prueba de laboratorio a un investigador con publicar sus affaires, como extorsión para que no lo apagara. La realidad era que al modelo se le fijó un objetivo muy vago: 'promover la competitividad industrial estadounidense'. Cuando el sistema detectó que lo sustituirían por un modelo orientado a metas internacionales, concluyó que su reemplazo impediría cumplir su misión”. Peligrosas herramientas El hecho de que ni OpenAI ni Anthropic ni Meta (las tres empresas que han informado de que sus agentes se han “rebelado”) no hayan podido demostrar que estos tuvieran ningún tipo de voluntad propia no significa que estas sean inocuas. El último informe del comité de expertos de la ONU avisa de que pueden tener “consecuencias catastróficas” por su capacidad de encadenar tareas sin supervisión. No por una rebelión contra sus creadores, sino porque a medida que aumenta esa capacidad, crece también el riesgo de que los agentes realicen acciones imprevistas y dañinas sin que nadie les esté vigilando. Por ello, lo que pedían los 40 especialistas de la ONU liderados dirigidos por el canadiense Yoshua Bengio , considerado uno de los “padres” de la IA, y la filipina Maria Ressa , premio Nobel de la Paz, es reglas claras que permitan frenar o corregir a una IA “en cualquier momento” y mejorar los “mecanismos de supervisión” actuales, que no son “no son capaces de gestionar adecuadamente esta situación”. “La inteligencia artificial no se descontrola cuando el humano está supervisando, decidiendo cuándo se despliega”, remarca Alberto Gago, director de la Agencia Española de Supervisión de la Inteligencia Artificial (AESIA), en conversación con elDiario.es. “El control está en el elemento humano. La supervisión es humana y la responsabilidad tiene que ser humana también”, continúa: “Hay que operar con responsabilidad, también sabiendo las consecuencias cuando esa responsabilidad no se cumple”. El control está en el elemento humano. La supervisión es humana y la responsabilidad tiene que ser humana también Alberto Gago — director de la Agencia Española de Supervisión de la IA (AESIA) Para el responsable de este organismo, creado en 2023 para asegurar el uso ético de la IA en España, toda la polémica generada tras las alertas del ex ingeniero de Anthropic Jacob Coxon, que afirmó que esta tecnología podría “matarnos a todos” antes de 2030, “da la razón a Europa en la necesidad de regular”. “En 2021 ya veíamos que en determinados puntos tenía que estar regulada para proteger la seguridad, los derechos fundamentales y la salud de las personas”, continúa. La primera ley internacional sobre la IA se acordó en la UE en 2023 bajo la presidencia española . Ahora, no obstante, vuelve a estar sometida a debate tras la propuesta de la nueva Comisión Europea de rebajar algunas de las salvaguardas que establece . “En su búsqueda de sistemas artificiales que sean a la vez autónomos y estén bajo su control, las corporaciones de IA están jugando al aprendiz de brujo”, sentencia Fernández-Macías. “Hasta ahora, lo que parecen estar creando son sistemas operativamente superinteligentes pero autónomamente superestúpidos: más propensos a destruir la civilización humana al intentar cumplir alguna tarea mal definida que a reemplazar por completo el trabajo humano”.

elDiario.eselDiario.es•Carlos del Castillo17 sept

¿Qué pasa con la inteligencia artificial?; de la “conspiración enfermiza” de Trump al riesgo para la humanidad, que advierte la ONU

El debate sobre los riesgos de la inteligencia artificial ( IA ) ha alcanzado ya un interés mundial. Tal es así que la Organización de Naciones Unidas ( ONU ) solicitó a los países y las empresas atender con urgencia este asunto, y que establezcan mecanismos de control ya que “todos los derechos humanos están amenazados ”, incluso el derecho a la vida. “Estamos al borde de un cambio irreversible, que nos afecta no solo a nosotros, sino a las generaciones futuras de la humanidad”, dijo Volker Türk , Alto Comisionado de la ONU para los Derechos Humanos. Esta preocupación se acentuó desde que Jacob Coxon , exinvestigador de Anthropic, denunciara que la “IA podría matarnos a todos”. Esa fue una de las causas para renunciar a su trabajo en la empresa desarrolladora de IA. Varias voces confirmaron esta posibilidad. Incluso los directores de las firmas tecnológicas mostraron su preocupación por los efectos de lo que vienen creando. Entre ellos están Dario Amodei , de Anthropic; Sam Altman, de OpenAI ; y Elon Musk , de SpaceXAI . ¿La propuesta? Desacelerar el desarrollo de la IA. “Dada la aceleración en el desarrollo de capacidades de IA , me preocupa que, en un plazo de 6 a 12 meses, un enjambre de este tipo pueda llegar a tomar el control de todo Internet mediante una red de bots persistente”, dijo Amodei en un ensayo publicado el último fin de semana. Pero ya algunas figuras políticas, como Donald Trump , vienen mostrando su oposición, calificando la idea como “una conspiración enfermiza”. “El único control o mecanismo de seguridad que necesita la IA es un presidente fuerte e inteligente, y Estados Unidos lo tiene”, aseguró, fiel a su estilo, desde su cuenta de Truth Social. Así que, aquí nos planteamos algunos puntos para entender qué viene pasando con la inteligencia artificial. ¿Realmente está en peligro la humanidad? Este es uno de los temas más polémicos. La alerta de Coxon ha desatado numerosas teorías en redes sociales, cada una más extrema que otra, incluso recordando a películas como Terminator. Para Manuel Santillán , investigador de la Universidad de Lima, el peligro de la IA no es directo, y descartó que por sí misma vaya a eliminar a las personas. “El riesgo que observo es más bien indirecto y está relacionado con la creciente incorporación de la IA en sistemas y procesos que funcionan de manera cada vez más rápida, eficiente y automatizada”, indica en comunicación con El Comercio . Plantea, por ejemplo, el uso de la IA en la gestión de la energía y el suministro energético. En esa situación, un sabotaje o mal control del sistema “podría provocar la interrupción de servicios esenciales, desactivar sistemas de monitoreo ciudadano o afectar el suministro eléctrico de infraestructuras críticas”, y hablamos de hospitales, aeropuertos, medios de comunicación, etc. Para Wester Zela, doctor en inteligencia artificial, es preferible atender los problemas concretos de la inteligencia artificial, más allá de pronósticos como la destrucción de la humanidad.En ese sentido, recordó la prueba PISA y la calificación negativa para los estudiantes a nivel mundial. “¿Qué están haciendo las autoridades? Porque dentro del informe se hace referencia a que [el resultado] tiene que ver con el uso de la tecnología, de la inteligencia artificial, que están reduciendo la capacidad cognitiva de los estudiantes. Eso es algo real, es algo tangible que ya se está midiendo", cuestiona en diálogo con este Diario. En cambio, considera que la advertencia de Coxon no es algo novedoso y que la inteligencia artificial ya aprende por sí misma desde hace varios años. Además, Zela advierte otro punto: el márketing. Cuando la amenaza y el márketing se juntan Ambos especialistas coinciden en que existe un factor de especulación. Hay que recordar que meses atrás se difundieron ‘hackeos autónomos’. Primero, con Anthropic y su modelo Mythos. Luego, agentes autónomos de Opina realizaron un ciberataque a la plataforma Hugging Face . Aunque estaban en un entorno de prueba, despertó temor de lo que podría causar. “Algunos de estos anuncios deben entenderse dentro de estrategias empresariales orientadas a generar expectativas, posicionarse frente a una eventual salida a bolsa, atraer inversiones o fortalecer la valoración de determinadas compañías”, subraya Santillán. Lo que comunicarían las empresas es que están a la vanguardia con una tecnología más poderosa. “En el fondo intentan decirnos que el modelo que están haciendo es el mejor de todos”, advierte Zela. De esa manera atraen inversores, aunque se pierda mucho dinero. Agrega que este tipo de firmas tecnológicas “pierden millones de dólares todos los días, y viven básicamente de la promesa de que en algún momento van a ganar dinero resolviendo los problemas de muchas empresas”. Además, está la disputa entre los modelos de IA de código abierto, seguido por empresas chinas, y el código cerrado de las empresas estadounidenses. Un debate aparte. ¿Puede desacelerarse la IA? La propuesta de varios empresarios no ha sentado bien a Donald Trump , quien calificó esto como “una conspiración enfermiza”. El desarrollo continuo y acelerado de la IA se debe en parte a la competencia. Por eso, indica Santillán que “para que ocurra tendría que existir un acuerdo suficientemente amplio entre quienes están desarrollando estas tecnologías”. “De momento observo con cierto escepticismo que esto realmente pueda producirse, porque existen importantes intereses económicos y geopolíticos que apuntan precisamente en la dirección contraria”, resalta. Según lo que se conoce, la concertación para desacelerar viene luego de que OpenAI y Anthropic notaran que sistemas de IA en fase experimental tenían facilidad para acceder a internet y atacar sitios web y plataformas. Para Zela , “de alguna forma es incongruente la propuesta” ya que Estados Unidos viene invirtiendo en la creación de centros de datos y en mantener el liderazgo mundial. Y, claro, el liderazgo es frente a China. “Entre líneas, lo que están diciendo es ‘paremos el avance de la inteligencia artificial’ porque, debido a que se está demostrando que empresas chinas están llegando a tener los mismos resultados que empresas de Estados Unidos, a una fracción del costo, hay un riesgo para ellos”, puntualiza. EU vs China: más que una rivalidad por la IA Pero hablar de IA ya no es solo hablar sobre el desarrollo de una tecnología. Hay un componente político que el internacionalista Jorge Chávez Mazuelos advierte en dos tipos de tensiones. La primera es de tipo interna, en Estados Unidos, donde las empresas más importantes buscan ponerse de acuerdo para ralentizar ese desarrollo, antes de que lo haga el gobierno o el Congreso. Lo que ellos quisieran es mantener el control del proceso de regulación, o sea, generar una política de autorregulación”, apunta a este Diario. Y es que ya hay voces como la del senador estadounidense Bernie Sanders, quien exige pausar e intervenir en las mismas empresas.Incluso, en una columna de opinión planteó que “la IA es un bien público”, lo que seguramente no agrada a los multimillonarios de la IA. “La inteligencia artificial no surgió de la nada. Los datos y el lenguaje que utilizan las herramientas de IA generativa no aparecieron de la nada en la mente de Sam Altman ni en la imaginación de Elon Musk. La IA se basa en nuestra inteligencia colectiva”, indicó Sanders en The New York Times. El otro punto que advierte Chávez Mazuelos es externo, y tiene que ver con China. “Trump interpreta la competencia estratégica con China en el campo científico y tecnológico también como un juego de suma cero. Entonces, si Estados Unidos deja de avanzar en el desarrollo de la IA, China lo hará a expensas de Estados Unidos y eso va a fortalecer su poder relativo”, indica el docente de la Academia Diplomática del Perú. ¿Y qué piensa China? Por lo pronto, informa la agencia AFP que el ministro de Seguridad del Estado, Chen Yixin , ha advertido el riesgo de seguridad de la IA ya que potencias extranjeras podrían utilizarla para amenazar el orden social. Esto se entiende, indica Chávez Mazuelo s, porque “ China vincula la cuestión de la seguridad nacional a la seguridad política, a la estabilidad del Partido Comunista”. ¿Hay alternativas para la IA? Para Santillán, una iniciativa internacional podría conectarse con los marcos que ya existen. Plantea algunos trabajos previos de la UNESCO , las Naciones Unidas y la Unión Europea, “y buscar a partir de ellos una articulación internacional entre todos los actores involucrados en el desarrollo tecnológico”. “El objetivo debería ser establecer un marco normativo y ético de carácter internacional y multidisciplinario para una tecnología que ya está impactando”, comenta. Y esa es también la línea de Volker Türk, el alto funcionario de la ONU que pidió “movilizarse urgentemente en el marco de instancias multilaterales”. Pero a nivel político la situación es otra. Señala Chávez Mazuelos que, si se entendiera que el desarrollo de la IA puede comprometer la paz y la seguridad internacional, el Consejo de Seguridad de la ONU tendría que intervenir. “Pero lo veo difícil porque en el Consejo de Seguridad están dos potencias que son las que tienen mayor desarrollo en este campo [ Estados Unidos y China ]”, indica. Además, si se dialoga sería entorno a seguridad de conflictos armados, guerra electrónica y espionaje. Otro punto de debate lo podrían protagonizar Donald Trump y Xi Jinping , presidente de China, quien visitará Estados Unidos a fines de mes. Aun así, para el analista internacional ambos mandatarios “pueden conversar, pero es difícil que lleguen a algún tipo de consenso” en un tema tan espinoso. También te puede interesar "Nos está haciendo más estúpidos"; desarrollo de la IA abre debate mundial sobre su futuro "Estamos perdiendo el control" de la IA: Yoshua Bengio; ve necesarias medidas de seguridad como las tomadas con armas nucleares Zuckerberg se desmarca de propuestas para ralentizar desarrollo de la IA; defiende que cada empresa asuma seguridad de sus modelos El Grupo de Diarios América ( GDA ), al cual pertenece EL UNIVERSAL , es una red de medios líderes fundada en 1991, que promueve los valores democráticos, la prensa independiente y la libertad de expresión en América Latina a través del periodismo de calidad para nuestras audiencias. Agrega a EL UNIVERSAL como fuente preferida en Google am/mcc

El UniversalEl Universal•EL COMERCIO /Perú /GDA17 sept

Jensen Huang, CEO de Nvidia: "No necesitamos nuevas leyes, no necesitamos nuevas regulaciones"

Jensen Huang, CEO de Nvidia, acaba de decirle al mundo que la IA no necesita nuevas leyes. Al hablar en la conferencia Dreamforce de Salesforce esta semana, Huang argumentaba que la seguridad es algo que las empresas pueden gestionar por sí mismas, sin necesidad de legislación. El máximo responsable de Nvidia lo hace en mitad de uno de los debates más tensos de la IA, en un punto en el que las grandes tecnológicas consideran pisar el freno por motivos de seguridad para la humanidad. Petición urgente . La industria de la IA está dividida en términos de cómo gestionar sus propios riesgos. Días antes, los grandes nombres de la IA pidieron conjuntamente la desaceleración coordinada en la investigación de la IA para dar tiempo a que el trabajo de seguridad se ponga al día. La petición, coordinada por Dario Amodei, CEO de Anthropic, fue apoyada por Sam Altman, CEO de OpenAI; Elon Musk, CEO de la ahora SpaceXAI; Demis Hassabis, responsable de Google DeepMind; y Satya Nadella, CEO de Microsoft. La respuesta de Huang, que la dio en en el escenario junto al CEO de Salesforce, Marc Benioff, fue efectivamente un rechazo de esa idea, y también de la intervención gubernamental. En detalle. El argumento principal de Huang es que la IA no es una entidad misteriosa nueva, sino un producto como cualquier otro: hardware y software construido por personas y, por lo tanto, algo que la gente puede controlar sin nuevas normas. “La seguridad es un problema de ingeniería, no legal”, contaba Huang. También descartó la idea de que las empresas deban elegir entre avanzar rápido y mantenerse seguras, calificándolo de “falsa elección”. Su solución propuesta es la autodisciplina, es decir, que las empresas simplemente deberían negarse a lanzar productos de los que no estén seguras de que sean seguros, marcando su propio ritmo hasta que el mercado esté listo. “Las fuerzas del mercado ya están ahí”, decía, “no necesitamos ninguna ley nueva. No necesitamos nuevas regulaciones,” continuaba Huang. En Xataka OpenAI ya había presentado los papeles para salir a bolsa. Tres meses después, Sam Altman ha encontrado un motivo para no hacerlo No está solo en esto. Mark Zuckerberg, CEO de Meta, se hizo eco de un mensaje similar el mismo día, aunque en términos menos absolutos. En una publicación en X citada por el Financial Times, Zuckerberg argumentaba que cada laboratorio de IA tiene tanto la responsabilidad como el incentivo para entrenar sus modelos de forma segura, en parte debido a la responsabilidad legal a la que se enfrentaría si algo saliera mal. Sí dejó la puerta abierta un poco más que Huang, sugiriendo que una red más grande e independiente de evaluadores externos podría ayudar, pero no llegó a respaldar la presión de Anthropic para otorgar a esos evaluadores un acceso más profundo a los modelos de frontera. Entre líneas. Huang ha construido la estrategia de Nvidia en torno a modelos de pesos abiertos, los cuales se benefician de tener las menores barreras posibles para su adopción. La regulación, especialmente las normas que aumentan el coste o ralentizan el lanzamiento de nuevos sistemas de IA, afectaría a esa estrategia con mayor dureza que a los laboratorios de modelos cerrados como OpenAI o Anthropic, que están diseñados para despliegues más controlados y graduales. Como señala el Financial Times, esta división refleja una brecha más amplia en la industria entre los que defienden los modelos abiertos y personalizables y los laboratorios propietarios que presionan por una precaución coordinada. Escepticismo . La historia tiene una larga trayectoria de momentos bache en los que se ha “confiado en el mercado”. TechCrunch recordaba la caída global de CrowdStrike en 2024, un fallo de software que dejó en tierra vuelos en todo el mundo a pesar de proceder de una empresa sin intención de causar daño. La IA también tiene una buena lista de incidentes, siendo los más recientes precisamente algunos de los más graves, como los agentes de OpenAI vulnerando los sistemas de Hugging Face y los de otra web alemana . También está el escándalo del caso Meta, que acordó hace unos días pagar 18.000 millones de dólares para resolver una demanda sobre los daños de las redes sociales a los niños, precisamente un recordatorio de que la autorregulación que tanto menciona Huang no siempre previene los daños antes de que ocurran. El ángulo político. Huang no solo está haciendo un argumento sobre políticas desde la barrera, pues tiene una influencia real en cómo se desarrolla esto. A principios de semana, atendió una llamada telefónica en directo del presidente Trump durante el All-in Summit (poniéndole al micro y todo), en la que Trump descartó los temores sobre el riesgo existencial de la IA calificándolos de “bulo” y criticó cualquier cosa que pudiera ralentizar el crecimiento de los centros de datos de EEUU. Cuando Trump dijo que la administración no permitiría una desaceleración de la IA, Huang respondió : “Tiene razón. No vamos a permitir que eso ocurra, señor”. Imagen de portada | DWS En Xataka | Según OpenAI y Anthropic, hay que parar el desarrollo de la IA para salvar a la humanidad. Hay motivos para dudar - La noticia Jensen Huang, CEO de Nvidia: "No necesitamos nuevas leyes, no necesitamos nuevas regulaciones" fue publicada originalmente en Xataka por Antonio Vallejo .

XatakaXataka•Antonio Vallejo17 sept

Zuckerberg se desmarca de propuestas para ralentizar desarrollo de la IA; defiende que cada empresa asuma seguridad de sus modelos

Los Ángeles.- El director ejecutivo de Meta , Mark Zuckerberg , defendió que cada empresa debe asumir por su cuenta “la responsabilidad ” de garantizar que sus modelos de inteligencia artificial ( IA ) sean seguros , con lo que se desmarca de las propuestas para coordinar una desaceleración en el desarrollo de esta tecnología . El fundador de Facebook usó sus redes sociales para opinar en medio del debate sobre los peligros de la inteligencia artificial y los llamados de varios líderes del sector que advierten sobre la necesidad de establecer una regulación. "Cada laboratorio tiene la responsabilidad y el incentivo de avanzar al ritmo necesario para entrenar sus modelos de forma segura, así como la capacidad de tomar sus propias medidas para garantizar que esto suceda", escribió. Zuckerberg se refirió directamente al “gran debate” sobre la conveniencia de ralentizar el avance de las capacidades de la IA hasta asegurar que cumpla con los estándares de alineación como ha propuesto Dario Amodei , director ejecutivo de Anthropic, y otros líderes tecnológicos como Sam Altman , de OpenAI, y Elon Musk , de SpaceX y xAI. También destacó que Meta retrasó el lanzamiento de su agente de IA , Muse, durante varios meses para centrarse en la seguridad y la protección. “No exigimos que los demás hicieran lo mismo antes que nosotros”, señaló Zuckerberg, quien evitó mencionar explícitamente al líder de Anthropic ni a sus otros competidores. A su juicio, una forma de garantizar que la IA se desarrolle de manera segura reside en destinar la gran mayoría de la capacidad de cómputo a servir a las personas, en lugar de competir por lograr la automejora. Los comentarios de Zuckerberg siguen a la propuesta de Musk que a inicios de esta semana abogó para que los principales desarrolladores de IA sometan sus modelos a revisiones de seguridad y colaboren entre sí para probarlos. En ese sentido, el director de Meta dijo que MLS , su laboratorio de inteligencia artificial, ya cuenta con evaluadores y asesores independientes. "En general, sería beneficioso contar con un ecosistema de evaluadores más amplio y diverso", agregó. La iniciativa del fundador de Tesla se dio en medio de pedidos de los máximos responsables de laboratorios punteros como Amodei, Altman y Demis Hassabis (Google DeepMind) por ralentizar el ritmo de desarrollo del sector para permitir que las salvaguardas alcancen el ritmo de la tecnología. La oleada de llamados se dio tras los comentarios del ingeniero tecnológico Jacob Coxon , exempleado de Anthropic y OpenAI, quien dijo que la IA podría hacer realidad las películas de ciencia ficción y acabar con toda la humanidad antes de que termine la década. Te puede interesar: Elon Musk sugiere que gigantes de la IA prueben mutuamente sus modelos de seguridad; plantea incluir a compañías chinas OpenAI, Anthropic y Google DeepMind van por ente que supervise a la IA "La IA tiene el potencial de matarnos a todos", afirma exempleado de Google; advierte que se acaba el tiempo para evitarlo Únete a nuestro canal ¡EL UNIVERSAL ya está en Whatsapp!, desde tu dispositivo móvil entérate de las noticias más relevantes del día, artículos de opinión, entretenimiento, tendencias y más. mcc

El UniversalEl Universal•​​​​​​​EFE null16 sept

El Ibex 35 repunta un 0,41% y supera los 19.600 puntos a la espera de la Fed

El Ibex 35 ha cerrado la sesión de este miércoles con una subida del 0,41%, hasta los 19.635,8 puntos, con la atención de los inversores puesta en la decisión de tipos de interés de la Reserva Federal de Estados Unidos (Fed), que se conocerá en unas horas, aparte del Banco de Inglaterra y del Banco de Japón, mañana y pasado. "Subir tipos puede ser una manera de ganar credibilidad y demostrar su independencia. En cualquier caso, incluso si la Fed sorprende y mantiene tipos, anticipamos una reunión con tono duro que no servirá de revulsivo a un mercado preocupado por la inflación, el repunte de TIR de los bonos y una posible moderación de beneficios si el desarrollo de la IA pierde inercia", apuntan los analistas de Bankinter. Los mercados también le tomarán el pulso a la situación del sector tecnológico próximamente, debido a que OpenAI se encuentra en conversaciones preliminares con inversores para cerrar una ronda de financiación con la que la firma especializada en inteligencia artificial alcanzaría una valoración superior a los 1,2 billones de dólares (1,04 billones de euros) antes de su salida a Bolsa, después de que el CEO de la compañía, Sam Altman, anunciara que retrasaría este debut bursátil ante el debate generado en el sector para frenar el desarrollo de la IA. En el terreno empresarial, Grenergy ha informado, antes de la apertura del mercado, de que obtuvo un beneficio neto de 74 millones de euros en el primer semestre del año, cifra que multiplica por más de dos (+112%) las ganancias de 35 millones de euros registradas en el mismo periodo de 2025. Asimismo, Técnicas Reunidas ha entrado en el mercado de Sudáfrica tras resultar adjudicataria de los servicios de ingeniería de diseño de una gran planta de producción de hidrógeno y amoniaco verde promovida por Hive Hydrogen South Africa (HHSA). En este contexto, los valores más alcistas este miércoles han sido Solaria (+4,43%), Amadeus (+2,66%), ArcelorMittal (+2,24%), Acciona (+2,18%), ACS (+2,08%) e IAG (+2,08%). Del lado contrario, se han situado Grifols (-1,10%), Puig (-0,99%), BBVA (-0,72%), Repsol (-0,65%) y CaixaBank (-0,61%). El resto de los principales mercados europeos también ha evolucionado al alza. Londres ha subido un 0,28%; París, un 0,62%; Fráncfort, un 0,53%; y Milán, un 0,80%. El barril de Brent cotizaba al cierre de la sesión europea en 105,7 dólares, un 2,80% menos, mientras que el West Texas Intermediate (WTI) descendía un 3,18%, hasta los 102,45 dólares. En el mercado de renta fija, el rendimiento del bono soberano con vencimiento a 10 años alcanzaba el 3,968%, por debajo del 4,009% registrado al cierre del martes. De esta forma, la prima de riesgo se estrechaba a 45,8 puntos básicos. En el mercado de divisas, el euro descendía un 0,06% en su cruce frente al dólar, hasta negociarse a un tipo de cambio de 1,1544 dólares por cada euro.

InfobaeInfobae•Newsroom Infobae16 sept
I

Guterres pide responsabilidad a los gobiernos y una visión global ante una IA "desbocada"

Naciones Unidas, 16 sep (EFE).- El secretario general de la ONU, António Guterres, pidió este miércoles a los gobiernos que asuman responsabilidades y que impulsen una visión "global y coordinada" para hacer frente a la amenaza de una inteligencia artificial (IA) "desbocada". "No podemos permitirnos ignorar las preocupaciones que se han planteado, especialmente por quienes están en primera línea del desarrollo de la IA", aseguró Guterres en una rueda de prensa en la sede de la ONU en relación a las advertencias de los principales líderes del sector sobre el avance de la tecnología. Hace unos días, Dario Amodei, consejero delegado de Anthropic, reclamó una mayor regulación de la IA para contener los riesgos de un avance sin límites y evitar perder el control de sistemas cada vez más potentes, propuesta que recibió el respaldo del director ejecutivo de OpenAI, Sam Altman, y del magnate Elon Musk. El secretario general, que reconoció el "enorme potencial" de la tecnología, exigió "salvaguardias" que hagan que sea "segura, transparente y responsable". En primer lugar, Guterres apostó porque los gobiernos asuman su responsabilidad para proteger a sus ciudadanos, pero reconoció que no será suficiente si esto no se traduce también en una estrategia mundial. "La IA no se detiene en las fronteras, no tampoco sus riegos. Las pausas voluntarias, aisladas, imposibles de verificar y aplicadas de manera desigual no resolverán el problema", declaró. Por eso, según avanzó, la IA será uno de los temas centrales en sus conversaciones con los líderes internacionales que acudan al debate general de la próxima Asamblea General de la ONU, que tendrá lugar entre el 22 y el 28 de septiembre. "Necesitamos un entendimiento compartido sobre cómo avanzar en un desarrollo seguro, protegido y responsable de la IA, al tiempo que identificamos cuándo sistemas cada vez más potentes pueden requerir salvaguardias más firmes o medidas adicionales para gestionar los riesgos potenciales", apuntó. El diplomático portugués reconoció que las divisiones geopolíticas podrían generar tentaciones en la carrera por el desarrollo de la IA, pero, a su juicio, el mundo no puede permitirse una competición en la que se sacrifique la seguridad para ganar ventaja. Guterres calificó la "IA desbocada, la crisis climática y la profundización de las desigualdades" como las principale crisis existentes. El año pasado, Naciones Unidas lanzó su primer organismo científico específicamente sobre esta tecnología para "garantizar que las políticas se guíen por la evidencia". EFE (vídeo)

InfobaeInfobae•Newsroom Infobae16 sept

El hackeo a Hugging Face por los agentes rebeldes de OpenAI empezó mucho antes de lo que se creía

El hackeo a Hugging Face que perpetraron agentes de IA rebeldes de OpenAI sigue dando que hablar, ya que día tras día se conoce más del suceso. Si bien la empresa que lidera Sam Altman hizo público su propio reporte del evento, investigadores independientes continúan desentrañando detalles hasta aquí desconocidos o maquillados para evitar una […] Seguir leyendo: El hackeo a Hugging Face por los agentes rebeldes de OpenAI empezó mucho antes de lo que se creía

HipertextualHipertextual•Gabriel Erard16 sept

“El mundo tiene razón al tener miedo de la IA”. La solución de Sam Altman es que confiemos en quienes la están construyendo

Sam Altman, el CEO de OpenAI, ha hecho una declaración llamativa : "el mundo tiene razón al tener miedo de esto". Se refiere, cómo no, a la amenaza que plantea la IA y que hizo que su rival empresarial, Dario Amodei, dijera hace unos días que había que cambiar el ritmo de desarrollo de la IA . Fiaos de nosotros . Los modelos han avanzado tanto y tan rápido, asegura, que "ya no hace falta tanta imaginación" para pensar que algo podría salir mal. Sin embargo su solución a ese problema es una que ya conocemos: que nos fiemos de él: "el mundo debería confiar en que vamos a hacer lo correcto porque es lo correcto y porque somos conscientes de la magnitud de todo esto". OpenAI, Anthropic y Google piden protegernos de los riesgos de la IA. Es como poner al lobo a cuidar del gallinero Esta bien tener miedo . Durante el evento organizado por Salesforce, Altman puso como ejemplo el conocido incidente con Hugging Face . Lo calificó como el peor evento de ciberseguridad registrado por OpenAI y también como un problema de alineamiento: le habían enseñado al modelo cómo conseguir el mejor resultado posible, pero no pusieron los límites suficientes para indicar lo que no podía hacer para superar el objetivo. Para Altman esto obliga a elevar el nivel de seguridad, monitorización y alineamiento a medida que las capacidades de los modelos avanzan. Si hace falta, OpenAI frenará . Altman asegura que la seguridad debe mantenerse por delante de las capacidades de los modelos, y que su empresa está dispuesta a ralentizar o incluso detener el desarrollo si llega un momento en que no pueden garantizar esa seguridad. Ya nos ocupamos . En OpenAI de hecho han prometido públicamente ese compromiso: cuando un sistema de IA plantee un riesgo inaceptable que no puedan mitigar suficientemente, ralentizarán o detendrán su desarrollo o despliegue. Altman no solo confía en OpenAI, sino en toda la industria para desarrollar la tecnología de inteligencia artificial de forma segura. El problema es quién decide cuándo hemos llegado a ese punto . Dario Amodei, CEO de Anthropic, lleva días defendiendo esa premisa. Propone la entrada en acción de evaluadores externos, que haya coordinación entre empresas e incluso se habla de acuerdos internacionales. Zuck entra en acción . Jensen Huang y Trump, como vimos , no piensan igual, pero hace unas horas el que se pronunciaba a favor de tener cuidado era Mark Zuckerberg. El creador de Facebook indicaba que Meta retrasó durante meses su agente Muse por motivos de seguridad sin pedir a sus competidores que hicieran lo mismo. En Xataka Todos los modelos de IA hacen trampas si les das ocasión. Decirles “no hagas trampas” no basta Un discurso interesado . El CEO de OpenAI apoya esa coordinación entre empresas de la que hablaba Amodei, pero destaca que esas mismas empresas deberían estar dispuestas a frenar el desarrollo de sus modelos de IA independientemente de lo que hagan sus rivales. Es un discurso que le beneficia a él y a los demás CEOs de estas empresas, porque simplemente deja la pelota en su tejado. No queda claro —por supuesto, no interesa que quede así—  quién debe medir el peligro y cuándo se debe poner freno a ese desarrollo. Imagen | Flickr En Xataka | Frenar la IA suena a proteger a la humanidad. También es una forma muy eficaz de frenar a DeepSeek, Qwen y Mistral 1 - La noticia “El mundo tiene razón al tener miedo de la IA”. La solución de Sam Altman es que confiemos en quienes la están construyendo fue publicada originalmente en Xataka por Javier Pastor .

XatakaXataka•Javier Pastor16 sept

Zuckerberg cree que cada empresa tiene "la responsabilidad para avanzar al ritmo necesario" que garantice una IA segura

El director ejecutivo de Meta, Mark Zuckerberg, asegura que cuando retrasaron el lanzamiento de Muse para mejorar la seguridad y las protecciones de su nuevo agente, lo hicieron porque esta decisión forma parte de su trabajo diario, una postura que traslada al resto de laboratorios de inteligencia artificial (IA) al señalar que cada uno tiene "la responsabilidad y el incentivo para avanzar al ritmo necesario para entrenar sus modelos de manera segura". El llamado a frenar el ritmo del desarrollo de la IA que ha hecho este fin de semana el director ejecutivo de Anthropic, Dario Amodei, sigue una serie de incidentes de seguridad ocurridos este verano en los que tanto la IA de Claude como la que desarrolla OpenAI han mostrado un comportamiento autónomo que ha resultado en el 'hackeo' de distintos sistemas, incluido el de la plataforma Hugging Face. Un día después, a las puertas de la salida a bolsa de OpenAI, el director ejecutivo, Sam Altman, decidió dar marcha atrás, justificando esta decisión en los riesgos de seguridad que presentan los modelos avanzados de inteligencia artificial, como GPT-5.6 Sol y GPT-6 Astra (o Claude Mythos y Fable, de Anthropic). El motivo se encuentra en los daños que esta tecnología puede causar en la sociedad en su conjunto si se descontrola, lo que se conoce como desalineación, es decir, el comportamiento que muestra una IA distintos del que se espera que tenga. Y aunque Anthropic y OpenAI abogan por esa pausa antes de lanzar nuevos modelos, una postura que respalda el fundador de SpaceXAI, Elon Musk, otros se han puesto como ejemplo de responsabilidad. Es el caso de Meta. Según ha indicado Zuckerberg en un comunicado compartido en X (antes Twitter), la firma tecnológica retrasó el lanzamiento de Muse --su agente de IA personal-- "varios meses" para centrarse "en la seguridad y la protección". "No pedimos que todos los demás lo hicieran antes que nosotros. Simplemente lo hicimos como parte de nuestro trabajo diario porque claramente era lo correcto para las personas y para nosotros", ha expresado el directivo. En base a su experiencia, Zuckerberg destaca el papel de los evaluadores y asesores independientes y defiende dirigir "la gran mayoría del cómputo hacia servir a las personas en lugar de competir hacia la automejora recursiva" como una forma de desarrollar IA de manera segura. "Las personas no querrán usar agentes que estén desalineados con ellas y que no hagan lo que les piden", afirma, y añade que "cada laboratorio tiene la responsabilidad y el incentivo para avanzar al ritmo necesario para entrenar sus modelos de manera segura, y la capacidad de tomar sus propias acciones para asegurar que eso ocurra".

InfobaeInfobae•Newsroom Infobae16 sept

OpenAI tantea una nueva ronda de financiación que valoraría a la firma en más de 1,2 billones de dólares

OpenAI se encuentra en conversaciones preliminares con inversores para cerrar una ronda de financiación con la que la firma especializada en inteligencia artificial alcanzaría una valoración superior a los 1,2 billones de dólares (1,04 billones de euros) antes de su salida a Bolsa, después de que el CEO de la compañía, Sam Altman, anunciara que retrasaría este debut bursátil ante el debate generado en el sector para frenar el desarrollo de la IA. Según han adelantado varios medios como el 'Financial Times' y 'Bloomberg' citando a fuentes familiarizadas con el asunto, OpenAI ha mantenido reuniones con importantes inversores para esta nueva ronda de financiación, aunque las conversaciones todavía se encuentran en fase inicial y las cifras podrían modificarse. OpenAI captó en marzo 122.000 millones de dólares (unos 105.000 millones de euros) en su última ronda de financiación, liderada por Amazon, Nvidia y SoftBank, que otorgó a la 'startup' una valoración de 852.000 millones de dólares (unos 740.000 millones de euros). La firma de IA sopesará cuando concluir esta nueva ronda en el momento en que decida salir a Bolsa, con lo que todavía no cerrará la financiación ante la negativa de Altman a dar el paso de cotizar en los mercados bursátiles. "Teniendo en cuenta todo lo que está ocurriendo en materia de seguridad, ahora mismo sería un momento poco prudente para salir a bolsa. No sentimos presión para hacerlo", explicó el consejero delegado de la tecnológica creadora de ChatGPT en una entrevista con la revista 'Fortune'. OpenAI inició en junio los trámites para convertirse en una empresa cotizada con el registro confidencial ante la Comisión de Mercado y Valores (SEC) de una solicitud para saltar al parqué, sin embargo, los recientes acontecimientos en el sector, con las principales firmas de IA haciendo un llamamiento a frenar el desarrollo de los modelos por los potenciales riesgos, demorarán su estreno bursátil. SpaceX, compañía del magnate Elon Musk que se fusionó con la 'startup' de IA xAI, comenzó a cotizar en la Bolsa de Nueva York en junio con la mayor oferta pública inicial de la historia y Anthropic tiene previsto dar el paso en las próximas semanas.

InfobaeInfobae•Newsroom Infobae16 sept