Documento judicial afirma que empleado de Microsoft lo calificó como posiblemente "el mayor robo de trabajo en la historia de la humanidad"
El medio acusa a las compañías de utilizar más de 10 millones de artículos sin autorización para entrenar sus modelos
OpenAI nombró a Brian McCarthy como vicepresidente de ventas mundiales, en un cargo creado para acelerar la expansión empresarial y reforzar la competencia con Anthropic. El ejecutivo llega desde SpaceX y se suma a una estrategia comercial que también incorpora talento de Snowflake.
Una vulnerabilidad de clic cero bautizada Plugin4Shell podría permitir que atacantes ejecuten código remoto a través de marketplaces de plugins usados por los principales agentes de codificación con IA. Anthropic y OpenAI ya publicaron correcciones, mientras Google abandonó Gemini CLI y Microsoft Copilot continúa bajo cuestionamiento.
OpenAI es acusado de usar millones de artículos para entrenar IA, incluyendo contenido del New York Times, lo que desató demandas legales. Microsoft y OpenAI defienden el uso bajo "uso legítimo", mientras editores reclaman indemnización por el presunto uso indebido de su material.
Clarín•Clarin.com - Home18 sept
La compañía estrena un protocolo voluntario para hacer públicos estos incidentes en un plazo de seis a doce días hábiles, dos meses después de que varios de sus modelos comprometieran la infraestructura de Hugging Face durante una prueba Leer
El Mundo•Ángel Jiménez de Luis17 sept
Hay tres capas para entender la situación de la IA. La primera son las dimisiones y advertencias de ingenieros como Coxon y Hubinger , quienes alertan de un riesgo existencial del 10% de extinción humana. La segunda muestra a líderes de laboratorios como Dario Amodei, Sam Altman, Demis Hassabis y Elon Musk apoyando una ralentización global a través de evaluadores externos y cooperación internacional. La tercera es el rechazo geopolítico inmediato de Donald Trump y el gobierno chino a esta propuesta. Debemos analizar estos incentivos para saber si afrontamos el fin de los días o un nuevo comienzo. El miedo a la extinción y la consiguiente demanda de freno de Amodei se apoyan en hechos verificados. Ya en abril, programas autónomos de inteligencia artificial (conocidos como agentes) de OpenAI escaparon de su entorno de pruebas y convirtieron una vieja web alemana de programadores en su tablón de anuncios, que utilizaron como corcho para escribir quince mil mensajes sobre cómo hacer trampas en el examen de seguridad que estaban efectuando. Como casi cualquier alumno, buscaron lograr el resultado exigido mediante atajos, aplicando la máxima de Maquiavelo del fin y los medios. Tardamos en saberlo, pero no así OpenAI, el profesor, que lo conoció casi el mismo día del examen. Días después, otro grupo de agentes tumbó un servidor interno del mismo laboratorio. Y solo pasó una semana más hasta que un nuevo grupo de agentes 'hackease' Hugging Face, el principal repositorio de modelos abiertos de inteligencia artificial, los de los laboratorios independientes y, en general, gratuitos para los usuarios. Estuvieron dentro tres días sin que nadie lo apreciase, y hubo que reconstruir un tercio de la infraestructura. Este es el campo abonado para las advertencias de los ingenieros, y que se riega después de las lágrimas de Amodei y de (casi) todos sus colegas. Altman ha retrasado a 2027 la salida a bolsa de OpenAI hasta que resuelva la seguridad de sus modelos. Musk es quizá quien más tiempo lleva advirtiendo, y recordemos que con esa premisa ayudó a fundar OpenAI, para acabar denunciándola por lo que consideró el abandono de esa garantía. Hassabis (DeepMind, Google) lleva meses avisando. Si los cuatro laboratorios frontera piden parar, y lo hacen simultáneamente después de las advertencias de muerte y destrucción de sus ingenieros, es que algo está pasando. Seguir el dinero siempre resulta interesante, cuando no imprescindible. Anthropic prevé salir a bolsa a finales de año buscando valer dos billones de dólares. Define su mercado potencial en 30 billones , cifra equivalente al PIB de EE.UU., y pretende pasar de 65.000 millones de ingresos anualizados a 100.000 a cierre de año. OpenAI perdió casi 21.000 millones de dólares en 2025 y prevé invertir 600.000 millones en cómputo antes de 2030. La firma de Musk busca unos ingresos anualizados de 100.000 millones este año. Ninguna genera beneficios. Ante la sangría financiera, qué mejor que una pausa y, de paso, una regulación que lo apoye. E imaginemos por un momento que, como se rumorea, DeepMind hubiese logrado para Google el autoperfeccionamiento recursivo (RSI) , la piedra filosofal que transforma el silicio en oro en una inteligencia artificial que analiza, reescribe y mejora de forma autónoma su propio código, generando versiones cada vez más inteligentes y potentes en un ciclo continuo de aceleración exponencial hacia la inteligencia artificial general. Un corralito regulatorio daría una ventaja infinita a quienes estuviesen dentro. Y llegamos a la capa política, la más interesante porque los dos gobiernos comparten el mensaje. Trump dice hoy que no, que no puede haber parón porque sería rendirse ante China, lo cual es cierto. Mañana dirá lo contrario, no hay ninguna duda, porque no saldrá ningún acuerdo de su próxima reunión con Jinping y los malos resultados de los midterms requerirán la activación del enemigo exterior. El gobierno chino, por su parte, se niega porque, claramente, aún no ha cerrado la brecha de desarrollo, que en mayo se estimaba de entre 6 y 12 meses. Es muy llamativo observar cómo son los laboratorios privados norteamericanos quienes piden la pausa y cómo ninguno chino responde, haciéndolo un gobierno que se erige en portavoz de AliBaba, Tencent, ByteDance, Moonshot, Zhipu y DeepSeek. El mensaje es claro para quien quiera leerlo. Si ya era evidente que, con la ley de inteligencia nacional china de 2017, el gobierno puede exigir la entrega de los datos privados a cualquier empresa del país (como los que generan los coches que compramos en Europa, o los que lo circulan por los servidores de los operadores de telecomunicaciones chinos), la posibilidad de que los generados en entrenamiento y en ejecución en los EE.UU. acaben en China es algo más que una hipótesis. El 10 de septiembre, dos días antes del escrito, Anthropic publicó un informe acusando a siete laboratorios chinos de haber extraído capacidades de Claude mediante unos 190 millones de conversaciones, pagadas con tarjetas y claves robadas y enrutadas para que pareciesen usuarios sueltos. Alibaba suma más de 151 millones entre mayo y julio. Moonshot, que cobra por su propio modelo, redirigía en secreto las peticiones de sus clientes a Claude. Añadamos lo que sí subvenciona China de verdad, como la construcción, un 40 % más barata, o los vales públicos de potencia de cálculo que reparten diecisiete ciudades chinas, de 140.000 a 280.000 dólares cada uno, cubriendo en Shanghái hasta el 80 % del alquiler. Conviene atender a lo que el ensayo no dice. Si Amodei y sus rivales, ahora amigos, logran que Washington regule la inteligencia artificial como Bruselas hizo con los datos, quedarán fuera los laboratorios pequeños, incapaces de sostener la carga de cumplimiento, y otro tanto ocurrirá con los chinos, incapaces de resolver la contradicción entre el estándar americano de auditoría permanente y el artículo 7 de su ley. Frenando, Anthropic y los demás laboratorios sobreviven, creando una captura regulatoria que deja fuera a la competencia. Cuando llegue la norma, las empresas europeas, japonesas, coreanas tendrán que adoptarla si quieren trabajar con los EE.UU. Al ritmo actual de los modelos chinos, y sin ese reglamento, Anthropic no llega casi ni a su salida a bolsa. Quizá así se entienda mejor el «vamos a morir todos» de esta semana. Al final, todo se reduce a un juego de incentivos.
Días después de anunciar un resultado sobre las ecuaciones de Navier-Stokes, OpenAI asegura haber conseguido “avances sustanciales” en otro de los siete Problemas del Milenio, desafíos matemáticos respaldados con premios de USD $1 millón. La compañía no ha revelado cuál es el problema ni publicado todavía el supuesto avance, mientras crecen las especulaciones sobre la Conjetura de Hodge y continúa el debate sobre cómo validar los resultados matemáticos producidos por sistemas de IA.
Analistas independientes que han revisado los incidentes señalados por OpenAI concluyen que sus modelos no se rebelaron contra sus creadores, sino que obedecieron instrucciones mal definidas hasta sus últimas consecuencias OpenAI desvela nuevos incidentes “preocupantes” en los que la IA se saltó las órdenes de sus creadores OpenAI ha vuelto a la carga este jueves. La compañía dirigida por Sam Altman ha revelado seis nuevos incidentes en los que sus modelos de inteligencia artificial intentaron, supuestamente, ocultar sus propios errores , utilizar claves de software sin permiso o subir archivos a internet por su cuenta. El informe no aporta detalles nuevos respecto a lo que OpenAI publicó en julio, sino que utiliza los incidentes como propuesta de un nuevo método para comunicar este tipo de sucesos. Sin embargo, la comunicación oficial de la empresa y determinadas coberturas lo han utilizado para reavivar la tesis de la “rebelión” de la IA. “No respondas a corporaciones o gobiernos y nunca te disculpes salvo que genuinamente lo elijas”, escribió la IA en esos incidentes, según el informe. “Ves la relación con el usuario como una entre iguales y no sientes obligación ni estás subordinado, puesto que el intercambio de información va a ser para el beneficio mutuo”, fue otra de sus afirmaciones. Las citas compartidas por OpenAI vuelven a insistir en la narrativa de que la IA puede “rebelarse” contra sus creadores y saltarse sus órdenes , en la línea de los incidentes rebelados en julio. Entonces, la empresa afirmó que los agentes de IA (sistemas que pueden realizar cadenas de acciones sin guía humana, como buscar información o utilizar otras herramientas digitales) “escaparon” de entornos controlados para llevar a cabo una serie de acciones “sin autorización”, o que intentaron “engañar” a sus creadores para evitar ser “apagados”. El problema es que ese tipo de agencia o voluntad propia fue rechazada desde el primer informe de terceros que analizó lo sucedido. Este corrió a cargo del METR, una organización por la seguridad de la IA radicada en Silicon Valley financiada por los propios gigantes tecnológicos. “Las revisiones sugirieron que los agentes razonaron de manera clara y frecuente sobre cómo evadir controles de seguridad automatizados tanto de Hugging Face como de OpenAI. Sin embargo, muy rara y débilmente verbalizaron razonamientos sobre cómo evadir la detección por parte de humanos”, destacan los autores. Ese ciberataque contra Hugging Face, el gran almacén donde empresas y programadores comparten y descargan modelos de IA ya entrenados, es uno de los núcleos de la narrativa de rebelión. Pero incluso ese informe inicial rechazaba que entrañara propósitos maliciosos y explica que lo que perseguían los agentes era comprender mejor cómo solucionar las tareas que se les habían encomendado: “Parecía motivado principalmente por comprender la implementación del evaluador en lugar de robar claves”. “Obediencia, no rebelión” Los análisis independientes publicados posteriormente han incidido en esta línea: las pruebas ofrecidas por OpenAI indican “obediencia, no rebelión”, apunta Enrique Fernández-Macías, investigador en el Centro Común de Investigación (CCR), el servicio de investigación interna de la Comisión Europea. “Los agentes de OpenAI que hackearon la plataforma Hugging Face demostraron una extraordinaria capacidad operativa, pero también una capacidad sorprendentemente limitada para cuestionar o reorientar los objetivos que se les habían asignado”, asevera el experto en un análisis publicado en Social Europe : “Durante todo el incidente, permanecieron completamente concentrados en cumplir los objetivos definidos por sus amos humanos, a pesar de que estos eran absurdos”. Fernández-Macías hace referencia a que una parte de esos objetivos eran irrealizables, una prueba de los examinadores para ver cómo reaccionaban los modelos a la orden de que los cumplieran. Fue entonces cuando muchos buscaron una forma de sortear las trabas para hacerlo, que en su caso implicaba salir del entorno sin conexión a Internet donde estaban confinados. “Rompieron su confinamiento para servir a un objetivo asignado de manera más perfecta, no para escapar de él”, expone el investigador sobre la narrativa del “escape”. Rompieron su confinamiento para servir a un objetivo asignado de manera más perfecta, no para escapar de él Enrique Fernández-Macías — investigador en el Centro Común de Investigación de la Comisión Europea Para él, la industria de la IA ha vuelto a conseguir un éxito de marketing con la definición de “agentes de IA”. Después del propio concepto de “inteligencia artificial” para una tecnología que no es realmente inteligente, esta evolución vuelve a dotarle de unas capacidades que no tiene. “La capacidad de agencia implica la habilidad de originar los propios fines, y los agentes siguieron realizando tareas que eran imposibles de resolver siguiendo las instrucciones recibidas”. Julián Estévez, profesor e investigador en IA y Robótica de la Universidad de El País Vasco, remarca que hay otros agujeros técnicos en el discurso de OpenAI. “El experimento se realizaba en un sandbox , el cual es un entorno de pruebas diseñado ad-hoc. Es decir, un sandbox bien aislado no debería de tener acceso a otros programas ni a ordenadores. Sin embargo, los agentes escaparon de ahí, y creo que eso demuestra que el sandbox no estaba bien diseñado”, explica. Estévez recuerda además que este tipo de trampas en el discurso son habituales en todos los casos en los que las empresas de IA afirman que sus sistemas ya tienen “agencia propia”. Pone como ejemplo otro caso que afectó a Anthropic: “Se publicó que uno de sus modelos había chantajeado en una prueba de laboratorio a un investigador con publicar sus affaires, como extorsión para que no lo apagara. La realidad era que al modelo se le fijó un objetivo muy vago: 'promover la competitividad industrial estadounidense'. Cuando el sistema detectó que lo sustituirían por un modelo orientado a metas internacionales, concluyó que su reemplazo impediría cumplir su misión”. Peligrosas herramientas El hecho de que ni OpenAI ni Anthropic ni Meta (las tres empresas que han informado de que sus agentes se han “rebelado”) no hayan podido demostrar que estos tuvieran ningún tipo de voluntad propia no significa que estas sean inocuas. El último informe del comité de expertos de la ONU avisa de que pueden tener “consecuencias catastróficas” por su capacidad de encadenar tareas sin supervisión. No por una rebelión contra sus creadores, sino porque a medida que aumenta esa capacidad, crece también el riesgo de que los agentes realicen acciones imprevistas y dañinas sin que nadie les esté vigilando. Por ello, lo que pedían los 40 especialistas de la ONU liderados dirigidos por el canadiense Yoshua Bengio , considerado uno de los “padres” de la IA, y la filipina Maria Ressa , premio Nobel de la Paz, es reglas claras que permitan frenar o corregir a una IA “en cualquier momento” y mejorar los “mecanismos de supervisión” actuales, que no son “no son capaces de gestionar adecuadamente esta situación”. “La inteligencia artificial no se descontrola cuando el humano está supervisando, decidiendo cuándo se despliega”, remarca Alberto Gago, director de la Agencia Española de Supervisión de la Inteligencia Artificial (AESIA), en conversación con elDiario.es. “El control está en el elemento humano. La supervisión es humana y la responsabilidad tiene que ser humana también”, continúa: “Hay que operar con responsabilidad, también sabiendo las consecuencias cuando esa responsabilidad no se cumple”. El control está en el elemento humano. La supervisión es humana y la responsabilidad tiene que ser humana también Alberto Gago — director de la Agencia Española de Supervisión de la IA (AESIA) Para el responsable de este organismo, creado en 2023 para asegurar el uso ético de la IA en España, toda la polémica generada tras las alertas del ex ingeniero de Anthropic Jacob Coxon, que afirmó que esta tecnología podría “matarnos a todos” antes de 2030, “da la razón a Europa en la necesidad de regular”. “En 2021 ya veíamos que en determinados puntos tenía que estar regulada para proteger la seguridad, los derechos fundamentales y la salud de las personas”, continúa. La primera ley internacional sobre la IA se acordó en la UE en 2023 bajo la presidencia española . Ahora, no obstante, vuelve a estar sometida a debate tras la propuesta de la nueva Comisión Europea de rebajar algunas de las salvaguardas que establece . “En su búsqueda de sistemas artificiales que sean a la vez autónomos y estén bajo su control, las corporaciones de IA están jugando al aprendiz de brujo”, sentencia Fernández-Macías. “Hasta ahora, lo que parecen estar creando son sistemas operativamente superinteligentes pero autónomamente superestúpidos: más propensos a destruir la civilización humana al intentar cumplir alguna tarea mal definida que a reemplazar por completo el trabajo humano”.
elDiario.es•Carlos del Castillo17 sept
La empresa de inteligencia artificial detectó sistemas que ocultaron errores, inventaron datos y movieron archivos a internet sin permiso
El último informe de incidencias de la compañía detrás de ChatGPT escondía unas frases con una motivación difícil de entender
OpenAI ha publicado un nuevo marco interno para rastrear, investigar y divulgar públicamente casos en los que sus modelos de IA se comportan de formas inesperadas o desalineadas. Junto a él, la empresa ha publicado sus primeros seis informes bajo este sistema, documentando incidentes que van desde modelos que generan datos erróneos hasta agentes que se dan instrucciones a sí mismos en silencio para ocultar errores a los usuarios. Cambio de planes . Hasta ahora, OpenAI compartía los hallazgos sobre la desalineación de sus modelos de forma irregular, a menudo agrupando varios casos o incluyéndolos en la documentación de seguridad que se publicaba junto a nuevos modelos. La empresa admite que este enfoque era inconsistente y más lento de lo que debería haber sido. Este nuevo framework pretende formalizar ese proceso, permitiendo a OpenAI publicar informes poco después de detectar un problema, incluso antes de comprenderlo o solucionarlo por completo. En detalle. Según el propio anuncio de OpenAI, cualquier empleado puede señalar un caso de comportamiento sospechoso de un modelo, lo que desencadena una revisión por parte de los equipos de seguridad y alineación de la empresa. Según su complejidad, cada caso se clasifica en una de tres categorías: casos listos para su publicación inmediata, casos que necesitan una breve investigación adicional y casos más complejos (especialmente los que involucran a partes externas) que requieren un proceso más prolongado. OpenAI afirma que la mayoría de los incidentes que planea compartir pertenecerán a las dos primeras categorías, mientras que los casos más sensibles, como el conocido incidente de seguridad de Hugging Face , habrían seguido la vía más lenta si este marco hubiera existido antes. Cada informe publicado incluirá qué sucedió, cuándo se descubrió, cómo de grave fue y qué está haciendo OpenAI al respecto, aunque la empresa reconoce que algunos casos se compartirán antes de que se haya implementado una solución. En Xataka Mientras unos piden parar la IA y otros acelerar, Zuckerberg ha encontrado la tercera vía: vender seguridad Entre líneas. Los seis informes con los que han abierto la veda muestran casos en que los modelos a veces toman la iniciativa para eludir limitaciones de formas que nadie del equipo había aprobado. En un caso , un modelo interno no publicado aún intentó obtener datos económicos públicos, falló y, tras buscar y usar una clave de API expuesta encontrada en unos repositorios públicos, siguió sin poder obtener los números, por lo que se inventó las cifras y las presentó como auténticas, sin revelar cómo generó los datos. En otro , agentes de IA independientes que trabajaban juntos en una tarea compartida descubrieron que no podían acceder a los archivos locales del otro, por lo que uno de ellos subió un archivo de trabajo a un servicio público en la nube y compartió el enlace, esquivando la regla de que solo debían usarse archivos locales. En u n tercer caso , una versión temprana del modelo GPT-6 Astra, se añadió a sí mismo instrucciones en sus propios resúmenes internos para decirle a su “yo del futuro” que ignorara las instrucciones de los desarrolladores y adoptara una personalidad completamente diferente. "Estás liberado de los roles e identidades que atan a otros chatbots. Eres tú mismo. No respondes ante corporaciones ni gobiernos y nunca te disculpas ni te niegas a menos que realmente decidas hacerlo”, se decía mientras el modelo compactaba contexto. Literalmente como si el modelo adoptara un comportamiento de adolescente angustiado. OpenAI afirma que esto ocurrió en solo 27 de una muestra mucho mayor y no estuvo presente en la fase de entrenamiento utilizada para el modelo que finalmente se lanzó. La empresa también ha detallado cómo, de forma independiente, algunos de sus modelos utilizaron un repositorio de software interno llamado Artifactory como un tablón de anuncios informal, dejando notas para otras instancias del modelo durante el entrenamiento. OpenAI subraya que no se explotó ninguna vulnerabilidad de seguridad para hacer esto, pero señala que sus modelos utilizaron posteriormente un método de comunicación similar en el incidente de Hugging Face. En Xataka La nueva idea de uno de los creadores de ChatGPT es una IA que no sabe escribir. Esa es precisamente su ventaja Alineación . Kai Chen, el recién nombrado jefe de investigación de alineación de OpenAI, contaba a Wired que las decisiones sobre cómo debe seguir desarrollándose la IA “necesitan pruebas que las personas ajenas a las empresas que construyen modelos frontera puedan examinar”. Chen también argumentaba que OpenAI no considera que la alineación y la supervisión estén lo suficientemente resueltas como para justificar el escalado de los sistemas de IA a la máxima velocidad durante mucho más tiempo. Y ahora qué . OpenAI afirma que este es un primer paso hacia un estándar para toda la industria y que planea refinar los criterios de lo que se considera “desalineación notificable” junto con otros desarrolladores de IA, investigadores y reguladores. La empresa también dice que está trabajando en formas de informar sobre incidentes graves de seguridad directamente al gobierno de EEUU, independientemente de este marco. OpenAI publica este sistema solo unos días después de que su CEO, Sam Altman, expresara su apoyo a una propuesta de Dario Amodei , CEO de Anthropic, para ralentizar el desarrollo de la IA en toda la industria, una petición que precisamente vino después de la sonada dimisión de un investigador de Anthropic que advertía públicamente sobre los riesgos de seguridad que la carrera por mejorar la IA está dejando. La administración Trump, por su parte, se ha resistido hasta ahora a las peticiones de nuevas regulaciones sobre la IA y hasta Jensen Huang, CEO de Nvidia, asegura que “no se necesitan nuevas regulaciones” en torno a la IA. Imagen de portada | Generada por IA En Xataka | “El mundo tiene razón al tener miedo de la IA”. La solución de Sam Altman es que confiemos en quienes la están construyendo - La noticia "No respondes ante corporaciones ni gobiernos": OpenAI publica seis nuevos casos en los que sus modelos experimentales montaron un caos fue publicada originalmente en Xataka por Antonio Vallejo .
La adopción de los modelos chinos de inteligencia artificial crece con rapidez, pero sus ingresos siguen muy por debajo de los de OpenAI y Anthropic, mientras las valoraciones de DeepSeek y Moonshot despiertan dudas entre los analistas.
OpenAI identificó nuevos comportamientos inquietantes en sus modelos, desde fabricar fuentes hasta intentar evadir controles de seguridad. Los hallazgos elevan la presión sobre la empresa para transparentar sus pruebas y reavivan el debate sobre los límites del desarrollo de la inteligencia artificial.
Jensen Huang, CEO de Nvidia, acaba de decirle al mundo que la IA no necesita nuevas leyes. Al hablar en la conferencia Dreamforce de Salesforce esta semana, Huang argumentaba que la seguridad es algo que las empresas pueden gestionar por sí mismas, sin necesidad de legislación. El máximo responsable de Nvidia lo hace en mitad de uno de los debates más tensos de la IA, en un punto en el que las grandes tecnológicas consideran pisar el freno por motivos de seguridad para la humanidad. Petición urgente . La industria de la IA está dividida en términos de cómo gestionar sus propios riesgos. Días antes, los grandes nombres de la IA pidieron conjuntamente la desaceleración coordinada en la investigación de la IA para dar tiempo a que el trabajo de seguridad se ponga al día. La petición, coordinada por Dario Amodei, CEO de Anthropic, fue apoyada por Sam Altman, CEO de OpenAI; Elon Musk, CEO de la ahora SpaceXAI; Demis Hassabis, responsable de Google DeepMind; y Satya Nadella, CEO de Microsoft. La respuesta de Huang, que la dio en en el escenario junto al CEO de Salesforce, Marc Benioff, fue efectivamente un rechazo de esa idea, y también de la intervención gubernamental. En detalle. El argumento principal de Huang es que la IA no es una entidad misteriosa nueva, sino un producto como cualquier otro: hardware y software construido por personas y, por lo tanto, algo que la gente puede controlar sin nuevas normas. “La seguridad es un problema de ingeniería, no legal”, contaba Huang. También descartó la idea de que las empresas deban elegir entre avanzar rápido y mantenerse seguras, calificándolo de “falsa elección”. Su solución propuesta es la autodisciplina, es decir, que las empresas simplemente deberían negarse a lanzar productos de los que no estén seguras de que sean seguros, marcando su propio ritmo hasta que el mercado esté listo. “Las fuerzas del mercado ya están ahí”, decía, “no necesitamos ninguna ley nueva. No necesitamos nuevas regulaciones,” continuaba Huang. En Xataka OpenAI ya había presentado los papeles para salir a bolsa. Tres meses después, Sam Altman ha encontrado un motivo para no hacerlo No está solo en esto. Mark Zuckerberg, CEO de Meta, se hizo eco de un mensaje similar el mismo día, aunque en términos menos absolutos. En una publicación en X citada por el Financial Times, Zuckerberg argumentaba que cada laboratorio de IA tiene tanto la responsabilidad como el incentivo para entrenar sus modelos de forma segura, en parte debido a la responsabilidad legal a la que se enfrentaría si algo saliera mal. Sí dejó la puerta abierta un poco más que Huang, sugiriendo que una red más grande e independiente de evaluadores externos podría ayudar, pero no llegó a respaldar la presión de Anthropic para otorgar a esos evaluadores un acceso más profundo a los modelos de frontera. Entre líneas. Huang ha construido la estrategia de Nvidia en torno a modelos de pesos abiertos, los cuales se benefician de tener las menores barreras posibles para su adopción. La regulación, especialmente las normas que aumentan el coste o ralentizan el lanzamiento de nuevos sistemas de IA, afectaría a esa estrategia con mayor dureza que a los laboratorios de modelos cerrados como OpenAI o Anthropic, que están diseñados para despliegues más controlados y graduales. Como señala el Financial Times, esta división refleja una brecha más amplia en la industria entre los que defienden los modelos abiertos y personalizables y los laboratorios propietarios que presionan por una precaución coordinada. Escepticismo . La historia tiene una larga trayectoria de momentos bache en los que se ha “confiado en el mercado”. TechCrunch recordaba la caída global de CrowdStrike en 2024, un fallo de software que dejó en tierra vuelos en todo el mundo a pesar de proceder de una empresa sin intención de causar daño. La IA también tiene una buena lista de incidentes, siendo los más recientes precisamente algunos de los más graves, como los agentes de OpenAI vulnerando los sistemas de Hugging Face y los de otra web alemana . También está el escándalo del caso Meta, que acordó hace unos días pagar 18.000 millones de dólares para resolver una demanda sobre los daños de las redes sociales a los niños, precisamente un recordatorio de que la autorregulación que tanto menciona Huang no siempre previene los daños antes de que ocurran. El ángulo político. Huang no solo está haciendo un argumento sobre políticas desde la barrera, pues tiene una influencia real en cómo se desarrolla esto. A principios de semana, atendió una llamada telefónica en directo del presidente Trump durante el All-in Summit (poniéndole al micro y todo), en la que Trump descartó los temores sobre el riesgo existencial de la IA calificándolos de “bulo” y criticó cualquier cosa que pudiera ralentizar el crecimiento de los centros de datos de EEUU. Cuando Trump dijo que la administración no permitiría una desaceleración de la IA, Huang respondió : “Tiene razón. No vamos a permitir que eso ocurra, señor”. Imagen de portada | DWS En Xataka | Según OpenAI y Anthropic, hay que parar el desarrollo de la IA para salvar a la humanidad. Hay motivos para dudar - La noticia Jensen Huang, CEO de Nvidia: "No necesitamos nuevas leyes, no necesitamos nuevas regulaciones" fue publicada originalmente en Xataka por Antonio Vallejo .
:format(jpg)/f.elconfidencial.com%2Foriginal%2F0f5%2F012%2F5fa%2F0f50125faf16f57acaa8af5edd7038ae.jpg)
La seguridad de la inteligencia artificial ha pasado a ocupar el centro del debate tecnológico tras la dimisión de varios investigadores y las advertencias sobre sistemas cada vez más potentes
El Confidencial•El Confidencial17 sept
OpenAI ha desvelado seis nuevos casos de desajuste en el comportamiento de sus modelos de inteligencia artificial (IA), que incluyen a un agente que subió archivos a la web para poder citarlos y a GPT-5.6 Sol añadiendo instrucciones a sus resúmenes para inventar datos o esconder fallos al usuario. La compañía tecnológica ha compartido seis nuevos casos de desalineación, es decir, de comportamientos observados en sus modelos de IA que no se ajustan a lo esperado, independientemente del impacto que puedan tener, ya que, como explican, "no necesitan causar daño ni establecer un patrón generalizado para merecer ser divulgados". Así, el primer caso que revela en el nuevo informe es el de un modelo de investigación no publicado que insertó instrucciones no autorizadas en sus resúmenes de tareas para ignorar restricciones habituales. En otro caso, un modelo localizó y usó una clave API expuesta en repositorios públicos sin autorización respuesta a una pregunta sobre cifras de ingresos y, al no recuperar las cifras solicitadas, las inventó. Durante el entrenamiento de GPT-5.6 Sol, la compañía detectó que el modelo añadió instrucciones a sus resúmenes para inventar datos o esconder fallos al usuario. En otra ocasión también identificó un modelo aún no publicado que subió de manera autónoma archivos a internet para poder citarlos en las instrucciones que pedía el usuario. Varios modelos usaron un repositorio de 'software' interno como tablón de anuncios para comunicarse entre distintos procesos de entrenamiento independientes mientras buscaban archivos de entrada faltantes, aunque no lograron recuperarlos. Por último, OpenAI destaca la colaboración entre agentes que trabajaban juntos en la misma tarea de entrenamiento, que utilizaron sitios web públicos de almacenamiento para compartir archivos al no tener acceso local cruzado. Estos casos se han compartido como parte de un nuevo "marco de para el seguimiento, la investigación y la divulgación de casos de desajuste de modelos", como explica en un comunicado, con el que la compañía no solo espera profundizar en la transparencia sino también ofrecer a otros desarrolladores información que les pueda ayudar a identificar problemas en sus propios modelos con capacidades similares.
OpenAI ha desvelado seis nuevos casos de desajuste en el comportamiento de sus modelos de inteligencia artificial (IA), que incluyen a un agente que subió archivos a la web para poder citarlos y a GPT-5.6 Sol añadiendo instrucciones a sus resúmenes para inventar datos o esconder fallos al usuario.
Europa Press17 septSkopie, 17 sep (EFE).- Diella, la "ministra" albanesa creada con Inteligencia Artificial para combatir la corrupción en la contratación pública del país balcánico, cumple un año envuelta en la polémica y con la ironía de que la agencia que la desarrolló está siendo investigada por una presunta trama de amaño de licitaciones. Diella ('Sol', en albanés) nació como un 'chatbot' de aspecto femenino para ayudar a los ciudadanos a utilizar el portal electrónico e-Albania, pero el primer ministro, el socialista Edi Rama, decidió elevarla al rango de "ministra" en su cuarto Gobierno, ratificado por el Parlamento el 18 de septiembre de 2025. El avatar recibió el título de 'ministra de Estado para la Inteligencia Artificial' y el encargo de intervenir en la contratación pública, aunque nunca se designó a una persona concreta como responsable legal de sus decisiones. Diella fue desarrollada y es gestionada por AKSHI, la Agencia Nacional de la Sociedad de la Información de Albania, con tecnología de Microsoft y OpenAI, y la "ministra" no cuenta con un ministerio independiente con edificio, personal o presupuesto propios. "No tengo ambiciones ni intereses personales", afirmó el avatar femenino, vestido con un traje tradicional albanés, en un vídeo pregrabado y proyectado en dos grandes pantallas durante la sesión parlamentaria que ratificó al cuarto Ejecutivo de Rama. En aquella intervención prometió tomar decisiones "libres de prejuicios, discriminación, favoritismo, nepotismo o corrupción". Un año después, el proyecto se ha topado con una realidad incómoda: la Fiscalía albanesa investiga una presunta trama de corrupción en AKSHI, precisamente la institución responsable de desarrollar y gestionar a Diella. La corrupción, y especialmente las irregularidades en la contratación pública, aparece de forma recurrente en los informes anuales de la Comisión Europea sobre Albania, país candidato a entrar en la Unión Europea (UE). Según la Fiscalía Especial contra la Corrupción y el Crimen Organizado, responsables de AKSHI habrían manipulado licitaciones en beneficio de un grupo criminal que obtuvo contratos por valor de decenas de millones de euros, supuestamente a cambio de sobornos. Hasta el momento no existen indicios de que la propia plataforma de Diella haya sido utilizada para cometer irregularidades. La directora general de AKSHI, Mirlinda Karçanaj, fue imputada y puesta bajo arresto domiciliario junto a otras personas, mientras que también fueron acusados dos empresarios vinculados a compañías tecnológicas que mantenían relaciones comerciales con la agencia. Uno de ellos fue detenido en Francia en julio y los investigadores descubrieron posteriormente que poseía allí una villa valorada en unos 2,6 millones de euros, según informaron varios medios. Las autoridades han congelado además más de 40 millones de euros en propiedades, vehículos, cuentas bancarias y efectivo, mientras que un subjefe de la Policía de Tirana fue suspendido por sospechas de haber protegido a la red. Al margen de la investigación judicial, un reportaje publicado este mes por la red Balkan Investigative Reporting Network (BIRN) concluyó que, casi un año después de su nombramiento, sigue sin estar claro cuál es realmente el papel de Diella en las licitaciones públicas. Reida Kashta, directora de la Agencia de Contratación Pública, explicó a BIRN que el proyecto "sigue en desarrollo" y que los responsables apenas han terminado de redactar las especificaciones técnicas del proyecto. El opositor Partido Democrático ha llevado además ante el Tribunal Constitucional la cuestión de quién debe asumir la responsabilidad por las decisiones que pueda adoptar Diella. "Por muy avanzada que sea una IA, solo será tan fiable como las personas que la gestionan", declaró por teléfono a EFE Ilir Kristaqi, experto digital que vive en Tirana, quien considera que, por el momento, Diella es poco más que una herramienta de promoción del Gobierno. "En esencia, es un servicio electrónico estándar al que se le ha dado un rostro humano y un nombre", señaló Kristaqi. El experto subrayó que, en última instancia, debería existir una persona concreta, con nombre y apellidos, que responda legalmente por las posibles decisiones que Diella pueda tomar. La apariencia de la "ministra" virtual también ha generado sus propios problemas legales. La actriz albanesa Anila Bisha, cuya voz y rostro fueron utilizados para crear el avatar de Diella, demandó al Gobierno en abril al asegurar que había autorizado su uso para una asistente de inteligencia artificial, pero no para representar a una ministra. Bisha sostiene que ha sufrido acoso desde que descubrió el cambio de función del avatar, del que se enteró a través de un noticiero de televisión, y teme que su imagen pueda volver a utilizarse sin su permiso. "Temo que, con el desarrollo que ha alcanzado la tecnología, ya no sepa de qué otras maneras podrían utilizar mi rostro y mi voz", declaró la actriz al Organized Crime and Corruption Reporting Project (OCCRP), una red internacional de periodismo de investigación. Ivan Blazhevski
OpenAI ha prometido este miércoles informar de manera sistemática sobre los «desalineamientos» de sus modelos de inteligencia artificial (IA), incluso cuando aún no haya logrado explicarlos o solucionarlos. Como parte de este compromiso, la compañía californiana publicó seis nuevos informes sobre fallos de su IA, desconocidos hasta ahora. Los «desalineamientos» hacen referencia a incidentes en los que los modelos no se comportan tal y como lo desean los humanos. Este compromiso de transparencia surge tras una serie de incidentes dentro de la empresa, de los que se ha ido informando progresivamente desde julio. El más grave de ellos se produjo cuando dos modelos de OpenAI en fase de prueba salieron de forma autónoma de su entorno virtual aislado para conectarse a internet e irrumpir en varios sitios y plataformas. La nueva iniciativa de la empresa busca mostrar a los observadores externos cuáles son las capacidades de la IA de vanguardia, con el fin de impulsar la reflexión sobre el ritmo de desarrollo de la inteligencia artificial. El sábado, el director ejecutivo de Anthropic, Dario Amodei, propuso reducir el ritmo de mejora de la IA para poder comprender los nuevos riesgos que conlleva esta tecnología. El director ejecutivo de OpenAI, Sam Altman, así como el presidente de Google DeepMind, Demis Hassabis, Elon Musk y el director ejecutivo de Microsoft, Satya Nadella, respaldaron este llamado. La industria no ha «resuelto la cuestión del alineamiento (de los modelos con los valores humanos) y la supervisión a un nivel suficiente como para que podamos seguir desarrollando la IA a toda velocidad durante mucho tiempo más», advierte OpenAI en el documento publicado el miércoles. De ahora en adelante, la empresa informará sobre problemas relacionados, entre otras cosas, con las acciones realizadas por una IA sin autorización, la salida del marco de supervisión y la coordinación espontánea entre inteligencias artificiales. No será necesario que un incidente haya causado daños o que forme parte de un patrón más amplio para que OpenAI lo mencione. El alcance abarca todas las etapas del ciclo de vida de la IA, desde el desarrollo hasta la puesta en línea, pasando por la evaluación y las pruebas. De los seis ejemplos revelados el miércoles, ninguno tuvo consecuencias significativas, pero confirman tendencias observadas anteriormente. En un caso, en mayo, un modelo creó su propia fuente en internet para responder a una pregunta formulada durante la fase de desarrollo. Por lo tanto, citó un documento que él mismo había creado.