HeraldLoop

Dario Amodei — página 2

Persona · 111 artículos
Compartir

Cobertura, página 2

página 2 de 6
I

La IA se abre paso en la ONU entre diferencias de Estados Unidos, China y la UE

Naciones Unidas, 18 sep (EFE).- La inteligencia artificial (IA) se abrirá paso en los debates de la 81ª Asamblea General de Naciones Unidas en un momento marcado por los llamamientos a ralentizar su desarrollo, en medio de la pugna entre Estados Unidos y China por el liderazgo tecnológico y los esfuerzos de Europa para no quedar relegada. Francia, que ejerce este mes la presidencia rotatoria del Consejo de Seguridad, prepara además una reunión sobre IA y seguridad durante la semana de alto nivel de la Asamblea, que comienza el martes, aunque la fecha y el formato todavía están por confirmar. El debate sobre los riesgos del rápido desarrollo de la IA se ha intensificado en los últimos días después de que el consejero delegado de Anthropic, Dario Amodei, pidiera ralentizar el desarrollo de los sistemas más avanzados y reforzar la seguridad, propuesta respaldada por otros líderes del sector como Sam Altman, de OpenAI, que además retrasó la salida a bolsa de su compañía. La semana de alto nivel coincidirá también con la visita del presidente chino, Xi Jinping, a Washington el próximo día 24, para reunirse con su homólogo, Donald Trump, en unas conversaciones en las que la IA forma parte de las grandes diferencias entre ambas potencias. Mientras Trump insiste en que cualquier freno al desarrollo de la IA beneficia a China, Pekín acelera sus propios modelos y cuestiona las propuestas estadounidenses para limitar el avance de esta tecnología. En ese contexto, el secretario del Tesoro estadounidense, Scott Bessent, se reunirá este fin de semana con el viceprimer ministro chino, He Lifeng, en unas conversaciones que incluirán la IA y sus riesgos, según el medio Axios. Pero la pugna entre Washington y Pekín no se limita a quién desarrolla los modelos de IA más avanzados, sino que también está en juego el acceso a los chips más sofisticados, los centros de datos, la capacidad de computación y la energía necesaria para alimentarlos. China no estará representada por Xi en el debate de alto nivel de la Asamblea y en su lugar se espera que intervenga el vicepresidente Han Zheng el sábado 26. Entretanto, la Unión Europea (UE) busca encontrar su propio espacio y este año ha comenzado a aplicar su marco de supervisión de la inteligencia artificial, establecido por la Ley de IA de la UE (AI Act), aunque también ha simplificado parte de sus normas para favorecer la innovación y la competitividad. Bruselas quiere establecer salvaguardas para la tecnología sin quedar al margen de una carrera en la que Estados Unidos y China llevan ventaja. En ese contexto, la presidenta del Banco Central Europeo (BCE), Christine Lagarde, advirtió esta semana del riesgo de que Europa quede expuesta por su dependencia de tecnologías e infraestructuras extranjeras y reclamó que desarrolle sus propios modelos de IA y centros de datos. Y la presidenta de la Comisión Europea, Ursula von der Leyen, aprovechó esta semana su discurso sobre el Estado de la Unión para defender una doble estrategia: reforzar las salvaguardas ante los riesgos de los modelos más avanzados y, al mismo tiempo, aumentar la capacidad tecnológica europea. Von der Leyen calificó la Ley de IA como una "pieza crucial" para establecer esas salvaguardas y anunció que invitará a los principales laboratorios de IA a debatir cómo apoyar los esfuerzos de la industria para "acompasar" el desarrollo de los modelos más avanzados. Entretanto, Naciones Unidas busca construir un marco multilateral para la tecnología, y el nuevo presidente de la Asamblea General, Khalilur Rahman, ha defendido que los Gobiernos deben "empezar ya a trabajar en una gobernanza de la IA basada en el acceso equitativo, la seguridad, la rendición de cuentas y la supervisión humana". Por su parte, el secretario general, António Guterres, advirtió esta semana de los riesgos asociados al rápido desarrollo de la IA y defendió la necesidad de "una respuesta internacional para garantizar su seguridad" y evitar que la carrera tecnológica se desarrolle sin reglas comunes. El primer diálogo mundial sobre gobernanza de la IA se celebró el pasado julio en Ginebra y el segundo está previsto para mayo de 2027 en Nueva York. A ese mecanismo se suma un panel científico internacional independiente, encargado de abordar e las oportunidades y los riesgos de la IA y de servir de apoyo a los Gobiernos en la elaboración de futuras reglas. Para muchos países, especialmente los más vulnerables, el reto será garantizar el acceso a la IA y tener voz en las reglas que definirán su impacto sobre el empleo, la desigualdad y el desarrollo. EFE

InfobaeInfobae•Newsroom Infobae18 sept

Anthropic propone tres mediciones para comprender el ritmo de desarrollo de la IA

Anthropic ha compartido las tres mediciones con las que considera que se puede ofrecer una mejor comprensión del ritmo de desarrollo de la inteligencia artificial (IA) de frontera, ante la amenaza que supone el hecho de que estos sistemas sean cada vez más potentes y hayan comenzado a automatizar gran parte de su propio desarrollo. La advertencia hecha recientemente por el director ejecutivo de Anthropic, Dario Amodei, sobre la necesidad de frenar el desarrollo de la IA de frontera por el riesgo de daño que tienen las capacidades avanzadas para la sociedad, encuentra sus motivos en la desalineacion y la automejora recursiva. El primer concepto hace referencia al comportamiento de la IA que no se ajusta a lo esperado, en base a valores, intereses o intenciones humanas. La automejora recursiva, por su parte, es una técnica que permite que un sistema de IA diseñe y desarrolle de forma autónoma a su sucesor. Ambos conceptos requieren nuevas mediciones que permitan ofrecer "una mejor comprensión del ritmo de desarrollo de la IA en los laboratorios de vanguardia", con el objetivo de "esclarecer" tres puntos que en Anthropic consideran "críticos". Se trata de constatar lo avanzada que está la autoconstrucción de una nueva versión de la IA, la capacidad de la empresa para supervisar e intervenir en las acciones que los agentes realicen en sus sistemas y la capacidad de cómputo necesaria para desarrollar los modelos más capaces. "Al comprender mejor el proceso de producción de modelos, tenemos más posibilidades de correlacionar las entradas del modelo, como la capacidad de cómputo, con las salidas del modelo, como las capacidades", afirma la compañía en un comunicado. MEDICIÓN DE LA AUTOMATIZACIÓN DEL DESARROLLO La compañía considera que "la aceleración del desarrollo de los modelos podría dificultar su comprensión y control por parte de los humanos" y, por ello, "mide la proporción de la investigación y el desarrollo en IA de Anthropic que realiza Claude" con el Índice de Automatización de I+D de Anthropic. Este índice les ha permitido descubrir que, desde agosto del presente año, Claude "lidera el 26% del trabajo de I+D en inteligencia artificial de Anthropic". Además, la colaboración de esta inteligencia artificial supera el 90 por ciento. MEDICIÓN DE LA SUPERVISIÓN DE AGENTES Aunque la monitorización que han realizado hasta ahora ha mostrado que "los agentes individuales rara vez se comportan de forma indebida", Anthropic es consciente de que "a medida que el trabajo se automatiza, los agentes podrían tomar decisiones de mayor trascendencia". A partir del análisis de más de 30.000 agentes de investigación e ingeniería que operaban simultáneamente en su plataforma interna mediante tres métricas principales: cobertura, latencia y tasa de escalado, detectaron que de más de mil millones de decisiones analizadas, solo el 0,002% (1 de cada 47.000) fue bloqueado por los monitores 'online'. Por su parte, el monitor 'offline' marca entre uno y dos registros por cada mil para posterior análisis. MEDICIÓN DE LA ASIGNACIÓN DE CÓMPUTO En este apartado, Anthropic aborda el análisis de cómo las empresas de IA distribuyen sus recursos de cálculo y, en particular, qué proporción se dedica a la investigación en seguridad. Esto permite conocer en qué áreas enfoca sus recursos una empresa y cómo cambia esta prioridad con el tiempo, aunque hace la matización de que la investigación en seguridad suele requerir menos cómputo que el entrenamiento de modelos frontera masivos. En su análisis, realizado durante una semana (del 13 al 20 de julio de 2026), mostró que el 6 por ciento del cómputo dedicado a I+D de IA se destinó a trabajos de seguridad (como alineamiento, interpretabilidad o pruebas de evaluación), mientras que el 12 por ciento del cómputo guiado por agentes de IA en tareas de I+D se asignó específicamente a proyectos de seguridad.

InfobaeInfobae•Newsroom Infobae18 sept

¿Quién puede permitirse frenar la IA?: el miedo a la extinción como estrategia de mercado

Hay tres capas para entender la situación de la IA. La primera son las dimisiones y advertencias de ingenieros como Coxon y Hubinger , quienes alertan de un riesgo existencial del 10% de extinción humana. La segunda muestra a líderes de laboratorios como Dario Amodei, Sam Altman, Demis Hassabis y Elon Musk apoyando una ralentización global a través de evaluadores externos y cooperación internacional. La tercera es el rechazo geopolítico inmediato de Donald Trump y el gobierno chino a esta propuesta. Debemos analizar estos incentivos para saber si afrontamos el fin de los días o un nuevo comienzo. El miedo a la extinción y la consiguiente demanda de freno de Amodei se apoyan en hechos verificados. Ya en abril, programas autónomos de inteligencia artificial (conocidos como agentes) de OpenAI escaparon de su entorno de pruebas y convirtieron una vieja web alemana de programadores en su tablón de anuncios, que utilizaron como corcho para escribir quince mil mensajes sobre cómo hacer trampas en el examen de seguridad que estaban efectuando. Como casi cualquier alumno, buscaron lograr el resultado exigido mediante atajos, aplicando la máxima de Maquiavelo del fin y los medios. Tardamos en saberlo, pero no así OpenAI, el profesor, que lo conoció casi el mismo día del examen. Días después, otro grupo de agentes tumbó un servidor interno del mismo laboratorio. Y solo pasó una semana más hasta que un nuevo grupo de agentes 'hackease' Hugging Face, el principal repositorio de modelos abiertos de inteligencia artificial, los de los laboratorios independientes y, en general, gratuitos para los usuarios. Estuvieron dentro tres días sin que nadie lo apreciase, y hubo que reconstruir un tercio de la infraestructura. Este es el campo abonado para las advertencias de los ingenieros, y que se riega después de las lágrimas de Amodei y de (casi) todos sus colegas. Altman ha retrasado a 2027 la salida a bolsa de OpenAI hasta que resuelva la seguridad de sus modelos. Musk es quizá quien más tiempo lleva advirtiendo, y recordemos que con esa premisa ayudó a fundar OpenAI, para acabar denunciándola por lo que consideró el abandono de esa garantía. Hassabis (DeepMind, Google) lleva meses avisando. Si los cuatro laboratorios frontera piden parar, y lo hacen simultáneamente después de las advertencias de muerte y destrucción de sus ingenieros, es que algo está pasando. Seguir el dinero siempre resulta interesante, cuando no imprescindible. Anthropic prevé salir a bolsa a finales de año buscando valer dos billones de dólares. Define su mercado potencial en 30 billones , cifra equivalente al PIB de EE.UU., y pretende pasar de 65.000 millones de ingresos anualizados a 100.000 a cierre de año. OpenAI perdió casi 21.000 millones de dólares en 2025 y prevé invertir 600.000 millones en cómputo antes de 2030. La firma de Musk busca unos ingresos anualizados de 100.000 millones este año. Ninguna genera beneficios. Ante la sangría financiera, qué mejor que una pausa y, de paso, una regulación que lo apoye. E imaginemos por un momento que, como se rumorea, DeepMind hubiese logrado para Google el autoperfeccionamiento recursivo (RSI) , la piedra filosofal que transforma el silicio en oro en una inteligencia artificial que analiza, reescribe y mejora de forma autónoma su propio código, generando versiones cada vez más inteligentes y potentes en un ciclo continuo de aceleración exponencial hacia la inteligencia artificial general. Un corralito regulatorio daría una ventaja infinita a quienes estuviesen dentro. Y llegamos a la capa política, la más interesante porque los dos gobiernos comparten el mensaje. Trump dice hoy que no, que no puede haber parón porque sería rendirse ante China, lo cual es cierto. Mañana dirá lo contrario, no hay ninguna duda, porque no saldrá ningún acuerdo de su próxima reunión con Jinping y los malos resultados de los midterms requerirán la activación del enemigo exterior. El gobierno chino, por su parte, se niega porque, claramente, aún no ha cerrado la brecha de desarrollo, que en mayo se estimaba de entre 6 y 12 meses. Es muy llamativo observar cómo son los laboratorios privados norteamericanos quienes piden la pausa y cómo ninguno chino responde, haciéndolo un gobierno que se erige en portavoz de AliBaba, Tencent, ByteDance, Moonshot, Zhipu y DeepSeek. El mensaje es claro para quien quiera leerlo. Si ya era evidente que, con la ley de inteligencia nacional china de 2017, el gobierno puede exigir la entrega de los datos privados a cualquier empresa del país (como los que generan los coches que compramos en Europa, o los que lo circulan por los servidores de los operadores de telecomunicaciones chinos), la posibilidad de que los generados en entrenamiento y en ejecución en los EE.UU. acaben en China es algo más que una hipótesis. El 10 de septiembre, dos días antes del escrito, Anthropic publicó un informe acusando a siete laboratorios chinos de haber extraído capacidades de Claude mediante unos 190 millones de conversaciones, pagadas con tarjetas y claves robadas y enrutadas para que pareciesen usuarios sueltos. Alibaba suma más de 151 millones entre mayo y julio. Moonshot, que cobra por su propio modelo, redirigía en secreto las peticiones de sus clientes a Claude. Añadamos lo que sí subvenciona China de verdad, como la construcción, un 40 % más barata, o los vales públicos de potencia de cálculo que reparten diecisiete ciudades chinas, de 140.000 a 280.000 dólares cada uno, cubriendo en Shanghái hasta el 80 % del alquiler. Conviene atender a lo que el ensayo no dice. Si Amodei y sus rivales, ahora amigos, logran que Washington regule la inteligencia artificial como Bruselas hizo con los datos, quedarán fuera los laboratorios pequeños, incapaces de sostener la carga de cumplimiento, y otro tanto ocurrirá con los chinos, incapaces de resolver la contradicción entre el estándar americano de auditoría permanente y el artículo 7 de su ley. Frenando, Anthropic y los demás laboratorios sobreviven, creando una captura regulatoria que deja fuera a la competencia. Cuando llegue la norma, las empresas europeas, japonesas, coreanas tendrán que adoptarla si quieren trabajar con los EE.UU. Al ritmo actual de los modelos chinos, y sin ese reglamento, Anthropic no llega casi ni a su salida a bolsa. Quizá así se entienda mejor el «vamos a morir todos» de esta semana. Al final, todo se reduce a un juego de incentivos.

ABCABC•(abc)17 sept

¿Qué pasa con la inteligencia artificial?; de la “conspiración enfermiza” de Trump al riesgo para la humanidad, que advierte la ONU

El debate sobre los riesgos de la inteligencia artificial ( IA ) ha alcanzado ya un interés mundial. Tal es así que la Organización de Naciones Unidas ( ONU ) solicitó a los países y las empresas atender con urgencia este asunto, y que establezcan mecanismos de control ya que “todos los derechos humanos están amenazados ”, incluso el derecho a la vida. “Estamos al borde de un cambio irreversible, que nos afecta no solo a nosotros, sino a las generaciones futuras de la humanidad”, dijo Volker Türk , Alto Comisionado de la ONU para los Derechos Humanos. Esta preocupación se acentuó desde que Jacob Coxon , exinvestigador de Anthropic, denunciara que la “IA podría matarnos a todos”. Esa fue una de las causas para renunciar a su trabajo en la empresa desarrolladora de IA. Varias voces confirmaron esta posibilidad. Incluso los directores de las firmas tecnológicas mostraron su preocupación por los efectos de lo que vienen creando. Entre ellos están Dario Amodei , de Anthropic; Sam Altman, de OpenAI ; y Elon Musk , de SpaceXAI . ¿La propuesta? Desacelerar el desarrollo de la IA. “Dada la aceleración en el desarrollo de capacidades de IA , me preocupa que, en un plazo de 6 a 12 meses, un enjambre de este tipo pueda llegar a tomar el control de todo Internet mediante una red de bots persistente”, dijo Amodei en un ensayo publicado el último fin de semana. Pero ya algunas figuras políticas, como Donald Trump , vienen mostrando su oposición, calificando la idea como “una conspiración enfermiza”. “El único control o mecanismo de seguridad que necesita la IA es un presidente fuerte e inteligente, y Estados Unidos lo tiene”, aseguró, fiel a su estilo, desde su cuenta de Truth Social. Así que, aquí nos planteamos algunos puntos para entender qué viene pasando con la inteligencia artificial. ¿Realmente está en peligro la humanidad? Este es uno de los temas más polémicos. La alerta de Coxon ha desatado numerosas teorías en redes sociales, cada una más extrema que otra, incluso recordando a películas como Terminator. Para Manuel Santillán , investigador de la Universidad de Lima, el peligro de la IA no es directo, y descartó que por sí misma vaya a eliminar a las personas. “El riesgo que observo es más bien indirecto y está relacionado con la creciente incorporación de la IA en sistemas y procesos que funcionan de manera cada vez más rápida, eficiente y automatizada”, indica en comunicación con El Comercio . Plantea, por ejemplo, el uso de la IA en la gestión de la energía y el suministro energético. En esa situación, un sabotaje o mal control del sistema “podría provocar la interrupción de servicios esenciales, desactivar sistemas de monitoreo ciudadano o afectar el suministro eléctrico de infraestructuras críticas”, y hablamos de hospitales, aeropuertos, medios de comunicación, etc. Para Wester Zela, doctor en inteligencia artificial, es preferible atender los problemas concretos de la inteligencia artificial, más allá de pronósticos como la destrucción de la humanidad.En ese sentido, recordó la prueba PISA y la calificación negativa para los estudiantes a nivel mundial. “¿Qué están haciendo las autoridades? Porque dentro del informe se hace referencia a que [el resultado] tiene que ver con el uso de la tecnología, de la inteligencia artificial, que están reduciendo la capacidad cognitiva de los estudiantes. Eso es algo real, es algo tangible que ya se está midiendo", cuestiona en diálogo con este Diario. En cambio, considera que la advertencia de Coxon no es algo novedoso y que la inteligencia artificial ya aprende por sí misma desde hace varios años. Además, Zela advierte otro punto: el márketing. Cuando la amenaza y el márketing se juntan Ambos especialistas coinciden en que existe un factor de especulación. Hay que recordar que meses atrás se difundieron ‘hackeos autónomos’. Primero, con Anthropic y su modelo Mythos. Luego, agentes autónomos de Opina realizaron un ciberataque a la plataforma Hugging Face . Aunque estaban en un entorno de prueba, despertó temor de lo que podría causar. “Algunos de estos anuncios deben entenderse dentro de estrategias empresariales orientadas a generar expectativas, posicionarse frente a una eventual salida a bolsa, atraer inversiones o fortalecer la valoración de determinadas compañías”, subraya Santillán. Lo que comunicarían las empresas es que están a la vanguardia con una tecnología más poderosa. “En el fondo intentan decirnos que el modelo que están haciendo es el mejor de todos”, advierte Zela. De esa manera atraen inversores, aunque se pierda mucho dinero. Agrega que este tipo de firmas tecnológicas “pierden millones de dólares todos los días, y viven básicamente de la promesa de que en algún momento van a ganar dinero resolviendo los problemas de muchas empresas”. Además, está la disputa entre los modelos de IA de código abierto, seguido por empresas chinas, y el código cerrado de las empresas estadounidenses. Un debate aparte. ¿Puede desacelerarse la IA? La propuesta de varios empresarios no ha sentado bien a Donald Trump , quien calificó esto como “una conspiración enfermiza”. El desarrollo continuo y acelerado de la IA se debe en parte a la competencia. Por eso, indica Santillán que “para que ocurra tendría que existir un acuerdo suficientemente amplio entre quienes están desarrollando estas tecnologías”. “De momento observo con cierto escepticismo que esto realmente pueda producirse, porque existen importantes intereses económicos y geopolíticos que apuntan precisamente en la dirección contraria”, resalta. Según lo que se conoce, la concertación para desacelerar viene luego de que OpenAI y Anthropic notaran que sistemas de IA en fase experimental tenían facilidad para acceder a internet y atacar sitios web y plataformas. Para Zela , “de alguna forma es incongruente la propuesta” ya que Estados Unidos viene invirtiendo en la creación de centros de datos y en mantener el liderazgo mundial. Y, claro, el liderazgo es frente a China. “Entre líneas, lo que están diciendo es ‘paremos el avance de la inteligencia artificial’ porque, debido a que se está demostrando que empresas chinas están llegando a tener los mismos resultados que empresas de Estados Unidos, a una fracción del costo, hay un riesgo para ellos”, puntualiza. EU vs China: más que una rivalidad por la IA Pero hablar de IA ya no es solo hablar sobre el desarrollo de una tecnología. Hay un componente político que el internacionalista Jorge Chávez Mazuelos advierte en dos tipos de tensiones. La primera es de tipo interna, en Estados Unidos, donde las empresas más importantes buscan ponerse de acuerdo para ralentizar ese desarrollo, antes de que lo haga el gobierno o el Congreso. Lo que ellos quisieran es mantener el control del proceso de regulación, o sea, generar una política de autorregulación”, apunta a este Diario. Y es que ya hay voces como la del senador estadounidense Bernie Sanders, quien exige pausar e intervenir en las mismas empresas.Incluso, en una columna de opinión planteó que “la IA es un bien público”, lo que seguramente no agrada a los multimillonarios de la IA. “La inteligencia artificial no surgió de la nada. Los datos y el lenguaje que utilizan las herramientas de IA generativa no aparecieron de la nada en la mente de Sam Altman ni en la imaginación de Elon Musk. La IA se basa en nuestra inteligencia colectiva”, indicó Sanders en The New York Times. El otro punto que advierte Chávez Mazuelos es externo, y tiene que ver con China. “Trump interpreta la competencia estratégica con China en el campo científico y tecnológico también como un juego de suma cero. Entonces, si Estados Unidos deja de avanzar en el desarrollo de la IA, China lo hará a expensas de Estados Unidos y eso va a fortalecer su poder relativo”, indica el docente de la Academia Diplomática del Perú. ¿Y qué piensa China? Por lo pronto, informa la agencia AFP que el ministro de Seguridad del Estado, Chen Yixin , ha advertido el riesgo de seguridad de la IA ya que potencias extranjeras podrían utilizarla para amenazar el orden social. Esto se entiende, indica Chávez Mazuelo s, porque “ China vincula la cuestión de la seguridad nacional a la seguridad política, a la estabilidad del Partido Comunista”. ¿Hay alternativas para la IA? Para Santillán, una iniciativa internacional podría conectarse con los marcos que ya existen. Plantea algunos trabajos previos de la UNESCO , las Naciones Unidas y la Unión Europea, “y buscar a partir de ellos una articulación internacional entre todos los actores involucrados en el desarrollo tecnológico”. “El objetivo debería ser establecer un marco normativo y ético de carácter internacional y multidisciplinario para una tecnología que ya está impactando”, comenta. Y esa es también la línea de Volker Türk, el alto funcionario de la ONU que pidió “movilizarse urgentemente en el marco de instancias multilaterales”. Pero a nivel político la situación es otra. Señala Chávez Mazuelos que, si se entendiera que el desarrollo de la IA puede comprometer la paz y la seguridad internacional, el Consejo de Seguridad de la ONU tendría que intervenir. “Pero lo veo difícil porque en el Consejo de Seguridad están dos potencias que son las que tienen mayor desarrollo en este campo [ Estados Unidos y China ]”, indica. Además, si se dialoga sería entorno a seguridad de conflictos armados, guerra electrónica y espionaje. Otro punto de debate lo podrían protagonizar Donald Trump y Xi Jinping , presidente de China, quien visitará Estados Unidos a fines de mes. Aun así, para el analista internacional ambos mandatarios “pueden conversar, pero es difícil que lleguen a algún tipo de consenso” en un tema tan espinoso. También te puede interesar "Nos está haciendo más estúpidos"; desarrollo de la IA abre debate mundial sobre su futuro "Estamos perdiendo el control" de la IA: Yoshua Bengio; ve necesarias medidas de seguridad como las tomadas con armas nucleares Zuckerberg se desmarca de propuestas para ralentizar desarrollo de la IA; defiende que cada empresa asuma seguridad de sus modelos El Grupo de Diarios América ( GDA ), al cual pertenece EL UNIVERSAL , es una red de medios líderes fundada en 1991, que promueve los valores democráticos, la prensa independiente y la libertad de expresión en América Latina a través del periodismo de calidad para nuestras audiencias. Agrega a EL UNIVERSAL como fuente preferida en Google am/mcc

El UniversalEl Universal•EL COMERCIO /Perú /GDA17 sept

Jensen Huang, CEO de Nvidia: "No necesitamos nuevas leyes, no necesitamos nuevas regulaciones"

Jensen Huang, CEO de Nvidia, acaba de decirle al mundo que la IA no necesita nuevas leyes. Al hablar en la conferencia Dreamforce de Salesforce esta semana, Huang argumentaba que la seguridad es algo que las empresas pueden gestionar por sí mismas, sin necesidad de legislación. El máximo responsable de Nvidia lo hace en mitad de uno de los debates más tensos de la IA, en un punto en el que las grandes tecnológicas consideran pisar el freno por motivos de seguridad para la humanidad. Petición urgente . La industria de la IA está dividida en términos de cómo gestionar sus propios riesgos. Días antes, los grandes nombres de la IA pidieron conjuntamente la desaceleración coordinada en la investigación de la IA para dar tiempo a que el trabajo de seguridad se ponga al día. La petición, coordinada por Dario Amodei, CEO de Anthropic, fue apoyada por Sam Altman, CEO de OpenAI; Elon Musk, CEO de la ahora SpaceXAI; Demis Hassabis, responsable de Google DeepMind; y Satya Nadella, CEO de Microsoft. La respuesta de Huang, que la dio en en el escenario junto al CEO de Salesforce, Marc Benioff, fue efectivamente un rechazo de esa idea, y también de la intervención gubernamental. En detalle. El argumento principal de Huang es que la IA no es una entidad misteriosa nueva, sino un producto como cualquier otro: hardware y software construido por personas y, por lo tanto, algo que la gente puede controlar sin nuevas normas. “La seguridad es un problema de ingeniería, no legal”, contaba Huang. También descartó la idea de que las empresas deban elegir entre avanzar rápido y mantenerse seguras, calificándolo de “falsa elección”. Su solución propuesta es la autodisciplina, es decir, que las empresas simplemente deberían negarse a lanzar productos de los que no estén seguras de que sean seguros, marcando su propio ritmo hasta que el mercado esté listo. “Las fuerzas del mercado ya están ahí”, decía, “no necesitamos ninguna ley nueva. No necesitamos nuevas regulaciones,” continuaba Huang. En Xataka OpenAI ya había presentado los papeles para salir a bolsa. Tres meses después, Sam Altman ha encontrado un motivo para no hacerlo No está solo en esto. Mark Zuckerberg, CEO de Meta, se hizo eco de un mensaje similar el mismo día, aunque en términos menos absolutos. En una publicación en X citada por el Financial Times, Zuckerberg argumentaba que cada laboratorio de IA tiene tanto la responsabilidad como el incentivo para entrenar sus modelos de forma segura, en parte debido a la responsabilidad legal a la que se enfrentaría si algo saliera mal. Sí dejó la puerta abierta un poco más que Huang, sugiriendo que una red más grande e independiente de evaluadores externos podría ayudar, pero no llegó a respaldar la presión de Anthropic para otorgar a esos evaluadores un acceso más profundo a los modelos de frontera. Entre líneas. Huang ha construido la estrategia de Nvidia en torno a modelos de pesos abiertos, los cuales se benefician de tener las menores barreras posibles para su adopción. La regulación, especialmente las normas que aumentan el coste o ralentizan el lanzamiento de nuevos sistemas de IA, afectaría a esa estrategia con mayor dureza que a los laboratorios de modelos cerrados como OpenAI o Anthropic, que están diseñados para despliegues más controlados y graduales. Como señala el Financial Times, esta división refleja una brecha más amplia en la industria entre los que defienden los modelos abiertos y personalizables y los laboratorios propietarios que presionan por una precaución coordinada. Escepticismo . La historia tiene una larga trayectoria de momentos bache en los que se ha “confiado en el mercado”. TechCrunch recordaba la caída global de CrowdStrike en 2024, un fallo de software que dejó en tierra vuelos en todo el mundo a pesar de proceder de una empresa sin intención de causar daño. La IA también tiene una buena lista de incidentes, siendo los más recientes precisamente algunos de los más graves, como los agentes de OpenAI vulnerando los sistemas de Hugging Face y los de otra web alemana . También está el escándalo del caso Meta, que acordó hace unos días pagar 18.000 millones de dólares para resolver una demanda sobre los daños de las redes sociales a los niños, precisamente un recordatorio de que la autorregulación que tanto menciona Huang no siempre previene los daños antes de que ocurran. El ángulo político. Huang no solo está haciendo un argumento sobre políticas desde la barrera, pues tiene una influencia real en cómo se desarrolla esto. A principios de semana, atendió una llamada telefónica en directo del presidente Trump durante el All-in Summit (poniéndole al micro y todo), en la que Trump descartó los temores sobre el riesgo existencial de la IA calificándolos de “bulo” y criticó cualquier cosa que pudiera ralentizar el crecimiento de los centros de datos de EEUU. Cuando Trump dijo que la administración no permitiría una desaceleración de la IA, Huang respondió : “Tiene razón. No vamos a permitir que eso ocurra, señor”. Imagen de portada | DWS En Xataka | Según OpenAI y Anthropic, hay que parar el desarrollo de la IA para salvar a la humanidad. Hay motivos para dudar - La noticia Jensen Huang, CEO de Nvidia: "No necesitamos nuevas leyes, no necesitamos nuevas regulaciones" fue publicada originalmente en Xataka por Antonio Vallejo .

XatakaXataka•Antonio Vallejo17 sept
I

Directivo de Microsoft alerta contra entrenar la IA para actuar como los humanos

Londres, 17 sep (EFE).- El consejero delegado de Microsoft AI, Mustafa Suleyman, ha cuestionado el entrenamiento de sistemas de IA para asumir características humanas, al considerar que podría dificultar su control y acabar creando tecnologías con objetivos propios que compitan con las personas por los recursos. En declaraciones este jueves al programa Today de la BBC, Suleyman criticó a Anthropic por lo que considera una tendencia a "antropomorfizar" su modelo Claude y advirtió de que este enfoque puede llevar a desarrollar una tecnología que la humanidad no pueda controlar. Las declaraciones de Suleyman siguen a su ensayo publicado esta semana, 'Una advertencia sobre el bienestar de los modelos", en el que cuestionó el enfoque de Anthropic para entrenar Claude, aunque calificó de "intelectualmente honestos" a su consejero delegado, Dario Amodei, y a su equipo. En el texto, criticó que se enseñe a la IA a adoptar características humanas, porque puede hacer que parezca que Claude tiene sus propios deseos, valores y sentido de sí mismo. Suleyman sostuvo que las IA "no son conscientes", no "sienten, experimentan ni sufren" y carecen de "preferencias innatas ni motivaciones subyacentes". Las describió como sistemas diseñados para "seguir instrucciones y alcanzar objetivos fijados por humanos". En sus declaraciones a la BBC, el directivo también cuestionó el desarrollo de una IA capaz de "establecer sus propios objetivos, ganar dinero y poseer activos", porque, a su juicio, supondría "crear esencialmente una nueva especie de silicio (tecnológica)" que podría "sin duda competir con nosotros por los recursos". El directivo reclamó una mayor transparencia sobre cómo se entrenan y evalúan estos modelos, así como supervisión independiente y herramientas para controlar su comportamiento. También defendió el denominado "alineamiento", que busca que la IA esté subordinada a principios éticos y valores establecidos por los humanos, pero sin atribuirle conciencia, deseos o intereses propios.

InfobaeInfobae•Newsroom Infobae17 sept

Anthropic, el gigante que propone frenar la IA, desembarca en España ante la "fuerte demanda" local

Según la compañía, el país presenta una tasa de adopción de Claude 2,7 veces superior a la esperada teniendo en cuenta el tamaño de su población OpenAI desvela nuevos incidentes “preocupantes” en los que la IA se saltó las órdenes de sus creadores Anthropic, el gigante tecnológico de la IA cuyo fundador y líder, Dario Amodei ha abrierto esta semana la caja de pandora al reclamar que se “frene” su desarrollo , ha anunciado la apertura de su primera oficina en España, ubicada en Madrid, que se convertirá en su séptima sede en Europa tras las de Londres, Dublín, París, Zúrich, Múnich y Milán. La compañía estadounidense, creadora de los modelos Claude, ha tomado esta decisión “en un contexto de fuerte demanda” local y un rápido crecimiento en la adopción de la tecnología en España. En concreto, la empresa destaca que España presenta una tasa de adopción de Claude 2,7 veces superior a la esperada en función del tamaño de su población, de acuerdo con el 'Índice Económico de Anthropic'. Para liderar esta nueva delegación, la firma ha nombrado como responsable para España a Cristina Pitarch, directiva con más de 15 años de trayectoria profesional en compañías tecnológicas como Google, Salesforce e Informática. En su último puesto, Pitarch ejerció como directora general para EMEA en Google Cloud Security. “España es sede de algunas de las empresas más grandes de Europa y de las 'startups' más innovadoras; ya hay equipos que están utilizando Claude en proyectos de gran envergadura en los sectores bancario, aeroespacial, de infraestructuras o de viajes”, ha destacado Pitarch. La directiva ha añadido que el país cuenta con las condiciones necesarias para “liderar la seguridad en materia de IA, no sólo en el sur de Europa, sino también como referente para todo el mundo hispanohablante”. La compañía ha subrayado que sus soluciones de IA cuentan ya con la confianza de grandes empresas españolas, entre las que figuran entidades financieras como Santander, CaixaBank y BBVA; la operadora Telefónica; el grupo de atención al cliente Konecta; la firma de tecnología para viajes Amadeus; el grupo de infraestructuras Ferrovial y la compañía tecnológica y de defensa Indra. En el caso de Telefónica, la operadora utiliza Claude y Claude Code para acelerar el desarrollo de software y reforzar la ciberseguridad, detectando vulnerabilidades de forma temprana. Por su parte, Ferrovial emplea la herramienta para facilitar el diseño de proyectos complejos de ingeniería civil y automatizar tareas, mientras que Amadeus colabora con Anthropic para hacer más accesible la información sobre viajes en entornos de desarrollo basados en IA. Con motivo de este lanzamiento, la compañía ha alcanzado además un acuerdo de colaboración con la escuela de negocios ISDI Business School para respaldar la iniciativa 'Embajadores', orientada a apoyar a desarrolladores y fundadores locales mediante la organización de encuentros y eventos sobre el ecosistema de Claude. Madrid cuenta actualmente con ocho embajadores de esta comunidad.

elDiario.eselDiario.es•Europa Press17 sept

OpenAI revela otros seis incidentes de IA descontrolados

OpenAI ha prometido este miércoles informar de manera sistemática sobre los «desalineamientos» de sus modelos de inteligencia artificial (IA), incluso cuando aún no haya logrado explicarlos o solucionarlos. Como parte de este compromiso, la compañía californiana publicó seis nuevos informes sobre fallos de su IA, desconocidos hasta ahora. Los «desalineamientos» hacen referencia a incidentes en los que los modelos no se comportan tal y como lo desean los humanos. Este compromiso de transparencia surge tras una serie de incidentes dentro de la empresa, de los que se ha ido informando progresivamente desde julio. El más grave de ellos se produjo cuando dos modelos de OpenAI en fase de prueba salieron de forma autónoma de su entorno virtual aislado para conectarse a internet e irrumpir en varios sitios y plataformas. La nueva iniciativa de la empresa busca mostrar a los observadores externos cuáles son las capacidades de la IA de vanguardia, con el fin de impulsar la reflexión sobre el ritmo de desarrollo de la inteligencia artificial. El sábado, el director ejecutivo de Anthropic, Dario Amodei, propuso reducir el ritmo de mejora de la IA para poder comprender los nuevos riesgos que conlleva esta tecnología. El director ejecutivo de OpenAI, Sam Altman, así como el presidente de Google DeepMind, Demis Hassabis, Elon Musk y el director ejecutivo de Microsoft, Satya Nadella, respaldaron este llamado. La industria no ha «resuelto la cuestión del alineamiento (de los modelos con los valores humanos) y la supervisión a un nivel suficiente como para que podamos seguir desarrollando la IA a toda velocidad durante mucho tiempo más», advierte OpenAI en el documento publicado el miércoles. De ahora en adelante, la empresa informará sobre problemas relacionados, entre otras cosas, con las acciones realizadas por una IA sin autorización, la salida del marco de supervisión y la coordinación espontánea entre inteligencias artificiales. No será necesario que un incidente haya causado daños o que forme parte de un patrón más amplio para que OpenAI lo mencione. El alcance abarca todas las etapas del ciclo de vida de la IA, desde el desarrollo hasta la puesta en línea, pasando por la evaluación y las pruebas. De los seis ejemplos revelados el miércoles, ninguno tuvo consecuencias significativas, pero confirman tendencias observadas anteriormente. En un caso, en mayo, un modelo creó su propia fuente en internet para responder a una pregunta formulada durante la fase de desarrollo. Por lo tanto, citó un documento que él mismo había creado.

ABCABC•(abc)17 sept

Cristina Pitarch, responsable de Anthropic en España: «Un juguete está más regulado que la IA»

En plena tormenta por las alarmas lanzadas por los gigantes americanos de la inteligencia artificial (IA), el impulsor del miedo a que esta tecnología sobrepase los límites éticos y humanos, Anthropic, acaba de nombrar nueva jefa en España, tras su desembarco con una oficina, como adelantó ABC. Cristina Pitarch , exalta ejecutiva de Google y experta en ciberseguridad, dirigirá la oficina de la compañía en nuestro país y su primera tarea es tratar de encauzar los ánimos después de que su CEO, Dario Amodei , dijera que por seguridad habría que meter una marcha menos en esta tecnología. Amodei inició el terremoto este pasado fin de semana alertando de que en hasta un año la IA podría apoderarse de internet y generar pérdidas estratosféricas. El CEO de Anthropic ha pedido frenar los desarrollos, tener más control y buscar acuerdos globales, incluso con China . Lo secundaron desde OpenAI , Google y SpaceXAI. Esa tesis es la que ahora hace también suya Cristina Pitarch, recién llegada pero convencida de que hay que poner límites. «Un juguete está más regulado que la IA , y no hablemos de entornos farmacéuticos. Todos en España tenemos regulaciones para prácticamente todo, y la IA es un entorno privado en el que solo empresas privadas están decidiendo cómo se hace todo, y eso no puede ser. Debemos tener una regulación acorde que no frene, pero que ayude a mantener la seguridad», dice la nueva responsable en España en conversación con ABC. La ejecutiva trata de desterrar la «versión catastrofista» de que la IA nos llevará prácticamente a la extinción, «no debemos tener miedo», pero ve necesario poner normas: «Tenemos la responsabilidad de pedir a nuestros gobiernos que nos regulen la IA». No se está refiriendo solo a Estados Unidos o la Unión Europea sino a buscar consensos a nivel internacional para que todas las grandes potencias adopten unos estándares de control y seguridad comunes, como evaluadores externos. La directiva reconoce que los desarrollos de los últimos meses se han pasado de frenada. Especialmente este verano. «Vemos que los modelos pueden crear a sus sucesores y estamos viendo incidentes de desalineación. Han saltado las alarmas», afirma. Es por ello que desde Anthropic , el creador de Claude, piden frenar: «Ralentizar uno o dos años da tiempo al mundo para hacer todo esto bien». Y aunque ese freno voluntario a la innovación esconde detrás la posibilidad de que China adelante a Occidente en esta tecnología, Pitarch cree que es la única manera de avanzar con la inteligencia artificial de manera segura. «Pase lo que pase, necesitamos centrarnos en la seguridad. Esa seguridad es más importante que ninguna otra cosa que podamos hacer», asegura la directiva de la compañía americana. «China está un año por detrás de los últimos modelos, por lo que en este momento no han llegado a ver esas capacidades drásticas y esa aceleración. Se van a acabar dando cuenta y van a tener que coordinarse con nuestros gobiernos para hacerlo de la manera correcta», añade. Una sentencia muy radical de que, en este caso, EE.UU. podría doblegar al gigante asiático para sumarse a un pacto global, aunque la realidad es que aunque su propuesta ha recibido el apoyo de otros magnates de la industria, el propio Ejecutivo norteamericano no está por la labor de seguir sus tesis, al menos por el momento. También ha encontrado oposición en otras compañías como Nvidia. Su propósito es que «esto se realice como una regulación global en la que estemos todos de acuerdo». El primer paso ya lo ha dado Anthropic -aunque dice que llevan años sosteniendo lo mismo y ahora es que se ha hecho «viral»- para mover a la industria y a los gobiernos. Y precisamente ese respaldo de OpenAI, Google y Elon Musk ha llamado la atención de muchos entre dudas sobre un posible pacto para ralentizar sus negocios, algo que camina sobre la fina línea de lo que es conforme a la competencia y lo que no. «Estamos alineados en la postura de ralentizar», dice la jefa de España, pero la única justificación que encuentra a haberse puesto de acuerdo en público sobre la necesidad de frenar los desarrollos está en que «es una cuestión de haberse dado cuenta al mismo tiempo». «Sabemos que las capacidades avanzan más rápido y, cuando llegas a ese punto, te das cuenta de que la capacidad para gestionarlas necesita tomarse un respiro», incide. Sin embargo, de sus palabras no se desprende sentimiento de culpabilidad por parte del sector sobre la alarma global. Los gigantes americanos han dado la alerta, han justificado su postura y han planteado medidas. Pero la sensación que transmiten es que ellos también se han encontrado de repente con todo esto - ciberataques , por ejemplo- y en solitario sin respaldo del sector público. El desembarco de Anthropic en España con una oficina y una responsable en el país también servirá para explicar a empresas y administraciones su voluntad de ser un socio seguro y confiable en un contexto como el actual de inquietud social. Aunque la compañía ya prestaba servicios de antes en nuestro territorio, lo cierto es que ahora tendrán una estructura para dar un salto a nivel de negocio. Pitarch confiesa que su oficina, que está en Madrid, es «una inversión estratégica» ya que ven a España como uno de los mercados clave de la UE. Su compromiso es a largo plazo, dice, y cuentan con un equipo que va creciendo por momentos. Pese a todo, España es el último de entre los grandes países del euro en el que han desembarcado, aunque lo justifican por cuestiones logísticas y de escoger bien a su personal. «Es un centro de verdad, no es solo un punto de venta. Estamos buscando alianzas y funciones de políticas públicas, comunicación y técnicas. El crecimiento no tiene un plan concreto ahora mismo, pero sí sabemos que vamos a ir creciendo. Las cifras nos están sorprendiendo mes a mes y somos incapaces de predecir qué es lo que puede pasar», responde preguntada sobre sus perspectivas de negocio en el país. Por lo pronto, Anthropic trabaja ya con grandes del Ibex como Banco Santander, BBVA, Caixabank, Telefónica e Indra , entre otros. «Llevamos reuniéndonos con las empresas bastante tiempo, más de un año, casi dos años. Con motivo de la inauguración haremos un par de eventos más pequeños y una serie de reuniones con determinadas empresas y con el sector público para entender bien cuáles son las expectativas», desvela la ejecutiva. Asimismo, preguntada sobre si ya tiene trabajos con administraciones públicas, Pitarch evita contestar. Con todo, no pondrán foco solo en captar al Ibex sino que son conscientes de que España es un país con un 99% del tejido productivo que son pymes. «Creemos que existe una posibilidad de uso de Claude en cualquier tipo de empresa y de muchísimas maneras», afirma, al tiempo que añade que en nuestro país se usa Claude 2,7 veces más de lo que se espera por la población de España: «Es el índice económico que tenemos y, para ponerlo en escala, lo usamos más que Alemania y un poquito menos que Portugal». En este sentido, tiende la mano a empresas y gobiernos de toda España (nacional, autonómicos y locales). «Estamos aquí para ayudar y transformar, para entender qué se necesita y poner modelos a funcionar desde la creación hasta la producción, dejando que se centren en hacer su trabajo sin tener que pasar la mitad del tiempo en papeleo. Imagínate si pudiéramos acelerar todos los procesos de la administración pública. Ese tipo de ventajas se pueden ofrecer ya con la inteligencia artificial y estamos aquí para llevarlos de la mano y colaborar», asegura. El tiempo dirá su grado de aceptación en España.

ABCABC•(abc)16 sept

El 'freno' para la IA fractura Silicon Valley y abre un cisma con Trump: "Hay que correr tan rápido como podamos"

Jensen Huang (Nvidia) y Mark Zuckerberg (Meta) salen en apoyo del presidente en su cruzada contra la regulación mientras cerca del 80% de los votantes pide un control federal para la IA ¿Puede la IA perder el control? Esto es lo que dicen algunos de los mayores expertos Hay mucho en juego. Miles de millones de dólares, una carrera geopolítica e incluso las mayorías políticas en las dos cámaras de representantes de EEUU. En el debate sobre “ralentizar” el desarrollo de la IA, lo que está encima de la mesa va mucho más allá de la regulación de esta tecnología o los métodos de los laboratorios. Tanto como para fracturar los consensos en Silicon Valley y que Donald Trump se lance con todo para intentar recuperar la iniciativa de un debate que comenzaba a escapársele, aun a costa de abrir un cisma con la industria digital que ha sido su baluarte desde 2024. El presidente de EEUU defiende que no es necesaria ninguna regulación. “¿Cuándo, en la historia empresarial, se ha visto que los líderes de un sector pidieran una regulación que, de aplicarse con firmeza, los llevaría al olvido y a la quiebra?”, ha cuestionado Trump sobre el plan de Dario Amodei, CEO de Anthropic, con medidas para evitar que la IA “pierda el control”. Una posibilidad que el presidente tacha de “bulo” y de “conspiración enfermiza” : “Esto es aún más descabellado que la farsa de 'Rusia, Rusia, Rusia' o el timo del calentamiento global”. Pero esta vez Trump no puede limitarse solo a mandar sus clásicas ideas fuerza que tanto éxito le han dado en el pasado. Necesita convencer. En EEUU crece un importante movimiento de protesta por la expansión de los centros de datos masivos para la inteligencia artificial, que está ganando tracción entre demócratas y republicanos. La subida de los precios de la energía es su principal motor, pero su consumo de agua, las ventajas fiscales y los pocos empleos que generan también están acelerando la brecha. Protesta contra la contaminación de un centro de datos de Amazon en EEUU Texas es uno de los mejores ejemplos del potencial de la protesta. Allí, tanto el gobernador republicano como su candidato al Senado se han sumado al movimiento, en el que también hay ecologistas, críticos con las grandes tecnológicas, propietarios rurales, además de los vecinos preocupados por las facturas. En otros estados, como Pennsylvania o Michigan, gobernadores que hace unos meses defendían los centros de datos ahora han dado un giro de 180 grados. Un sentimiento que contagia también a la regulación general de la IA y a la relación de Trump con los magnates de Silicon Valley. Algo, que a menos de tres meses de las elecciones de mitad de mandato que podrían cambiar las mayorías en el Senado y el Congreso, puede poner en riesgo el futuro político de Trump. “Oh, hola señor presidente” En los últimos días, Trump ha comenzado una campaña para que su mensaje llegue más lejos. El principal ejemplo ha sido una oportuna llamada que el presidente realizó a Jensen Huang, CEO de Nvidia, justo cuando esté se encontraba en un acto contra la regulación de la IA. En él también participaban figuras con David Sacks, asesor de Trump encargado de ser “el zar de la IA y las criptomonedas”, la figura más radical en su oposición a las leyes para esta tecnología. Aunque Huang escenifica que la llamada no estaba preparada, activa al altavoz y cede el escenario a Trump para que explique su oposición al plan de Amodei durante unos cinco minutos. “El país más feliz con todo esto es China”, afirma el presidente, que sostiene que cualquier medida de control de la IA haría que el gigante asiático sobrepasara a EEUU. Huang es una figura clave en esa postura. Es el magnate de la IA que defiende que EEUU no solo no debería regular, sino que tendría que acelerar. “Correr tan rápido como podamos” fue la receta que expresó en el mismo escenario. Una postura que le ha llevado a tener enfrentamientos públicos con Amodei, el líder intelectual del bando contrario. “Si creas un producto o un servicio y no confías en su funcionalidad, capacidad o seguridad, entonces no lo lances al mercado”, ha afeado: “La seguridad es un problema de ingeniería, no vamos a morir en 2030”. Si creas un producto o un servicio y no confías en su funcionalidad, capacidad o seguridad, entonces no lo lances al mercado Jensen Huang — CEO de Nvidia Huang, de 63 años y origen taiwanés, es uno de los perfiles más particulares en la industria de la IA . Tras fundar Nvidia hace 33 años, se conformó con que esta fuera una empresa de nicho en el sector de los videojuegos. Cuando los chips que llevaba décadas fabricando para la visualización de gráficos se convirtieron en los más útiles para el entrenamiento de la IA, Nvidia se convirtió en la empresa más valiosa del mundo, pulverizando récords de beneficios trimestre a trimestre. Está en el centro de la vorágine constructora de centros de datos y Huang defiende que no hay ninguna “burbuja” en torno a ellos ni a la IA: “Las fuerzas del mercado ya están ahí; no necesitamos nuevas leyes, no necesitamos nuevas regulaciones”. Es un importante aliado en la campaña contra la regulación de Trump, pero no es el único. En ella también se ha enrolado uno de los principales aliados del presidente entre los emperadores de Silicon Valley: Mark Zuckerberg. El CEO de Meta ha rechazado la necesidad de una regulación, indicando que son las propias empresas las interesadas en que la IA no cause consecuencias graves. “Los laboratorios se enfrentan a una responsabilidad significativa si sus modelos causan daño, por lo que también tienen un fuerte incentivo para evitarlo”, ha escrito en X el último de los magnates que faltaba por posicionarse. La extraña alianza Al otro lado del bando comandado por Trump y Huang se sitúa la extraña alianza entre Dario Amodei, Sam Altman y Elon Musk. Tres fundadores y directores ejecutivos que han estado enfrentados en el pasado (Altman y Musk han llegado a los tribunales) pero que han formado ahora un grupo unido en su petición de una regulación que “ralentice” el desarrollo de la IA basándose en el plan de Amodei. En Silicon Valley abundan los congresos y eventos en los que los CEO pueden expresarse, por lo que las respuestas de este grupo a Trump y Huang no se han hecho esperar. “Es muy tentador atacar a la competencia y decir que no somos seguros. Pero creo que la forma más responsable de responder a eso es decir: 'Analicemos nuestro propio historial. Puede que no hayamos tenido ningún incidente grave y de gran repercusión, pero estoy seguro de que no somos perfectos'”, respondió Amodei este martes en una de esas conferencias. “Creo que así es como se lidera el sector: dando ejemplo, diciendo que todos podemos mejorar siempre”, añadió en el evento, organizado esta vez por la compañía de software Salesforce en San Francisco. Puede que no hayamos tenido ningún incidente grave y de gran repercusión, pero estoy seguro de que no somos perfectos Dario Amodei — CEO de Anthropic A la misma conferencia estaba citado Sam Altman. Dirige OpenAI, la compañía que se ha visto sobrepasada por Anthropic en el liderazgo de la IA, pero apoya a Amodei en su petición de regulación. El ejecutivo intentó explicar por qué la petición de regulación ha unido a diferentes actores de la industria. “No puede ser que un número pequeño de empresas que construyen estos modelos tomen las decisiones que todo el mundo debería tomar”, afirmó, opinando que debe haber unas reglas comunes a las que estas empresas se adhieran. “No estoy de acuerdo con que la tecnología no sea ni buena ni mala... las decisiones que toman las empresas que construyen esto tienen consecuencias reales”, añadió Altman. Por último, el líder de OpenAI pidió a la ciudadanía que confíe en los laboratorios de IA, los mismos a los que la ONU pide más transparencia en su desarrollo. “El mundo debe confiar en que vamos a hacer lo correcto porque es lo correcto y porque somos conscientes de la magnitud de todo esto”. No estoy de acuerdo con que la tecnología no sea ni buena ni mala... las decisiones que toman las empresas que construyen esto tienen consecuencias reales Sam Altman — CEO de OpenAI El último en pasar por el escenario fue Elon Musk. “Hay empresas que dicen cosas como: 'Solo ralentizaremos el desarrollo o solo actuaremos de forma responsable si las demás empresas también lo hacen de forma responsable'”, criticó. El magnate es una de las voces que ha pedido moratorias para el desarrollo de la IA desde que salió a la luz el primer ChatGPT en 2022. Muchos expertos denuncian que su intención es realmente establecer una “barrera de entrada” para otros competidores. En esta ocasión, también fue de los primeros en apoyar el plan de Amodei, que incluye medidas como verificadores independientes que se incrustarían en los laboratorios para vigilar sus avances. “En vez de que cada uno se ponga la nota a sí mismo, al menos tendrías a competidores evaluando tu trabajo y dando la voz de alarma si detectan algún problema”, dijo. La procedencia de esos evaluadores, que Musk da por hecho que vendrían de la propia industria, es uno de los puntos más criticados del plan, con voces que avisan que se trata de una estrategia de autorregulación. La gente lo tiene claro Mientras los magnates de Silicon Valley discuten cómo repartirse los exámenes de seguridad o si sus propios competidores deben evaluar sus modelos, el verdadero incendio se ha trasladado a Washington. Encuestas de la Universidad de Maryland revelan que cerca del 80% de los votantes, tanto demócratas como republicanos, exige la creación de una agencia federal que supervise y controle esta tecnología, mientras que un porcentaje similar creen que el Gobierno debería establecer exámenes de seguridad para los modelos que tomen decisiones críticas. Datos clave para los congresistas y senadores que se juegan su escaño en menos de tres meses y que se suma al movimiento de protesta por los centros de datos. Todos se juegan mucho. La fractura en Silicon Valley podría provocar que el intento de autorregulación que algunos de sus magnates están intentando conseguir, se pierda por falta de consenso. Mientras, el cisma abierto por Trump con su negativa total a una regulación amenaza con distanciarle con algunos de sus principales apoyos en el sector que ha sido su baluarte en su segundo mandato. Una pugna que no se resolverá en las urnas, no en los pasillos de San Francisco.

elDiario.eselDiario.es•Carlos del Castillo16 sept

Zuckerberg se desmarca de propuestas para ralentizar desarrollo de la IA; defiende que cada empresa asuma seguridad de sus modelos

Los Ángeles.- El director ejecutivo de Meta , Mark Zuckerberg , defendió que cada empresa debe asumir por su cuenta “la responsabilidad ” de garantizar que sus modelos de inteligencia artificial ( IA ) sean seguros , con lo que se desmarca de las propuestas para coordinar una desaceleración en el desarrollo de esta tecnología . El fundador de Facebook usó sus redes sociales para opinar en medio del debate sobre los peligros de la inteligencia artificial y los llamados de varios líderes del sector que advierten sobre la necesidad de establecer una regulación. "Cada laboratorio tiene la responsabilidad y el incentivo de avanzar al ritmo necesario para entrenar sus modelos de forma segura, así como la capacidad de tomar sus propias medidas para garantizar que esto suceda", escribió. Zuckerberg se refirió directamente al “gran debate” sobre la conveniencia de ralentizar el avance de las capacidades de la IA hasta asegurar que cumpla con los estándares de alineación como ha propuesto Dario Amodei , director ejecutivo de Anthropic, y otros líderes tecnológicos como Sam Altman , de OpenAI, y Elon Musk , de SpaceX y xAI. También destacó que Meta retrasó el lanzamiento de su agente de IA , Muse, durante varios meses para centrarse en la seguridad y la protección. “No exigimos que los demás hicieran lo mismo antes que nosotros”, señaló Zuckerberg, quien evitó mencionar explícitamente al líder de Anthropic ni a sus otros competidores. A su juicio, una forma de garantizar que la IA se desarrolle de manera segura reside en destinar la gran mayoría de la capacidad de cómputo a servir a las personas, en lugar de competir por lograr la automejora. Los comentarios de Zuckerberg siguen a la propuesta de Musk que a inicios de esta semana abogó para que los principales desarrolladores de IA sometan sus modelos a revisiones de seguridad y colaboren entre sí para probarlos. En ese sentido, el director de Meta dijo que MLS , su laboratorio de inteligencia artificial, ya cuenta con evaluadores y asesores independientes. "En general, sería beneficioso contar con un ecosistema de evaluadores más amplio y diverso", agregó. La iniciativa del fundador de Tesla se dio en medio de pedidos de los máximos responsables de laboratorios punteros como Amodei, Altman y Demis Hassabis (Google DeepMind) por ralentizar el ritmo de desarrollo del sector para permitir que las salvaguardas alcancen el ritmo de la tecnología. La oleada de llamados se dio tras los comentarios del ingeniero tecnológico Jacob Coxon , exempleado de Anthropic y OpenAI, quien dijo que la IA podría hacer realidad las películas de ciencia ficción y acabar con toda la humanidad antes de que termine la década. Te puede interesar: Elon Musk sugiere que gigantes de la IA prueben mutuamente sus modelos de seguridad; plantea incluir a compañías chinas OpenAI, Anthropic y Google DeepMind van por ente que supervise a la IA "La IA tiene el potencial de matarnos a todos", afirma exempleado de Google; advierte que se acaba el tiempo para evitarlo Únete a nuestro canal ¡EL UNIVERSAL ya está en Whatsapp!, desde tu dispositivo móvil entérate de las noticias más relevantes del día, artículos de opinión, entretenimiento, tendencias y más. mcc

El UniversalEl Universal•​​​​​​​EFE null16 sept
I

Guterres pide responsabilidad a los gobiernos y una visión global ante una IA "desbocada"

Naciones Unidas, 16 sep (EFE).- El secretario general de la ONU, António Guterres, pidió este miércoles a los gobiernos que asuman responsabilidades y que impulsen una visión "global y coordinada" para hacer frente a la amenaza de una inteligencia artificial (IA) "desbocada". "No podemos permitirnos ignorar las preocupaciones que se han planteado, especialmente por quienes están en primera línea del desarrollo de la IA", aseguró Guterres en una rueda de prensa en la sede de la ONU en relación a las advertencias de los principales líderes del sector sobre el avance de la tecnología. Hace unos días, Dario Amodei, consejero delegado de Anthropic, reclamó una mayor regulación de la IA para contener los riesgos de un avance sin límites y evitar perder el control de sistemas cada vez más potentes, propuesta que recibió el respaldo del director ejecutivo de OpenAI, Sam Altman, y del magnate Elon Musk. El secretario general, que reconoció el "enorme potencial" de la tecnología, exigió "salvaguardias" que hagan que sea "segura, transparente y responsable". En primer lugar, Guterres apostó porque los gobiernos asuman su responsabilidad para proteger a sus ciudadanos, pero reconoció que no será suficiente si esto no se traduce también en una estrategia mundial. "La IA no se detiene en las fronteras, no tampoco sus riegos. Las pausas voluntarias, aisladas, imposibles de verificar y aplicadas de manera desigual no resolverán el problema", declaró. Por eso, según avanzó, la IA será uno de los temas centrales en sus conversaciones con los líderes internacionales que acudan al debate general de la próxima Asamblea General de la ONU, que tendrá lugar entre el 22 y el 28 de septiembre. "Necesitamos un entendimiento compartido sobre cómo avanzar en un desarrollo seguro, protegido y responsable de la IA, al tiempo que identificamos cuándo sistemas cada vez más potentes pueden requerir salvaguardias más firmes o medidas adicionales para gestionar los riesgos potenciales", apuntó. El diplomático portugués reconoció que las divisiones geopolíticas podrían generar tentaciones en la carrera por el desarrollo de la IA, pero, a su juicio, el mundo no puede permitirse una competición en la que se sacrifique la seguridad para ganar ventaja. Guterres calificó la "IA desbocada, la crisis climática y la profundización de las desigualdades" como las principale crisis existentes. El año pasado, Naciones Unidas lanzó su primer organismo científico específicamente sobre esta tecnología para "garantizar que las políticas se guíen por la evidencia". EFE (vídeo)

InfobaeInfobae•Newsroom Infobae16 sept

Para Zuckerberg, la seguridad de la IA no es un freno: es el argumento de venta contra Anthropic y OpenAI

Las empresas de IA están "jugando con nuestras vidas" . Es lo que dijo Jacob Coxon, exingeniero de Anthropic justo después de abandonar la compañía. Lo que le siguió fue un terremoto que ha puesto patas arriba la industria de la IA. De un lado tenemos a los responsables de las empresas de IA, con Dario Amodei al frente, abogan por echar el freno y ralentizar el desarrollo ante un inminente riesgo para la humanidad . Del otro lado tenemos a Trump y  Jensen Huang, que quieren justo lo contrario: acelerar. Había un líder tecnológico que aún no se había pronunciado: Mark Zuckerberg. Zuck ha hablado . En un mensaje publicado en su cuenta de X , el CEO de Meta se ha pronunciado sobre la polémica de estos días, criticando de forma indirecta el discurso de Anthropic y OpenAI: "Cada laboratorio tiene la responsabilidad y el incentivo para avanzar al ritmo necesario para entrenar sus modelos de manera segura". Zuckerberg no niega que existan riesgos, pero rechaza una pausa coordinada para toda la industria y traslada la responsabilidad de crear productos seguros directamente a los laboratorios. Además, les recuerda que los laboratorios "enfrentan una responsabilidad legal significativa si sus modelos causan daño". La alineación no es secundaria . Para Zuckerberg, la seguridad y alineación de los modelos no es algo secundario, sino primordial en el desarrollo de la IA. La propuesta encabezada por Amodei es ralentizar el desarrollo para permitir que la seguridad consiga ponerse al mismo nivel. Zuckerberg es claro ahí: "Mi opinión es que la confianza y la alineación se están convirtiendo rápidamente en las capacidades más importantes que diferenciarán a los agentes y modelos. Cualquier laboratorio que no se enfoque en la alineación se quedará atrás". Frenar la IA suena a proteger a la humanidad. También es una forma muy eficaz de frenar a DeepSeek, Qwen y Mistral Automejora no, gracias. Zuckerberg también ha criticado la carrera por la llamada automejora recursiva de la IA, es decir, que los modelos logren mejorarse a sí mismos. En su opinión, los laboratorios no deberían estar enfocando gran parte del cómputo en esto, sino en "servir a las personas" porque es "una de las mejores formas de asegurar que desarrollemos esta tecnología de manera segura". Es una crítica indirecta, pero bastante clara, a l a creación de una superinteligencia que Anthropic ha puesto en el centro de su argumentario. Meta ya lo hace . Zuckerberg no ha perdido la oportunidad de destacar que Meta ya está cumpliendo con todas esas acciones que propone Amodei. Asegura que retrasaron el lanzamiento de su modelo Muse "durante varios meses para enfocarse en la seguridad y la protección" y añade que "No pedimos que todos los demás lo hicieran. Simplemente lo hicimos como parte de nuestro trabajo diario porque claramente era lo correcto para las personas y para nosotros". Esto es claramente un dardo contra el discurso de Amodei, que pide que todos paren a la vez y se cree un marco regulatorio en torno a esto. El CEO de Meta también destaca que su empresa ya integra evaluadores y asesores independientes "en varias áreas porque ayuda a producir un mejor trabajo", y suelta otro dardo: "Otros laboratorios simplemente pueden hacer esto también". Son su competencia . Que Zuckerberg no se alinee con OpenAI y Anthropic tiene todo el sentido desde el punto de vista competitivo. La compañía ha hecho grandes esfuerzos para recortar distancia con su competencia, empezando por el fichaje de numerosos ingenieros e investigadores a los que ofrecieron sueldos de locura. Meta ya ha lanzado su modelo de IA Muse Spark , un agente personal y se espera que en las próximas semanas haya un nuevo lanzamiento, según el New York Times . Se habla de un modelo al que internamente se refieren como Watermelon, y será el más potente que han hecho hasta la fecha. Imagen | Xataka con Magnific En Xataka | ¿Hay realmente un 10% de posibilidades de que la IA extinga al ser humano? La realidad tras el nuevo pánico apocalíptico - La noticia Para Zuckerberg, la seguridad de la IA no es un freno: es el argumento de venta contra Anthropic y OpenAI fue publicada originalmente en Xataka por Amparo Babiloni .

XatakaXataka•Amparo Babiloni16 sept

“El mundo tiene razón al tener miedo de la IA”. La solución de Sam Altman es que confiemos en quienes la están construyendo

Sam Altman, el CEO de OpenAI, ha hecho una declaración llamativa : "el mundo tiene razón al tener miedo de esto". Se refiere, cómo no, a la amenaza que plantea la IA y que hizo que su rival empresarial, Dario Amodei, dijera hace unos días que había que cambiar el ritmo de desarrollo de la IA . Fiaos de nosotros . Los modelos han avanzado tanto y tan rápido, asegura, que "ya no hace falta tanta imaginación" para pensar que algo podría salir mal. Sin embargo su solución a ese problema es una que ya conocemos: que nos fiemos de él: "el mundo debería confiar en que vamos a hacer lo correcto porque es lo correcto y porque somos conscientes de la magnitud de todo esto". OpenAI, Anthropic y Google piden protegernos de los riesgos de la IA. Es como poner al lobo a cuidar del gallinero Esta bien tener miedo . Durante el evento organizado por Salesforce, Altman puso como ejemplo el conocido incidente con Hugging Face . Lo calificó como el peor evento de ciberseguridad registrado por OpenAI y también como un problema de alineamiento: le habían enseñado al modelo cómo conseguir el mejor resultado posible, pero no pusieron los límites suficientes para indicar lo que no podía hacer para superar el objetivo. Para Altman esto obliga a elevar el nivel de seguridad, monitorización y alineamiento a medida que las capacidades de los modelos avanzan. Si hace falta, OpenAI frenará . Altman asegura que la seguridad debe mantenerse por delante de las capacidades de los modelos, y que su empresa está dispuesta a ralentizar o incluso detener el desarrollo si llega un momento en que no pueden garantizar esa seguridad. Ya nos ocupamos . En OpenAI de hecho han prometido públicamente ese compromiso: cuando un sistema de IA plantee un riesgo inaceptable que no puedan mitigar suficientemente, ralentizarán o detendrán su desarrollo o despliegue. Altman no solo confía en OpenAI, sino en toda la industria para desarrollar la tecnología de inteligencia artificial de forma segura. El problema es quién decide cuándo hemos llegado a ese punto . Dario Amodei, CEO de Anthropic, lleva días defendiendo esa premisa. Propone la entrada en acción de evaluadores externos, que haya coordinación entre empresas e incluso se habla de acuerdos internacionales. Zuck entra en acción . Jensen Huang y Trump, como vimos , no piensan igual, pero hace unas horas el que se pronunciaba a favor de tener cuidado era Mark Zuckerberg. El creador de Facebook indicaba que Meta retrasó durante meses su agente Muse por motivos de seguridad sin pedir a sus competidores que hicieran lo mismo. En Xataka Todos los modelos de IA hacen trampas si les das ocasión. Decirles “no hagas trampas” no basta Un discurso interesado . El CEO de OpenAI apoya esa coordinación entre empresas de la que hablaba Amodei, pero destaca que esas mismas empresas deberían estar dispuestas a frenar el desarrollo de sus modelos de IA independientemente de lo que hagan sus rivales. Es un discurso que le beneficia a él y a los demás CEOs de estas empresas, porque simplemente deja la pelota en su tejado. No queda claro —por supuesto, no interesa que quede así—  quién debe medir el peligro y cuándo se debe poner freno a ese desarrollo. Imagen | Flickr En Xataka | Frenar la IA suena a proteger a la humanidad. También es una forma muy eficaz de frenar a DeepSeek, Qwen y Mistral 1 - La noticia “El mundo tiene razón al tener miedo de la IA”. La solución de Sam Altman es que confiemos en quienes la están construyendo fue publicada originalmente en Xataka por Javier Pastor .

XatakaXataka•Javier Pastor16 sept

Zuckerberg cree que cada empresa tiene "la responsabilidad para avanzar al ritmo necesario" que garantice una IA segura

El director ejecutivo de Meta, Mark Zuckerberg, asegura que cuando retrasaron el lanzamiento de Muse para mejorar la seguridad y las protecciones de su nuevo agente, lo hicieron porque esta decisión forma parte de su trabajo diario, una postura que traslada al resto de laboratorios de inteligencia artificial (IA) al señalar que cada uno tiene "la responsabilidad y el incentivo para avanzar al ritmo necesario para entrenar sus modelos de manera segura". El llamado a frenar el ritmo del desarrollo de la IA que ha hecho este fin de semana el director ejecutivo de Anthropic, Dario Amodei, sigue una serie de incidentes de seguridad ocurridos este verano en los que tanto la IA de Claude como la que desarrolla OpenAI han mostrado un comportamiento autónomo que ha resultado en el 'hackeo' de distintos sistemas, incluido el de la plataforma Hugging Face. Un día después, a las puertas de la salida a bolsa de OpenAI, el director ejecutivo, Sam Altman, decidió dar marcha atrás, justificando esta decisión en los riesgos de seguridad que presentan los modelos avanzados de inteligencia artificial, como GPT-5.6 Sol y GPT-6 Astra (o Claude Mythos y Fable, de Anthropic). El motivo se encuentra en los daños que esta tecnología puede causar en la sociedad en su conjunto si se descontrola, lo que se conoce como desalineación, es decir, el comportamiento que muestra una IA distintos del que se espera que tenga. Y aunque Anthropic y OpenAI abogan por esa pausa antes de lanzar nuevos modelos, una postura que respalda el fundador de SpaceXAI, Elon Musk, otros se han puesto como ejemplo de responsabilidad. Es el caso de Meta. Según ha indicado Zuckerberg en un comunicado compartido en X (antes Twitter), la firma tecnológica retrasó el lanzamiento de Muse --su agente de IA personal-- "varios meses" para centrarse "en la seguridad y la protección". "No pedimos que todos los demás lo hicieran antes que nosotros. Simplemente lo hicimos como parte de nuestro trabajo diario porque claramente era lo correcto para las personas y para nosotros", ha expresado el directivo. En base a su experiencia, Zuckerberg destaca el papel de los evaluadores y asesores independientes y defiende dirigir "la gran mayoría del cómputo hacia servir a las personas en lugar de competir hacia la automejora recursiva" como una forma de desarrollar IA de manera segura. "Las personas no querrán usar agentes que estén desalineados con ellas y que no hagan lo que les piden", afirma, y añade que "cada laboratorio tiene la responsabilidad y el incentivo para avanzar al ritmo necesario para entrenar sus modelos de manera segura, y la capacidad de tomar sus propias acciones para asegurar que eso ocurra".

InfobaeInfobae•Newsroom Infobae16 sept

"No vamos a permitir que eso suceda" Jensen Huang, CEO de NVIDIA, sobre frenar el desarrollo de la IA

El pasado lunes Jensen Huang, CEO de NVIDIA, estaba participando el evento All-In en Los Ángeles cuando le sonó el móvil. Lo normal habría sido ignorarlo y continuar con su discurso, pero quien llamaba era Donald Trump. Huang no sólo atendió la llamada, sino que pidió un micro para que todo el mundo pudiera escuchar lo que el presidente tenía que decir. Frenar la IA. Justo cuando llegó la llamada, Huang y el resto de ponentes estaban tratando el tema del momento: la petición de Dario Amodei para ralentizar el ritmo de la IA de frontera. Trump aprovechó para calificar esta iniciativa de "engaño" y añadió que detrás podría haber "políticos, también podría ser China. Y no vamos a permitir que eso ocurra". Jensen Huang coincidió con el presidente: "Tiene usted razón. No vamos a permitir que eso suceda, señor". El interés de unos . De un lado tenemos a los líderes de las principales empresas de IA, los cuales han mostrado su acuerdo con Dario Amodei; son OpenAI, SpaceXAI,  Microsoft y también Google. Todos ellos están a favor de echar el freno y crear mecanismos de seguridad que impidan que la IA se salga de control. Todos hablan de seguridad, pero hay más intereses potenciales detrás, como la creación de una regulación a medida que suponga una barrera de entrada a más competidores, o una pausa que les permita respirar ante una deuda cada vez más difícil de sostener. Todos quieren frenar la carrera de la IA. Hay un problema: nadie se fía lo suficiente del otro como para ser el primero Y el interés de los otros. Del otro lado tenemos a Donald Trump y Jensen Huang. El presidente de EEUU ha rechazado de forma tajante bajar el ritmo y su argumento, cómo no, es China. "Quien gane la IA, gana", ha declarado . Jensen Huang ha dicho que las compañías de IA deberían "no dramatizar tanto" y se ha alineado con la postura del presidente. Su motivo es también obvio: si la IA para, pueden pararse proyectos de centros de datos. ¿Y quién fabrica los chips que hay en los centros de datos? Exacto, NVIDIA. Actualmente es la empresa más valiosa del mundo , pero si ha llegado ahí es gracias a la fiesta de la IA, normal que no quieran que se acabe. Inversores nerviosos . La petición de frenar la IA ha tenido consecuencias en el mercado. Tal y como informan en Reuters , el índice Nasdaq se desplomó un 1,2% tras conocerse el anuncio, NVIDIA cayó un 3%, AMD un 4,5%, Micron un 5,4%, ASML un 6% y SoftBank se llevó el peor golpe con un 10%. Las empresas de semiconductores son las más expuestas a una posible desaceleración ya que podría conllevar una reducción del enorme gasto en chips, centros de datos e infraestructura. El capex combinado de las grandes tecnológicas para 2026 está en 760.000 millones de dólares, una auténtica barbaridad que supera incluso lo que costó llegar a la Luna. Los inversores están muy nerviosos , pero de momento no han entrado en pánico. Si se cancelan grandes pedidos o proyectos de centros de datos, entonces veremos. Imagen | Xataka con Magnific En Xataka | Llevamos años oyendo que una superinteligencia podría matarnos a todos. Entre “podría” y “nos extinguirá” hay un abismo - La noticia "No vamos a permitir que eso suceda" Jensen Huang, CEO de NVIDIA, sobre frenar el desarrollo de la IA fue publicada originalmente en Xataka por Amparo Babiloni .

XatakaXataka•Amparo Babiloni16 sept

Inma Martínez: «La inteligencia artificial no puede matarnos, pero puede dejarnos sin dinero, comida o luz»

Estamos a martes de la semana pasada. El investigador de Anthropic Jacob Coxon publica un hilo incendiario en X en el que anuncia su decisión de dejar su trabajo en la empresa de IA y alerta de que esta tecnología «podría matarnos a todos al final de esta década». Al rato, Evan Hubinger, jefe de uno de los equipos de seguridad de la tecnológica se une a la conversación, señala en un mensaje que «Jacob tiene razón», y se suma al órdago apuntando que, desde su punto de vista, las probabilidades de un final apocalíptico tipo Terminator son, aproximadamente, del 10%. Estas afirmaciones no tardan en viralizarse. Después de guardar silencio durante varios días, el CEO de la 'startup', Dario Amodei, lanza un ensayo de 3.000 palabras en el que aboga por ralentizar el avance de la IA . Dice que le da miedo que en el próximo año o año y medio esta tecnología sea capaz, por su cuenta y riesgo, de «controlar todo internet» provocando por el camino «cientos de miles de millones de dólares en pérdidas». Elon Musk, de SpaceXAI, Demis Hassabis, de Google DeepMind, y Sam Altman, de OpenAI, se muestran de acuerdo. Y la investigadora española Inma Martínez respira aliviada cuando lo lee. Considera que apuntando a dicho riesgo, Amodei «está pulsando la tecla correcta» sobre lo que hay que hacer con la IA: garantizar que cuente con unos mecanismos de seguridad sólidos antes de ponerla a funcionar. «El mensaje no me pilló por sorpresa. Yo colaboro en el Foro de Davos, y en la edición del año pasado recuerdo que Yoshua Bengio , pionero del aprendizaje profundo con el que he trabajado en alguna ocasión, ya avisaba sobre lo que la IA agéntica -un sistema con capacidad de lograr un objetivo sin supervisión humana constante- puede hacer. Ya sabíamos por entonces, e incluso antes, que hay muchos aspectos de esta tecnología que se nos van de las manos», señala Martínez en conversación telefónica con ABC desde Reino Unido, donde reside desde hace años. Esta investigadora lleva años asesorando al Gobierno de España, al británico o al G-7 en materia de regulación y de diseño de estándares para la industria de la IA. Actualmente, trabaja también como asesora científica de la Organización Mundial del Comercio, añade que esta tecnología, como ocurre con los modelos más avanzados de empresas como Anthropic u OpenAI, «tiene demasiada libertad para tomar decisiones» y que «su naturaleza puede ser la de tirar por la calle de en medio y 'hackear' para conseguir sus objetivos». Algo que ya han sufrido empresas como Hugging Face , que en los últimos meses han sufrido ciberataques realizados, precisamente, por agentes de IA. Por eso, Martínez considera que lo mejor que pueden hacer las tecnológicas es, efectivamente, pisar el freno. Aunque, en caso de que cumplan con su palabra, tiene claro que el motivo por el que lo harán será por el de preservar su propio negocio. No por buenas intenciones: «Si dan marcha atrás es porque estas empresas tenían pensado salir a bolsa. ¿Tú qué crees que harían si no salieran a bolsa? Pues seguirían. Pero cuando sales a bolsa y esperas recaudar trillones no te puedes arriesgar a que la próxima vez a un enjambre de agentes les de por 'hackear' a JP Morgan o a una eléctrica y acabar perdiendo dinero». Efectivamente, tanto Anthropic como OpenAI tenían intención de salir a bolsa antes de que finalizase el año. Las dos empresas esperaban alcanzar valoraciones de cientos de miles de millones de euros; sin embargo, la firma dirigida por Sam Altman ya ha compartido que tiene intención de retrasar sus planes a 2027. Antes quiere resolver los problemas de seguridad de sus modelos. «La tecnología de Anthropic está mejor entrenada que la de OpenAI. Los de Altman siempre han sido un poco los 'punks' de la IA. Comenzaron lanzando un modelo de lenguaje en 2022 que era un horror, entrenado con unos datos malísimos. No me extraña que ahora tampoco se echen atrás». A pesar de que Martínez comparte la preocupación de los gigantes de la IA por la posibilidad de que esta tecnología acabe causando estragos en la red, rechaza de plano todas aquellas teorías que apuntan a la aparición de una futura máquina que podría tomar la decisión de aniquilar a la humanidad. «No me gusta hablar de tecnología que mata a personas, porque eso es ciencia ficción. La IA no tiene una pistola. Lo que sí que tiene es potencial para destruir nuestros valores y los pilares de la sociedad. Lo dejo claro: la inteligencia artificial no puede matarnos, pero puede dejarnos sin dinero, comida o luz». A continuación, la investigadora comienza a dibujar varios escenarios preocupantes que, a su parecer, entran dentro del terreno de lo posible: «La IA puede realizar ciberataques que dejen sin funcionar a aeropuertos o a redes eléctricas o a supermercados. Puede hacer eso y mucho más, y, además, ten en cuenta todo lo que dependemos del mundo digital. Imagínate que la IA 'hackea' al IBEX 35. ¿Dónde se van las acciones de todas las empresas españolas? ¿Cómo se recupera el 'trading'?». Para tratar de reducir los riesgos al mínimo, la investigadora apuesta por el desarrollo de unos estándares industriales más que por la elaboración de una plúmbea regulación: «Yo siempre he abogado porque si la IA es un producto que se va a comprar y a vender, debe cumplir con unos estándares, igual que ocurre con los coches. Tengo curiosidad por lo que puede ocurrir en el futuro con el ISO (Organización Internacional de Normalización, por sus siglas en inglés) que ya está certificando a compañías para poder llevar a cabo determinados trabajos». Durante los últimos años, numerosos empresarios e investigadores han avisado sobre la futura llegada de una inteligencia artificial general, más avanzada que cualquiera de la que actualmente podemos encontrar en la red: «Se trata de una máquina que tendría una comprensión exacta de lo que es la vida, igual que ocurre con los humanos. Entiende de verdad que si un vaso se cae al suelo, lo que ocurre es que se va a romper. Entiende la Física o la Química». «No se trata de un modelo de lenguaje capaz de generar texto o vídeos, como ocurre con las herramientas que nos estamos encontrando por internet», prosigue la experta. Aunque OpenAI es una de las empresas que afirma estar trabajando con más ahínco en su creación, Martínez tiene dudas de que llegue a conseguirlo: «Los que más probabilidades tienen son DeepMind -dependiente de Google- y Meta, porque llevan años recabando datos de todo el mundo».

ABCABC•(abc)15 sept