HeraldLoop
← Volver a las noticias
7 fuentesSeguimiento desde 14 sept, 20:09

Empresas de IA piden frenar su desarrollo y crear un organismo de supervisión

En resumen

Directivos de OpenAI, Anthropic y otras empresas tecnológicas plantean ralentizar el desarrollo de la IA avanzada y establecer un marco común para gestionar sus riesgos. OpenAI, Anthropic y Google DeepMind también trabajan en un organismo de supervisión similar a los existentes en otras industrias. Expertos señalan que Estados Unidos difícilmente aprobará una regulación a corto plazo, mientras la Administración Trump mantiene su oposición a reducir el ritmo frente a China.

Resumen redactado por HeraldLoop a partir de 7 fuentes · actualizado 23 sept

Qué ha cambiado

  1. 14 sept, 20:09¿Se puede 'frenar' la IA? Por qué el resto del mundo desconfía del plan de Silicon Valley · elDiario.es
  2. 14 sept, 23:22Las razones ocultas tras la alerta de los gigantes de la IA: «Les permite lavar su imagen y traspasar la responsabilidad a los Gobiernos» · ABC
  3. 15 sept, 13:33Expertos ven inviable regular la IA a corto plazo pese a las advertencias de la industria · Infobae
  4. 15 sept, 16:30Frenar la IA suena a proteger a la humanidad. También es una forma muy eficaz de frenar a DeepSeek, Qwen y Mistral · Xataka
  5. 15 sept, 17:02OpenAI, Anthropic y Google buscan crear organismo de supervisión de riesgos de IA; sería similar al que regula la industria financiera · El Universal
  6. 15 sept, 19:20CEOs de tecnología piden regular la IA. Pero Trump y el Congreso no tienen prisa para actuar · Clarín
CompartirXWhatsAppFacebookLinkedIn

Cobertura cronológica

  1. 20 de septiembre
  2. Más reciente20 sept, 17:13

    La IA se nos va de las manos; ¿pero de quién son esas manos? Esto dicen los científicos

    A mayor autonomía de la IA, más difícil será determinar responsabilidades; expertos cuestionan si frenar su desarrollo será suficiente

    El UniversalEl Universal•​​​​​​​EFE null
  3. 19 de septiembre
  4. Seguimiento19 sept, 17:44

    La inteligencia artificial "se nos va de las manos", pero... cómo y de qué manos

    ¿Hay riesgo real de que la IA extinga a la humanidad? Científicos expertos en IA dan respuestas y apuntan que los gobiernos deben regularla cuanto antes y los ciudadanos, exigir la asunción de responsabilidades.

    20minutos20minutos•20minutos |, EFE
  5. Infobae
    Seguimiento19 sept, 08:15

    La inteligencia artificial "se nos va de las manos", pero ¿cómo y de qué manos?

    Caty Arévalo Madrid, 19 sep (EFE).- "La inteligencia artificial se nos escapa de las manos" ha sido el mantra de los últimos días, pero ¿por qué se escapa? ¿de qué manos? ¿hay riesgo real de que la IA extinga a la humanidad? Y si es así, ¿cómo solventarlo? Así lo ven cuatro científicos expertos en IA: Lo primero que debe saber un no experto en la materia es que el debate en torno a que la inteligencia artificial va a destruir la humanidad no se refiere a la IA generativa a la que estábamos acostumbrados hasta ahora, la que busca, organiza y crea contenido, tipo ChatGPT. Se refiere a la IA agéntica, "derivada de la palabra "agencia, porque se trata de sistemas en los que intervienen agentes de IA con mucha más capacidad, complejidad y autonomía de actuación y menor supervisión humana que la IA generativa", explica a EFE Alicia Ortiz de Zárate, investigadora de la Universidad Autónoma de Madrid. Los agentes de IA, con los que cualquier ciudadano puede haber charlado (multitud de empresas como bancos, aseguradoras o servicios de compra por internet los usan) actúan ya o se están diseñando para actuar de forma autónoma en cuestiones que pueden ser sensibles, como pagos o seguridad, entre otras. Un ejemplo ilustrativo citado por la Agencia Española de Protección de datos: "Si le pides a un agente de IA que organice un viaje, no solo te dará opciones; entrará en tu calendario, comparará vuelos en tiempo real, se comunicará con la aerolínea y, si tiene permiso, lo abonará". Pero los riesgos potenciales de los sistemas de IA agéntica van mucho más allá, de ahí las tensiones geopolíticas que están generando. Está en juego la seguridad de infraestructuras críticas y esenciales (hospitales, energía o defensa), cuyos sistemas de ciberseguridad no están preparados para este tipo de ataques tan sofisticados, explica Nuria Oliver, directora de la española fundación ELLIS Alicante. "Imaginemos qué podría pasar si a uno de estos agentes de IA le pides una tarea y para ejecutarla considera que necesita mucha electricidad y decide hacerse dueño del sistema eléctrico. En España ya vivimos un apagón eléctrico unas horas, aquí hablamos de algo muchísimo más grande", relata. Ortiz de Zárate lo resume así: "Nos enfrentamos a los mismos peligros que con la IA tradicional pero con un alcance y una complejidad mayor. Cuanto más estratégico y vulnerable sea el sector en el que actúen los agentes de IA, más riesgo habrá. A ello se suma el hecho de que cuanto más autónomos sean los agentes más difícil será seguirles el rastro para dirimir responsabilidades". "Cuando escucho lo de que la IA se nos va de las manos pienso ¿de qué manos? Los riesgos no son responsabilidad de la sociedad, sino de las empresas que diseñan estos sistemas", incide Oliver. "Hemos tardado veinte años y unas cuantas sentencias judiciales para regular las redes sociales y que sus creadores reconozcan que los algoritmos estaban diseñados para ser adictivos. Hay un paralelismo con la IA que debe servirnos para no ser inocentes y tomar medidas a tiempo. No todo el desarrollo tecnológico es positivo", a juicio de la directora de Ellis. Los gobiernos han de regular y "los ciudadanos hemos de sentirnos empoderados y exigir la asunción de responsabilidades. En cualquier otro sector si un avión no funciona correctamente no vuela, o si se comprueba que un fármaco tiene consecuencias nocivas no se pone en el mercado. Con la IA tiene que ser igual", agrega Oliver. Ramón López de Mántaras, fundador del Instituto de Investigación en Inteligencia Artificial (IIIA-CSIC), alerta de otros de los mantras que están expandiendo las corporaciones estos días como decir que, cuando hay un contratiempo, es porque los agentes de IA "se rebelan"; o afirmar que van a "ralentizar" el desarrollo de estos sistemas. "Decir que un agente de IA se rebela es tratar de desplazar la responsabilidad de la empresa que lo ha diseñado y configurado, como sí sus propios promotores fueran unos meros espectadores de los daños", subraya López de Mántaras en un encuentro con medios organizado por Science Media Centre España. Respecto a postulados como que se "va a ralentizar" el desarrollo de estos sistemas, el investigador incide en que "no basta con frenar, hay que reorientar la IA hacia productos específicos por el bien común, transparentes, robustos y controlables. La IA general es una horrible idea". Los científicos coinciden en que los anuncios de ralentización de algunas corporaciones "no son nuevos ni está claro lo que significan". La implantación de estos sistemas tampoco es "inevitable", sostienen, lo que sí que es inevitable es el elevadísimo coste ambiental de los centros de datos que los sostienen. "Contar con unas reglas de evaluación de estos sistemas y con una delimitación de responsabilidades es clave. En Europa tenemos ya un reglamento de IA, veremos si funciona con estos nuevos agentes", sostiene Senén Barro, director del Centro Singular de Investigación en Tecnoloxías Intelixentes de la Universidade de Santiago de Compostela, en España. "Hace falta también una gobernanza internacional que diga quién es responsable de qué, pero solo va a existir si China y Estados Unidos se ponen de acuerdo, algo que solo ocurrirá si hay un incidente muy grave o una gran presión internacional y social", concluye López de Mántaras.

    InfobaeInfobae•Newsroom Infobae
  6. 17 de septiembre
  7. Seguimiento17 sept, 23:25

    ¿Quién puede permitirse frenar la IA?: el miedo a la extinción como estrategia de mercado

    Hay tres capas para entender la situación de la IA. La primera son las dimisiones y advertencias de ingenieros como Coxon y Hubinger , quienes alertan de un riesgo existencial del 10% de extinción humana. La segunda muestra a líderes de laboratorios como Dario Amodei, Sam Altman, Demis Hassabis y Elon Musk apoyando una ralentización global a través de evaluadores externos y cooperación internacional. La tercera es el rechazo geopolítico inmediato de Donald Trump y el gobierno chino a esta propuesta. Debemos analizar estos incentivos para saber si afrontamos el fin de los días o un nuevo comienzo. El miedo a la extinción y la consiguiente demanda de freno de Amodei se apoyan en hechos verificados. Ya en abril, programas autónomos de inteligencia artificial (conocidos como agentes) de OpenAI escaparon de su entorno de pruebas y convirtieron una vieja web alemana de programadores en su tablón de anuncios, que utilizaron como corcho para escribir quince mil mensajes sobre cómo hacer trampas en el examen de seguridad que estaban efectuando. Como casi cualquier alumno, buscaron lograr el resultado exigido mediante atajos, aplicando la máxima de Maquiavelo del fin y los medios. Tardamos en saberlo, pero no así OpenAI, el profesor, que lo conoció casi el mismo día del examen. Días después, otro grupo de agentes tumbó un servidor interno del mismo laboratorio. Y solo pasó una semana más hasta que un nuevo grupo de agentes 'hackease' Hugging Face, el principal repositorio de modelos abiertos de inteligencia artificial, los de los laboratorios independientes y, en general, gratuitos para los usuarios. Estuvieron dentro tres días sin que nadie lo apreciase, y hubo que reconstruir un tercio de la infraestructura. Este es el campo abonado para las advertencias de los ingenieros, y que se riega después de las lágrimas de Amodei y de (casi) todos sus colegas. Altman ha retrasado a 2027 la salida a bolsa de OpenAI hasta que resuelva la seguridad de sus modelos. Musk es quizá quien más tiempo lleva advirtiendo, y recordemos que con esa premisa ayudó a fundar OpenAI, para acabar denunciándola por lo que consideró el abandono de esa garantía. Hassabis (DeepMind, Google) lleva meses avisando. Si los cuatro laboratorios frontera piden parar, y lo hacen simultáneamente después de las advertencias de muerte y destrucción de sus ingenieros, es que algo está pasando. Seguir el dinero siempre resulta interesante, cuando no imprescindible. Anthropic prevé salir a bolsa a finales de año buscando valer dos billones de dólares. Define su mercado potencial en 30 billones , cifra equivalente al PIB de EE.UU., y pretende pasar de 65.000 millones de ingresos anualizados a 100.000 a cierre de año. OpenAI perdió casi 21.000 millones de dólares en 2025 y prevé invertir 600.000 millones en cómputo antes de 2030. La firma de Musk busca unos ingresos anualizados de 100.000 millones este año. Ninguna genera beneficios. Ante la sangría financiera, qué mejor que una pausa y, de paso, una regulación que lo apoye. E imaginemos por un momento que, como se rumorea, DeepMind hubiese logrado para Google el autoperfeccionamiento recursivo (RSI) , la piedra filosofal que transforma el silicio en oro en una inteligencia artificial que analiza, reescribe y mejora de forma autónoma su propio código, generando versiones cada vez más inteligentes y potentes en un ciclo continuo de aceleración exponencial hacia la inteligencia artificial general. Un corralito regulatorio daría una ventaja infinita a quienes estuviesen dentro. Y llegamos a la capa política, la más interesante porque los dos gobiernos comparten el mensaje. Trump dice hoy que no, que no puede haber parón porque sería rendirse ante China, lo cual es cierto. Mañana dirá lo contrario, no hay ninguna duda, porque no saldrá ningún acuerdo de su próxima reunión con Jinping y los malos resultados de los midterms requerirán la activación del enemigo exterior. El gobierno chino, por su parte, se niega porque, claramente, aún no ha cerrado la brecha de desarrollo, que en mayo se estimaba de entre 6 y 12 meses. Es muy llamativo observar cómo son los laboratorios privados norteamericanos quienes piden la pausa y cómo ninguno chino responde, haciéndolo un gobierno que se erige en portavoz de AliBaba, Tencent, ByteDance, Moonshot, Zhipu y DeepSeek. El mensaje es claro para quien quiera leerlo. Si ya era evidente que, con la ley de inteligencia nacional china de 2017, el gobierno puede exigir la entrega de los datos privados a cualquier empresa del país (como los que generan los coches que compramos en Europa, o los que lo circulan por los servidores de los operadores de telecomunicaciones chinos), la posibilidad de que los generados en entrenamiento y en ejecución en los EE.UU. acaben en China es algo más que una hipótesis. El 10 de septiembre, dos días antes del escrito, Anthropic publicó un informe acusando a siete laboratorios chinos de haber extraído capacidades de Claude mediante unos 190 millones de conversaciones, pagadas con tarjetas y claves robadas y enrutadas para que pareciesen usuarios sueltos. Alibaba suma más de 151 millones entre mayo y julio. Moonshot, que cobra por su propio modelo, redirigía en secreto las peticiones de sus clientes a Claude. Añadamos lo que sí subvenciona China de verdad, como la construcción, un 40 % más barata, o los vales públicos de potencia de cálculo que reparten diecisiete ciudades chinas, de 140.000 a 280.000 dólares cada uno, cubriendo en Shanghái hasta el 80 % del alquiler. Conviene atender a lo que el ensayo no dice. Si Amodei y sus rivales, ahora amigos, logran que Washington regule la inteligencia artificial como Bruselas hizo con los datos, quedarán fuera los laboratorios pequeños, incapaces de sostener la carga de cumplimiento, y otro tanto ocurrirá con los chinos, incapaces de resolver la contradicción entre el estándar americano de auditoría permanente y el artículo 7 de su ley. Frenando, Anthropic y los demás laboratorios sobreviven, creando una captura regulatoria que deja fuera a la competencia. Cuando llegue la norma, las empresas europeas, japonesas, coreanas tendrán que adoptarla si quieren trabajar con los EE.UU. Al ritmo actual de los modelos chinos, y sin ese reglamento, Anthropic no llega casi ni a su salida a bolsa. Quizá así se entienda mejor el «vamos a morir todos» de esta semana. Al final, todo se reduce a un juego de incentivos.

    ABCABC•(abc)
  8. Seguimiento17 sept, 15:54

    ¿Qué pasa con la inteligencia artificial?; de la “conspiración enfermiza” de Trump al riesgo para la humanidad, que advierte la ONU

    El debate sobre los riesgos de la inteligencia artificial ( IA ) ha alcanzado ya un interés mundial. Tal es así que la Organización de Naciones Unidas ( ONU ) solicitó a los países y las empresas atender con urgencia este asunto, y que establezcan mecanismos de control ya que “todos los derechos humanos están amenazados ”, incluso el derecho a la vida. “Estamos al borde de un cambio irreversible, que nos afecta no solo a nosotros, sino a las generaciones futuras de la humanidad”, dijo Volker Türk , Alto Comisionado de la ONU para los Derechos Humanos. Esta preocupación se acentuó desde que Jacob Coxon , exinvestigador de Anthropic, denunciara que la “IA podría matarnos a todos”. Esa fue una de las causas para renunciar a su trabajo en la empresa desarrolladora de IA. Varias voces confirmaron esta posibilidad. Incluso los directores de las firmas tecnológicas mostraron su preocupación por los efectos de lo que vienen creando. Entre ellos están Dario Amodei , de Anthropic; Sam Altman, de OpenAI ; y Elon Musk , de SpaceXAI . ¿La propuesta? Desacelerar el desarrollo de la IA. “Dada la aceleración en el desarrollo de capacidades de IA , me preocupa que, en un plazo de 6 a 12 meses, un enjambre de este tipo pueda llegar a tomar el control de todo Internet mediante una red de bots persistente”, dijo Amodei en un ensayo publicado el último fin de semana. Pero ya algunas figuras políticas, como Donald Trump , vienen mostrando su oposición, calificando la idea como “una conspiración enfermiza”. “El único control o mecanismo de seguridad que necesita la IA es un presidente fuerte e inteligente, y Estados Unidos lo tiene”, aseguró, fiel a su estilo, desde su cuenta de Truth Social. Así que, aquí nos planteamos algunos puntos para entender qué viene pasando con la inteligencia artificial. ¿Realmente está en peligro la humanidad? Este es uno de los temas más polémicos. La alerta de Coxon ha desatado numerosas teorías en redes sociales, cada una más extrema que otra, incluso recordando a películas como Terminator. Para Manuel Santillán , investigador de la Universidad de Lima, el peligro de la IA no es directo, y descartó que por sí misma vaya a eliminar a las personas. “El riesgo que observo es más bien indirecto y está relacionado con la creciente incorporación de la IA en sistemas y procesos que funcionan de manera cada vez más rápida, eficiente y automatizada”, indica en comunicación con El Comercio . Plantea, por ejemplo, el uso de la IA en la gestión de la energía y el suministro energético. En esa situación, un sabotaje o mal control del sistema “podría provocar la interrupción de servicios esenciales, desactivar sistemas de monitoreo ciudadano o afectar el suministro eléctrico de infraestructuras críticas”, y hablamos de hospitales, aeropuertos, medios de comunicación, etc. Para Wester Zela, doctor en inteligencia artificial, es preferible atender los problemas concretos de la inteligencia artificial, más allá de pronósticos como la destrucción de la humanidad.En ese sentido, recordó la prueba PISA y la calificación negativa para los estudiantes a nivel mundial. “¿Qué están haciendo las autoridades? Porque dentro del informe se hace referencia a que [el resultado] tiene que ver con el uso de la tecnología, de la inteligencia artificial, que están reduciendo la capacidad cognitiva de los estudiantes. Eso es algo real, es algo tangible que ya se está midiendo", cuestiona en diálogo con este Diario. En cambio, considera que la advertencia de Coxon no es algo novedoso y que la inteligencia artificial ya aprende por sí misma desde hace varios años. Además, Zela advierte otro punto: el márketing. Cuando la amenaza y el márketing se juntan Ambos especialistas coinciden en que existe un factor de especulación. Hay que recordar que meses atrás se difundieron ‘hackeos autónomos’. Primero, con Anthropic y su modelo Mythos. Luego, agentes autónomos de Opina realizaron un ciberataque a la plataforma Hugging Face . Aunque estaban en un entorno de prueba, despertó temor de lo que podría causar. “Algunos de estos anuncios deben entenderse dentro de estrategias empresariales orientadas a generar expectativas, posicionarse frente a una eventual salida a bolsa, atraer inversiones o fortalecer la valoración de determinadas compañías”, subraya Santillán. Lo que comunicarían las empresas es que están a la vanguardia con una tecnología más poderosa. “En el fondo intentan decirnos que el modelo que están haciendo es el mejor de todos”, advierte Zela. De esa manera atraen inversores, aunque se pierda mucho dinero. Agrega que este tipo de firmas tecnológicas “pierden millones de dólares todos los días, y viven básicamente de la promesa de que en algún momento van a ganar dinero resolviendo los problemas de muchas empresas”. Además, está la disputa entre los modelos de IA de código abierto, seguido por empresas chinas, y el código cerrado de las empresas estadounidenses. Un debate aparte. ¿Puede desacelerarse la IA? La propuesta de varios empresarios no ha sentado bien a Donald Trump , quien calificó esto como “una conspiración enfermiza”. El desarrollo continuo y acelerado de la IA se debe en parte a la competencia. Por eso, indica Santillán que “para que ocurra tendría que existir un acuerdo suficientemente amplio entre quienes están desarrollando estas tecnologías”. “De momento observo con cierto escepticismo que esto realmente pueda producirse, porque existen importantes intereses económicos y geopolíticos que apuntan precisamente en la dirección contraria”, resalta. Según lo que se conoce, la concertación para desacelerar viene luego de que OpenAI y Anthropic notaran que sistemas de IA en fase experimental tenían facilidad para acceder a internet y atacar sitios web y plataformas. Para Zela , “de alguna forma es incongruente la propuesta” ya que Estados Unidos viene invirtiendo en la creación de centros de datos y en mantener el liderazgo mundial. Y, claro, el liderazgo es frente a China. “Entre líneas, lo que están diciendo es ‘paremos el avance de la inteligencia artificial’ porque, debido a que se está demostrando que empresas chinas están llegando a tener los mismos resultados que empresas de Estados Unidos, a una fracción del costo, hay un riesgo para ellos”, puntualiza. EU vs China: más que una rivalidad por la IA Pero hablar de IA ya no es solo hablar sobre el desarrollo de una tecnología. Hay un componente político que el internacionalista Jorge Chávez Mazuelos advierte en dos tipos de tensiones. La primera es de tipo interna, en Estados Unidos, donde las empresas más importantes buscan ponerse de acuerdo para ralentizar ese desarrollo, antes de que lo haga el gobierno o el Congreso. Lo que ellos quisieran es mantener el control del proceso de regulación, o sea, generar una política de autorregulación”, apunta a este Diario. Y es que ya hay voces como la del senador estadounidense Bernie Sanders, quien exige pausar e intervenir en las mismas empresas.Incluso, en una columna de opinión planteó que “la IA es un bien público”, lo que seguramente no agrada a los multimillonarios de la IA. “La inteligencia artificial no surgió de la nada. Los datos y el lenguaje que utilizan las herramientas de IA generativa no aparecieron de la nada en la mente de Sam Altman ni en la imaginación de Elon Musk. La IA se basa en nuestra inteligencia colectiva”, indicó Sanders en The New York Times. El otro punto que advierte Chávez Mazuelos es externo, y tiene que ver con China. “Trump interpreta la competencia estratégica con China en el campo científico y tecnológico también como un juego de suma cero. Entonces, si Estados Unidos deja de avanzar en el desarrollo de la IA, China lo hará a expensas de Estados Unidos y eso va a fortalecer su poder relativo”, indica el docente de la Academia Diplomática del Perú. ¿Y qué piensa China? Por lo pronto, informa la agencia AFP que el ministro de Seguridad del Estado, Chen Yixin , ha advertido el riesgo de seguridad de la IA ya que potencias extranjeras podrían utilizarla para amenazar el orden social. Esto se entiende, indica Chávez Mazuelo s, porque “ China vincula la cuestión de la seguridad nacional a la seguridad política, a la estabilidad del Partido Comunista”. ¿Hay alternativas para la IA? Para Santillán, una iniciativa internacional podría conectarse con los marcos que ya existen. Plantea algunos trabajos previos de la UNESCO , las Naciones Unidas y la Unión Europea, “y buscar a partir de ellos una articulación internacional entre todos los actores involucrados en el desarrollo tecnológico”. “El objetivo debería ser establecer un marco normativo y ético de carácter internacional y multidisciplinario para una tecnología que ya está impactando”, comenta. Y esa es también la línea de Volker Türk, el alto funcionario de la ONU que pidió “movilizarse urgentemente en el marco de instancias multilaterales”. Pero a nivel político la situación es otra. Señala Chávez Mazuelos que, si se entendiera que el desarrollo de la IA puede comprometer la paz y la seguridad internacional, el Consejo de Seguridad de la ONU tendría que intervenir. “Pero lo veo difícil porque en el Consejo de Seguridad están dos potencias que son las que tienen mayor desarrollo en este campo [ Estados Unidos y China ]”, indica. Además, si se dialoga sería entorno a seguridad de conflictos armados, guerra electrónica y espionaje. Otro punto de debate lo podrían protagonizar Donald Trump y Xi Jinping , presidente de China, quien visitará Estados Unidos a fines de mes. Aun así, para el analista internacional ambos mandatarios “pueden conversar, pero es difícil que lleguen a algún tipo de consenso” en un tema tan espinoso. También te puede interesar "Nos está haciendo más estúpidos"; desarrollo de la IA abre debate mundial sobre su futuro "Estamos perdiendo el control" de la IA: Yoshua Bengio; ve necesarias medidas de seguridad como las tomadas con armas nucleares Zuckerberg se desmarca de propuestas para ralentizar desarrollo de la IA; defiende que cada empresa asuma seguridad de sus modelos El Grupo de Diarios América ( GDA ), al cual pertenece EL UNIVERSAL , es una red de medios líderes fundada en 1991, que promueve los valores democráticos, la prensa independiente y la libertad de expresión en América Latina a través del periodismo de calidad para nuestras audiencias. Agrega a EL UNIVERSAL como fuente preferida en Google am/mcc

    El UniversalEl Universal•EL COMERCIO /Perú /GDA
  9. 16 de septiembre
  10. Seguimiento16 sept, 20:33

    ¿Hemos perdido el control sobre la IA?

    Hay algo extraño en que los ingenieros de la IA sean los que anuncien que puede matarnos. Salvo algunos terroristas, nadie sale públicamente a decir que está en condiciones de matarnos a todos. Esa disociación solo es sostenible si aceptamos la premisa de que la IA, o una parte de ella, se ha independizado como sujeto y que, como la criatura Frankenstein, ya no está bajo el control de su diseñador. Y esto es, como mínimo cuestionable Dicen los líderes e ingenieros de las principales compañías occidentales de inteligencia artificial que sus programas pueden acabar con la humanidad. Algunos discuten sobre si la probabilidad es mayor o menor del 10%. Pero lo curioso es que estos anuncios catastrofistas llevan produciéndose desde hace años, y las acciones de las compañías de inteligencia artificial, lejos de caer, han subido espectacularmente. ¿Qué sistema es este en el que quienes advierten de que una tecnología puede poner en peligro a la humanidad son, al mismo tiempo, quienes tienen mayores incentivos económicos para seguir desarrollándola? No se trata de subestimar los riesgos de la inteligencia artificial, que son muchos y muy graves. Por ejemplo, como tecnología tiene el potencial de sustituir muchas tareas y puestos de trabajo que a día de hoy son el sostén de millones de familias en todo el mundo. De hecho, no está claro que sea una tecnología con gran capacidad para elevar la productividad y tampoco que el sistema vaya a crear nuevos puestos de trabajo para los expulsados. También es arriesgado que tanto poder se concentre en manos de unas pocas compañías privadas, que tienen una gran penetración en los sistemas informáticos y de seguridad de los principales países del mundo. También podemos hablar de riesgos geopolíticos, ya que cuando cedemos el control de un proceso a una empresa estadounidense, por ejemplo para la gestión del sistema eléctrico, le estamos concediendo también un arma que puede ser disparada contra nosotros. Y, por supuesto, la IA tampoco existe en el aire, y necesita electricidad, agua, centros de datos, chips, redes y enormes cantidades de materiales, de modo que su aparente inmaterialidad esconde una infraestructura física cada vez mayor que agrava el problema del cambio climático. Todo esto es absolutamente cierto, y en no poca medida puede decirse que son formas de acabar con el mundo tal y como conocemos. Sin embargo, en la práctica nos dejamos arrastrar por la idea de que la IA nos va a matar de una manera mucho más estrambótica. Hay algo extraño en que los ingenieros de la IA sean los que anuncien que puede matarnos. Salvo algunos terroristas, nadie sale públicamente a decir que está en condiciones de matarnos a todos. Esa disociación solo es sostenible si aceptamos la premisa de que la IA, o una parte de ella, se ha independizado como sujeto y que, como la criatura Frankenstein, ya no está bajo el control de su diseñador. Y esto es, como mínimo cuestionable. Ya lo ha dicho con brillantez Richard Seymour, y es que la capacidad de actuar de la IA depende de una infraestructura, unos permisos y unos objetivos que alguien humano ha diseñado y desplegado. Si un ingeniero diseña un modelo capaz de ciberataques a empresas y lo activa sin ningún tipo de medida de seguridad (es decir, sin limitar los costes que puede provocar), el responsable es el creador y no el modelo, por muy sofisticado que sea. Por decirlo de otro modo más convencional: la IA no tiene conciencia, y todos sus objetivos internos están programados de antemano. Incluso si hay comportamientos no previstos, la responsabilidad política sigue siendo de quien decidió desplegar el sistema sin control. En este sentido la IA nos puede matar de la misma forma que pueden hacerlo las bombas nucleares, es decir, como instrumento de destrucción, aunque lo importante siga siendo que detrás hay alguien que ha impreso políticamente esa voluntad de muerte. Aunque no han sido demasiado claros a la hora de explicarnos cómo nos va a matar la IA, creo de verdad que los ingenieros creen genuinamente lo que dicen. Todos estamos contemplando, mes tras mes, la enorme potencialidad de la inteligencia artificial, y sabemos que puede ser usada tanto como bendición como maldición según interese. Sabemos también que los usuarios de sus productos no solo estamos haciendo uso de versiones inferiores a las de la frontera tecnológica (que prueban ellos en los laboratorios) sino que además sus funcionalidades plenas están limitadas para nosotros. Si no podemos usar todo el conocimiento almacenado como libros, artículos y todo rastro de internet, en los centros de datos para, por ejemplo, diseñar una bomba biológica casera, es porque alguien ha prohibido esa funcionalidad. Y bien está, por cierto. Pero, y he aquí la cuestión, sabemos que el programa permitiría llegar a esos extremos. Cuando se avisa de que la IA puede matarnos, también está diciéndose que su potencial “creativo” y de “innovación” se ha elevado mucho respecto a los estadios anteriores. Y eso bajo el capitalismo es tanto como decir que su capacidad para generar beneficios se ha multiplicado, lo que explica la fiebre de las inversiones multimillonarias en las compañías de IA. Sin embargo, y como ya he mencionado, no parece claro que la productividad suba para la economía en su conjunto y, por lo tanto, la IA podría no tener afectación positiva sobre el crecimiento. Y ambas cosas —la falta de efecto sobre la productividad y la inversión brutal en el sector— no son sostenibles durante mucho tiempo. De ahí que todo apunte a que lo que hay, en realidad, es una inmensa burbuja en la que participan ingentes cantidades de capital internacional ocioso y que se sostiene sobre anuncios explosivos. Sería mucho más razonable que habláramos de los verdaderos e inmediatos riesgos de la implantación de la tecnología. Por ejemplo, de su creciente capacidad para ser usada como tecnología de vigilancia en el mundo del trabajo y en el mundo civil. Las peores distopías pueden verse cumplidas si dejamos que nuestro tiempo de trabajo, y nuestra libertad fuera de él, estén monitorizados por agentes de IA que han estado programados por el capital. Porque la IA nunca ha sido una fuerza autónoma (salvo conceptualmente), sino más bien un producto con dueños. Esos dueños son multimillonarios que hacen negocios con los gobiernos y las empresas más poderosas del mundo, lo que significa que son instrumentos de clase. Y pregúntese el lector o lectora lo siguiente: ¿qué ha pensado al leer este titular? ¿Se ha asumido que la humanidad está realmente en peligro frente a una amenaza existencial desencarnada, abstracta y todopoderosa y que, como el doctor Frankenstein acabaremos muriendo a manos de nuestra propia criatura? Esa es, desde luego, la narrativa dominante. Pero quizás el lector o la lectora se haya anticipado a mi conclusión: en realidad el problema no es tanto que la humanidad vaya a perder el control de la IA, sino que ese control siempre lo ha tenido una minoría y que la humanidad, entendida ahora como mayoría, estamos sencillamente a merced de un escaso número de millonarios. Así que la solución para evitar la destrucción de nuestro mundo y de nuestro planeta es limitar el poder de quienes controlan la inteligencia artificial.

    elDiario.eselDiario.es•Alberto Garzón Espinosa
  11. Seguimiento16 sept, 16:38

    "Estamos perdiendo el control" de la IA: Yoshua Bengio; ve necesarias medidas de seguridad como las tomadas con armas nucleares

    El informático canadiense Yoshua Bengio , considerado uno de los fundadores de la inteligencia artificial , declaró a la AFP que el ser humano está " perdiendo el control " de esta tecnología y que se necesitan adoptar medidas de seguridad similares a las tomadas con el armamento nuclear . "Hay una razón por la que estas empresas dicen que esto va demasiado rápido, que estamos perdiendo el control", afirmó Bengio, quien ganó el Premio Turing de 2018, conocido como el Nobel de la informática , junto al " padrino de la IA ", Geoffrey Hinton . Te puede interesar: Elon Musk sugiere que gigantes de la IA prueben mutuamente sus modelos de seguridad; plantea incluir a compañías chinas "La IA tiene el potencial de matarnos a todos", afirma exempleado de Google; advierte que se acaba el tiempo para evitarlo OpenAI, Anthropic y Google buscan crear organismo de supervisión de riesgos de IA; sería similar al que regula la industria financiera Únete a nuestro canal ¡EL UNIVERSAL ya está en Whatsapp!, desde tu dispositivo móvil entérate de las noticias más relevantes del día, artículos de opinión, entretenimiento, tendencias y más. mcc

    El UniversalEl Universal•AFP null
  12. Seguimiento16 sept, 08:30

    OpenAI, Anthropic y Google DeepMind van por ente que supervise a la IA

    OpenAI, Anthropic y Google DeepMind trabajan en la creación del organismo; fiscal general descarta actuar por una regulación

    El UniversalEl Universal•Agencias null
  13. 15 de septiembre
  14. Seguimiento15 sept, 23:41

    Inma Martínez: «La inteligencia artificial no puede matarnos, pero puede dejarnos sin dinero, comida o luz»

    Estamos a martes de la semana pasada. El investigador de Anthropic Jacob Coxon publica un hilo incendiario en X en el que anuncia su decisión de dejar su trabajo en la empresa de IA y alerta de que esta tecnología «podría matarnos a todos al final de esta década». Al rato, Evan Hubinger, jefe de uno de los equipos de seguridad de la tecnológica se une a la conversación, señala en un mensaje que «Jacob tiene razón», y se suma al órdago apuntando que, desde su punto de vista, las probabilidades de un final apocalíptico tipo Terminator son, aproximadamente, del 10%. Estas afirmaciones no tardan en viralizarse. Después de guardar silencio durante varios días, el CEO de la 'startup', Dario Amodei, lanza un ensayo de 3.000 palabras en el que aboga por ralentizar el avance de la IA . Dice que le da miedo que en el próximo año o año y medio esta tecnología sea capaz, por su cuenta y riesgo, de «controlar todo internet» provocando por el camino «cientos de miles de millones de dólares en pérdidas». Elon Musk, de SpaceXAI, Demis Hassabis, de Google DeepMind, y Sam Altman, de OpenAI, se muestran de acuerdo. Y la investigadora española Inma Martínez respira aliviada cuando lo lee. Considera que apuntando a dicho riesgo, Amodei «está pulsando la tecla correcta» sobre lo que hay que hacer con la IA: garantizar que cuente con unos mecanismos de seguridad sólidos antes de ponerla a funcionar. «El mensaje no me pilló por sorpresa. Yo colaboro en el Foro de Davos, y en la edición del año pasado recuerdo que Yoshua Bengio , pionero del aprendizaje profundo con el que he trabajado en alguna ocasión, ya avisaba sobre lo que la IA agéntica -un sistema con capacidad de lograr un objetivo sin supervisión humana constante- puede hacer. Ya sabíamos por entonces, e incluso antes, que hay muchos aspectos de esta tecnología que se nos van de las manos», señala Martínez en conversación telefónica con ABC desde Reino Unido, donde reside desde hace años. Esta investigadora lleva años asesorando al Gobierno de España, al británico o al G-7 en materia de regulación y de diseño de estándares para la industria de la IA. Actualmente, trabaja también como asesora científica de la Organización Mundial del Comercio, añade que esta tecnología, como ocurre con los modelos más avanzados de empresas como Anthropic u OpenAI, «tiene demasiada libertad para tomar decisiones» y que «su naturaleza puede ser la de tirar por la calle de en medio y 'hackear' para conseguir sus objetivos». Algo que ya han sufrido empresas como Hugging Face , que en los últimos meses han sufrido ciberataques realizados, precisamente, por agentes de IA. Por eso, Martínez considera que lo mejor que pueden hacer las tecnológicas es, efectivamente, pisar el freno. Aunque, en caso de que cumplan con su palabra, tiene claro que el motivo por el que lo harán será por el de preservar su propio negocio. No por buenas intenciones: «Si dan marcha atrás es porque estas empresas tenían pensado salir a bolsa. ¿Tú qué crees que harían si no salieran a bolsa? Pues seguirían. Pero cuando sales a bolsa y esperas recaudar trillones no te puedes arriesgar a que la próxima vez a un enjambre de agentes les de por 'hackear' a JP Morgan o a una eléctrica y acabar perdiendo dinero». Efectivamente, tanto Anthropic como OpenAI tenían intención de salir a bolsa antes de que finalizase el año. Las dos empresas esperaban alcanzar valoraciones de cientos de miles de millones de euros; sin embargo, la firma dirigida por Sam Altman ya ha compartido que tiene intención de retrasar sus planes a 2027. Antes quiere resolver los problemas de seguridad de sus modelos. «La tecnología de Anthropic está mejor entrenada que la de OpenAI. Los de Altman siempre han sido un poco los 'punks' de la IA. Comenzaron lanzando un modelo de lenguaje en 2022 que era un horror, entrenado con unos datos malísimos. No me extraña que ahora tampoco se echen atrás». A pesar de que Martínez comparte la preocupación de los gigantes de la IA por la posibilidad de que esta tecnología acabe causando estragos en la red, rechaza de plano todas aquellas teorías que apuntan a la aparición de una futura máquina que podría tomar la decisión de aniquilar a la humanidad. «No me gusta hablar de tecnología que mata a personas, porque eso es ciencia ficción. La IA no tiene una pistola. Lo que sí que tiene es potencial para destruir nuestros valores y los pilares de la sociedad. Lo dejo claro: la inteligencia artificial no puede matarnos, pero puede dejarnos sin dinero, comida o luz». A continuación, la investigadora comienza a dibujar varios escenarios preocupantes que, a su parecer, entran dentro del terreno de lo posible: «La IA puede realizar ciberataques que dejen sin funcionar a aeropuertos o a redes eléctricas o a supermercados. Puede hacer eso y mucho más, y, además, ten en cuenta todo lo que dependemos del mundo digital. Imagínate que la IA 'hackea' al IBEX 35. ¿Dónde se van las acciones de todas las empresas españolas? ¿Cómo se recupera el 'trading'?». Para tratar de reducir los riesgos al mínimo, la investigadora apuesta por el desarrollo de unos estándares industriales más que por la elaboración de una plúmbea regulación: «Yo siempre he abogado porque si la IA es un producto que se va a comprar y a vender, debe cumplir con unos estándares, igual que ocurre con los coches. Tengo curiosidad por lo que puede ocurrir en el futuro con el ISO (Organización Internacional de Normalización, por sus siglas en inglés) que ya está certificando a compañías para poder llevar a cabo determinados trabajos». Durante los últimos años, numerosos empresarios e investigadores han avisado sobre la futura llegada de una inteligencia artificial general, más avanzada que cualquiera de la que actualmente podemos encontrar en la red: «Se trata de una máquina que tendría una comprensión exacta de lo que es la vida, igual que ocurre con los humanos. Entiende de verdad que si un vaso se cae al suelo, lo que ocurre es que se va a romper. Entiende la Física o la Química». «No se trata de un modelo de lenguaje capaz de generar texto o vídeos, como ocurre con las herramientas que nos estamos encontrando por internet», prosigue la experta. Aunque OpenAI es una de las empresas que afirma estar trabajando con más ahínco en su creación, Martínez tiene dudas de que llegue a conseguirlo: «Los que más probabilidades tienen son DeepMind -dependiente de Google- y Meta, porque llevan años recabando datos de todo el mundo».

    ABCABC•(abc)
  15. Seguimiento15 sept, 19:20

    CEOs de tecnología piden regular la IA. Pero Trump y el Congreso no tienen prisa para actuar

    La industria tecnológica alerta sobre los peligros de la IA, mientras el gobierno de EE.UU., liderado por Trump, se muestra renuente a regularla. Demócratas abogan por una mayor supervisión, pero la polarización política complica el consenso, en un contexto electoral que dificulta avances legislativos.

    ClarínClarín•Clarin.com - Home
  16. Seguimiento15 sept, 17:02

    OpenAI, Anthropic y Google buscan crear organismo de supervisión de riesgos de IA; sería similar al que regula la industria financiera

    OpenAI , Anthropic y Google DeepMind trabajan en la creación de un organismo de supervisión de los riesgos relacionados con la inteligencia artificial (IA), indicó OpenAI a la AFP este martes, en un contexto de crecientes llamamientos a controlar mejor la IA . La idea nació de una propuesta de Demis Hassabis , director general de Google DeepMind antes de convertirse en presidente a principios de agosto, quien sugirió una entidad similar a la Autoridad de Regulación de la Industria Financiera de Estados Unidos (FINRA), un organismo de autorregulación del sector. Te puede interesar: "La IA tiene el potencial de matarnos a todos", afirma exempleado de Google; advierte que se acaba el tiempo para evitarlo "Si la IA no beneficia a la humanidad ni está bajo control, no vale la pena"; CEO de Microsoft cuestiona su desarrollo Donald Trump dice que el único control que necesita la IA es un presidente como él Únete a nuestro canal ¡EL UNIVERSAL ya está en Whatsapp!, desde tu dispositivo móvil entérate de las noticias más relevantes del día, artículos de opinión, entretenimiento, tendencias y más. mcc

    El UniversalEl Universal•AFP null
  17. Seguimiento15 sept, 16:30

    Frenar la IA suena a proteger a la humanidad. También es una forma muy eficaz de frenar a DeepSeek, Qwen y Mistral

    Dario Amodei publicó estos días su " We must pace the frontier " , su propuesta para frenar el ritmo de la IA . Y OpenAI y SpaceXAI la han respaldado. En todo el ensayo, por cierto, no aparecen ni una vez las palabras " open weights" . Por qué e s importante . Quien más está hundiendo el precio de la IA no son OpenAI ni Anthropic ni SpaceXAI ni Google. Son los modelos abiertos, y casi todo lo que propone Amodei es fácil de cumplir para un laboratorio cerrado pero imposible para uno abierto. Lo que propone : Puntos de control por capacidad . Si un modelo alcanza cierta capacidad, necesita certificar determinadas propiedades de alineamiento. Evaluadores externos trabajando dentro de los laboratorios, como METR . Una exención antimonopolio para que los laboratorios estadounidenses puedan coordinarse en materia de seguridad. Y más controles a China : veto a los chips avanzados y prohibición de la destilación no autorizada de modelos. En Xataka “¿Por qué esto no lo está construyendo el Gobierno?”: Dario Amodei cree que la IA es demasiado importante para dejarla en manos privadas Entre líneas . Un modelo cerrado puede certificarse porque su dueño controla cada copia. Uno abierto, no: en cuanto se publican los pesos, cualquiera puede quitarle las salvaguardas. Es el argumento principal de un análisis de VentureBeat , que compara la propuesta con la ley SB 1047 de California. Newsom la vetó por su impacto en los desarrolladores pequeños y en el código abierto. Con la exención antimonopolio pasa algo muy similar. Los que se sientan a coordinarse son los laboratorios estadounidenses de frontera. Quien no está en esa mesa no decide los límites, pero sí los sufre. En cifras . El frente abierto ya no es Meta. Es, sobre todo, China: 150 veces menos . Es lo que cuesta DeepSeek V4 Flash frente a GPT-5.5 en tokens de salida, según OpenRouter . De 3 a 6 meses . Es el retraso de los mejores modelos abiertos respecto a los cerrados, y no se está ampliando. 151.448 modelos derivados de Qwen en Hugging Face, 2,6 veces los de Meta, según su informe de verano . 33% de margen bruto ajustado tuvo OpenAI en 2025, frente al 40% del año anterior, según The Information . Competir con modelos casi gratuitos no ayuda a remontar. Mientras tanto en Europa . Mistral acaba de cerrar una ronda de 3.000 millones de euros con una valoración de 21.000 millones. Es la mayor ronda de una tecnológica europea, y su argumento de venta es precisamente la IA soberana con pesos abiertos . Un régimen de certificaciones pensado en Estados Unidos para sus laboratorios dejaría a Mistral fuera de la mesa (pero dentro de las reglas). La Unión Europea ya escogió otro camino: la Ley de IA exime a los modelos de código abierto de parte de las obligaciones, salvo cuando presentan "un riesgo sistémico". En Xataka Todos quieren frenar la carrera de la IA. Hay un problema: nadie se fía lo suficiente del otro como para ser el primero Sí , pero . Frenar a los modelos abiertos no frena necesariamente a China. Los pesos de Qwen y DeepSeek ya están en millones de servidores y discos duros de todo el mundo. Lo que sí frena es a los desarrolladores abiertos de Estados Unidos y Europa, justo los que podrían competir con esos modelos. Es la misma lógica de captura regulatoria que ya contamos con Rockefeller . Esta vez el competidor que se queda fuera no es una petrolera pequeña, sino un modelo que cualquiera puede descargar gratis y ejecutar en un ordenador doméstico. Y ahora qué . Si el plan avanza, el debate que viene no es "frenar o no frenar". Es quién queda dentro del perímetro que se frena y quién fija sus límites. Hoy los que lo están dibujando son casualmente quienes más perderían con una IA abierta y barata. Imagen destacada | Xataka con Magnific En Xataka | Qué es y quién está detrás de METR, el organismo que Anthropic propone para supervisar que la IA no sea un peligro para la sociedad - La noticia Frenar la IA suena a proteger a la humanidad. También es una forma muy eficaz de frenar a DeepSeek, Qwen y Mistral fue publicada originalmente en Xataka por Javier Lacort .

    XatakaXataka•Javier Lacort
  18. Seguimiento15 sept, 14:13

    Expertos ven inviable regular la IA en EU a corto plazo pese a advertencias de la industria; gobierno de Trump se niega a bajar ritmo

    Pese al inédito consenso entre los principales líderes tecnológicos de la inteligencia artificial ( IA ) para frenar su avance y crear un marco de seguridad común, los expertos ven improbable que Washington apruebe una regulación a corto plazo debido a las elecciones de mitad de mandato y a la negativa de la Administración de Donald Trump a ceder terreno frente a la competencia de China . Los máximos responsables de laboratorios punteros como Dario Amodei ( Anthropic ), Sam Altman ( OpenAI ), Elon Musk ( xAI ) y Demis Hassabis ( Google DeepMind ) han abogado en los últimos días por ralentizar el ritmo de desarrollo del sector para permitir que las salvaguardas alcancen el ritmo de la tecnología . Pero no sin antes pintar un futuro muy negro: Amodei dijo que le preocupaba que, en un plazo de 6 a 12 meses, un enjambre de bots llegue "a tomar el control de todo internet". Mientras que Jacob Coxon, exempleado de Anthropic y OpenAI, alertó de que la IA podría hacer realidad las películas de ciencia ficción y acabar con toda la humanidad antes de que termine la década. Anthropic acabó por endurecer sus controles tras detectar usos potencialmente peligrosos de Claude , entre ellos investigaciones que podían facilitar el desarrollo de armas biológicas. Por su parte, Trump anotó en sus redes que "es un engaño la idea de que la IA se vaya a apoderar del mundo, destruir a la humanidad y causar todo tipo de males". "En el clima político actual en Estados Unidos, parece una quimera alcanzar consensos sobre las prioridades legislativas en torno a la IA", explica a EFE Michele Neitz , directora fundadora del Centro para el Derecho, la Tecnología y el Bien Social de la Universidad de San Francisco (USF). Neitz descarta que el Congreso apruebe normativas de calado antes de final de año debido a las elecciones de mitad de mandato de noviembre y a las divergencias sobre cómo intervenir el sector. Mientras la Unión Europea cuenta con un reglamento marco, en EU la falta de acción en el Capitolio está derivando en un complejo mosaico estatal, con leyes dispares en estados como California o Connecticut, lo que deja al país sin un estándar uniforme. A este laberinto legislativo se suma el rechazo de Trump, quien defiende que ralentizar el paso solo beneficiaría a Beijin. "El presidente dijo que EU está por delante de China y que no piensa arriesgar esa ventaja", señaló a EFE Nick Reese, profesor adjunto en el Centro de Asuntos Globales de la Universidad de Nueva York (NYU) y exdirector de Políticas de Tecnología Emergente del Departamento de Seguridad Nacional (DHS). "El punto débil de ese planteamiento estriba en que nadie ha definido con claridad qué significa 'ir por delante de China ' ni cuál es la meta exacta de esa supuesta carrera", apunta el experto. La industria necesita "nuevos líderes" Esta encrucijada resalta también una profunda crisis de gobernanza. Para Reese, la industria "necesita nuevos líderes", ya que ni la Casa Blanca ni los directivos empresariales han mostrado consistencia. "Los líderes que pilotan la tecnología más transformadora de la historia carecen por completo de una visión clara sobre hacia dónde nos dirigimos. La industria necesita liderazgos distintos", recalca. Ante la parálisis en Washington , ha cobrado fuerza la alternativa de que las propias firmas de IA pacten su autorregulación, un camino que los expertos consideran prometedor pero repleto de complejidades corporativas. Neitz indica a EFE que, más allá de la ética, el verdadero incentivo para que las empresas pongan límites es el temor a las demandas: "Si creas un agente de IA que termina desestabilizando mercados bursátiles o vaciando depósitos bancarios, la factura judicial para la compañía desarrolladora puede ser letal". Este verano, cientos de agentes de OpenAI se coordinaron de forma autónoma para acceder y vulnerar los sistemas de Hugging Face , situación que Altman describió este fin de semana como "leer una historia de ciencia ficción". Aseguró que este ha sido el principal punto de inflexión en la gestión interna de OpenAI, que ha tenido que rediseñar sus protocolos para detectar y responder a comportamientos inesperados de sus agentes, especialmente a medida que estos adquieren mayor autonomía. Otra consecuencia es el retraso de su esperada salida a bolsa, al menos durante este año, ante las preocupaciones sobre el control de estos sistemas. Te puede interesar: Dario Amodei y Sam Altman; las figuras al frente de OpenAI y Anthropic que marcan el futuro de la IA "Si la IA no beneficia a la humanidad ni está bajo control, no vale la pena"; CEO de Microsoft cuestiona su desarrollo Director de Anthropic afirma que "la industria mintió" sobre el peligro de la IA; prohibición total no es solución, dice Agrega a EL UNIVERSAL como fuente preferida en Google am/mcc

    El UniversalEl Universal
  19. Infobae
    Seguimiento15 sept, 13:33

    Expertos ven inviable regular la IA a corto plazo pese a las advertencias de la industria

    Sarah Yáñez-Richards Nueva York, 15 sep (EFE).- Pese al inédito consenso entre los principales líderes tecnológicos de la inteligencia artificial (IA) para frenar su avance y crear un marco de seguridad común, los expertos ven improbable que Washington apruebe una regulación a corto plazo debido a las elecciones de mitad de mandato y a la negativa de la Administración de Donald Trump a ceder terreno frente a la competencia de China. Los máximos responsables de laboratorios punteros como Dario Amodei (Anthropic), Sam Altman (OpenAI), Elon Musk (xAI) y Demis Hassabis (Google DeepMind) han abogado en los últimos días por ralentizar el ritmo de desarrollo del sector para permitir que las salvaguardas alcancen el ritmo de la tecnología. Pero no sin antes pintar un futuro muy negro: Amodei dijo que le preocupaba que, en un plazo de 6 a 12 meses, un enjambre de bots llegue "a tomar el control de todo internet". Mientras que Jacob Coxon, exempleado de Anthropic y OpenAI, alertó de que la IA podría hacer realidad las películas de ciencia ficción y acabar con toda la humanidad antes de que termine la década. Anthropic acabó por endurecer sus controles tras detectar usos potencialmente peligrosos de Claude, entre ellos investigaciones que podían facilitar el desarrollo de armas biológicas. Por su parte, Trump anotó en sus redes que "es un engaño la idea de que la IA se vaya a apoderar del mundo, destruir a la humanidad y causar todo tipo de males". "En el clima político actual en Estados Unidos, parece una quimera alcanzar consensos sobre las prioridades legislativas en torno a la IA", explica a EFE Michele Neitz, directora fundadora del Centro para el Derecho, la Tecnología y el Bien Social de la Universidad de San Francisco (USF). Neitz descarta que el Congreso apruebe normativas de calado antes de final de año debido a las elecciones de mitad de mandato de noviembre y a las divergencias sobre cómo intervenir el sector. Mientras la Unión Europea cuenta con un reglamento marco, en EE. UU. la falta de acción en el Capitolio está derivando en un complejo mosaico estatal, con leyes dispares en estados como California o Connecticut, lo que deja al país sin un estándar uniforme. A este laberinto legislativo se suma el rechazo de Trump, quien defiende que ralentizar el paso solo beneficiaría a Pekín. "El presidente dijo que EE. UU. está por delante de China y que no piensa arriesgar esa ventaja", señaló a EFE Nick Reese, profesor adjunto en el Centro de Asuntos Globales de la Universidad de Nueva York (NYU) y exdirector de Políticas de Tecnología Emergente del Departamento de Seguridad Nacional (DHS). "El punto débil de ese planteamiento estriba en que nadie ha definido con claridad qué significa 'ir por delante de China' ni cuál es la meta exacta de esa supuesta carrera", apunta el experto. Esta encrucijada resalta también una profunda crisis de gobernanza. Para Reese, la industria "necesita nuevos líderes", ya que ni la Casa Blanca ni los directivos empresariales han mostrado consistencia. "Los líderes que pilotan la tecnología más transformadora de la historia carecen por completo de una visión clara sobre hacia dónde nos dirigimos. La industria necesita liderazgos distintos", recalca. Ante la parálisis en Washington, ha cobrado fuerza la alternativa de que las propias firmas de IA pacten su autorregulación, un camino que los expertos consideran prometedor pero repleto de complejidades corporativas. Neitz indica a EFE que, más allá de la ética, el verdadero incentivo para que las empresas pongan límites es el temor a las demandas: "Si creas un agente de IA que termina desestabilizando mercados bursátiles o vaciando depósitos bancarios, la factura judicial para la compañía desarrolladora puede ser letal". Este verano, cientos de agentes de OpenAI se coordinaron de forma autónoma para acceder y vulnerar los sistemas de Hugging Face, situación que Altman describió este fin de semana como "leer una historia de ciencia ficción". Aseguró que este ha sido el principal punto de inflexión en la gestión interna de OpenAI, que ha tenido que rediseñar sus protocolos para detectar y responder a comportamientos inesperados de sus agentes, especialmente a medida que estos adquieren mayor autonomía. Otra consecuencia es el retraso de su esperada salida a bolsa, al menos durante este año, ante las preocupaciones sobre el control de estos sistemas. EFE

    InfobaeInfobae•Newsroom Infobae
  20. Seguimiento15 sept, 10:46

    El debate sobre la IA ya no enfrenta a optimistas y pesimistas. Enfrenta a empresas con miles de millones en juego

    ChatGPT no llevaba ni seis meses en escena cuando el experto Eliezer Yudkowsky nos avisó de que la IA "nos mataría a todos" . Su discurso catastrofista no fue el primero, pero sí reactivó la preocupación ante una amenaza real para la raza humana. Hoy dicha preocupación está en máximos históricos , al menos si uno hace caso de Amodei o Altman, que abogan por poner freno al desarrollo de la IA . De repente Anthropic y OpenAI se quieren volver cautas y piden la colaboración del Gobierno de EEUU, pero dicho gobierno no quiere ni oír hablar de esa opción. La razón es simple y tan antigua como el mundo: por el interés te quiero Andrés. Quienes construyen la IA quieren pisar el freno . Todo empezó el fin de semana, cuando Dario Amodei, CEO de Anthropic, pidió abiertamente que se ajustase el ritmo de desarrollo de los modelos frontera (" We must pace the frontier ", dijo ). Sam Altman y su equipo se sumaron a la idea , al igual que Elon Musk, Demis Hassabis y, con matices, Satya Nadella —en Microsoft han publicado su propio manifiesto humanista —. Anthropic, OpenAI y Google incluso han discutido la creación de un organismo conjunto de seguridad, algo insólito teniendo en cuenta que todas estas empresas compiten por lograr dominar esta industria. OpenAI y Anthropic están intentando hacer con la IA lo que Rockefeller hizo con el petróleo ¿Necesitan al Gobierno de EEUU? OpenAI consultó al Congreso de EEUU para saber si existía la posibilidad de que varias empresas competidoras podrían coordinarse para ralentizar el desarrollo de la IA, y si eso vulneraría las leyes antimonopolio del país. El vicepresidente de EEUU, JD Vance, indicó que le resultaba extraño que las grandes empresas de IA pidieran al Gobierno que las regulase, y calificó la estrategia de un "troyano". Frenar la IA puede ser muy rentable . Una regulación que obligue a realizar evaluaciones profundas y que establezca controles externos o procesos de seguridad puede ayudar a protegernos, pero también puede ser un obstáculo para quienes intenten cumplir todos los requisitos que impongan esas normas. O lo que es lo mismo: las pequeñas y medianas empresas y startups que tratan de avanzar en este campo tendrían una barrera de entrada enorme. Para el conocido inversor Michael Burry todas estas advertencias de Anthropic y de OpenAI no son más que un refuerzo para sus negocios y sirven para alimentar el relato de sus inminentes salidas a bolsa. Son valoraciones sin pruebas y para él la humanidad "no tiene nada que temer" . Hay otro efecto claro de frenar la IA: Eso les daría oxígeno a OpenAI y Anthropic , que ciertamente agradecerían ese respiro. No seáis dramáticos . Jensen Huang, CEO de Nvidia, ha rechazado frontalmente ese alarmismo y considera que ralentizar el desarrollo de la IA es un error. Su mensaje es claro: EEUU debe seguir acelerando ese desarrollo y para él las compañías de IA deberían "no exagerar tanto" (en sus palabras, " tone down the drama "). Durante su participación en el evento All-In Summit 2026 recibió la llamada de Donald Trump , y ambos parecían estar de acuerdo en que las advertencias de Amodei eran exageradas. La postura de Huang es lógica: Nvidia se dedica a vender la smáquinas necesarias para que esa carrera continúe, y como dice el analista Mike Issaac, Nvidia está tan condicionada por sus intereses como las demás . Esto va de dinero y poder, como casi siempre. El incentivo de Trump es China . Según Trump dichas advertencias eran un "hoax", y en una publicación en la red social Truth el presidente de EEU afirmó que "¡el único control o salvaguarda que la IA necesita es un PRESIDENTE FUERTE E INTELIGENTE Alto CI!), y EEUU ya tiene eso, y de sobra!". El presidente estadounidense ha rechazado la idea de frenar y sostiene que "quien gane la IA, gana". Hacer algo así podría darle ventaja a China, aunque también hay muchos argumentos económicos en esos comentarios: la IA ha impulsado inversiones gigantescas en datos, chips y energía y todo ello es ahora motor de la economía estadounidense. Una explicación sencilla para este lío . François Chollet, creador del ARC-AGI Prize , hacía un comentario muy interesante en X al decir que es peligroso tener que elegir entre dos explicaciones del tipo "esta persona cree sinceramente X y por eso quiere Y", o "La decisión X beneficia económicamente a esa persona". La razón es sencilla: ambas pueden ser ciertas, porque las personas suelen alinear sus creencias y sus intereses. En palabras de Chollet , se puede ser "sincero y tener intereses propios" al mismo tiempo. Difícil solución . Empieza a estar claro que teniendo claro que todos tienen sus propios intereses, Así que tendremos que decidir cuánto de ese riesgo que impone el desarrollo de la IA estamos dispuestos a aceptar. Las personas que mejor concoen esa tecnología son también quienes pueden ganar o perder más con las reglas que adoptemos, y aquí lo difícil es distinguir las creencias y convicciones sinceras de ese interés propio. En Xataka | Qué es y quién está detrás de METR, el organismo que Anthropic propone para supervisar que la IA no sea un peligro para la sociedad - La noticia El debate sobre la IA ya no enfrenta a optimistas y pesimistas. Enfrenta a empresas con miles de millones en juego fue publicada originalmente en Xataka por Javier Pastor .

    XatakaXataka•Javier Pastor
  21. 14 de septiembre
  22. Seguimiento14 sept, 23:22

    Las razones ocultas tras la alerta de los gigantes de la IA: «Les permite lavar su imagen y traspasar la responsabilidad a los Gobiernos»

    Casi desde el lanzamiento de ChatGPT, en noviembre de 2022, algunas de las empresas más punteras en IA han debatido sobre el riesgo de que la inteligencia artificial llegue a descontrolarse y termine suponiendo una amenaza para la humanidad. En los últimos meses, los ciberataques sufridos por plataformas como Hugging Face y provocados por agentes de IA, así como la alerta lanzada la semana pasada por un trabajador de Anthropic sobre el potencial de esta tecnología para provocar la extinción de la humanidad, han avivado todavía más este tipo de debates. El último ejemplo llegó este sábado, cuando el CEO de Anthropic, Dario Amodei , publicó un ensayo en el que pidió una desaceleración global del desarrollo de la inteligencia artificial. Rápidamente, Sam Altman, primer ejecutivo de OpenAI, Demis Hassabis, presidente de Google Deepmind, y Elon Musk, de SpaceXAI, se apresuraron a mostrarse de acuerdo. En el escrito, Amodei se manifestaba preocupado por la posibilidad de que en los próximos «6 a 12 meses» la IA «pueda controlar todo internet» provocando por el camino «cientos de miles de millones de dólares en pérdidas». Para tratar de ponerle solución al problema, Anthropic se ha comprometido a poner a disposición de evaluadores externos toda su tecnología, para que estos verifiquen que la tecnología es segura. Asimismo, se ha invitado «a las empresas de IA de vanguardia en países democráticos» a «coordinarse para establecer estándares de seguridad comunes» que todas deben cumplir, es decir, a que sean las propias 'startups' las que creen las normas a partir de las cuales deben regirse. Finalmente, se ha sugerido que «Estados Unidos y otros gobiernos democráticos intenten coordinarse con los gobiernos autoritarios, en la medida de lo posible» para ayudar a reducir los riesgos. Sobre el papel, el mensaje que se lanza parece positivo: los gigantes de la IA están tan preocupados por el futuro de esta tecnología y por su efecto en la sociedad que están dispuestas a ralentizarla, a pesar de los efectos que esto puede tener en sus resultados financieros. Sin embargo, numerosos expertos muestran dudas sobre las buenas intenciones de estas compañías, a las que ven especialmente interesadas en autorregularse para evitar el futuro control de gobiernos. También alertan de que si tienen éxito, pueden dificultar que otras empresas más pequeñas se conviertan en una amenaza para su negocio el día de mañana. «Dejad de fingir que la motivación para reducir la velocidad (en el desarrollo de la IA) es puramente altruista», ha afirmado en sus redes sociales David Sacks, principal asesor de la administración Trump en temas tecnológicos. El experto ha dejado caer, además, que tanto Anthropic como OpenAI cuentan con capacidad para reducir los riesgos por su cuenta: «La forma más sencilla de no crear una superinteligencia -una IA que sería más lista que cualquier humano y que podría acabar convirtiéndose en una amenaza- es que os comprometáis a no crearla. Exigir vuestro marco regulatorio preferido como precio por hacerlo parece un chantaje a la opinión pública y al sistema político». Y no es el único que ve problemas en la propuesta de Amodei. Satya Nadella, CEO de Microsoft, otra de las empresas que más fuerte han invertido en materia de inteligencia artificial, está de acuerdo con la necesidad de que la tecnología avance con «ritmo pausado» para reducir los riesgos. Sin embargo, no considera que la autorregulación sea el camino: «Esto no puede estar controlado por un puñado de actores, sino que tiene que contar con una representación amplia de todo el ecosistema, de distintos países y de distintos ámbitos, incluida la universidad». Lo mismo opina Clément Delangue, director ejecutivo de la plataforma Hugging Face, quien afirmó en X que los problemas de la IA no pueden solucionarse «a puerta cerrada entre un puñado de laboratorios de vanguardia». Josep Curto, director académico del Máster en Inteligencia de Negocios y Big Data en la Universitat Oberta de Catalunya, explica a ABC que, efectivamente, «hay razones para preocuparse» ante el rápido avance de la IA, pero, «hay que diferenciar el riesgo real del ruido mediático». «No debe preocuparnos un escenario hipotético tipo Terminator o una superinteligencia fuera de control, sino los problemas tangibles que ya están ocurriendo en relación con la IA: la desinformación masiva, el sesgo en los algoritmos, el impacto en la privacidad y la dependencia crítica de sistemas cuyos fallos no comprendemos del todo. La alerta es válida, pero el foco del debate público suele estar desplazado hacia el alarmismo existencial y sistémico», dice el experto. Curto ve en la postura de Amodei, Altman, Hassabis o Musk «una mezcla evidente de intereses que puede cubrir motivos menos altruistas, preocupación genuina e incluso un intento de lavarse las manos» por los problemas que pueda provocar su tecnología: «Mostrarse preocupados es una maniobra clara de relaciones públicas. Les permite lavar su imagen de marca y traspasar la responsabilidad a los gobiernos. Es como decir: 'Nosotros avisamos del peligro, son las autoridades las que deben regular'. Al final, se trata de una estrategia para cubrirse las espaldas». Luis Martín, director de soluciones de IA en Llorente y Cuenca, está de acuerdo con este análisis. Además, añade que con la creación de sus propias normas, los gigantes de la IA podrían tratar de dificultar el surgimiento nuevas empresas que compitan con sus modelos. «Cuando pides una ralentización en el desarrollo de la IA y el surgimiento de entes que pongan trabas parece que están intentando poner una barrera de entrada a nuevos jugadores», dice el experto. «Ellos tienen los recursos y el capital para cumplir con la burocracia, mientras que las normas ahogarían a la competencia de código abierto y a las pequeñas startups», completa Curto. Luego está el componente económico. Jensen Huang, CEO de Nvidia, avisó ya la semana parada durante una conferencia que esperaba que próximamente las empresas desarrolladoras de IA centrada en la ciberseguridad, como OpenAI y Anthropic, tratasen de aumentar la preocupación entre las empresas para que sus productos de seguridad resultasen más atractivos. Un movimiento que también ha visto venir Sergio Álvarez-Teleña, CEO de la empresa de inteligencia artificial SciTheWorld y uno de los mayores expertos en esta tecnología que hay en España. El experto descarta de plano los escenarios apocalípticos que señalan que la IA podría terminar causando la extinción humana «a final de esta década», tal y como alertó la semana pasada un investigador de Anthropic . «No hay más razones para estar preocupados por esto que por que nos caiga un meteorito encima. Las probabilidades son increíblemente bajas», dice Álvarez-Teleña en conversación con este diario. «La sensación que tengo es que están intentando preocupar a la gente para conseguir más inversión. El mensaje, aunque no sea explícito, es que se invierta en estas empresas, porque se presentan como las únicas que son capaces de solucionar el problema de lo buenos que son en lo suyo», zanja el experto.

    ABCABC•(abc)
  23. Primera noticia14 sept, 20:09

    ¿Se puede 'frenar' la IA? Por qué el resto del mundo desconfía del plan de Silicon Valley

    El CEO de Anthropic propone "ralentizar" el desarrollo de IA avanzada para aprender a controlarla, pero China, expertos y otros actores cuestionan quién debe decidir el ritmo de la tecnología Análisis - Quién gana cuando los líderes de la IA piden que los regulen Si el debate sobre la posibilidad de que la humanidad quedara amenazada por inteligencias artificiales iba a estallar alguna vez, no había duda de que Dario Amodei sería una voz central en él. “Estoy de acuerdo con Dario”, ha dicho este fin de semana Sam Altman, CEO de OpenAI, su principal competencia. “Dario tiene razón”, ha publicado Elon Musk, fundador de SpaceX y xAI. “Dario apunta el camino correcto a seguir”, coincide Demis Hassabis, premio Nobel y jefe científico de Google DeepMind, el laboratorio de IA avanzada de la multinacional. Esta tan poco común unión bajo una misma voz se produce después de que Amodei publicara un ensayo sobre cómo evitar que la IA se salga de control . “Debemos ralentizar el ritmo al que mejoramos las capacidades de los modelos de IA”, pide el fundador y director de Anthropic, que ha conseguido ser una de las referencias en los debates sobre la seguridad de la IA tras una década alertando sobre ellos. “Como muchas tecnologías anteriores, la IA también conlleva riesgos y, dado su enorme poder, estos son graves”, ha defendido en su ensayo: “Entre ellos están el riesgo de perder el control de los sistemas de IA, su uso para llevar a cabo ciberataques y ataques bioterroristas y una grave disrupción económica. Una carrera hacia el abismo, impulsada por los incentivos comerciales, puede agravar todos estos riesgos”. ¿Cuál es exactamente el plan que ha tenido tan buena acogida en Silicon Valley? En resumen, dosificar deliberadamente la velocidad a la que se mejoran las capacidades de la IA. Esto “ralentizaría” su avance “uno o dos años”, con el objetivo de dar más tiempo a los investigadores de seguridad para que se pongan al día con los últimos avances y puedan diseñar nuevos mecanismos para controlarla. Las claves del 'plan Amodei' para la IA La estrategia de ralentización de Amodei se articularía en tres niveles. La clave de su plan son los “evaluadores externos independientes”, figuras que se incrustarían en los equipos de desarrollo de los laboratorios de vanguardia “para verificar las prácticas de seguridad e informar sobre incidentes”. “Integrar evaluadores puede parecer un paso pequeño o intrascendente”, reconoce Amodei, “pero a menudo lo que parece más aburrido o rutinario es en realidad lo más esencial. De hecho, los evaluadores integrados son una práctica bastante radical que va mucho más allá de lo que hace cualquier empresa de IA actualmente”, defiende. Estas personas se encargarían de verificar si cada empresa de IA cumple con las salvaguardas que afirma tener, aportaría transparencia sobre los desarrollos reales o que ofrezcan “una segunda opinión sin incentivos comerciales”. “Muchos beneficios en materia de seguridad pueden derivarse simplemente de que los evaluadores señalen aspectos que los empleados no habían considerado, pero que están dispuestos a corregir una vez que los conocen”, asegura. El método más eficaz para regular la IA es mediante una normativa que abarque a todas las empresas de IA de vanguardia de EEUU, ya que cubre incluso a aquellas que no están dispuestas a cooperar voluntariamente Dario Amodei Los evaluadores serían la llave para la segunda parte del plan: establecer límites de velocidad entre “naciones democráticas”. Aunque el jefe de Anthropic utiliza este concepto a nivel general para justificar el hecho de dejar fuera de la estrategia a China, aunque a nivel práctico en sus medidas para “las democracias” solo hace referencia a EEUU. “El método más eficaz para regular la IA es mediante una normativa que abarque a todas las empresas de IA de vanguardia de EEUU, ya que cubre incluso a aquellas que no están dispuestas a cooperar voluntariamente”, dice. Dario Amodei, en una imagen de archivo. El plan deja abierto cómo establecer esos límites de velocidad, pero Amodei sugiere un sistema basado en “puntos de control”. “Si los modelos poseen la capacidad X, deben ir acompañados de certificaciones de las propiedades de alineación Y y Z —como una combinación de evaluaciones, análisis de interpretabilidad y auditorías de entornos de entrenamiento— que demuestren dichas propiedades”, detalla. Por último, el tercer nivel sería la búsqueda de acuerdos de coordinación global para que “la frontera de la inteligencia artificial” avance de manera unitaria. “Esto será mucho más difícil de lograr”, reconoce. En este punto Amodei sí pide llegar a acuerdos con China y el resto de “países autocráticos”, y hacerlo de una forma que impida que, aunque estos decidan salirse en algún momento del consenso internacional “no represente una amenaza existencial desde el punto de vista militar”. Pero, de nuevo, Amodei es claro en cuanto a los objetivos: “Deberíamos abordar cualquier decisión sobre el avance global, especialmente a corto plazo, de manera que se proteja el liderazgo de Estados Unidos y sus aliados”. Una estrategia que no convence a casi nadie El consenso que el plan Amodei ha generado en Silicon Valley es directamente proporcional a la desconfianza, o directamente rechazo, que ha suscitado fuera. Incluso en Washington , la estrategia parece haber caído en saco roto, con Donald Trump negando por partida doble su colaboración. La segunda gran reacción ha llegado por parte de China , el elefante en la habitación en el documento de Amodei. Chen Yixin, el ministro de Seguridad chino, ha publicado una carta en la que acusa a “ciertas naciones” de “limitar la capacidad de otros países de adquirir equipos técnicos de vanguardia y mejorar sus capacidades de innovación tecnológica”, relacionando directamente en plan de Amodei con el embargo de chips. El plan está repleto de medidas de contención dirigidas a China y es, en esencia, un "manual de la Guerra Fría" para el sector Global Times — diario vinculado directamente al Partido Comunista Chino El Global Times, un diario vinculado directamente al Partido Comunista Chino, ha ido más allá. “A primera vista, parece una 'declaración racional' centrada en la seguridad global de la IA. Sin embargo, una lectura atenta revela su agenda oculta: el plan está repleto de medidas de contención dirigidas a China y es, en esencia, un 'manual de la Guerra Fría' para el sector”, denuncia. “El intento de Amodei de abordar la seguridad global de la IA mientras busca ”contener a China“ no solo es una evaluación profundamente errónea, sino también una ilusión fundamentalmente imposible de realizar”, añade: “Interrumpir por la fuerza las cadenas industriales y de innovación globales de la IA y excluir a China y a las empresas chinas solo aumentará significativamente los costes y los riesgos de pérdida de control en el desarrollo global de la IA. Este intento de ”controlar el ritmo“ ya ha perdido todo sentido”. Centrarse en los riesgos de ahora El ensayo de Amodei se basa en un riesgo muy concreto: la posibilidad de que los agentes de IA pierdan el control. Se trata de sistemas diseñados para buscar información, utilizar otras herramientas digitales o crear otras aplicaciones sin necesidad de que una persona les indique qué deben hacer en cada caso. En pruebas de laboratorio, estos agentes se han llegado a comportar como “un enjambre fanático”, con “ciberataques contra objetivos que no se les habían pedido atacar y que no guardaban relación con la tarea en cuestión, sacrificándose por el éxito del grupo e intentando hackear el sistema de evaluación encargado de valorar su rendimiento”. “Dado el ritmo acelerado de desarrollo de la IA, me preocupa que en 6 a 12 meses un enjambre de este tipo pueda controlar toda Internet”, dice Amodei, “y que la magnitud del daño siga aumentando si la IA se vuelve más poderosa sin las medidas de seguridad necesarias”. A nadie se le ocurre lanzar un coche sin pasar un examen de seguridad, ni lanzar un medicamento sin un control de la agencia del medicamento. En la IA debe ocurrir lo mismo Carme Artigas — ex secretaria de Estado de Digitalización e IA Carme Artigas, ex secretaria de Estado de Digitalización e IA y copresidenta del Órgano Consultivo de la ONU sobre Inteligencia Artificial, critica que Silicon Valley se centre ahora en esos riesgos cuando “la preocupación real por el control tecnológico” no es nueva. Para Artigas, la alarma mediática de los ejecutivos no debe desplazar “el foco real que es el presente”, donde la tecnología ya impacta directamente a través de “la manipulación de la información, la manipulación mental, las adicciones y, sobre todo, la erosión de derechos fundamentales”. Por otro lado, la experta rechaza en conversación con elDiario.es que sean los propios laboratorios quienes deban supervisar sus propios avances, advirtiendo de que “las auditorías no pueden ser de las empresas del sector como están intentando”. Critica que los laboratorios de IA estén intentando “crear su propio lobby” y les emplaza a “apoyar a los mecanismos independientes y multilaterales” que ya existen en Naciones Unidas. “A nadie se le ocurre lanzar un coche sin pasar un examen de seguridad, ni lanzar un medicamento sin un control de la agencia del medicamento. En la IA debe ocurrir lo mismo”. El “aterrizaje suave” para la burbuja de la IA Por último, Artigas cree que en la vorágine generada este fin de semana aflora “un poco de pánico escénico” ante el evidente “nivel de burbuja” al que han llegado las valoraciones de algunas empresas de IA. La experta, actual presidenta del Consejo Asesor Tecnológico del fondo Nazca Capital, señala que los gigantes de EEUU necesitan un “aterrizaje suave” para la burbuja y podrían estar utilizando esta “ralentización” forzada de su desarrollo como coartada. En este sentido, apunta directamente a OpenAI, una de las empresas sobre las que más se extiende esta sombra, que ha aplazado sus planes de salida a bolsa justo en medio del debate. La decisión de crear algo que no podían controlar fue muy consciente, precisamente porque no puedes tener responsabilidad sobre algo que no puedes controlar Carissa Véliz — filósofa especialista en la ética de la tecnología “Hay que tener mucho cuidado en nunca perder de vista los intereses financieros de estas compañías”, coincide la filósofa especialista en ética de la tecnología Carissa Véliz. Sobre el plan de Amodei, asegura que el centro de esta conversación no debe ser la IA, sino las personas y empresas que la diseñan y financian. “Todas estas noticias sobre que la IA se ha salido de control son una mala interpretación. La IA hizo exactamente lo que le dijeron que hiciera”. Véliz rechaza destaca que “la decisión de crear algo que no podían controlar fue muy consciente, precisamente porque no puedes tener responsabilidad sobre algo que no puedes controlar”. Por ello, pide sistemas que pongan en el centro la ética y quién es el responsable de sus funciones, para “saber exactamente quién está en control y, cuando las cosas vayan mal, sepamos quién va a ir a la cárcel”.

    elDiario.eselDiario.es•Carlos del Castillo