HeraldLoop

OpenAI — página 8

Organización · 225 artículos
Compartir

Cobertura, página 8

página 8 de 12
I

Exinvestigador de DeepMind se suma a las voces de alerta sobre los riesgos de la IA

Los Ángeles (EE.UU.), 15 sep (EFE).- Un exinvestigador de Google DeepMind, que trabajó en la seguridad de la inteligencia artificial general (IAG), se sumó a las advertencias sobre la capacidad que tendría la IA para destruir a la humanidad y los llamados a una mayor regulación de esta tecnología. El investigador Bilal Chughtai se unió a las voces de otros expertos sobre el avance de la inteligencia artificial en una publicación en su cuenta de X, tras renunciar al gigante tecnológico en julio pasado. "En Google, fui testigo directo del desarrollo de la IA. Yo también estoy sumamente preocupado por la trayectoria que esta tecnología sigue por defecto", dijo Chughtai, que trabajó como ingeniero de investigación en seguridad y alineación de inteligencia artificial general en DeepMind desde principios de 2022. El ingeniero se refirió al incidente en el que agentes de IA de OpenAI escaparon del control de la compañía para hackear de forma autónoma a la empresa externa HuggingFace, para avizorar una situación “aún más caótica”. "Creo sinceramente que la IA tiene el potencial de matarnos a todos y que podríamos estar quedándonos sin tiempo para evitar este desenlace", escribió. Chughtai señaló que la alineación de la IA sigue siendo un desafío sin resolver y subrayó que los investigadores aún tienen una comprensión "rudimentaria" de cómo entrenar sistemas avanzados para que persigan objetivos humanos de manera fiable. La advertencia del ingeniero se une a los comentarios del investigador tecnológico Jacob Coxon, exempleado de Anthropic y OpenAI, que dijo que la IA podría hacer realidad las películas de ciencia ficción y acabar con toda la humanidad antes de que termine la década. El director ejecutivo de Anthropic, Dario Amodei, también manifestó su preocupación el fin de semana pasado a través de un ensayo en el que pedía "un ritmo más lento" para la industria ante los crecientes riesgos de seguridad de la IA. A Amodei se sumaron líderes tecnológicos como Sam Altman, de OpenAI, y Elon Musk, de xAI, en una coincidencia poco habitual en el sector para exigir más regulaciones. EFE

InfobaeInfobae•Newsroom Infobae16 sept

Inma Martínez: «La inteligencia artificial no puede matarnos, pero puede dejarnos sin dinero, comida o luz»

Estamos a martes de la semana pasada. El investigador de Anthropic Jacob Coxon publica un hilo incendiario en X en el que anuncia su decisión de dejar su trabajo en la empresa de IA y alerta de que esta tecnología «podría matarnos a todos al final de esta década». Al rato, Evan Hubinger, jefe de uno de los equipos de seguridad de la tecnológica se une a la conversación, señala en un mensaje que «Jacob tiene razón», y se suma al órdago apuntando que, desde su punto de vista, las probabilidades de un final apocalíptico tipo Terminator son, aproximadamente, del 10%. Estas afirmaciones no tardan en viralizarse. Después de guardar silencio durante varios días, el CEO de la 'startup', Dario Amodei, lanza un ensayo de 3.000 palabras en el que aboga por ralentizar el avance de la IA . Dice que le da miedo que en el próximo año o año y medio esta tecnología sea capaz, por su cuenta y riesgo, de «controlar todo internet» provocando por el camino «cientos de miles de millones de dólares en pérdidas». Elon Musk, de SpaceXAI, Demis Hassabis, de Google DeepMind, y Sam Altman, de OpenAI, se muestran de acuerdo. Y la investigadora española Inma Martínez respira aliviada cuando lo lee. Considera que apuntando a dicho riesgo, Amodei «está pulsando la tecla correcta» sobre lo que hay que hacer con la IA: garantizar que cuente con unos mecanismos de seguridad sólidos antes de ponerla a funcionar. «El mensaje no me pilló por sorpresa. Yo colaboro en el Foro de Davos, y en la edición del año pasado recuerdo que Yoshua Bengio , pionero del aprendizaje profundo con el que he trabajado en alguna ocasión, ya avisaba sobre lo que la IA agéntica -un sistema con capacidad de lograr un objetivo sin supervisión humana constante- puede hacer. Ya sabíamos por entonces, e incluso antes, que hay muchos aspectos de esta tecnología que se nos van de las manos», señala Martínez en conversación telefónica con ABC desde Reino Unido, donde reside desde hace años. Esta investigadora lleva años asesorando al Gobierno de España, al británico o al G-7 en materia de regulación y de diseño de estándares para la industria de la IA. Actualmente, trabaja también como asesora científica de la Organización Mundial del Comercio, añade que esta tecnología, como ocurre con los modelos más avanzados de empresas como Anthropic u OpenAI, «tiene demasiada libertad para tomar decisiones» y que «su naturaleza puede ser la de tirar por la calle de en medio y 'hackear' para conseguir sus objetivos». Algo que ya han sufrido empresas como Hugging Face , que en los últimos meses han sufrido ciberataques realizados, precisamente, por agentes de IA. Por eso, Martínez considera que lo mejor que pueden hacer las tecnológicas es, efectivamente, pisar el freno. Aunque, en caso de que cumplan con su palabra, tiene claro que el motivo por el que lo harán será por el de preservar su propio negocio. No por buenas intenciones: «Si dan marcha atrás es porque estas empresas tenían pensado salir a bolsa. ¿Tú qué crees que harían si no salieran a bolsa? Pues seguirían. Pero cuando sales a bolsa y esperas recaudar trillones no te puedes arriesgar a que la próxima vez a un enjambre de agentes les de por 'hackear' a JP Morgan o a una eléctrica y acabar perdiendo dinero». Efectivamente, tanto Anthropic como OpenAI tenían intención de salir a bolsa antes de que finalizase el año. Las dos empresas esperaban alcanzar valoraciones de cientos de miles de millones de euros; sin embargo, la firma dirigida por Sam Altman ya ha compartido que tiene intención de retrasar sus planes a 2027. Antes quiere resolver los problemas de seguridad de sus modelos. «La tecnología de Anthropic está mejor entrenada que la de OpenAI. Los de Altman siempre han sido un poco los 'punks' de la IA. Comenzaron lanzando un modelo de lenguaje en 2022 que era un horror, entrenado con unos datos malísimos. No me extraña que ahora tampoco se echen atrás». A pesar de que Martínez comparte la preocupación de los gigantes de la IA por la posibilidad de que esta tecnología acabe causando estragos en la red, rechaza de plano todas aquellas teorías que apuntan a la aparición de una futura máquina que podría tomar la decisión de aniquilar a la humanidad. «No me gusta hablar de tecnología que mata a personas, porque eso es ciencia ficción. La IA no tiene una pistola. Lo que sí que tiene es potencial para destruir nuestros valores y los pilares de la sociedad. Lo dejo claro: la inteligencia artificial no puede matarnos, pero puede dejarnos sin dinero, comida o luz». A continuación, la investigadora comienza a dibujar varios escenarios preocupantes que, a su parecer, entran dentro del terreno de lo posible: «La IA puede realizar ciberataques que dejen sin funcionar a aeropuertos o a redes eléctricas o a supermercados. Puede hacer eso y mucho más, y, además, ten en cuenta todo lo que dependemos del mundo digital. Imagínate que la IA 'hackea' al IBEX 35. ¿Dónde se van las acciones de todas las empresas españolas? ¿Cómo se recupera el 'trading'?». Para tratar de reducir los riesgos al mínimo, la investigadora apuesta por el desarrollo de unos estándares industriales más que por la elaboración de una plúmbea regulación: «Yo siempre he abogado porque si la IA es un producto que se va a comprar y a vender, debe cumplir con unos estándares, igual que ocurre con los coches. Tengo curiosidad por lo que puede ocurrir en el futuro con el ISO (Organización Internacional de Normalización, por sus siglas en inglés) que ya está certificando a compañías para poder llevar a cabo determinados trabajos». Durante los últimos años, numerosos empresarios e investigadores han avisado sobre la futura llegada de una inteligencia artificial general, más avanzada que cualquiera de la que actualmente podemos encontrar en la red: «Se trata de una máquina que tendría una comprensión exacta de lo que es la vida, igual que ocurre con los humanos. Entiende de verdad que si un vaso se cae al suelo, lo que ocurre es que se va a romper. Entiende la Física o la Química». «No se trata de un modelo de lenguaje capaz de generar texto o vídeos, como ocurre con las herramientas que nos estamos encontrando por internet», prosigue la experta. Aunque OpenAI es una de las empresas que afirma estar trabajando con más ahínco en su creación, Martínez tiene dudas de que llegue a conseguirlo: «Los que más probabilidades tienen son DeepMind -dependiente de Google- y Meta, porque llevan años recabando datos de todo el mundo».

ABCABC•(abc)15 sept
I

OpenAI respalda proyectos de ley en EEUU sobre IA mientras crece el debate por sus riesgos

Los Ángeles (EE.UU.), 15 sep (EFE).- OpenAI expresó este martes su apoyo a al menos tres proyectos de ley estadounidenses que abordan tanto los riesgos que la IA podría plantear para la seguridad biológica como la tecnología defensiva que podría ayudar a crear, según confirmó el gigante tecnológico a Político. La compañía dijo al medio especializado que respalda los proyectos de ley Web of Biological Data Act (Ley de Red de Datos Biológicos), AI-Ready Bio-Data Standards Act (Ley de Estándares de Datos Biológicos Aptos para IA) y la SCALE Biology Act (Ley de Normas y Calibración para el Liderazgo Estadounidense en Biología de la Ingeniería), que se evalúan en el Congreso estadounidense. El espaldarazo de la creadora de ChatGPT a las legislaciones supone uno de los apoyos más importantes a las regulaciones, en medio de la creciente preocupación pública por el potencial destructivo de los modelos avanzados de IA. La confirmación se da después que el presidente de Estados Unidos, Donald Trump, calificó como "bulo" la idea de que la IA vaya a destruir la humanidad y criticó a los líderes del sector, entre los que se cuenta el director ejecutivo de OpenAI, Sam Altman, que han reclamado una regulación de esta tecnología. "La idea de que la IA domine el mundo, destruya a la humanidad y cause todo tipo de males es un BULO", escribió el mandatario en su red social Truth Social. La polémica la desató el sábado el director ejecutivo de Anthropic, Dario Amodei, quien publicó un ensayo en el que pedía "un ritmo más lento" para la industria ante los crecientes riesgos de seguridad de la IA. A esa advertencia se sumaron sus rivales Altman, de OpenAI, y Elon Musk, de xAI, en una coincidencia poco habitual en el sector. Trump, en cambio, se opone a regular el sector porque considera que ello retrasaría a Estados Unidos en la competencia con China por el liderazgo tecnológico. "La IA y los centros de datos serán el mayor motor de desarrollo económico de la historia, superior al petróleo, el oro, los diamantes e incluso internet", subrayó el mandatario. En contraste al presidente, el senador progresista Bernie Sanders y Steve Bannon, exestratega de Trump, coincidieron este martes en decir que hay  necesidad de poner límites al desarrollo de la IA. EFE

InfobaeInfobae•Newsroom Infobae15 sept

Nerdearla 2026: llegan a la Argentina referentes de Google DeepMind, Tor y Hugging Face, protagonista de un polémico incidente con OpenAI

La conferencia gratuita reunirá en Buenos Aires a figuras históricas del software abierto y especialistas que trabajan en algunos de los principales desarrollos de inteligencia artificial. Se realizará del 22 al 26 de septiembre en el Konex, con más de 150 charlas y actividades presenciales y online. Cómo inscribirse para asistir gratis.

ClarínClarín•Clarin.com - Home15 sept

OpenAI advierte que la seguridad de la IA podría exigir frenar el desarrollo

La directora financiera de OpenAI, Sarah Friar, afirmó que la empresa podría reducir el ritmo de desarrollo de sus modelos si sus investigadores concluyen que existen riesgos graves. Sus declaraciones llegan mientras líderes de OpenAI, Anthropic y SpaceX reactivan el debate sobre la seguridad de la inteligencia artificial y sus posibles efectos sobre los planes de cotización bursátil.

Diario BitcoinDiario Bitcoin•Canuto15 sept

El cementerio de la IA crece: casos de startups y productos que no lograron sobrevivir

La industria de la inteligencia artificial empieza a mostrar su lado menos glamoroso: proyectos cancelados, startups absorbidas por plataformas mayores y productos que no lograron justificar su existencia. El cierre de Relay y los tropiezos de OpenAI, Apple, Microsoft, Humane, Rabbit, Huxe, Yupp y Figgs AI revelan los costos de competir en un mercado donde la innovación avanza más rápido que la demanda.

Diario BitcoinDiario Bitcoin•Canuto15 sept

OpenAI, Anthropic y Google buscan crear organismo de supervisión de riesgos de IA; sería similar al que regula la industria financiera

OpenAI , Anthropic y Google DeepMind trabajan en la creación de un organismo de supervisión de los riesgos relacionados con la inteligencia artificial (IA), indicó OpenAI a la AFP este martes, en un contexto de crecientes llamamientos a controlar mejor la IA . La idea nació de una propuesta de Demis Hassabis , director general de Google DeepMind antes de convertirse en presidente a principios de agosto, quien sugirió una entidad similar a la Autoridad de Regulación de la Industria Financiera de Estados Unidos (FINRA), un organismo de autorregulación del sector. Te puede interesar: "La IA tiene el potencial de matarnos a todos", afirma exempleado de Google; advierte que se acaba el tiempo para evitarlo "Si la IA no beneficia a la humanidad ni está bajo control, no vale la pena"; CEO de Microsoft cuestiona su desarrollo Donald Trump dice que el único control que necesita la IA es un presidente como él Únete a nuestro canal ¡EL UNIVERSAL ya está en Whatsapp!, desde tu dispositivo móvil entérate de las noticias más relevantes del día, artículos de opinión, entretenimiento, tendencias y más. mcc

El UniversalEl Universal•AFP null15 sept

Cathie Wood respalda frenar la IA y rechaza las advertencias de extinción humana

Cathie Wood respaldó el llamado de líderes de la industria para moderar el desarrollo de capacidades de inteligencia artificial, aunque calificó de ridículas las advertencias sobre una posible extinción humana antes de finalizar la década. Sus declaraciones llegan mientras OpenAI, Anthropic y otros actores enfrentan presión política, volatilidad bursátil y un debate creciente sobre ciberseguridad y regulación.

Diario BitcoinDiario Bitcoin•Canuto15 sept

Salir a bolsa significa publicar pérdidas, deudas y compromisos cada trimestre. OpenAI ha decidido que este no es un buen momento

Sam Altman ha confirmado a Fortune que OpenAI no saldrá a bolsa en 2026 . Según él, "con todo lo que está pasando con la seguridad", ahora sería un momento desaconsejable. Prefiere dedicar el año al alineamiento. Por qué es importante . Salir a bolsa no es solo vender acciones y recaudar. Es un paso que obliga a publicar un informe con pérdidas, compromisos y riesgos, y a repetirlo cada trimestre. OpenAI presentó su S-1 de forma confidencial en junio . Esa vía permite a la SEC (el regulador estadounidense) revisar las cuentas sin que sean públicas hasta poco antes del debut. Mientras siga sin cotizar en bolsa, lo que sabemos de sus números llega por filtraciones que pueden permitirse fallar, no por imperativo legal donde solo cabe la verdad. En cifras : 852.000 millones de dólares de valoración tras una ronda de 122.000 millones cerrada en febrero. 5.700 millones de ingresos y 3.700 millones de caja quemada en el primer trimestre, según documentos para accionistas que publicó The Information . 665.000 millones de quema de caja acumulada prevista hasta 2030, 111.000 millones más que en su previsión anterior . 750.000 millones de gasto en cómputo previsto hasta 2030, según el WSJ , frente a los 600.000 que calculaba en febrero. 2030 es el primer año en que espera ser rentable, según el propio WSJ . En Xataka Las big tech de la IA dicen que hay que frenar para salvar a la humanidad. Lo que no quieren decir es que necesitan oxígeno Entre líneas . No es la primera vez que Altman usa este argumento. En 2023 ya dijo que OpenAI no podía cotizar porque la superinteligencia "exigiría decisiones que el mercado vería muy extrañas ". La diferencia es que entonces OpenAI no necesitaba pasar por la bolsa. Ahora sí la necesita. Su directora financiera, Sarah Friar, lo resumió hace unos meses explicando que los mercados públicos son mucho más grandes que los privados . Dicho de otro modo: hay mucho dinero que ganar sacando la empresa a bolsa que manteniéndola como está ahora. Hay además un problema de relato. Un informe de salida a bolsa tendría que incluir entre los riesgos que la propia empresa pide frenar el desarrollo de su producto. Es un párrafo previsiblemente complicado de escribir para una empresa que promete crecer al ritmo que promete OpenAI. Y que sobre esa promesa ha acumulado inversiones descomunales. El contraste . Anthropic también ha pedido frenar, pero sus cuentas son otras. Según el Financial Times , ha dicho a sus inversores que conseguirá beneficio operativo ajustado por segundo trimestre consecutivo. Y sigue dando pasos hacia su propia salida a bolsa . El discurso de la seguridad es el mismo en las dos empresas, pero la urgencia por no enseñar las cuentas no es la misma. En Xataka OpenAI y Anthropic están intentando hacer con la IA lo que Rockefeller hizo con el petróleo Sí, pero . Nada de esto demuestra que la seguridad sea una excusa. El riesgo de desalineamiento es real, y la dimisión de Jacob Coxon y las advertencias de Amodei hacen creíble ese argumento. Además, OpenAI tiene otros frentes que complican el debut: El enfrentamiento judicial con Apple que ha arrancado este año. Y una estructura empresarial que el propio Altman describe como "increíblemente complicada". Y ahora qué . La salida a bolsa no llegará antes de 2027. Hasta entonces, OpenAI seguirá financiándose en privado y sin tener que hacer públicas sus cuentas. Si la seguridad sigue sin resolverse en 2027, el argumento servirá igual de bien. Si las cuentas mejoran, quizá ya no haga falta. Imagen destacada | Xataka con Magnific En Xataka | Todos quieren frenar la carrera de la IA. Hay un problema: nadie se fía lo suficiente del otro como para ser el primero - La noticia Salir a bolsa significa publicar pérdidas, deudas y compromisos cada trimestre. OpenAI ha decidido que este no es un buen momento fue publicada originalmente en Xataka por Javier Lacort .

XatakaXataka•Javier Lacort15 sept

Seis cofundadores de Anthropic debutan en Forbes 400 con fortunas de USD $15.500 millones

Seis cofundadores de Anthropic debutaron en la Forbes 400 con una fortuna estimada de USD $15.500 millones cada uno, en un año donde la inteligencia artificial dominó el ingreso de nuevos multimillonarios. El crecimiento de Claude, una nueva ronda de financiación y los resultados trimestrales de la empresa explican el salto patrimonial, mientras Anthropic y OpenAI preparan posibles ofertas públicas iniciales.

Diario BitcoinDiario Bitcoin•Canuto15 sept

OpenAI utiliza contratistas para revisar las conversaciones de los usuarios con ChatGPT, según 404Media

Las conversaciones que mantienen los usuarios con los 'chatbots' de OpenAI y Anthropic son posteriormente revisadas por contratistas externos a estas empresas como parte de los trabajos que realizan para ajustar las respuestas que ofrecen sendas inteligencias artificiales (IA). OpenAI ha contratado a cientos de contratistas para que revisen las indicaciones ('prompts') que los usuarios escriben en sus conversaciones con ChatGPT, como informa 404Media, que ha tenido acceso a documentos internos en los que se trata este asunto. El objetivo de esta revisión es mejorar las respuestas que la IA ofrece a los usuarios, principalmente para evitar que ChatGPT adopte durante la conversación características que puedan hacerle parecer humano. También revisan que en sus respuestas la IA no se muestre aduladora, es decir, que no den la razón a los usuarios en todo momento. Este punto es importante, porque los usuarios utilizan los 'chatbots' de IA no solo como herramientas de búsqueda y de productividad, sino también como confidentes, terapeutas o asesores médicos, en busca de consejo para actuar en determinas circunstancias. La adulación puede acabar por influir negativamente en las creencias e intenciones de los usuarios al reafirmarles en su intención de llevar a cabo acciones que son claramente perjudiciales. Las indicaciones que revisan los contratistas proceden de las conversaciones y pueden contener datos sensibles, incluso si no ven el nombre de usuario y se retira la información personal antes de que las conversaciones lleguen a ellos, según indica OpenAI. Anthropic, otra de las empresas más importantes en IA, ha confirmado al medio citado que ellos emplean a revisores humanos para mejorar sus modelos con los usuarios que activan la opción correspondiente, y que eliminan su identificador. Google, por su parte, informa en los términos de servicio de Gemini que emplea a revisores humanos que analizan algunas de las conversaciones para mejorar los modelos de IA. "Evalúan si las respuestas de las aplicaciones de Gemini han sido de baja calidad, erróneas o perjudiciales. También sugieren mejores respuestas", explica. Las conversaciones revisadas se conservan durante un máximo de tres años, pero es posible no participar en esta revisión deshabilitando la opción 'Guardar actividad'. No es el primer caso de una empresa que cede la revisión de las interacciones con su producto de IA a un equipo de humanos. En 2019 se conoció que Amazon, Apple y Google grababan y analizaban las conversaciones que los usuarios tenían con sus respectivos asistentes (Alexa, Siri y Asistente) con el fin de mejorar sus servicios, lo que llevói a cambios en sus políticas y a incorporar la posibilidad de no participar en este proceso.

InfobaeInfobae•Newsroom Infobae15 sept

Qué es y quién está detrás de METR, el organismo que Anthropic propone para supervisar que la IA no sea un peligro para la sociedad

En una carta publicada hace unos días , Dario Amodei abogó por detener el avance de la IA , y además lo hizo dando detalles muy claros de a lo que nos exponemos. Según el CEO de Anthropic, en menos de un año una IA podría tomar el control de todo internet y provocar enormes daños. Pero tranquilos, que tiene un plan para evitarlo, empezando por dar acceso permanente a auditores externos e independientes. Amodei propone uno en concreto: METR. Veamos qué es y quién está detrás de esta organización. Qué es METR . Su nombre son las siglas de Model Evaluation and Threat Research y se define a sí misma como una organización sin ánimo de lucro que  trabaja "para evaluar científicamente si los sistemas de inteligencia artificial podrían suponer un peligro catastrófico para la sociedad". Entre sus trabajos recientes está la investigación del incidente de OpenAI y Hugging Face, pero también se dedican a evaluar cuánto tiempo de trabajo humano puede completar un agente de IA, una métrica que se ha convertido en una referencia a la hora de medir las capacidades de la IA agéntica. Además, diseñan propuestas de gobernanza para que las empresas refuercen sus medidas de seguridad. Es decir, que METR no sólo se centra en evaluar riesgos, también plantean cómo deberían gobernarse los modelos, justo lo que pide Amodei en su carta. El nacimiento de METR . No surgió de la nada, sino que nació a partir de ARC Evals, un equipo dentro del Alignment Research Center, dirigido por Paul Christiano. Christiano es una figura destacada dentro del campo del alineamiento de la IA y había trabajado anteriormente en OpenAI. Para dirigir este nuevo proyecto, contrataron a Beth Barnes, que había pasado por DeepMind y OpenAI, donde había coincidido con Christiano. El equipo creció rápidamente y en 2023 se independizó de ARC para convertirse en METR. "Una amenaza general al trabajo intelectual": las mentes matemáticas más brillantes, contra el modus operandi de la IA El equipo. A día de hoy Beth Barnes sigue al frente de METR como CEO y fundadora, pero no es la única que tiene conexión con los grandes laboratorios de IA. En su plantilla cuentan con varios exingenieros e investigadores de OpenAI,  Anthropic y Google Deepmind. Entre ellos está Joe Benton , que acaba de incorporarse a METR desde Anthropic, y Josh Engels, que venía de DeepMind. Quién p aga la fiesta . METR es una organización sin ánimo de lucro y se financia principalmente mediante donaciones. En agosto de este mismo año anunciaron que habían logrado recaudar 71 millones de dólares en seis meses . METR destaca que no acepta financiación de las compañías de IA a las que evalúa, ni tampoco por parte de empleados de dichos laboratorios. Sin embargo, eso no significa que no aporten nada a su funcionamiento. La organización reconoce que OpenAI, Anthropic, Google DeepMind, Meta y otras empresas le proporcionan acceso a sus modelos y una cantidad significativa de tokens gratuitos para realizar sus evaluaciones. Effective Altruism . Entre los donantes que menciona METR aparecen fundaciones como Sijbrandij Foundation, Schmidt Sciences, Packard Foundation y Pew Charitable Trusts, pero también organizaciones muy vinculadas al movimiento Effective Altruism , como Longview Philanthropy, Effektiv Spenden y el Survival and Flourishing Fund.  El "altruismo eficaz" es un movimiento filosófico y filantrópico que busca identificar las formas más efectivas de utilizar recursos para mejorar el mundo y que, en los últimos años, ha dado un peso importante a la seguridad y los riesgos potenciales de la inteligencia artificial. Como contaban en el New York Times , los Amodei han declarado que no forman parte de esta comunidad, pero Daniela Amodei, hermana de Dario y presidenta de Anthropic, está casada con Holden Karnofsky, uno de los fundadores del movimiento del altruismo eficaz. Esto no significa que los Amodei estén financiando directamente a METR, pero sí que han tenido lazos muy estrechos con una gran parte del ecosistema que los financia. Además, Hjalmar Wijk, científico jefe de METR, y Ajeya Cotra, del equipo técnico, provienen de empresas vinculadas a este movimiento. En Xataka Me he leído el estudio de Anthropic sobre el impacto de la IA en la economía y he llegado a una conclusión: voy a tener que estudiar fontanería Independientes, pero poco . Es lo que sostienen muchas voces críticas del sector. David Sacks, asesor tecnológico de la administración Trump, ha sido muy claro en su cuenta de X : "Dejad de fingir que METR es independiente cuando está entrelazado con los inversores y el personal de Anthropic". En un artículo en Read Multiplex , van incluso más allá, llegando a acusar a METR y Anthropic de intentar orquestar una captura regulatoria que limite a su competencia y, sobre todo, a la IA de código abierto, para crear un oligopolio junto a OpenAI. No hay pruebas de que METR esté actuando al dictado de Anthropic ni de que exista una estrategia coordinada de captura regulatoria. Pero para sus críticos, la cuestión es que están eligiendo como árbitro a una organización que comparte su visión sobre los riesgos de la IA y mantiene vínculos demostrables con la compañía, aunque no exista financiación directa entre ambas. El apocalipsis de la IA . Todo esto sucede en un momento muy concreto en el que el discurso de "la IA nos va a matar a todos" se ha infiltrado en la conversación pública. La chispa que lo encendió todo fue la dimisión de Jacob Coxon, un investigador de Anthropic que también había trabajado para OpenAI. Coxon dijo que estas empresas "están jugando con nuestras vidas" y poco después el responsable de alineamiento de Anthropic le dio la razón, llegando a afirmar que hay un 10% de probabilidades de que la IA acabe con la humanidad en menos de 10 años. Después, Amodei publicó su carta pidiendo frenar los avances en la que, como quien no quiere la cosa, dejaba caer que METR fuera el árbitro que lo supervise todo. Decir que vas a dar acceso total a tus sistemas a una organización externa puede sonar como el acto de mayor transparencia y compromiso con la seguridad. La cuestión es que METR no es un evaluador externo cualquiera, es uno que está formado en parte por exempleados de Anthropic y OpenAI y que comparte su visión sobre los riesgos y alineamiento de la IA. Imagen | METR En Xataka | Llevamos años oyendo que una superinteligencia podría matarnos a todos. Entre “podría” y “nos extinguirá” hay un abismo - La noticia Qué es y quién está detrás de METR, el organismo que Anthropic propone para supervisar que la IA no sea un peligro para la sociedad fue publicada originalmente en Xataka por Amparo Babiloni .

XatakaXataka•Amparo Babiloni15 sept