Anthropicpágina 13

Organización · 251 artículos
Compartir

Cobertura, página 13

página 13 de 13

Los genios de "lápiz y papel" contra la máquina insaciable: cómo la IA ha cambiado el significado de "ser científico"

El anuncio de OpenAI de la resolución de uno de los problemas más difíciles de las matemáticas ha puesto en guardia a muchos especialistas: esta carrera tecnológica podría estar dañando la propia forma de producir el conocimiento científico Hemeroteca - Una guerra entre IAs amenaza la gloria de dos matemáticos españoles La velocidad a la que las compañías de inteligencia artificial (IA) están resolviendo algunos de los problemas más difíciles de las matemáticas produce asombro y preocupación al mismo tiempo. El anuncio de OpenAI de que ha encontrado una solución al problema de Navier-Stokes , uno de los seis 'Problemas del Milenio', ha disparado el nerviosismo y los rumores entre la comunidad matemática. En redes se habla de que la misma empresa y su competidor, Anthropic, están a punto de resolver otros retos. Como precedente, en mayo, un chatbot de OpenAI refutó una conjetura de hace 80 años del matemático húngaro Paul Erdős . Todas estas hazañas, incluida la de Navier-Stokes, están pendientes de verificación. La última vez —y por ahora la única— que se resolvió uno de los 'Problemas del Milenio', lo logró un ser humano al que rodea un halo de genialidad. Entre 2002 y 2003, el matemático ruso Grigori Perelman demostró la Conjetura de Poincaré , tras trabajar durante años en la más estricta soledad. En contraste, OpenAI desplegó 10.000 agentes de inteligencia artificial que intercambiaron 2,7 millones de mensajes. Solo necesitó 88 horas, pero gastó varios millones de dólares. Perelman renunció a la Medalla Fields y el suculento premio en metálico del Instituto Clay porque prefería atribuir el mérito a sus predecesores; la compañía tecnológica, en cambio, precipitó sus resultados para adelantarse e invisibilizar el trabajo de la competencia y de los dos matemáticos españoles que llevaban tiempo avanzando en el problema. “Yo tengo a Luis” “Nosotros no usamos IA; lo nuestro es lápiz y papel”, confesaba en la noche del martes el matemático español Diego Córdoba (ICMAT) a elDiario.es . Él y su colaborador, Luis Martínez-Zoroa (CUNEF), siguen la vieja escuela de Perelman del trabajo a mano, pero son conscientes de que son una rareza en su disciplina y de que el mundo ha cambiado en los últimos tres años. “Cuando me preguntan: Tú que trabajas compitiendo con los de ChatGPT, con OpenAI, con Claude, ¿qué tienes? Yo les digo: yo tengo a Luis”, bromea. Los matemáticos españoles Luis Martínez-Zoroa y Diego Córdoba. Ante el escándalo de este ninguneo, OpenAI introdujo una referencia , a posteriori, a los trabajos de los españoles en sus resultados , pero su anuncio no ha disparado las alarmas por este gesto ni porque las máquinas hayan superado a los humanos, como en el mítico duelo Kaspárov-Deep Blue . El verdadero problema es que las compañías han entrado en una carrera en la que todo vale y con posibles efectos perniciosos: se pusieron a trabajar a toda velocidad cuando supieron que la competencia estaba cerca de solucionar el problema y existe la sospecha de que usaron la información que el otro equipo de matemáticos introdujo en su herramienta de IA para avanzar. Terence Tao , uno de esos seres humanos excepcionales capaces de romper las barreras de las matemáticas, lo expresaba esta semana con gran claridad en New Scientist : “Así no es como se supone que debe funcionar la ciencia”. El matemático Terence Tao, ganador de la Medalla Fields, lo expresaba con gran claridad: “Así no es como se supone que debe funcionar la ciencia” Para Tao, la forma en que se anuncian estos hallazgos y se “vuelcan” sobre la comunidad matemática podría perjudicar a este campo. En su opinión, se trata de una carrera que no beneficia a nadie (excepto a los departamentos de marketing de las empresas de IA), y produce un atasco, ya que no hay tiempo para absorber los resultados, comprenderlos plenamente y enseñarlos a los estudiantes. “Estas empresas están tirando pilas de carne cruda sobre la mesa de nuestra aldea diciendo: 'Aquí tienen, he resuelto su problema de comida'. Y luego simplemente se van”, dice Tao. El mayor problema de la voracidad de las IA, donde todos los matemáticos y científicos de otros campos están introduciendo sus resultados, no es que la autoría se difumine —saber quién es el descubridor o a quién atribuir el mérito— sino el de quebrar la confianza. Si se extiende la práctica que hemos visto con Navier-Stokes, los matemáticos no harán públicos sus resultados, por miedo a que otros los metan en la máquina y acaben su trabajo con algoritmos más potentes. Esto, advierte Tao, pondrá en peligro la cultura abierta y colaborativa y empujará la investigación a la clandestinidad. “Saber que alguien está trabajando en un problema es ahora información valiosa”, afirma. Si se extiende la práctica, los matemáticos no harán públicos sus resultados, por miedo a que otros los metan en la máquina y acaben su trabajo con algoritmos más potentes Terence Tao y otros 24 ganadores de la medalla Fields han lanzado este mismo viernes un manifiesto en el que reclaman que el uso de la IA preserve la comprensión humana y la trasparencia en la investigación en matemáticas. Antes, la Declaración de Leiden , publicada el 2 de junio de 2026 y respaldada por la Unión Matemática Internacional (IMU), alertaba de posibles problemas con la IA, como la pérdida de atribución a los autores originales y la creciente influencia de las grandes tecnológicas sobre las agendas de investigación. Y recalcaba que el objetivo de las matemáticas no es solo producir teoremas, sino “generar comprensión humana”. Un artículo editorial de PLOS Biology , firmado por Renee Hoch y Joanna Clarke en junio de 2025, advertía de que utilizar IA generativa para propuestas, manuscritos, etc. puede comprometer la confidencialidad y la propiedad intelectual. “Con cualquier dato que compartas en una cuenta personal, puedes suponer que se puede usar para entrenar nuevos sistemas”, decía Aneesh Muppidi , investigador de IA en la Universidad de Stanford en The New York Times . Pero esta circunstancia es temporal. “Esto será un problema durante los próximos seis meses o un año”, apunta con sorna Sanjeev Arora , de la Universidad de Princeton. “Después de eso, la competencia humana tal vez ya no merezca ni siquiera ser considerada”. El gran supervisor La convulsión que ha producido la irrupción de estas voraces inteligencias artificiales se ha extendido al resto de la ciencia. Un estudio reciente , con participación de los expertos en políticas públicas de la Comisión Europea, se planteaba cómo la IA amenaza “los cimientos mismos de la comprensión científica” y está poniendo en cuestión lo que significa “ser científico”. Esta tecnología todopoderosa podría rescatar a la ciencia del estancamiento de la productividad de las últimas décadas, pero también implica el riesgo de limitar el progreso científico, advierten. Luis Martínez-Zoroa (CUNEF) y Diego Córdoba (ICMAT). Además del uso fraudulento, para alimentar granjas de papers o plagiar el trabajo de otros, la IA se ha hecho presente en todas las fases del proceso: desde la formulación de hipótesis hasta la publicación y revisión. A nivel individual, incrementa la productividad de los científicos frente a quienes siguen con los viejos métodos. Aquellos que la utilizan, según un reciente estudio en la revista Nature , publican tres veces más artículos, reciben casi cinco veces más citas y se convierten en líderes de proyectos de investigación 1,37 años antes. Como contrapartida, la adopción de la IA reduce el volumen colectivo de temas científicos estudiados y estrecha el foco de los investigadores produciendo una paradoja: “Una expansión del impacto de los científicos individuales, pero una contracción en el alcance de la ciencia colectiva”. En un análisis publicado esta semana por Science Media Center , Lluis Montoliu , experto en bioética del Centro Nacional de Biotecnología (CNB-CSIC), ponía el acento en el peligro de que la IA se convierta en el gran supervisor de la producción científica. “Más de la mitad de las evaluaciones de papers no han sido realizadas por personas, sino por sistemas de IA”, advierte. Esto puede producir un sesgo sistemático, puesto que la IA es peor generando ideas realmente disruptivas y penaliza propuestas innovadoras. Esto podría llevar a que artículos como el desarrollo de la técnica CRISPR, que valió el Nobel de Química a Jennifer Doudna y Emmanuelle Charpentier, “habría sido bloqueado por una IA al ser demasiado disruptivo e inesperado”, señala. “La automatización de la investigación podría producir eficiencias a corto plazo en términos de resultados a costa de un colapso a largo plazo, debido a que los investigadores dejarían de ser capaces de impulsar la producción de conocimiento más allá de las nuevas fronteras”, escribe Henrik Skaug Sætra en otro artículo . Akhil Bhardwaj , investigador de la Universidad de Bath, identifica el peligro de externalizar la lógica del descubrimiento y dejarlo en manos de la IA y apunta a uno de los problemas: hemos idealizado los momentos “eureka” y el uso de la IA para producir hipótesis y teorías amenaza con robar parte de este “romanticismo” a la ciencia. ¿Nos produciría el mismo placer si supiéramos que ese momento en que se enciende la bombilla lo protagonizara una IA generativa?, se plantea. A pesar de las demostraciones de la IA, algo parece resistirse en la comunidad científica a aceptar que podría ser tan genial o más que las grandes figuras de la ciencia. El científico y divulgador Philip Ball revisaba hace unos días en Nature algunos de los experimentos recientes con modelos de lenguaje “históricos” creados para comprobar si la IA sería capaz de redescubrir la teoría de la relatividad general de Einstein si se le diera la misma información que este manejaba en su época. Y muchos expertos, como el investigador Tom Zahavy , creen que a la máquina le falta un paso, porque se basa en el razonamiento inductivo —la acumulación y promediado estadístico de datos—, y no en el salto creativo que inventa una causa totalmente nueva a partir de anomalías o datos escasos. Seguimos empeñados en adorar a nuestros Perelman de lápiz y papel, pero ¿de verdad estamos seguros de que la siguiente generación de máquinas no será capaz de dar estos saltos? ¿Hacia un agujero negro? En el horizonte está la posibilidad verdaderamente aterradora que apuntaba Arora, de que la IA se ponga a hacer ciencia por su cuenta y ya no nos necesite en absoluto. “En un futuro no muy lejano podría surgir una tercera etapa, en la que sistemas de IA autónomos lleven a cabo sus propias investigaciones y generen conocimiento sin supervisión ni control humanos”, señalan David B. Resnik, Mohammad Hosseini y Rico Hauswald en otro artículo reciente . Esto lleva a otro escenario que algunos han bautizado como el problema de la “caja negra”: la investigación generada por IA puede quedar más allá de la comprensión humana y que no sepamos las causas últimas de los resultados. “¿Qué conocimiento tiene un sistema de diagnóstico que a partir de un montón de datos da un resultado, pero que no podemos decodificar en qué se ha basado realmente?”, se pregunta Joaquín Sevilla , físico y catedrático de la Universidad Pública de Navarra (UPNA), experto en el sistema de publicaciones. “Las redes neuronales producen resultados prácticos espectaculares a veces, pero sin ninguna metacognición: no sabe cómo lo sabe. Es imposible desempaquetar el conocimiento que pone en práctica para generar sus resultados en un formato que suponga significado para los seres humanos”. En las próximas semanas o meses, cientos de matemáticos tendrán que dedicar un esfuerzo monumental para desentrañar y auditar la farragosa propuesta de solución de OpenAI al problema de Navier-Stokes, intentando traducir la densa lógica con la que operan las máquinas al lenguaje de la razón humana. Tal vez llegue el día que sepamos qué es correcto pero se nos escapen los motivos. Si la inteligencia artificial produce diagnósticos o teoremas impecables, pero no puede explicarnos cómo ha llegado a ellos, la ciencia corre el riesgo de adentrarse en un peligroso agujero negro del conocimiento: un escenario donde habremos perdido para siempre la capacidad humana de entender por qué suceden las cosas.

elDiario.eselDiario.esAntonio Martínez Ron11 sept

Anthropic afirma que ha parado posibles intentos de fabricar armas biológicas con ayuda de la IA

La tecnológica Anthropic ha bloqueado varios casos en los que investigadores quisieron utilizar sus modelos de inteligencia artificial (IA) para estudios que podrían haber concluido en posibles armas biológicas. En un informe , en el que describe el uso indebido de sus modelos de IA, la empresa explica que ha decidido actuar contra determinadas consultas dado que no ha logrado determinar si la intención detrás de las investigaciones que usaban su inteligencia artificial era legítima o maliciosa . Según expone Anthropic, existía la posibilidad de contribuir a la creación de patógenos peligrosos, por lo que se decidió proceder con cautela y bloquear directamente estos casos, restringiendo el acceso «a una amplía gama de consultas de investigación biológica de doble uso». «Si bien las evaluaciones son útiles porque aportan pruebas de capacidad, no pueden demostrar de manera concreta que dicha capacidad llegaría a utilizarse para desarrollar armas biológicas en el mundo real», recoge el informe. En el documento, la empresa tecnológica expone hasta cinco casos sospechosos en los que tuvo que «evaluar si un uso biológico determinado es peligroso o no», entre los que por ejemplo destacan «un investigador que pasó semanas planificando experimentos de adaptación de la gripe aviar a mamíferos con Claude» o «uno que creó un atlas de péptidos de veneno y un sistema de optimización generativa de moléculas dirigidas a objetivos paralizantes y analgésicos». «Al detectar e investigar estos casos, suspendimos las cuentas de los usuarios e incorporamos los resultados de nuestra investigación a las medidas de seguridad, la aplicación de la normativa y los procesos de inteligencia sobre amenazas de nuestro modelo de vanguardia, con el fin de prevenir, detectar e interrumpir mejor estas actividades en el futuro», relata Anthropic. La empresa espera que, al compartir estos datos, «se genere un debate dentro de la industria de la IA y con los gobiernos sobre los riesgos biológicos emergentes y la mejor manera de contrarrestarlos»; y admite que «el mal uso biológico es uno de los riesgos más graves de los modelos de la IA de vanguardia (...), preocupando especialmente que «puedan alcanzar un nivel de capacidad que les permita aumentar la peligrosidad de patógenos existentes o incluso crear otros completamente nuevos». «Sin las medidas de seguridad adecuadas, tales capacidades podrían tener consecuencias catastróficas», subraya.

ABCABC(abc)10 sept

Un investigador de Anthropic dimite y alerta de que «la IA podría matarnos a todos al final de esta década»

La inteligencia artificial es capaz de cosas maravillosas. Si se cumplen los mejores vaticinios de las empresas de Silicon Valley, en cuestión de años permitirá que grandes empresas sean controladas por una sola persona y de que la mayor parte de la población viva, directamente, de la riqueza que generan las máquinas sin tener que mover un dedo. Otros, los más pesimistas, alertan del peligro de que, por el camino, esta tecnología se vuelva contra sus creadores y acabe convirtiéndose en una amenaza para la supervivencia de la humanidad . Y Jacob Coxon, investigador de inteligencia artificial de 27 años que, hasta el momento, trabajaba para Anthropic , es uno de ellos. El ingeniero anunció ayer su decisión de renunciar a su puesto en la empresa dirigida por los hermanos Amodei. Así lo compartió a través de una sucesión de tuits en su cuenta personal de X en los que apunta que ni Anthropic, ni OpenAI, firma para la que trabajó anteriormente, «actúan con responsabilidad»: «Están avanzando a toda velocidad hacia la creación de una superinteligencia artificial -algo así como una IA más lista que cualquier humano- capaz de auto mejorarse y jugando con nuestras vidas». Coxon ha alertado de que, dentro de poco, la inteligencia artificial será capaz de «'hackear' cualquier cosa» y «adquirir poder y recursos reales». Espera que el avance vertiginoso de la IA no se frene durante los próximos años y avisa de que todos los que trabajan en este campo son conscientes del riesgo que implica su trabajo: «Quienes desarrollan la IA creen sinceramente que esta podría acabar con todos nosotros para finales de la década». El ingeniero ha querido dejar claro que su publicación «no responde a una estrategia de marketing». A este respecto, destaca que aunque muchos ejecutivos e investigadores «suavizan sus declaraciones en la prensa para que parecer sensatas», él mismo ha escuchado «a esas mismas personas expresar temor» sobre el futuro de la inteligencia artificial. «¿Si realmente creen esto, por qué siguen construyéndola?», se pregunta Coxon. La respuesta la da él mismo: «En OpenAI, muchos no han interiorizado profundamente lo que está en juego para la civilización. En Anthropic, lo que está en juego se entiende bien, pero están inmersos en una carrera por llegar primero; no creen en nada más». En opinión del experto, participar en la carrera por desarrollar la IA a toda prisa es «una apuesta temeraria» que no debería quedar en manos de una empresa privada. A pesar de estas palabras, el extrabajador de Anthropic se ha mostrado «optimista sobre el potencial que tiene la coordinación» para que diferentes empresas lleguen a acuerdos que permitan que los escenarios más catastróficos se produzcan. A este respecto, hace referencia al resultado del incidente de seguridad sufrido este verano por la plataforma Hugging Face, que fue 'hackeada' por varios agentes autónomos de IA desarrollados por OpenAI: «Advertencias como esta han hecho que los acuerdos sobre el ritmo entre laboratorios estadounidenses sean más viables». El ingeniero ha cerrado su publicación haciendo un llamamiento a sus colegas: «Si eres investigador de laboratorio, te insto a que consideres cómo serán realmente los próximos años. ¿Quieres iniciar una fase de aprendizaje por refuerzo superinteligente sin una comprensión rigurosa? ¿Deberías agachar la cabeza porque »va a suceder de todos modos« o aprovechar este momento?». La publicación, realizada a modo de hilo, se ha viralizado en la red social propiedad de Elon Musk, donde en apenas medio día consiguió superar los 60 millones de visualizaciones. Coxon contó con el apoyo de Evan Hubinger, director de uno de los equipos de seguridad de Anthropic, quien respondió a los mensajes con un tuit en el que apuntó que «Jacob tiene razón, aquí -es decir, en Anthropic- realmente creemos con sinceridad que la IA podría matar a todos los humanos». Hubinger matizó que, en su opinión, «el riesgo de los modelos actuales de inteligencia artificial es bajo»; sin embargo, le preocupa lo que puede ocurrir en el futuro si las máquinas consiguen alcanzar la superinteligencia y son capaces de mejorar por sí mismas, sin necesidad de que los humanos las capaciten. Desde su punto de vista, hay algo más de un 10% de posibilidades de que en un futuro las máquinas acaben con la humanidad. Las palabras de Coxon y Hubinger, efectivamente, están alineadas con la postura oficial de Anthropic. Darío Amodei , CEO de la empresa, que se prepara para salir a bolsa en los próximos meses, afirmó en una entrevista hace un año que hay un 25% de posibilidades de que, al final, el desarrollo de la inteligencia artificial acabe saliendo «muy, muy mal». Otros ejecutivos del sector, como Elon Musk , han fijado esa probabilidad en torno al 20%. Mientras tanto, Sundar Pichai , CEO de Google, afirmó en una entrevista realizada el año pasado en el podcast tecnológico de Lex Fridman que aunque es «optimista sobre el desarrollo de escenarios catastróficos» tiene la sensación de que el riesgo subyacente en el desarrollo de la inteligencia artificial «es en realidad bastante alto». Coxon no es el primero que critica a las empresas por desarrollar tecnología potencialmente peligrosa. El investigador Nate Soares , una de las voces que durante los últimos años han alertado con más fuerza sobre los riesgos que encierra el desarrollo de la IA, acusó a estas compañías en una recientemente entrevista con ABC de «asumir el riesgo de destruir el mundo con sus propias manos» actuando de forma »loca e inmoral«. Todo por conseguir beneficios. A pesar de estas advertencias, la mayoría de la comunidad científica es bastante escéptica sobre la posibilidad de que la inteligencia artificial termine convirtiéndose en una amenaza real para la supervivencia de la humanidad. Incluso de que el surgimiento de la superinteligencia -un termino que ni tiene un origen científico ni está bien definido- sea posible. Por ejemplo, Michael I. Jordan , pionero de la IA y actualmente investigador en el INRIA de París afirmaba en conversación con ABC hace un año que se trata, simplemente, de «un término inventado» por las empresas para conseguir «más financiación procedente del capitalismo de riesgo». Otros científicos reconocidos, como el ganador del premio Turing y exjefe de IA de Meta Yan Lecun han calificado el temor a que la IA acabe con la humanidad como «una completa tontería». Los tuits de Coxon y Hubinger llegan apenas unas semanas después de que empresas de inteligencia artificial como OpenAI, Meta o la propia Anthropic reconocieran que algunos de sus modelos de IA más potentes habían logrado 'hackear' a varias empresas reales mientras realizaban pruebas de ciberseguridad. Estos sucesos han provocado que tanto las propias tecnológicas como los gobiernos hayan comenzado a preocuparse más por el potencial riesgo de que, próximamente, esta tecnología convierta la red en un polvorín mediante el desarrollo de ciberataques.

ABCABC(abc)9 sept