Back to feed
3 sourcesTracking since 9h ago

Tras las advertencias de Anthropic, OpenAI presenta su propio plan para una IA segura

Chronological coverage

  1. Today
  2. Latest1h ago

    Sam Altman apuesta por estándares internacionales de seguridad para la IA; busca mitigar riesgos "catastróficos"

    El consejero delegado de OpenAI , Sam Altman , planteó la necesidad de fijar estándares internacionales de seguridad para la inteligencia artificial ( IA ), y advirtió de los peligros de la dispersión y de la fragmentación normativa que existe en el mundo. Altman ha planteado además que en el ámbito de la IA, y para el establecimiento de esos estándares internacionales de seguridad , se podrían extraer lecciones de áreas como la aviación o las finanzas, donde los países han desarrollado estándares técnicos comunes y canales confiables para la cooperación sin renunciar a la autoridad nacional. Lo hizo en una entrada en la red social X, que enlaza con un artículo que firma junto al científico jefe de la compañía, Jakub Pachocki , que se publicó en la página web de la empresa. En el texto, Sam Altman, quien recientemente abogó por ralentizar el desarrollo de los modelos de vanguardia y por coordinar ese frenazo en coordinación y colaboración con otras empresas, plantea ahora que las personas ajenas a los laboratorios de inteligencia artificial deben tener también participación real en la toma de decisiones para evitar la concentración de poder y garantizar que exista un entorno competitivo. Altman y Pachocki plantean que para asegurar que la inteligencia artificial general beneficie a toda la humanidad hay que perseguir tres metas: desarrollar un investigador de IA automatizado que esté centrado en la alineación y el control humano; generar progreso científico y crecimiento económico ; y empoderar a los individuos con modelos de IA personalizados . Mantienen que el avance tecnológico impulsado por la IA ya está acelerando descubrimientos significativos en áreas clave como las matemáticas y la medicina, y que a medida que los sistemas ganan autonomía y capacidad, resulta indispensable impulsar la investigación de la alineación de los desarrollos tecnológicos con los intereses que se persiguen para mantener esos desarrollos bajo control y acordes a los valores humanos. A medida que la IA asume una mayor proporción de las tareas de desarrollo, surge la posibilidad de acelerar el progreso a través de un proceso que llaman de " auto-mejora recursiva ", pero han alertado de que si ese proceso no se realiza con la debida precaución y bajo decisiones democráticas informadas, existe el riesgo de que los humanos pierdan el control práctico sobre la investigación. Si no existen salvaguardias sólidas, la aceleración de esos procesos de "auto-mejora" podrían derivar en sistemas que resulten incomprensibles para la supervisión humana, volviéndose más peligrosos y menos coherentes , según los responsables de OpenAI. Para mitigar estos riesgos "catastróficos" , consideran fundamental fijar estándares internacionales de seguridad que orienten el rigor técnico de los desarrolladores y sostienen que Estados Unidos debería liderar el establecimiento de estos estándares mediante organismos como el Centro de Estándares e Innovación en Inteligencia Artificial (CAISI, por sus siglas en inglés) de Estados Unidos y en colaboración con los institutos de seguridad que están emergiendo ya en muchos países (citan los casos de Australia, Canadá, Alemania, Francia, Kenia, Japón, Corea, Singapur, la India o el Reino Unido). Los responsables de la empresa citan además como uno de los principales desafíos para la gobernanza de la inteligencia artificial a nivel mundial la dispersión normativa que existe entre los países y la "fragmentación" regulatoria. Te puede interesar: Jefe de la ONU llama a gobernar la IA; "debe ser moldeada por la humanidad y para la humanidad", afirma Trump creará una "fuerza de la IA"; anuncia que habrá un zar de la inteligencia artificial Investigadores hackean OpenAI con inteligencia artificial de Anthropic; detectan vulnerabilidades y acceden a cuentas de ChatGPT Únete a nuestro canal ¡EL UNIVERSAL ya está en Whatsapp!, desde tu dispositivo móvil entérate de las noticias más relevantes del día, artículos de opinión, entretenimiento, tendencias y más. mcc

    El UniversalEl Universal​​​​​​​EFE null
  3. Infobae
    Follow-up2h ago

    Sam Altman (OpenAI) apuesta por fijar estándares internacionales de seguridad para la IA

    Redacción Ciencia, 22 sep (EFE).- El consejero delegado de la empresa OpenAI, Sam Altman, ha planteado la necesidad de fijar estándares internacionales de seguridad para la inteligencia artificial (IA), y ha advertido de los peligros de la dispersión y de la fragmentación normativa que existe en el mundo. Altman ha planteado además que en el ámbito de la IA, y para el establecimiento de esos estándares internacionales de seguridad, se podrían extraer lecciones de áreas como la aviación o las finanzas, donde los países han desarrollado estándares técnicos comunes y canales confiables para la cooperación sin renunciar a la autoridad nacional. Lo ha hecho en una entrada en la red social X, que enlaza con un artículo que firma junto al científico jefe de la compañía, Jakub Pachocki, que se ha publicado en la página web de la empresa. En el texto, Sam Altman, quien recientemente abogó por ralentizar el desarrollo de los modelos de vanguardia y por coordinar ese frenazo en coordinación y colaboración con otras empresas, plantea ahora que las personas ajenas a los laboratorios de inteligencia artificial deben tener también participación real en la toma de decisiones para evitar la concentración de poder y garantizar que exista un entorno competitivo. Altman y Pachocki plantean que para asegurar que la inteligencia artificial general beneficie a toda la humanidad hay que perseguir tres metas: desarrollar un investigador de IA automatizado que esté centrado en la alineación y el control humano; generar progreso científico y crecimiento económico; y empoderar a los individuos con modelos de IA personalizados. Mantienen que el avance tecnológico impulsado por la IA ya está acelerando descubrimientos significativos en áreas clave como las matemáticas y la medicina, y que a medida que los sistemas ganan autonomía y capacidad, resulta indispensable impulsar la investigación de la alineación de los desarrollos tecnológicos con los intereses que se persiguen para mantener esos desarrollos bajo control y acordes a los valores humanos. A medida que la IA asume una mayor proporción de las tareas de desarrollo, surge la posibilidad de acelerar el progreso a través de un proceso que llaman de "auto-mejora recursiva", pero han alertado de que si ese proceso no se realiza con la debida precaución y bajo decisiones democráticas informadas, existe el riesgo de que los humanos pierdan el control práctico sobre la investigación. Si no existen salvaguardias sólidas, la aceleración de esos procesos de "auto-mejora" podrían derivar en sistemas que resulten incomprensibles para la supervisión humana, volviéndose más peligrosos y menos coherentes, según los responsables de OpenAI. Para mitigar estos riesgos "catastróficos", consideran fundamental fijar estándares internacionales de seguridad que orienten el rigor técnico de los desarrolladores y sostienen que Estados Unidos debería liderar el establecimiento de estos estándares mediante organismos como el Centro de Estándares e Innovación en Inteligencia Artificial (CAISI, por sus siglas en inglés) de Estados Unidos y en colaboración con los institutos de seguridad que están emergiendo ya en muchos países (citan los casos de Australia, Canadá, Alemania, Francia, Kenia, Japón, Corea, Singapur, la India o el Reino Unido). Los responsables de la empresa citan además como uno de los principales desafíos para la gobernanza de la inteligencia artificial a nivel mundial la dispersión normativa que existe entre los países y la 'fragmentación' regulatoria.

    InfobaeInfobaeNewsroom Infobae
  4. First seen9h ago

    Tras las advertencias de Anthropic, OpenAI presenta su propio plan para una IA segura

    "Nuestro objetivo es garantizar que la inteligencia artificial (IA) general beneficie a toda la humanidad". Así empieza el artículo titulado "Desarrollar los estándares para la próxima fase de la IA" que publicó ayer mismo OpenAI. Sam Altman, el director general de este laboratorio, y Jakub Pachocki, su científico jefe, se han mostrado preocupados públicamente durante los últimos días por el desarrollo vertiginoso que está experimentando la IA. El artículo titulado "Una mente alienígena" que este último publicó el pasado 6 de septiembre no tiene desperdicio. Sea como sea, algo está cambiando en los principales laboratorios de IA estadounidenses. Hasta hace apenas dos semanas se habían precipitado a una carrera desenfrenada por liderar el desarrollo de los modelos de frontera, y ahora estas mismas corporaciones quieren echar el freno. No obstante, hay algo más. Están empezando a proponer itinerarios que, en teoría, persiguen minimizar los riesgos asociados a la posible llegada de un modelo de IA lo suficientemente avanzado como para poder desarrollar por sí mismo modelos aún más sofisticados. Este concepto se conoce como mejora recursiva . La solución a este escenario propuesta por OpenAI en el artículo que publicó ayer requiere establecer unos estándares técnicos comunes para los modelos de IA de frontera. De esta forma la seguridad, las evaluaciones y la gestión de los incidentes no dependerán únicamente de los laboratorios implicados y los países a los que pertenecen; habrá una supervisión presumiblemente neutral y superior que aprovechará el trabajo que ya están realizando los institutos de seguridad de la IA. El auténtico desafío es proteger el control humano de los modelos de IA El punto de partida de la estrategia que propone OpenAI consiste en encontrar la forma de que el desarrollo de los modelos de frontera esté acompañado por un desarrollo equiparable de la investigación en alineamiento. El propósito del alineamiento es garantizar que los modelos de IA más capaces y autónomos se comportan de acuerdo con los objetivos del ser humano y permanecen en todo momento bajo su supervisión. En este contexto la principal amenaza es, según los laboratorios estadounidenses que se han pronunciado, la automejora recursiva. En Xataka China ha logrado lo que parecía imposible: una batería capaz de seguir funcionando incluso a -70 ºC La automejora recursiva completamente autónoma todavía no existe Si un modelo de frontera adquiere la capacidad de mejorar sus propias habilidades generando nuevas versiones de sí mismo u otros modelos aún más avanzados sin la intervención y la supervisión de sus creadores, el ser humano podría perder el control de su invención. Además, OpenAI advierte que a medida que se incrementa el grado de automatización mayor es también la velocidad de progreso de la IA. No obstante, reconoce que la automejora recursiva completamente autónoma todavía no existe. De hecho, este laboratorio sostiene que esta última capacidad no debe perseguirse hasta que pueda implementarse de una forma segura. La preocupación por el correcto alineamiento de la IA está presente en todo el artículo de OpenAI, pero sus propuestas no se ciñen solo a este desafío. Altman y sus compañeros defienden que es necesario crear un protocolo que identifique aquellos incidentes ocasionados por los modelos de IA de frontera que es preciso notificar a las autoridades. Además, creen que es necesario que los países cooperen para elaborar mecanismos de actuación conjunta ante este escenario. Esta propuesta de OpenAI ha llegado en un momento en el que el debate acerca de la gestión de los riesgos derivados del desarrollo de los sistemas de IA avanzados parece estar alcanzando su punto álgido. Puede que las iniciativas de Anthropic, OpenAI y otros laboratorios estadounidenses no caigan en saco roto y finalmente prosperen, pero no basta. A EEUU probablemente no le va a costar conseguir la complicidad de sus aliados, pero lo más importante es que se alinee en este ámbito con China para que los laboratorios de IA de ambos países estén sometidos a los mismos estándares de seguridad y protocolos de actuación. Y ahora mismo nada parece indicar que este acuerdo sea posible a corto plazo. Imagen | Generada por Xataka con ChatGPT Más información | OpenAI En Xataka | "No confío en que Anthropic y OpenAI abran la IA de frontera": un ingeniero de DeepSeek carga contra EEUU - La noticia Tras las advertencias de Anthropic, OpenAI presenta su propio plan para una IA segura fue publicada originalmente en Xataka por Laura López .

    XatakaXatakaLaura López