El Consenso de Singapur 2025 establece prioridades globales para la investigación en seguridad de la inteligencia artificial
En un esfuerzo inédito de colaboración internacional, más de 100 científicos, responsables políticos y representantes de la sociedad civil de 11 países se reunieron en la Conferencia Internacional de Intercambio Científico sobre Seguridad en IA (SCAI 2025) para establecer un marco común: el Singapore Consensus on Global AI Safety Research Priorities.
El documento sintetiza las principales áreas de investigación técnica necesarias para construir un ecosistema de IA seguro, confiable y centrado en el bienestar colectivo.
Un modelo integral de seguridad: evaluación, desarrollo y control
El consenso adopta un enfoque de defensa en profundidad, estructurado en tres ejes complementarios:
- Evaluación de riesgos (Risk Assessment): desarrollo de auditorías, infraestructuras de evaluación seguras, análisis de capacidades peligrosas y estudios prospectivos sobre impactos sociales de los sistemas de IA.
- Desarrollo de sistemas confiables (Development): diseño de modelos con garantías verificables, técnicas de entrenamiento robusto, especificación ética del comportamiento de los agentes y prevención de capacidades riesgosas.
- Monitoreo e intervención (Control): implementación de sistemas de supervisión continua, fortalecimiento de la resiliencia social ante disrupciones tecnológicas y mecanismos de control en ecosistemas complejos de IA.
Cooperación global más allá de la competencia
El documento enfatiza áreas de interés mutuo donde la cooperación entre empresas, gobiernos y comunidades es beneficiosa, como la estandarización de umbrales de riesgo, infraestructuras compartidas de evaluación o metodologías para mitigar capacidades de uso malicioso. Se inspira en precedentes de colaboración en industrias de alto riesgo, como la aviación.
Firmado por referentes de la comunidad global en IA
Entre los principales impulsores del consenso figuran expertos de instituciones como UC Berkeley, MIT, Tsinghua University, MILA, Oxford, Microsoft Research, DeepMind, OpenAI y el Future of Life Institute, con participación destacada de Yoshua Bengio, Max Tegmark y Stuart Russell, entre muchos otros.
El Consenso de Singapur complementa y expande las recomendaciones del International AI Safety Report presentado en abril de 2025, consolidando una agenda científica internacional para anticipar y mitigar los riesgos emergentes de la IA general y sus aplicaciones autónomas.
Acceso al documento completo aquí.