El Centro de Estudios Prospectivos de Cuyo (CEP CUYO) difunde el reciente artículo “Large Language Model Reasoning Failures”, publicado en Transactions on Machine Learning Research (2026), que ofrece el primer relevamiento sistemático dedicado exclusivamente a las fallas de razonamiento en los Modelos de Lenguaje de Gran Escala (LLMs).
El trabajo, desarrollado por investigadores de California Institute of Technology, Stanford University y Carleton College, propone una taxonomía integral para clasificar los errores de razonamiento de los modelos de IA, identificando patrones estructurales que afectan su confiabilidad y robustez.
Una taxonomía para comprender las fallas
El estudio introduce un marco conceptual basado en dos ejes:
Tipos de razonamiento
- Razonamiento no incorporado (informal e intuitivo; formal y lógico).
- Razonamiento incorporado (embodied), vinculado a interacción física y espacial.
Tipos de fallas
- Fallas fundamentales (intrínsecas a la arquitectura del modelo).
- Limitaciones específicas de aplicación.
- Problemas de robustez (inestabilidad ante pequeñas variaciones).
Esta clasificación permite integrar investigaciones fragmentadas y ofrece una base para el diseño de evaluaciones más rigurosas.
Principales hallazgos
Entre los resultados más relevantes se destacan:
- Sesgos cognitivos persistentes, similares a los humanos (confirmación, anclaje, efecto de orden).
- Limitaciones en memoria de trabajo y flexibilidad cognitiva, que afectan tareas complejas.
- Dificultades en razonamiento lógico formal, incluyendo composicionalidad y relaciones bidireccionales (reversal curse).
- Fragilidad en matemáticas básicas y conteo, incluso en modelos avanzados.
- Inestabilidad en pruebas de Teoría de la Mente, mostrando debilidades en razonamiento social.
- Problemas en entornos físicos y espaciales, especialmente en contextos tridimensionales y de planificación robótica.
El estudio enfatiza que muchas de estas fallas no son meros errores puntuales, sino vulnerabilidades estructurales derivadas de la arquitectura Transformer y del entrenamiento basado en predicción del siguiente token.
Para acceder al artículo aquí.