Limitaciones de los Modelos de Lenguaje en la Distinción entre Creencias y Conocimientos
Los modelos de lenguaje de gran tamaño (LLM) han revolucionado la inteligencia artificial generativa, pero su capacidad para distinguir entre lo que las personas creen y lo que es cierto se encuentra en entredicho. Una investigación reciente liderada por James Zou de la Universidad de Stanford, publicada en “Nature Machine Intelligence”, subraya esta problemática. A medida que los LLM se integran en sectores críticos como la medicina, el derecho y el periodismo, su incapacidad para diferenciar creencias de hechos puede desencadenar errores significativos: diagnósticos equivocados, juicios sesgados o, incluso, la propagación de desinformación. Esto se hace más evidente en el caso de los modelos evaluados, donde se notaron caídas drásticas en la precisión al identificar falsas creencias.
Un aspecto crucial del estudio fue el uso de un nuevo estándar de referencia, conocido como KaBLE, que sometió a evaluación a 24 modelos de lenguaje, incluyendo GPT-4o y DeepSeek R1. Las pruebas consistieron en 13,000 preguntas distribuidas en diversas tareas epistémicas. Los resultados fueron alarmantes. Por ejemplo, el rendimiento de GPT-4o en el reconocimiento de falsas creencias cayó del 98,2% al 64,4%, mientras que el de DeepSeek R1 se desplomó del 90% al 14,4%. Aunque los modelos mostraron alta precisión en confirmar hechos verdaderos, su desempeño se vio gravemente afectado al tratar creencias o afirmaciones sin marcadores claros de certeza.
El impacto de estas limitaciones es particularmente preocupante en contextos sensibles donde la distinción entre creencias y hechos es esencial. Expertos como Pablo Haya Coll, del Instituto de Ingeniería del Conocimiento, advierten que este déficit puede tener consecuencias graves, especialmente en campos como el derecho y la medicina, donde confundir una creencia con un hecho puede llevar a juicios erróneos. La tendencia de los modelos a priorizar su base de conocimientos fácticos por encima de las convicciones de los usuarios podría socavar la eficacia y la empatía en su implementación. La solución podría pasar por entrenar a estos modelos para que sean más cautos y sensibles a las creencias subjetivas, aunque esto podría significar perder algo de fluidez y utilidad en sus respuestas. En última instancia, estos hallazgos revelan la necesidad urgente de abordar las limitaciones de los LLM antes de su despliegue en entornos donde distinguir entre creencias y hechos no es solo relevante, sino crítico.
