Una serie de seminarios sobre Inteligencia Artificial y Ciberseguridad, en el marco del proyecto de la Cátedra IAFER, acogerá la conferencia «Interpretación Mecanística de Modelos Lingüísticos: De la Completación de Código Sintáctico al Razonamiento Aritmético«.
La charla estará a cargo de D. Ziyu Yao, Profesor Adjunto del Departamento de Ciencias de la Computación de la Universidad George Mason.
Sesión online: https://oficinavirtual.ugr.es/redes/SOR/SALVEUGR/accesosala.jsp?IDSALA=22999060
Password: 180006
Resumen:
Los modelos de lenguaje (LM) basados en transformadores han mostrado un progreso notable al abordar tareas complejas. Sin embargo, sus rápidos avances conllevan crecientes preocupaciones sobre su seguridad y fiabilidad, derivadas de nuestra limitada comprensión de su funcionamiento interno. En esta charla, compartiré nuestros recientes esfuerzos para desarrollar una comprensión mecanicista de los LM. Primero, presentaré nuestro estudio sobre por qué los LM tienen dificultades con una tarea de compleción de código sintáctico aparentemente simple: la compleción de paréntesis balanceados. Descubrimos que los LM fallan no por la falta de mecanismos fiables para realizar la tarea, sino porque los mecanismos defectuosos en su interior eclipsan a los sólidos. A continuación, compartiré nuestros hallazgos sobre cómo los LM realizan operaciones aritméticas en expresiones como «a + b – c». Sorprendentemente, descubrimos que los LM no resuelven estas ecuaciones de forma compositiva, similar a la humana. En cambio, transfieren toda la información a la última posición del token y se basan en ella para completar el cálculo. Finalmente, concluiré la charla con una breve discusión sobre nuestra visión sobre la interpretación mecanicista de los LM.
Bio:
Ziyu Yao (https://ziyuyao.org/) es profesora adjunta en el Departamento de Ciencias de la Computación de la Universidad George Mason, donde codirige el grupo de PLN de George Mason (https://nlp.cs.gmu.edu/). Trabaja en razonamiento LLM, planificación, interpretabilidad mecanicista e interacción humano-LLM, y ha organizado talleres sobre estos temas en COLM, ACL y NAACL. Recientemente impartió un tutorial sobre interpretabilidad mecanicista de LM en ICML 2025. Su trabajo ha sido financiado por la Fundación Nacional de Ciencias, Virginia CCI y Microsoft, entre otros. Antes de George Mason, se graduó con un doctorado en Ciencias de la Computación e Ingeniería de la Universidad Estatal de Ohio en 2021.
