Reducir y explicar a BERT. Una nueva técnica de IA verde mejora la eficiencia de los modelos de lenguaje
31 marzo, 2025
- Investigadores de la Universidad de Granada presentan un avance clave en IA verde, reduciendo la huella computacional de BERT sin sacrificar rendimiento.
- El nuevo método PBCE permite reducir en más del 40% el tamaño de BERT, haciendo la inteligencia artificial más accesible y sostenible.
- Este enfoque innovador mejora la explicabilidad de las redes neuronales profundas.
Un equipo de investigadores de la Universidad de Granada ha desarrollado una innovadora metodología para la compresión de modelos de lenguaje basados en BERT. El enfoque, denominado Persistent BERT Compression and Explainability (PBCE), utiliza homología persistente para identificar y eliminar neuronas redundantes, logrando una reducción del tamaño del modelo de hasta un 47% en BERT Base y un 42% en BERT Large sin afectar significativamente la precisión de las tareas de procesamiento del lenguaje natural (NLP).
Los grandes modelos de lenguaje (LLM) como BERT han revolucionado el campo de la inteligencia artificial, pero su elevado consumo de recursos limita su uso en dispositivos con menor capacidad. Además, son esencialmente modelos de caja negra, difíciles de explicar e interpretar. Con PBCE, los investigadores han dado un paso hacia la IA verde, un enfoque que busca mejorar la eficiencia de los modelos sin aumentar su huella de carbono.
“Este método no solo reduce el tamaño del modelo, sino que también mejora la interpretabilidad del comportamiento de las neuronas, acercándonos a redes neuronales más explicables”, explica Luis Balderas, uno de los autores del estudio.
La investigación, publicada en la revista Applied Sciences, demuestra que PBCE logra mantener un alto rendimiento en el GLUE Benchmark, un conjunto de pruebas estándar para evaluar modelos de lenguaje. De hecho, en varias tareas clave, el modelo comprimido incluso supera a la versión original de BERT.
Este avance abre nuevas posibilidades para la implementación de modelos de IA en dispositivos móviles y sistemas con recursos limitados, haciendo la inteligencia artificial más accesible y eficiente.
El Instituto Andaluz Interuniversitario en Ciencia de Datos e Inteligencia Computacional, conocido como Instituto DaSCI, es una entidad de colaboración entre las universidades de Granada, Jaén y Córdoba. Se dedica a la investigación avanzada y la formación en el ámbito de la Inteligencia Artificial, con un enfoque particular en la Ciencia de Datos e Inteligencia Computacional. El instituto reúne a un destacado grupo de investigadores e investigadoras que trabajan en proyectos conjuntos, promoviendo el desarrollo y la aplicación de tecnologías innovadoras en diversos sectores. Con el objetivo de convertirse en un referente en su campo, el DaSCI impulsa la transferencia de conocimiento científico al entorno socioeconómico, contribuyendo así al progreso tecnológico y a la digitalización de la industria. https://dasci.es/es/
Para más información, consulte el estudio completo en: DOI 0.3390/app15010390
Contacto:
- Luis Balderas Ruíz – luisbalru@ugr.es
- Miguel Lastra Leidinger – mlastral@ugr.es
- José Manuel Benítez Sánchez – J.M.Benitez@decsai.ugr.es
Noticia difundida en:
- Universidad de Granada. El enfoque diseñado en la Universidad de Granada reduce el tamaño de BERT, un sistema que usa el aprendizaje automático para procesar el lenguaje natural
- IDEAL. Investigadores de la UGR mejoran la eficiencia de los modelos de lenguaje basados en IA para que se puedan usar en más dispositivos
- Granada Digital. Investigadores de la UGR mejoran la eficiencia del lenguaje basado en IA
- La Noción. Investigadores de la UGR mejoran la eficiencia de los modelos de lenguaje basados en IA para que se puedan usar en más dispositivos
- KISS FM. Optimizan los modelos de IA para hacerlos más eficientes y accesibles