Resumen: Los cómputos requeridos para la investigación del aprendizaje profundo se han estado duplicando cada pocos meses, lo que resulta en un aumento estimado de 5000x de 2018 a 2022. Esta tendencia ha conducido a un éxito sin precedentes en una serie de tareas de IA. En esta charla hablaré de algunos efectos secundarios preocupantes de esta tendencia, tocando temas como la falta de inclusión dentro de la comunidad investigadora y una huella medioambiental cada vez mayor. A continuación, presentaré la IA ecológica, un enfoque alternativo para ayudar a mitigar estos problemas. La IA ecológica se compone de dos ideas principales: informar más sobre los presupuestos computacionales y hacer de la eficiencia un criterio de evaluación de la investigación junto con la precisión y otras medidas afines. Me centraré en este último tema, analizando varios enfoques recientes para reducir el coste computacional de la IA, algunos basados en reducir el tamaño de la caché LLM, otros en demostrar que los LM más pequeños pueden ser tan precisos como los más grandes. Se trata de un trabajo conjunto con Michael Hassid, Yossi Adi, Matanel Oren, Tal Remez, Jesse Dodge, Noah A. Smith, Oren Etzioni y Jonas Gehring.
Ponente: Roy Schwartz es profesor titular (adjunto) en la Facultad de Informática e Ingeniería de la Universidad Hebrea de Jerusalén (HUJI). Roy estudia el procesamiento del lenguaje natural y la inteligencia artificial. Antes de unirse a HUJI, Roy fue postdoc (2016-2019) y luego científico investigador (2019-2020) en el Allen institute for AI y en The University of Washington, donde trabajó con Noah A. Smith. Roy completó su doctorado en 2016 en HUJI, donde trabajó con Ari Rappoport. El trabajo de Roy ha aparecido en la portada de la revista CACM, y ha aparecido, entre otros, en el New York Times , MIT Tech Review y Forbes.
Grabación: IA verde