Episodio 14: ¡Atención! ¡Atención!
14 diciembre, 2021
#podcast #T2E6
En noviembre de 2021, OpenAI abrió finalmente la API de GPT-3 a todo el mundo. GPT-3 fue una red neuronal para el procesado del lenguaje natural que supuso un antes y después en la calidad de texto generado, y que llamó fuertemente la atención de medios generalistas a finales de 2020. Y sobre atención, el mecanismo subyacente a GPT-3, y transformers, hablaremos con Marco Formoso, investigador predoctoral del instituto DaSCI, en nuestro episodio más navideño hasta la fecha.
Marco Formoso es graduado en Ingeniería Informática y ha realizado el máster en Investigación en Inteligencia Artificial. Después ha trabajado durante seis años en la empresa privada haciendo de todo: gestión y mantenimiento de servidores, desarrollo web, aplicaciones de machine learning y también aplicaciones de visión artificial. Actualmente investigador predoctoral FPI en el grupo BioSip de la Universidad de Málaga, y en el instituto DaSCI. Su investigación se centra en el procesado de electroencefalogramas mediante técnicas de Machine Learning y Deep Learning para el diagnóstico temprano de la dislexia. Algo de lo que ya aprendimos mucho en la conferencia Una orquesta de neuronas, de nuestro podcaster Francisco Jesús Martinez Murcia.
¡Consulta los enlaces de este episodio y escúchalo!
Escucha SintonIA 14 -¡Atención! ¡Atención!» en Spreaker.
Enlaces de interés
- Attention is all you need! https://arxiv.org/abs/1706.03762
- Mi modelito sabanero: https://www.youtube.com/watch?v=1i-gkm9Xt6Q
- Blog Jay Alammar: https://jalammar.github.io
- The Annotated Transformer: https://nlp.seas.harvard.edu/2018/04/03/attention.html
- Hugging Face: https://huggingface.co