Módulo 8: Deep Learning con GPUs: Herramientas, aceleración y optimizaciones

Seguimos adelante con la V Edición del Máster en Advanced Analytics on Big Data propio de la UMA y comenzamos la última semana de febrero de 2021 con el Módulo 8: Deep Learning con GPUs y deseando empezar a tener una normalidad absoluta…

Los objetivos de este octavo Módulo de Deep Learning, es aprender a manejar las herramientas más vanguardistas para la implementación de proyectos de Deep Learning de la forma más rápida y eficiente sobre un computador de última generación aprovechando la aceleración en GPU y los recursos de supercomputación existentes en las arquitecturas de Nvidia, fabricante del 75 % de las GPUs del mercado.

Para ello, se pondrá a disposición del alumno de forma gratuita el curso Fundamentals of Deep Learning perteneciente al Deep Learning Institute de Nvidia (DLI), donde podrá poner en práctica todas las técnicas estudiadas sobre GPUs de última generación disponibles en la nube a través de Amazon Web Services. Con ello se pretenden adquirir las siguientes competencias:

• Discriminar los tipos de problemas que pueden resolverse con Deep Learning.
• Implementar flujos de trabajo típicos de Deep Learning, como clasificación de imágenes y detección de objetos, familiarizándose con los elementos esenciales del Deep Learning e interactuando con los procesos de entrenamiento y validación.
• Experimentar con el conjunto de datos, diversos tipos de entrenamiento, los hiper parámetros, la estructura de la red neuronal y una amplia variedad de técnicas que mejoren el rendimiento y las habilidades de las redes neuronales profundas.
• Integrar y desplegar redes neuronales en sus propias aplicaciones para comenzar a resolver problemas complejos del mundo real.

A la conclusión del curso, el alumno tendrá la oportunidad de evaluarse dentro del DLI para lograr la certificación en Deep Learning avalada por la empresa Nvidia, lo que acreditará sus conocimientos para afianzar su carrera profesional y méritos curriculares en este área.

Docentes

Manuel Ujaldón Martínez (ujaldon@uma.es).
Catedrático de Arquitectura de Computadores en la UMA y DLI Ambassador en Nvidia Corporation.

Tutorías Presenciales: Jueves 25 de Febrero y Jueves 4 de Marzo de 16.00 a 18:00. Virtuales (email, foros, chat, Skype): Viernes 26 de Febrero y Viernes 5 de Marzo de 16:00 a 18.00.

Tecnologías

TensorFlow, Keras, Pandas, Numpy, GPUs de última generación de Nvidia, Jupyter notebooks, Amazon Web Services (AWS). Todos estos recursos se encuentran ya instalados, configurados y accesibles a través de la plataforma del DLI de Nvidia, que constituye el eje central de desarrollo para las tareas planificadas a lo largo de este módulo docente.

Distribución Horaria del Módulo

Miércoles, 24 de Febrero
• Clase 1: Arquitectura de la GPU e innovaciones para Deep Learning. Aceleración con GPUs dotadas de miles de cores. [90’]
• Clase 2: Conceptos preliminares de redes neuronales profundas en GPUs. Terminología, tendencias en la industria y retos. [75’]

Jueves, 25 de Febrero
• Clase 1: Aprendizaje supervisado, overfitting. Descripción y resumen de los 20 conceptos clave para Deep Learning. [90’]
• Clase 2: Registro en el DLI y entrada en el curso online. Primera práctica en GPUs: Construir una DNN que reconozca dígitos escritos a mano. Segunda práctica: Construir una DNN para reconocer la lengua de signos. [75’]

Viernes, 26 de Febrero
• Clase 1: Redes Neuronales Convolucionales (CNNs). Tercera práctica: Mejoras convolucionales para mejorar la segunda práctica. [90’]
• Clase 2: Aumento de datos y su despliegue. Cuarta práctica: Implementar el aumento de datos y aplicarlo para mejorar la tercera práctica. [75’]

Miércoles, 3 de Marzo
• Clase 1: Transferencia de aprendizaje. Posibilidades para crecer a partir de modelos ya entrenados aprovechando el estado del arte actual. [90’]
• Clase 2: Quinta práctica: Implementar un sistema aprovechando un modelo ya entrenado y adaptándolo a tus necesidades. [75’]

Jueves, 4 de Marzo
• Clase 1: Arquitecturas avanzadas. Estrategias para mejorar la arquitectura de la red y extender su funcionalidad [90’]
• Clase 2: Práctica 6: Construir un generador automático de titulares del New York Times. [75’]

Viernes, 5 de Marzo
• Clase 1: Evaluación final. Realización del proyecto para lograr la certificación del DLI [90’]
• Clase 2: Celebración de la prueba de examen y revisión final. [75’]

Prerequisitos

Estar familiarizado con los fundamentos de la programación básica, como funciones y variables. Si se ha trabajado con Python, ayuda, pero no es imprescindible. Se utilizarán Jupyter notebooks para la resolución en tiempo real de ejercicios dentro del DLI de Nvidia, cuya plataforma y recursos de computación en la nube se describirán en una breve introducción del módulo. El DLI proporcionará al alumno los vídeos, tutoriales y herramientas para completar su formación, todos ellos de uso intuitivo a través de una sesión personalizada e interactiva que establecerá desde su propio navegador Web. Para ello, el alumno traerá su portátil a clase, cuya idoneidad para el curso deberá verificar en la web http://websocketstest.com de la siguiente forma:

1. Bajo ENVIRONMENT, confirmar que “Websockets” está en el estado “yes”.
2. Bajo WEBSOCKETS (Port 80), confirmar que “Data Receive”, “Send” y “Echo Test” están todos en el estado “yes”.

Una vez validado su portátil, el estudiante deberá entrar en la web del DLI en Nvidia, http://courses.nvidia.com/join, para registrarse como usuario de la plataforma que usaremos a lo largo de todo el módulo, entrando en el curso indicado a través de un código que permite el acceso gratuito de forma exclusiva el día de la celebración de la clase de nuestro Máster.

Procedimiento de evaluación:

Siguiendo el método que articula el Máster para cada uno de sus módulos, la calificación del alumno se calculará de la siguiente forma:

• Actividades obligatorias que suponen el 70 % de la nota. Lograr la certificación del DLI en ”Fundamentals of Deep Learning” entra en esta categoría con un 30 % de la nota, mientras que la prueba tipo test que celebraremos el último día de clase dentro del Campus Virtual de la UMA supone un 40 %.
  
  
• Actividades avanzadas opcionales que suponen el 30 % de la nota. Estas actividades se corresponderán con mejoras realizadas sobre las prácticas que realizaremos dentro del DLI, entre las que se incluyen las siguientes:
  
  1. Optimizaciones de los métodos utilizados y/o su implementación.
  2. Ampliación de la funcionalidad o el abanico de problemas que resuelven o abarcan.
  3. Mejoras de rendimiento durante las fases de entrenamiento y/o inferencia.
  4. Mejoras en la precisión de los modelos.
  
  
• Los challenges de este módulo corresponden a los proyectos adicionales que se proponen al final de cada workshop del DLI, y supondrán un 20 % adicional en la calificación. Se valorarán según la complejidad del proyecto presentado, la originalidad de la idea y la dificultad de su implementación. Para realizar estos proyectos puede utilizarse la misma infraestructura que se ha seguido para llevar a cabo las prácticas dentro de los workshops del DLI. También puede optarse por instalar un contenedor en la máquina local del estudiante. Las instrucciones para llevar a cabo esta instalación se encuentran al final del workshop ”Fundamentals of Deep Learning”, dentro del apartado ”Next Steps”, siendo necesarios los siguientes requisitos software y hardware:
  
  1. Tener instalado un Sistema Operativo Linux, preferiblemente Ubuntu 16.04/18.04 o CentOS 7.
  2. Instalar CUDA 10.0, 10.1 ó 10.2 con un driver compatible para la tarjeta gráfica (recomendamos la versión 418.67).
  3. Disponer de una GPU de Nvidia de la generación Pascal en adelante, esto es, comprada a partir de 2016.
  4. Usar Docker CE v18+ y nvidia-docker v2+