Au terme de ce cours, l’étudiant ou l'étudiante sera en mesure de maîtriser et expérimenter les concepts de base de l’apprentissage profond, incluant : différents types d'architectures de réseaux de neurones profonds, leurs applications, et les avantages et limitations de ces architectures; conception et optimisation de modèles pour une application donnée; l’entrainement des réseaux profonds : fonctions de coûts, rétro-propagation, descente de gradient stochastique, régularisation et augmentation des données; réseaux de neurones à convolution; réseaux récurrents; modèles génératifs : auto-encodeurs, réseaux adversaires génératifs; apprentissage faiblement supervisé; robustesse des réseaux profonds et attaques adverses; interprétabilité des réseaux profonds; apprentissage par renforcement.

L'objectif de ce cours est d’acquérir des notions avancées sur l’apprentissage profond, notamment l'apprentissage de différents types d'architectures neuronales et leurs applications.

Le cours est divisé en deux parties:

La première partie du cours couvrira l’apprentissage supervisé des architectures neuronales profondes, en considérant l’apprentissage et l'optimisation de modèles avec des millions de paramètres.

La deuxième partie du cours portera sur l’apprentissage de modèles plus avancés tels que les auto-encodeurs et les modèles autorégressifs et sûr la réduction de calcul et de supervision.

39    heures de cours magistral (enseignement théorique)

26    heures de laboratoire

  3    heures de travail personnel (en moyenne) par semaine

Pour atteindre les objectifs, l’étudiant assistera à des exposés magistraux à raison de 3h par semaine et à des séances de laboratoire (2 h par semaine) durant lesquelles il pourra simuler le fonctionnement de divers modèles d'apprentissage profond appliqués à des problèmes en reconnaissance visuelle et géneration du texte.

Le plan de cours prévu se veut complet et ordonnancé chronologiquement, mais certaines modifications peuvent être apportées en cours de session.

QUIPEMENTS UTILISÉS AU LABORATOIRE :

• PCs
• Logiciels de simulation de réseaux de neurones : python, scikit-learn, jax et pytorch

Aucun retard ne sera permis pour la remise des travaux. Une pénalité de 10% par jour ouvrable sera imposée. Les règlements concernant le plagiat, tentative de plagiat et situations connexes seront appliquées.

Aucune.

• I. Goodfellow, Y. Bengio, A. Courville. Deep Learning , MIT Press, http://www.deeplearningbook.org.
• Simon J.D. Prince, Understanding Deep Learning, MIT Press, https://udlbook.github.io/udlbook/.
• Zhang, Aston and Lipton, Zachary C. and Li, Mu and Smola, Alexander J., Dive into Deep Learning, Cambridge University Press, https://D2L.ai.
• C. M. Bishop.  Pattern Recognition and Machine Learning , Springer.
• R. S. Sutton, A. G. Barto.  Reinforcement Learning: An Introduction, MIT Press.

• Documentation python: https://docs.python.org/3/
• Scikit-learn: https://scikit-learn.org/
• Jax: https://jax.readthedocs.io/
• PyTorch: https://pytorch.org/ et sa documentation https://pytorch.org/docs/stable/index.html#
• Site Internet du cours: https://ena.etsmtl.ca

Pour tout type de probleme envoier un courriel à l'ensegnant ou au chargé de laboratoire.

L'objet du courriel doit toujours commencer par "GPA-710".

Marco Pedersoli (ensegnant)

email: marco.pedersoli@etsmtl.ca

David Latortue (chargé de laboratoire)

email: david.latortue.1@ens.etsmtl.ca