Sujets d'intérêt majeur dans le domaine des technologies de l’information et familiarisation avec les derniers développements technologiques dans un ou plusieurs domaines de pointe. Sujets particuliers dans différentes spécialités du domaine des technologies de l’information. Le sujet proposé peut varier à chaque fois que cette activité est mise à l’horaire.

Cours offerts à la session d'hiver 2023 :

• Apprentissage profond pour la vision par ordinateur

Cours offerts à la session d'été 2023 :

• Aspects mathématiques de l’apprentissage profond

Cours offerts à la session d'automne 2023 :

• Apprentissage profond pour la vision par ordinateur

L'objectif du cours est d'utiliser les mathématiques pour explorer certains aspects du fonctionnement des réseaux de neurones profonds.

Plus précisément, au terme de ce cours, l'étudiant sera notamment en mesure

• De comprendre les fondements du fonctionnement des réseaux de neurones profonds et d'interpréter mathématiquement la mécanique de ceux-ci.
• D'utiliser différents outils mathématiques pour améliorer l'implémentation d'un réseau de neurones.
• D'identifier et de comprendre certains obstacles à l'apprentissage et d'expliquer mathématiquement le fonctionnement de certaines techniques de régularisation.
• De comprendre différents aspects théoriques des réseaux de neurones, notamment leur universalité et le rôle de la profondeur dans l'expressivité.
• De comprendre les fondements de l'apprentissage géométrique et d'identifier les aspects mathématiques à considérer dans la confection d'un réseau qui vise à apprendre sur des espaces non-euclidiens.
• D'expliquer le fonctionnement mathématique de certaines techniques de réduction de la dimension.
• De comprendre les principes probabilistes permettant la réalisation d'un autoencodeur variationnel.
• D'expliquer certains concepts mis de l'avant dans la recherche récente sur l'apprentissage géométrique tel que décrit dans l'article de Bronstein et al. 
• D'expliquer les principes mathématiques qui permettent la conception de larges modèles de language comme ChatGPT.
• De lire certains articles scientifiques de pointe sur la recherche active en deep learning et d'en expliquer les idées principales.

Les thèmes suivants seront abordés :

Rappels d'algèbre linéaire et de calcul différentiel. Structure d'un réseau de neurones, hyperparamètres, activation et propagation avant. Équations de la propagation arrière. Problèmes d'apprentissage, régularisation, fonctions de coût, distance et entropie croisée. Problèmes de grands et petits gradients. Universalité, théorème de Cybenko. Rôle de la profondeur dans la puissance expressive, théorème de Telgarsky. Apprentissage profond géométrique, théorie spectrale du graphe-Laplacien. Réduction de la dimension, analyse en composantes principales. Séparation, astuce du noyau, algorithmes de Belkin-Niyogi. Introduction aux variétés différentielles, espaces et plongements hyperboliques. Éléments de la théorie des probabilités, distributions, théorème de Bayes. Entropie croisée, divergence de Kullback-Liebler, maximum de vraisemblance. Autoencodeurs et autoencodeurs variationnels. Apprentissage géométrique : grilles, groupes, graphes et géodésiques. Transformers. Modèle de diffusion.

Le cours se donne sous forme magistrale (3 heures par semaine) en classe et parfois sur Zoom. Lorsque le cours aura lieu en ligne, les étudiants seront avertis quelques jours d'avance. Les notes de cours seront écrites au tableau (ou au tableau blanc) et du matériel numérique sera également offert au besoin. Un feuillet hebdomadaire d'exercices sera distribué sur Moodle.

Cette section présente le plan de cours prévu. Il est à noter que l'ordre des thématiques abordées et des laboratoires peut changer au cours du trimestre. Référez-vous au site web du cours (Moodle) pour le calendrier à jour. À noter également que les durées pour chacun des sujets sont fournies à titre indicatif seulement. 

I. L'APPRENTISSAGE DES RÉSEAUX DE NEURONES PROFONDS

• Introduction aux réseaux de neurones profonds et rappels d'algèbre linéaire et de calcul différentiel. (4 heures)
• Propagation avant, descente de gradient et équations de la rétropropagation. (3 heures)
• Problèmes d'apprentissage : régularisation, fonctions de coût, grands et petits gradients. (3 heures)

II. ASPECTS THÉORIQUES

• Universalité : théorèmes de Cybenko et Hornik. (2 heures)
• Puissance expressive et profondeur : théorèmes de Telgarsky et Eldan-Shamir. (3 heures)

III. RÉDUCTION DE LA DIMENSION

• Analyse en composantes principales, autoencodeurs. Algorithme de Belkin-Niyogi, opérateurs symétriques, plongements et décomposition spectrale. (5 heures)

IV. APPRENTISSAGE GÉOMÉTRIQUE

• Apprentissage non-euclidien : réseaux de convolution, théorie spectrale du graphe-Laplacien, théorie de Fourier. (4 heures)
• Autoencodeurs variationnels: distributions, divergence, théorie de l'information, entropie. (4 heures)
• Apprentissage géométrique : Grilles, Groupes, Graphes et Géodésques (l'approche de Bronstein et al.) (3 heures)

V. MODÈLES AVANCÉS

• Modèles génératifs de diffusion stable (DALL-E, Midjourney). (2 heures)
• Structure mathématique des transformers. (3 heures)
• Sujets divers en lien avec l'apprentissage profond. (3 heures)

En équipe :

• Travail de session : 40 %

Individuellement (60 %) :

• Examen intra : 15 %
• Examen final : 25 % 
• Présentation individuelle du travail de session : 20 %

Notons que l'examen final est un take home dont les modalités exactes de retour seront annoncées vers la fin de la session.

Les dates de remise des travaux doivent être respectées. Une pénalité de 20 % par jour de retard sera applicable aux travaux qui ne sont pas remis à temps.

Aucune documentation obligatoire. Les notes de cours seront écrites au tableau et sont la seule documentation nécessaire pour le cours.

Livres

• Goodfellow, I., Bengio, Y., Courville, A. and Bengio, Y., 2016. Deep learning (Vol. 1, No. 2). Cambridge: MIT press.
• Nielsen, M.A., 2015. Neural networks and deep learning (Vol. 2018). San Francisco, CA: Determination press.
• Barber, D., 2012. Bayesian reasoning and machine learning. Cambridge University Press.
• Lay, D.C., 2003. Linear algebra and its applications.
• Stewart, J., 2009. Calculus: Concepts and contexts. Cengage Learning.

Articles

• Cybenko, G., 1989. Approximation by superpositions of a sigmoidal function. Mathematics of control, signals and systems, 2(4), pp.303-314.
• Hornik, K., 1991. Approximation capabilities of multilayer feedforward networks. Neural networks, 4(2), pp.251-257.
• Telgarsky, M., 2015. Representation benefits of deep feedforward networks. arXiv preprint arXiv:1509.08101.
• Eldan, R. and Shamir, O., 2016, June. The power of depth for feedforward neural networks. In Conference on learning theory (pp. 907-940).
• Hanin, B., 2018. Which neural net architectures give rise to exploding and vanishing gradients?. In Advances in Neural Information Processing Systems (pp. 582-591).
• Bronstein, M.M., Bruna, J., LeCun, Y., Szlam, A. and Vandergheynst, P., 2017. Geometric deep learning: going beyond euclidean data. IEEE Signal Processing Magazine, 34(4), pp.18-42.
• Belkin, M. and Niyogi, P., 2003. Laplacian eigenmaps for dimensionality reduction and data representation. Neural computation, 15(6), pp.1373-1396.
• Kingma, D.P. and Welling, M., 2019. An introduction to variational autoencoders. arXiv preprint arXiv:1906.02691.
• Creswell, A., White, T., Dumoulin, V., Arulkumaran, K., Sengupta, B. and Bharath, A.A., 2018. Generative adversarial networks: An overview. IEEE Signal Processing Magazine, 35(1), pp.53-65.
• Morizet, N., 2020. Introduction to Generative Adversarial Networks (Doctoral dissertation, Advestis).
• Nickel, M. and Kiela, D., 2017. Poincaré embeddings for learning hierarchical representations. In Advances in neural information processing systems (pp. 6338-6347).
• Mathieu, E., Le Lan, C., Maddison, C.J., Tomioka, R. and Teh, Y.W., 2019. Continuous hierarchical representations with poincaré variational auto-encoders. In Advances in neural information processing systems (pp. 12565-12576).
• Goodfellow, I., 2016. NIPS 2016 tutorial: Generative adversarial networks. arXiv preprint arXiv:1701.00160.

Moodle: https://ena.etsmtl.ca/

Site web de l'enseignant: https://groyfortin.github.io