Logo ÉTS
Session
Cours
Responsable(s) Eric Paquette

Se connecter
 

Sauvegarde réussie
Echec de sauvegarde
Avertissement
École de technologie supérieure

Responsable(s) de cours : Eric Paquette


PLAN DE COURS

Été 2023
MTI881 : Sujets spéciaux I : technologies de l’information (3 crédits)
Aspects mathématiques de l’apprentissage profond





Préalables
Aucun préalable requis




Descriptif du cours

Sujets d'intérêt majeur dans le domaine des technologies de l’information et familiarisation avec les derniers développements technologiques dans un ou plusieurs domaines de pointe. Sujets particuliers dans différentes spécialités du domaine des technologies de l’information. Le sujet proposé peut varier à chaque fois que cette activité est mise à l’horaire.

Cours offerts à la session d'hiver 2023 :

Cours offerts à la session d'été 2023 :

Cours offerts à la session d'automne 2023 :




Objectifs du cours

L'objectif du cours est d'utiliser les mathématiques pour explorer certains aspects du fonctionnement des réseaux de neurones profonds.


Plus précisément, au terme de ce cours, l'étudiant sera notamment en mesure

  • De comprendre les fondements du fonctionnement des réseaux de neurones profonds et d'interpréter mathématiquement la mécanique de ceux-ci.
  • D'utiliser différents outils mathématiques pour améliorer l'implémentation d'un réseau de neurones.
  • D'identifier et de comprendre certains obstacles à l'apprentissage et d'expliquer mathématiquement le fonctionnement de certaines techniques de régularisation.
  • De comprendre différents aspects théoriques des réseaux de neurones, notamment leur universalité et le rôle de la profondeur dans l'expressivité.
  • De comprendre les fondements de l'apprentissage géométrique et d'identifier les aspects mathématiques à considérer dans la confection d'un réseau qui vise à apprendre sur des espaces non-euclidiens.
  • D'expliquer le fonctionnement mathématique de certaines techniques de réduction de la dimension.
  • De comprendre les principes probabilistes permettant la réalisation d'un autoencodeur variationnel.
  • D'expliquer certains concepts mis de l'avant dans la recherche récente sur l'apprentissage géométrique tel que décrit dans l'article de Bronstein et al. 
  • D'expliquer les principes mathématiques qui permettent la conception de larges modèles de language comme ChatGPT.
  • De lire certains articles scientifiques de pointe sur la recherche active en deep learning et d'en expliquer les idées principales.

 

Les thèmes suivants seront abordés :

Rappels d'algèbre linéaire et de calcul différentiel. Structure d'un réseau de neurones, hyperparamètres, activation et propagation avant. Équations de la propagation arrière. Problèmes d'apprentissage, régularisation, fonctions de coût, distance et entropie croisée. Problèmes de grands et petits gradients. Universalité, théorème de Cybenko. Rôle de la profondeur dans la puissance expressive, théorème de Telgarsky. Apprentissage profond géométrique, théorie spectrale du graphe-Laplacien. Réduction de la dimension, analyse en composantes principales. Séparation, astuce du noyau, algorithmes de Belkin-Niyogi. Introduction aux variétés différentielles, espaces et plongements hyperboliques. Éléments de la théorie des probabilités, distributions, théorème de Bayes. Entropie croisée, divergence de Kullback-Liebler, maximum de vraisemblance. Autoencodeurs et autoencodeurs variationnels. Apprentissage géométrique : grilles, groupes, graphes et géodésiques. Transformers. Modèle de diffusion.




Stratégies pédagogiques

Le cours se donne sous forme magistrale (3 heures par semaine) en classe et parfois sur Zoom. Lorsque le cours aura lieu en ligne, les étudiants seront avertis quelques jours d'avance. Les notes de cours seront écrites au tableau (ou au tableau blanc) et du matériel numérique sera également offert au besoin. Un feuillet hebdomadaire d'exercices sera distribué sur Moodle.

 




Utilisation d’appareils électroniques

Les ordinateurs sont permis lors de l'enseignement magistral. 

Aucun enregistrement (photographie, film ou audio) n'est permis sans permission préalable de l'enseignant.




Horaire
Groupe Jour Heure Activité
01 Jeudi 13:30 - 17:00 Activité de cours



Coordonnées du personnel enseignant le cours
Groupe Nom Activité Courriel Local Disponibilité
01 Guillaume Roy-Fortin Activité de cours Guillaume.Roy-Fortin@etsmtl.ca B-1604



Cours

Cette section présente le plan de cours prévu. Il est à noter que l'ordre des thématiques abordées et des laboratoires peut changer au cours du trimestre. Référez-vous au site web du cours (Moodle) pour le calendrier à jour. À noter également que les durées pour chacun des sujets sont fournies à titre indicatif seulement. 

 

I. L'APPRENTISSAGE DES RÉSEAUX DE NEURONES PROFONDS

  • Introduction aux réseaux de neurones profonds et rappels d'algèbre linéaire et de calcul différentiel. (4 heures)
  • Propagation avant, descente de gradient et équations de la rétropropagation. (3 heures)
  • Problèmes d'apprentissage : régularisation, fonctions de coût, grands et petits gradients. (3 heures)

II. ASPECTS THÉORIQUES

  • Universalité : théorèmes de Cybenko et Hornik. (2 heures)
  • Puissance expressive et profondeur : théorèmes de Telgarsky et Eldan-Shamir. (3 heures)

III. RÉDUCTION DE LA DIMENSION

  • Analyse en composantes principales, autoencodeurs. Algorithme de Belkin-Niyogi, opérateurs symétriques, plongements et décomposition spectrale. (5 heures)

IV. APPRENTISSAGE GÉOMÉTRIQUE

  • Apprentissage non-euclidien : réseaux de convolution, théorie spectrale du graphe-Laplacien, théorie de Fourier. (4 heures)
  • Autoencodeurs variationnels: distributions, divergence, théorie de l'information, entropie. (4 heures)
  • Apprentissage géométrique : Grilles, Groupes, Graphes et Géodésques (l'approche de Bronstein et al.) (3 heures)

V. MODÈLES AVANCÉS

  • Modèles génératifs de diffusion stable (DALL-E, Midjourney). (2 heures)
  • Structure mathématique des transformers. (3 heures)
  • Sujets divers en lien avec l'apprentissage profond. (3 heures)



Laboratoires et travaux pratiques

Projet de session

  • Le projet de session consiste à choisir un article scientifique relié aux thèmes vus dans le cours, de l'explorer et en tirer une présentation qui décrira : le contexte de l'article, les résultats principaux, les applications ainsi que les possibilités de continuation. 
  • Ce projet devra être effectué en équipe de 3 ou 4 et la dernière séance de la session sera consacrée à vos présentations.
  • Les équipes seront libres de choisir un article de leur choix, qui devra être approuvé. Une liste d'articles potentiels parmi lesquels vous pourriez éventuellement choisir vous sera également transmise.
Projet de recherche 40 %
 Proposition (choix de l'article, thème général) 5 % semaine 4
 Revue de littérature (livres, autres articles) 5 % semaine 7
 Rapport écrit 15 % semaine 13
 Présentation 15 % semaine 13

De plus, vous serez évalués individuellement sur ce projet de recherche à la fin de la session, pour obtenir une note qui vaudra pour 20 % de la note finale.




Évaluation

En équipe :

  • Travail de session : 40 %

Individuellement (60 %) :

  • Examen intra : 15 %
  • Examen final : 25 % 
  • Présentation individuelle du travail de session : 20 %

Notons que l'examen final est un take home dont les modalités exactes de retour seront annoncées vers la fin de la session.




Dates des examens intra
Groupe(s) Date
1 15 juin 2023



Politique de retard des travaux
Tout travail (devoir pratique, rapport de laboratoire, rapport de projet, etc.) remis en retard sans motif valable, c’est-à-dire autre que ceux mentionnés dans le Règlement des études (1er cycle, article 7.2.7 b / cycles supérieurs, article 6.5.4 b) se verra attribuer la note zéro, à moins que d’autres dispositions ne soient communiquées par écrit par l’enseignant dans les consignes de chaque travail à remettre ou dans le plan de cours pour l’ensemble des travaux.

Dispositions additionnelles

Les dates de remise des travaux doivent être respectées. Une pénalité de 20 % par jour de retard sera applicable aux travaux qui ne sont pas remis à temps.




Absence à une évaluation
Dans les cinq (5) jours ouvrables suivant la tenue de son examen, l’étudiant devra justifier son absence d’un examen durant le trimestre auprès de la coordonnatrice – Affaires départementales qui en référera au directeur de département. Pour un examen final, l’étudiant devra justifier son absence auprès du Bureau du registraire. Toute absence non justifiée par un motif majeur (maladie certifiée par un billet de médecin, décès d’un parent immédiat ou autre) à un examen entraînera l’attribution de la note (0).



Infractions de nature académique
Les clauses du « Règlement sur les infractions de nature académique de l’ÉTS » s’appliquent dans ce cours ainsi que dans tous les cours du département. Les étudiants doivent consulter le Règlement sur les infractions de nature académique (https://www.etsmtl.ca/docs/ETS/Gouvernance/Secretariat-general/Cadre-reglementaire/Documents/Infractions-nature-academique ) pour identifier les actes considérés comme étant des infractions de nature académique ainsi que prendre connaissance des sanctions prévues à cet effet.  À l’ÉTS, le respect de la propriété intellectuelle est une valeur essentielle et les étudiants sont invités à consulter la page Citer, pas plagier ! (https://www.etsmtl.ca/Etudiants-actuels/Baccalaureat/Citer-pas-plagier).



Documentation obligatoire

Aucune documentation obligatoire. Les notes de cours seront écrites au tableau et sont la seule documentation nécessaire pour le cours.




Ouvrages de références

Livres

  • Goodfellow, I., Bengio, Y., Courville, A. and Bengio, Y., 2016. Deep learning (Vol. 1, No. 2). Cambridge: MIT press.
  • Nielsen, M.A., 2015. Neural networks and deep learning (Vol. 2018). San Francisco, CA: Determination press.
  • Barber, D., 2012. Bayesian reasoning and machine learning. Cambridge University Press.
  • Lay, D.C., 2003. Linear algebra and its applications.
  • Stewart, J., 2009. Calculus: Concepts and contexts. Cengage Learning.

Articles

  • Cybenko, G., 1989. Approximation by superpositions of a sigmoidal function. Mathematics of control, signals and systems2(4), pp.303-314.
  • Hornik, K., 1991. Approximation capabilities of multilayer feedforward networks. Neural networks4(2), pp.251-257.
  • Telgarsky, M., 2015. Representation benefits of deep feedforward networks. arXiv preprint arXiv:1509.08101.
  • Eldan, R. and Shamir, O., 2016, June. The power of depth for feedforward neural networks. In Conference on learning theory (pp. 907-940).
  • Hanin, B., 2018. Which neural net architectures give rise to exploding and vanishing gradients?. In Advances in Neural Information Processing Systems (pp. 582-591).
  • Bronstein, M.M., Bruna, J., LeCun, Y., Szlam, A. and Vandergheynst, P., 2017. Geometric deep learning: going beyond euclidean data. IEEE Signal Processing Magazine34(4), pp.18-42.
  • Belkin, M. and Niyogi, P., 2003. Laplacian eigenmaps for dimensionality reduction and data representation. Neural computation15(6), pp.1373-1396.
  • Kingma, D.P. and Welling, M., 2019. An introduction to variational autoencoders. arXiv preprint arXiv:1906.02691.
  • Creswell, A., White, T., Dumoulin, V., Arulkumaran, K., Sengupta, B. and Bharath, A.A., 2018. Generative adversarial networks: An overview. IEEE Signal Processing Magazine35(1), pp.53-65.
  • Morizet, N., 2020. Introduction to Generative Adversarial Networks (Doctoral dissertation, Advestis).
  • Nickel, M. and Kiela, D., 2017. Poincaré embeddings for learning hierarchical representations. In Advances in neural information processing systems (pp. 6338-6347).
  • Mathieu, E., Le Lan, C., Maddison, C.J., Tomioka, R. and Teh, Y.W., 2019. Continuous hierarchical representations with poincaré variational auto-encoders. In Advances in neural information processing systems (pp. 12565-12576).
  • Goodfellow, I., 2016. NIPS 2016 tutorial: Generative adversarial networks. arXiv preprint arXiv:1701.00160.



Adresse internet du site de cours et autres liens utiles

Moodle: https://ena.etsmtl.ca/

Site web de l'enseignant: https://groyfortin.github.io