Version PDF

Afficher les cours préalables

Afficher les qualités de l'ingénieur

École de technologie supérieure

Responsable(s) de cours :

Marco Pedersoli

PLAN DE COURS

Automne 2024
SYS819 : Apprentissage profond (3 crédits)

Préalables
Aucun préalable requis

Descriptif du cours
Au terme de ce cours, l’étudiante ou l'étudiant sera en mesure de maîtriser les différents types d'architectures neuronales pour l’apprentissage profond et leurs applications ; d’analyser les avantages et les limitations de ces architectures pour une application donnée.

Le cours est divisé en deux parties : la première partie du cours porte sur les architectures neuronales profondes, en particulier l’apprentissage supervisé des réseaux neuronaux convolutifs et récurrents. La deuxième partie du cours porte principalement sur la réduction de la complexité de ces architectures, l’apprentissage de modèles génératifs et l’apprentissage par renforcement.

Apprentissage profond : motivation et vision historique, niveau de supervision, réseaux multicouches, réseaux convolutifs, architectures, comparatives. Entraînement : rétropropagation, descente de gradient, régularisation, augmentation de données. Réseaux récurrents : propagation du gradient, réseaux LSTM, réseaux multi-résolutions, applications. Modèles génératifs : autoencoders, réseaux adversaires génératifs, applications. Apprentissage avec supervision réduite : modèles faiblement supervisés et partiellement supervisés, modèles attentifs, apprentissage curriculaire. Apprentissage par renforcement : processus de décision de Markov, programmation dynamique, différence temporelle, méthodes de Monte-Carlo, applications.

Objectifs du cours

Acquérir des notions avancées sur l’apprentissage profond, notamment l'apprentissage de différents types d'architectures neuronales et leurs applications.

Le cours est divisé en deux parties: la première partie du cours couvrira l’apprentissage supervisé des architectures neuronales profondes, en particulier les réseaux neuronaux convolutionnels et récurrents.

La deuxième partie du cours portera principalement sur l’apprentissage de modèles génératifs, la réducion de calcul et l’apprentissage par renforcement.

Stratégies pédagogiques

33 heures de cours magistral (enseignement théorique)
6 heures de présentations des travaux
5 heures de travail personnel (en moyenne) par semaine

Pour atteindre les objectifs, l’étudiant assistera à des exposés magistraux à raison de 3h par semaine.

L'étudiant sera aussi impliqué dans un projet pratique dans le domaine de l'apprentissage machine.

Utilisation d’appareils électroniques

Les appareils électroniques (iPod Touch, téléphone intelligent, tablette, ordinateur portable) sont permis durant les cours, à des fins pédagogiques uniquement.

Horaire

Groupe	Jour	Heure	Activité
01	Mardi	08:30 - 12:00	Activité de cours

Coordonnées du personnel enseignant le cours

Groupe	Nom	Activité	Courriel	Local	Disponibilité
01	Bassant Selim	Activité de cours	bassant.selim@etsmtl.ca	A-3590

Cours

Le plan de cours prévu se veut complet et ordonnancé chronologiquement, mais certaines modifications peuvent être apportées en cours de session.

Cours et date	Description
S1: 3 Septembre	Introduction à l’Apprentissage Machine Prérequis Organisation du cours Contexte historique Applications
S2: 10 Septembre	Méthodes d’apprentissage Tâches d'apprentissage Types de supervision Fonction de coût Optimisation
S3: 17 Septembre	Réseaux Neuronaux Architecture d’une neurone Réseaux multicouches Rétropropagation
S4: 24 Septembre	Propositions de Projets
S5: 1 Octobre	Entraînement I Gradient stochastique Momentum ADAM, etc.. À remettre: Proposition de projet
S6: 8 Octobre	Entraînement II Régularisation: L1,L2,Dropout... Normalisation du lot (batch normalization) Augmentation des données
S7: 22 Octobre	Réseaux Convolutifs Convolution Pooling Architectures
S8: 29 Octobre	Réseaux récurrents et transformer Réseau récurrent basique LSTM et autres Transformer À remettre: Synthèse de la littérature
S9: 5 Novembre	Détection d’objets et segmentation d’images La famille R-CNN Modèles de segmentation
S10: 12 Novembre	Réduction de la complexité Quantification Réduction de paramètres Régularisation (Sparseness inducing)
S11: 19 Novembre	Modélisation générative Auto-encodeurs Pixel RNN et CNN Réseaux adversaires génératifs
S12: 26 Novembre	Apprentissage par renforcement Introduction Q-learning Policy gradients Acteur-critique
S13: 3 Décembre	Présentation des projets

Laboratoires et travaux pratiques

Dans le cours les étudiants devront développer un projet sur l'étude ou l'évaluation de techniques d'apprentissage machine.

L'évaluation sera effectuée pendant le cours avec 2 présentations orales et 3 remises de travail.

Proposition de projet:

Chaque étudiant devra présenter sa proposition de projet. Avec les commentaires du professeur et des autres étudiants, chaque étudiant devra ainsi préparer une proposition de projet.

Synthèse de la littérature:

Chaque étudiant devra remettre une synthèse de la littérature pertinente au projet.

Étude expérimentale:

Chaque étudiant devra présenter une étude expérimentale développée pendant le cours, avec une évaluation d'une ou plusieurs méthodes d'apprentissage machine. Il aura aussi une remise des résultats de l'étude expérimentale.

Évaluation

Activité	Pondération	Échéance
Présentation de la proposition de projet	10%	S4
Proposition de projet	15%	S5
Synthèse de la littérature	30%	S8
Présentation du projet	15%	S13
Étude expérimentale	30%	S14

Politique de retard des travaux
Tout travail (devoir pratique, rapport de laboratoire, rapport de projet, etc.) remis en retard sans motif valable, c’est-à-dire autre que ceux mentionnés dans le Règlement des études (1er cycle, article 7.2.5/ cycles supérieurs, article 6.5.2) se verra attribuer la note zéro, à moins que d’autres dispositions ne soient communiquées par écrit par l’enseignante ou l’enseignant dans les consignes de chaque travail à remettre ou dans le plan de cours pour l’ensemble des travaux.

Dispositions additionnelles

* Aucun retard ne sera permis pour la remise des travaux. Une pénalité de 10 % par jour ouvrable sera imposée. Les règlements concernant le plagiat, tentative de plagiat et situations connexes seront appliquées.

Absence à une évaluation

Afin de faire valider une absence à une évaluation en vue d’obtenir un examen de compensation, l’étudiante ou l’étudiant doit utiliser le formulaire prévu à cet effet dans son portail MonÉTS pour un examen final qui se déroule durant la période des examens finaux ou pour tout autre élément d’évaluation surveillé de 15% et plus durant la session. Si l’absence concerne un élément d’évaluation de moins de 15% durant la session, l’étudiant ou l’étudiante doit soumettre une demande par écrit à son enseignante ou enseignant.

Toute demande de validation d’absence doit se faire dans les cinq (5) jours ouvrables suivant la tenue de l’évaluation, sauf dans les cas d’une absence pour participation à une activité prévue aux règlements des études où la demande doit être soumise dans les cinq (5) jours ouvrables avant le jour de départ de l’ÉTS pour se rendre à l’activité.

Toute absence non justifiée par un motif majeur (voir articles 7.2.6.1 du RÉPC et 6.5.2 du RÉCS) entraînera l’attribution de la note zéro (0).

Infractions de nature académique
Les clauses du « Règlement sur les infractions de nature académique de l’ÉTS » s’appliquent dans ce cours ainsi que dans tous les cours du département. Les étudiantes et les étudiants doivent consulter le Règlement sur les infractions de nature académique (www.etsmtl.ca/a-propos/gouvernance/secretariat-general/cadre-reglementaire/reglement-sur-les-infractions-de-nature-academique) pour identifier les actes considérés comme étant des infractions de nature académique ainsi que prendre connaissance des sanctions prévues à cet effet. À l’ÉTS, le respect de la propriété intellectuelle est une valeur essentielle et tous les membres de la communauté étudiante sont invités à consulter la page Citer, pas plagier ! (www.etsmtl.ca/Etudiants-actuels/Baccalaureat/Citer-pas-plagier).

Systèmes d’intelligence artificielle générative (SIAG)
L’utilisation des systèmes d’intelligence artificielle générative (SIAG) dans les activités d’évaluation constitue une infraction de nature académique au sens du Règlement sur les infractions de nature académique, sauf si elle est explicitement autorisée par l’enseignante ou l’enseignant du cours.

Documentation obligatoire

Aucune

Ouvrages de références

I. Goodfellow, Y. Bengio, A. Courville. Deep Learning , MIT Press, http://www.deeplearningbook.org.
Zhang, Aston and Lipton, Zachary C. and Li, Mu and Smola, Alexander J., Dive into Deep Learning, Cambridge University Press, https://D2L.ai.
S. Haykin. (2009). Neural Networks and Learning Machines , 3 e éd., Pearson Education.
C. M. Bishop. Pattern Recognition and Machine Learning , Springer.
R. S. Sutton, A. G. Barto. Reinforcement Learning: An Introduction, MIT Press.

Adresse internet du site de cours et autres liens utiles

https://ena.etsmtl.ca/course/view.php?id=13428

Autres informations

Ne s'applique pas.