Cette section présente le plan de cours prévu. Il est à noter que l'ordre des thématiques abordées et des laboratoires peut changer au cours du trimestre. Référez-vous au site web du cours (Moodle) pour le calendrier à jour. À noter également que les durées pour chacun des sujets sont fournies à titre indicatif seulement.
I. L'APPRENTISSAGE DES RÉSEAUX DE NEURONES PROFONDS
- Introduction aux réseaux de neurones profonds et rappels d'algèbre linéaire et de calcul différentiel. (4 heures)
- Propagation avant, descente de gradient et équations de la rétropropagation. (3 heures)
- Problèmes d'apprentissage : régularisation, fonctions de coût, grands et petits gradients. (3 heures)
II. ASPECTS THÉORIQUES
- Universalité : théorèmes de Cybenko et Hornik. (2 heures)
- Puissance expressive et profondeur : théorèmes de Telgarsky et Eldan-Shamir. (3 heures)
III. RÉDUCTION DE LA DIMENSION
- Analyse en composantes principales, autoencodeurs. Algorithme de Belkin-Niyogi, opérateurs symétriques, plongements et décomposition spectrale. (5 heures)
IV. APPRENTISSAGE GÉOMÉTRIQUE
- Apprentissage non-euclidien : réseaux de convolution, théorie spectrale du graphe-Laplacien, théorie de Fourier. (4 heures)
- Autoencodeurs variationnels: distributions, divergence, théorie de l'information, entropie. (4 heures)
- Apprentissage géométrique : Grilles, Groupes, Graphes et Géodésques (l'approche de Bronstein et al.) (3 heures)
V. MODÈLES AVANCÉS
- Modèles génératifs de diffusion stable (DALL-E, Midjourney). (2 heures)
- Structure mathématique des transformers. (3 heures)
- Sujets divers en lien avec l'apprentissage profond. (3 heures)