À la suite de ce cours, l’étudiant sera en mesure :

• de reconnaître les concepts fondamentaux de la science des données;
• de reconnaître les défis de l’extensibilité pour les tâches courantes d’apprentissage machine;
• de comprendre comment utiliser des données brutes pour faire l’apprentissage de modèles statistiques;
• de concevoir et implémenter des pipelines distribués d’apprentissage machine.  

Introduction aux données massives (big data). Collection, nettoyage, intégration et entreposage de données massives. Systèmes distribués de stockage et d’analyse en lot. Révision des principaux algorithmes d’apprentissage machine pour classification et régression. Resilient Distributed Datasets (RDDs). Apprentissage machine avec des données structurées, semi-structurées et non-structurées. Apprentissage extensible et distribué. Hiérarchie de calcul, de stockage et de communication. Transformations de primitives. Construction de pipelines d’apprentissage. Évaluation des modèles et réglage des hyper paramètres. Apprentissage machine pour les flux de données. Déviation de concept et détection de nouveauté.

L’étudiant doit maîtriser les concepts de base d’apprentissage machine avant de prendre ce cours (ce cours n’en est pas une d’introduction à l’apprentissage machine).

• Mode d'enseignement: H (hybride).

l’activité se donne en partie à distance*, en partie en présence. La présence à l’ÉTS est requise pour certaines séances seulement. Lors d’une séance, le mode d’enseignement est le même pour tous les étudiants et étudiantes. 

• Les objectifs seront atteints par une combinaison de cours magistraux, de lectures individuelles, de discussions, et d’application des concepts vus en classe lors de six (6) projets dirigés en équipe.
• La participation active des étudiants et étudiantes est le premier facteur de succès de ce cours.

1. Introduction. Définitions et concepts de base des données massives (big data). Survol du contenu. Défis et opportunités pour le big data. Configuration d’un environnement de travail pour les données massives. (4h)

2. Collection, nettoyage, intégration et entreposage de données massives. (3h)

3. Systèmes distribués de stockage et d’analyse en lot. L’écosystème Hadoop (SQOOP, Flume, HDFS, HBASE, HIVE, PIG, etc.). (3h)

4. Révision des principaux algorithmes d’apprentissage machine pour classification, régression et règles d’associations. (3h)

5. Resilient Distributed Datasets (RDDs). Le cadriciel Apache Spark pour data analytique (SQL, Streaming, Mllib, GraphX). (4h)

6. Apprentissage machine avec des données structurées, semi-structurées et non-structurées. (3h)

7. Apprentissage extensible et distribué. Hiérarchie de calcul, de stockage et de communication. (6h)

8. Transformations de primitives. Construction de pipelines d’apprentissage machine. (4h)

9. Évaluation des modèles et réglage des hyper paramètres. (3h)

10. Intégration avec des bibliotèques d'apprentissage machine. (3h)

11. Apprentissage machine pour les flux de données. Spark Streaming. (3h)

L'ordre et le contenu peut être modifié en cours de session en fonction de circonstances particulières. Ces heures sont des heures approximatives d’enseignement pour chaque sujet.

Projets dirigés (PD) : 30 %

Examen intra : 30 %

Projet final : 40 %

Afin de faire valider une absence à une évaluation en vue d’obtenir un examen de compensation, l’étudiante ou l’étudiant doit utiliser le formulaire prévu à cet effet dans son portail MonÉTS pour un examen final qui se déroule durant la période des examens finaux ou pour tout autre élément d’évaluation surveillé de 15% et plus durant la session. Si l’absence concerne un élément d’évaluation de moins de 15% durant la session, l’étudiant ou l’étudiante doit soumettre une demande par écrit à son enseignante ou enseignant.

Toute demande de validation d’absence doit se faire dans les cinq (5) jours ouvrables suivant la tenue de l’évaluation, sauf dans les cas d’une absence pour participation à une activité prévue aux règlements des études où la demande doit être soumise dans les cinq (5) jours ouvrables avant le jour de départ de l’ÉTS pour se rendre à l’activité.

Toute absence non justifiée par un motif majeur (voir articles 7.2.6.1 du RÉPC et 6.5.2 du RÉCS) entraînera l’attribution de la note zéro (0).

Aucun

• J.S. Damji, B. Wenig, T. Das, D. Lee. Learning Spark: Lightning-Fast Data Analytics. 2nd Edition. O'Reilly, 2020.
• B. Chambers, M. Zaharia. Spark: The Definitive Guide. O'Reilly, 2018.
• M. Guller. Big Data Analytics with Spark. Apress, 2015.
• J. Dean. Big Data, Data Mining, and Machine Learning, John Wiley & Sons, 2014.
• H. Karau. Fast Data Processing with Spark, Packt Publishing, 2013.
• J. Lerkovec, A. Rajaraman, J. D. Ullman. Mining of Massive Datasets. 2nd Ed. Cambridge University Press, 2014.
• Diverses lectures (par exemple, des articles scientifiques) seront imposées au cours de la session à partir des publications électroniques disponibles à la bibliothèque de l’ÉTS.

Site du cours sur Moodle : http://ena.etsmtl.ca/course/view.php?id=27810 

Les étudiantes/étudiants doivent :

1. Avoir un ordinateur avec au moins 8GB de RAM et 30GB d’espace libre en disque;
2. Être à l’aise avec le système d’exploitation Linux (distribution Ubuntu);
3. Être capable d’installer et de configurer des machines virtuelles (VirtualBox);
4. Maitriser la programmation Python 3;
5. Maitriser la programmation SQL;
6. Une solide connaissance des statistiques, des probabilités et de l'algèbre linéaire;
7. Avoir de bonnes connaissances d’apprentissage machine;
8. Avoir de bonnes connaissances en anglais, car tout le matériel didactique est dans cette langue.