À la suite de ce cours, l’étudiant sera en mesure :

• de reconnaître les concepts fondamentaux de la science des données;
• de reconnaître les défis de l’extensibilité pour les tâches courantes d’apprentissage machine;
• de comprendre comment utiliser des données brutes pour faire l’apprentissage de modèles statistiques;
• de concevoir et implémenter des pipelines distribués d’apprentissage machine.  

Introduction aux données massives (big data). Collection, nettoyage, intégration et entreposage de données massives. Systèmes distribués de stockage et d’analyse en lot. Révision des principaux algorithmes d’apprentissage machine pour classification et régression. Resilient Distributed Datasets (RDDs). Apprentissage machine avec des données structurées, semi-structurées et non-structurées. Apprentissage extensible et distribué. Hiérarchie de calcul, de stockage et de communication. Transformations de primitives. Construction de pipelines d’apprentissage. Évaluation des modèles et réglage des hyper paramètres. Apprentissage machine pour les flux de données. Déviation de concept et détection de nouveauté.

L’étudiant doit maîtriser les concepts de base d’apprentissage machine avant de prendre ce cours (ce cours n’en est pas une d’introduction à l’apprentissage machine).

Les objectifs seront atteints par une combinaison de cours magistraux, de lectures individuelles, de discussions, et d’application des concepts vus en classe lors de six (6) projets dirigés en équipe.

La participation active des étudiants et étudiantes est le premier facteur de succès de ce cours.

1. Introduction. Définitions et concepts de base des données massives (big data). Survol du contenu. Défis et opportunités pour le big data. Configuration d’un environnement de travail pour les données massives. (4h)

2. Collection, nettoyage, intégration et entreposage de données massives. (3h)

3. Systèmes distribués de stockage et d’analyse en lot. L’écosystème Hadoop (SQOOP, Flume, HDFS, HBASE, HIVE, PIG, etc.). (3h)

4. Révision des principaux algorithmes d’apprentissage machine pour classification, régression et règles d’associations. (3h)

5. Resilient Distributed Datasets (RDDs). Le cadriciel Apache Spark pour data analytique (SQL, Streaming, Mllib, GraphX). (4h)

6. Apprentissage machine avec des données structurées, semi-structurées et non-structurées. (3h)

7. Apprentissage extensible et distribué. Hiérarchie de calcul, de stockage et de communication. (6h)

8. Transformations de primitives. Construction de pipelines d’apprentissage machine. (4h)

9. Évaluation des modèles et réglage des hyper paramètres. (3h)

10. Apprentissage machine pour les flux de données. Spark Streaming. (3h)

11. Déviation de concept et détection de nouveauté. (3h)

Ces heures sont des heures approximatives d’enseignement pour chaque sujet.

Projets dirigés (PD) : 30 %

Examen intra : 20 %

Examen final : 50 %

Aucun

• M. Guller. Big Data Analytics with Spark. Apress, 2015.
• J. Dean. Big Data, Data Mining, and Machine Learning, John Wiley & Sons, 2014.
• H. Karau. Fast Data Processing with Spark, Packt Publishing, 2013.
• J. Lerkovec, A. Rajaraman, J. D. Ullman. Mining of Massive Datasets. 2nd Ed. Cambridge University Press, 2014.
• Diverses lectures (par exemple, des articles scientifiques) seront imposées au cours de la session à partir des publications électroniques disponibles à la bibliothèque de l’ÉTS.

Site du cours sur Moodle : http://ena.etsmtl.ca/course/view.php?id=15577

Les étudiantes/étudiants doivent :

1. Avoir un ordinateur avec au moins 8GB de RAM et 30GB d’espace libre en disque;
2. Être à l’aise avec le système d’exploitation Linux (distribution Ubuntu);
3. Être capable d’installer et de configurer des machines virtuelles (VirtualBox);
4. Maitriser la programmation Python 3;
5. Maitriser la programmation SQL;
6. Une solide connaissance des statistiques, des probabilités et de l'algèbre linéaire;
7. Avoir de bonnes connaissances d’apprentissage machine;
8. Avoir de bonnes connaissances en anglais, car tout le matériel didactique est dans cette langue.