Version PDF

École de technologie supérieure

Responsable(s) de cours :

Alessandro Lameiras Koerich

PLAN DE COURS

Automne 2026
MTI850 : Analytiques des données massives (3 crédits)

Préalables
Aucun préalable requis.

Description du cours
Ce cours présente les concepts pour effectuer une analyse statistique de très grands ensembles de données qui ne tiennent pas sur un seul ordinateur. Ce cours vous permettra développer vos connaissances en analyse de données massives et améliorerez vos compétences en programmation et en mathématiques. Vous apprendrez à utiliser des outils analytiques essentiels pour l’analyse statistique des données massives. Plusieurs problèmes applicatifs seront étudiés et différentes méthodes et outils pour effectuer ce type d’analyse seront étudiés.

À la fin de ce cours, les étudiantes et les étudiants devraient être en mesure de : illustrer et expliquer la nature des systèmes d’analyse de données; appliquer les connaissances en apprentissage machine requise pour concevoir tels systèmes; utiliser les outils appropriés pour valider et évaluer la performance de tels systèmes, combiner narration, code et graphiques pour créer des documents analytiques convaincants; aborder les problèmes de la science des données à grande échelle avec créativité et esprit d’initiative.

Les sujets abordés incluent entre autres : introduction aux données massives (big data). Collection, nettoyage, intégration et entreposage de données massives. Systèmes distribués de stockage et d’analyse en lot. Révision des principaux algorithmes d’apprentissage machine pour classification et régression. Resilient Distributed Datasets (RDD), dataframes et datasets. Apprentissage machine avec des données structurées, semi-structurées et non-structurées. Apprentissage extensible et distribué. Hiérarchie de calcul, de stockage et de communication. Transformations de primitives. Construction de pipelines d’apprentissage. Évaluation des modèles et réglage des hyperparamètres. Apprentissage machine pour les flux de données. Déviation de concept et détection de nouveauté.

Stratégies pédagogiques

L’activité d’enseignement est offerte en mode hybride, combinant des séances en présence et des activités à distance. La présence à l’ÉTS est requise pour certaines séances. Pour une séance donnée, le mode d’enseignement est le même pour l’ensemble des étudiant(e)s.

Les objectifs du cours seront atteints par une combinaison de cours magistraux, de démonstrations, de lectures et d’activités d’apprentissage individuelles, de discussions, d’études de cas, et de travaux pratiques. Les notions présentées en classe seront régulièrement mises en application au moyen d’activités pratiques portant sur la préparation des données, la conception, l’entraînement, l’adaptation et l’évaluation de modèles d’apprentissage automatique.

Les travaux pratiques favoriseront l’apprentissage par expérimentation et permettront aux étudiant(e)s et étudiants de mettre en œuvre différentes approches d’apprentissage automatique, d’analyser leurs résultats et de comparer leurs performances.

Des démonstrations et des exemples pratiques utilisant des outils et bibliothèques modernes d'analytique des données massives permettront de faire le lien entre les concepts théoriques et leur mise en œuvre dans des contextes réels.

La participation active des étudiant(e)s constitue un élément essentiel de la réussite du cours. Elle implique une préparation régulière, une participation aux discussions et aux activités pratiques, ainsi qu’une démarche réflexive lors de l’analyse et de l’interprétation des résultats expérimentaux.

Utilisation d’appareils électroniques

Les étudiant(e)s doivent avoir un ordinateur avec au moins 8GB de RAM et 30GB d’espace libre en disque et être à l’aise avec le système d’exploitation Linux (distribution Ubuntu).

Horaire

Groupe	Jour	Heure	Activité
01	Vendredi	13:30 - 17:00	Activité de cours

Coordonnées du personnel enseignant le cours

Groupe	Nom	Activité	Courriel	Local	Disponibilité
01	Alessandro Lameiras Koerich	Activité de cours	alessandro.lameiras-koerich@etsmtl.ca	A-4487

Cours

1. Introduction à l’analytique des données massives — 3 heures
Définitions, concepts et caractéristiques des données massives. Les dimensions du Big Data : volume, vélocité, variété, véracité et valeur. Défis et opportunités liés à l’exploitation de grandes quantités de données. Architectures d’analytique des données massives. Survol des technologies et des approches utilisées dans le cours. Configuration d’un environnement de développement et d’expérimentation.

2. Gestion et représentation des données massives — 3 heures
Données structurées, semi-structurées et non structurées. Modèles de données et formats de représentation. Stockage distribué. Principes de partitionnement, réplication, tolérance aux pannes et localité des données. Préparation, intégration et transformation des données massives. Enjeux liés à la qualité, à l’intégration et à la gouvernance des données.

3. Stockage distribué et écosystème Hadoop — 3 heures
Principes des systèmes distribués de stockage et de traitement. Architecture Hadoop. Hadoop Distributed File System (HDFS). Stockage et accès aux données à grande échelle. Introduction à l’écosystème Hadoop et à certains de ses outils, notamment Hive, HBase, Sqoop et Flume. Comparaison des approches de stockage et de traitement selon les caractéristiques des données et des applications.

4. Apache Spark et analytique distribuée — 3 heures
Architecture et principes fondamentaux d’Apache Spark. Modèle de calcul distribué. RDD, DataFrame et Dataset. Transformations et actions. Partitionnement, parallélisme et exécution distribuée. Principes de programmation Spark. Comparaison des RDD et des DataFrames. Considérations de performance et d’optimisation.

5. Spark SQL et traitement des données à grande échelle — 3 heures
Interrogation et transformation de données massives avec Spark SQL. Schémas et catalogues. Jointures, agrégations et opérations sur de grands volumes de données. Lecture et écriture de différents formats de données. Intégration de sources de données hétérogènes. Optimisation des requêtes et stratégies de partitionnement.

6. Apprentissage automatique distribué — 3 heures
Principes de l’apprentissage automatique à grande échelle. Distribution des calculs et des données. Régression linéaire et régression par moindres carrés. Descente de gradient distribuée. Communication entre les nœuds et hiérarchies de calcul. Compromis entre calcul, stockage et communication. Évaluation et comparaison de modèles dans un environnement distribué.

7. Classification et traitement des variables catégorielles — 3 heures
Modèles de classification linéaire et régression logistique. Interprétation probabiliste et prédiction. Représentation des variables catégorielles. Encodage One-Hot et Feature Hashing. Préparation des données pour l’apprentissage distribué. Évaluation des modèles de classification et analyse des performances à grande échelle.

8. Recommandation et filtrage collaboratif — 3 heures
Principes des systèmes de recommandation. Données implicites et explicites. Filtrage collaboratif. Modélisation des interactions entre utilisateurs et éléments. Factorisation et méthodes de recommandation à grande échelle. Enjeux de passage à l’échelle, de sparsité et de qualité des recommandations. Évaluation des systèmes de recommandation.

9. Pipelines d’apprentissage automatique avec Spark — 3 heures
Bibliothèques d’apprentissage automatique de Spark. Transformers, Estimators et paramètres. Construction de pipelines d’apprentissage automatique. Prétraitement, extraction de caractéristiques, entraînement et évaluation des modèles. Gestion des expériences et réutilisation des pipelines. Mise en œuvre de chaînes de traitement reproductibles pour l’analytique à grande échelle.

10. Sélection de modèles et optimisation — 3 heures
Sélection de modèles et de caractéristiques. Séparation des données et validation croisée. Sélection et optimisation des hyperparamètres. Recherche systématique et méthodes d’optimisation. Évaluation comparative des modèles. Compromis entre précision, temps de calcul, utilisation des ressources et capacité de passage à l’échelle.

11. Traitement et analytique des flux de données — 3 heures
Définition et caractéristiques des flux de données. Traitement en continu et analytique temps réel. Architectures et systèmes de traitement de flux. Principes de Spark Streaming et de Spark Structured Streaming. Modèle de programmation, sources et destinations de données. Fenêtrage, agrégation et gestion des données arrivant en continu. Applications de l’analytique temps réel.

12. Mise en production et MLOps — 3 heures
Mise en production de modèles d’apprentissage automatique. Cycle de vie MLOps. Gestion des expériences et suivi des modèles. Intégration de MLflow et Spark. Registre des modèles. Déploiement et gestion des versions. Surveillance et suivi des modèles en production. Reproductibilité, automatisation et maintien de la performance des systèmes analytiques.

L’ordre des thèmes et la répartition du contenu peuvent être adaptés en cours de session en fonction de la progression du cours, des besoins pédagogiques, de l’évolution des technologies et de circonstances particulières.

Laboratoires et travaux pratiques

Les projets dirigés, réalisés en classe et en dehors des heures de cours, sont directement associés aux notions théoriques présentées dans les différentes séances. Ils visent à permettre aux étudiant(e)s de mettre en pratique les concepts et les technologies d’analytique des données massives dans des contextes réalistes.

Les projets privilégient une approche expérimentale et appliquée. Les étudiant(e)s devront notamment préparer et intégrer des données, sélectionner des stratégies de stockage et de traitement appropriées, concevoir des traitements distribués, mettre en œuvre des modèles analytiques ou d’apprentissage automatique et analyser les performances obtenues.

Les projets dirigés proposés sont les suivants :

Projet dirigé 1 : Traitement distribué de données textuelles
Mise en œuvre d’un traitement distribué pour l’analyse d’un corpus textuel de grande taille. Extraction, transformation et agrégation de données textuelles, notamment pour le comptage et l’analyse de fréquences. Utilisation du modèle de calcul distribué et analyse de l’impact du partitionnement des données sur les performances.

Projet dirigé 2 : Analyse distribuée de journaux de serveurs Web
Traitement et analyse de fichiers de journaux (logs) provenant de serveurs Web. Extraction d’information, agrégation et détection de tendances à partir de données volumineuses. Utilisation de Spark pour développer un pipeline d’analyse distribué et production d’indicateurs permettant de caractériser l’activité d’un serveur.

Projet dirigé 3 : Prévision à partir de données de capteurs industriels
Analyse d’un ensemble de données provenant de capteurs environnementaux et industriels. Préparation et intégration des données, extraction de caractéristiques et développement de modèles de régression pour prédire la puissance de sortie d’une centrale au gaz naturel. Comparaison de différentes stratégies de modélisation et analyse des performances dans un environnement distribué.

Projet dirigé 4 : Système de recommandation et filtrage collaboratif
Conception d’un système de recommandation à partir de données d’évaluation de films. Mise en œuvre de méthodes de filtrage collaboratif à grande échelle. Analyse des problèmes de sparsité et de passage à l’échelle. Évaluation de la qualité des recommandations et étude de l’impact des paramètres du modèle.

Projet dirigé 5 : Prédiction du taux de clic sur des publicités
Développement d’un modèle de classification pour prédire la probabilité qu’un utilisateur clique sur une publicité. Préparation de données à grande échelle, traitement des variables catégorielles, encodage et apprentissage d’un modèle de régression logistique. Sélection des hyperparamètres et évaluation du modèle à l’aide de mesures appropriées.

Projet dirigé 6 : Régression et comparaison de modèles à grande échelle
Développement d’un modèle de régression pour prédire l’année de sortie d’une chanson à partir de caractéristiques audio. Mise en œuvre d’une approche distribuée, sélection et transformation des variables, entraînement et évaluation de différents modèles. Comparaison des performances prédictives et des coûts de calcul et d’analyse.

Évaluation

Type d'évaluation	Pondération	Modalité	Description	Utilisation de l'IA
Examen intra	30	Individuel	Évaluation individuelle portant sur les concepts, architectures, méthodes et technologies présentés dans la première partie du cours.	Utilisation interdite
Projet de conception	40	En équipe	Réalisation de projets pratiques portant sur les différentes notions abordées dans le cours.	Utilisation limitée
Devoir / exercice / travaux pratiques	30	En équipe	Projet intégrateur portant sur un problème réel d’analytique des données massives. Le projet comprend la préparation et l’intégration des données, la conception d’une architecture de traitement, la mise en œuvre d’une solution distribuée, l’analyse ou la modélisation des données, l’évaluation des performances et l’interprétation des résultats. Une présentation et un rapport technique sont également prévus.	Utilisation limitée

Informations additionnelles :

L’évaluation du cours repose sur des activités pratiques en équipe, une évaluation individuelle et un projet final intégrateur. Elle vise à évaluer à la fois la compréhension des concepts, la capacité à mettre en œuvre des méthodes d’analytique des données massives et l’aptitude à concevoir et à évaluer une solution complète dans un contexte réaliste.

Dates des examens intra

Groupe(s)	Date
1	23 octobre 2026

Politique de retard des travaux
Conformément au Règlement des études de premier cycle (article 7.5.6) et au Règlement des études de cycles supérieurs (article 6.5.6), tout travail (devoir pratique, rapport de laboratoire, rapport de projet, etc.) remis en retard sans motif valable, c’est-à-dire autre que ceux mentionnés à l’article 7.5.5.1 dans le Règlement des études de premier cycle et l’article 6.5.2 dans le Règlement des études de cycles supérieurs, se verra attribuer la note zéro, à moins que d’autres dispositions soient communiquées par écrit par la personne enseignante dans les consignes de chaque travail à remettre ou dans le plan de cours pour l’ensemble des travaux.

Absence à une évaluation

Afin de faire valider une absence à une évaluation en vue d’obtenir un examen de compensation, l’étudiante ou l’étudiant doit utiliser le formulaire prévu à cet effet dans son portail MonÉTS pour un examen final qui se déroule durant la période des examens finaux ou pour tout autre élément d’évaluation surveillé de 15% et plus durant la session. Si l’absence concerne un élément d’évaluation de moins de 15% durant la session, l’étudiant ou l’étudiante doit soumettre une demande par écrit à son enseignante ou enseignant.

Toute demande de validation d’absence doit se faire dans les cinq (5) jours ouvrables suivant la tenue de l’évaluation, sauf dans les cas d’une absence pour participation à une activité prévue aux règlements des études où la demande doit être soumise dans les cinq (5) jours ouvrables avant le jour de départ de l’ÉTS pour se rendre à l’activité.

Toute absence non justifiée par un motif majeur (voir articles 7.2.6.1 du RÉPC et 6.5.2 du RÉCS) entraînera l’attribution de la note zéro (0).

Infractions de nature académique
Les clauses du « Règlement sur les infractions de nature académique de l’ÉTS » s’appliquent dans ce cours ainsi que dans tous les cours du département. Les étudiantes et les étudiants doivent consulter le Règlement sur les infractions de nature académique (www.etsmtl.ca/a-propos/gouvernance/secretariat-general/cadre-reglementaire/reglement-sur-les-infractions-de-nature-academique) pour identifier les actes considérés comme étant des infractions de nature académique ainsi que prendre connaissance des sanctions prévues à cet effet. À l’ÉTS, le respect de la propriété intellectuelle est une valeur essentielle et tous les membres de la communauté étudiante sont invités à consulter la page Citer, pas plagier ! (www.etsmtl.ca/Etudiants-actuels/Baccalaureat/Citer-pas-plagier).

Systèmes d’intelligence artificielle générative (SIAG)
L’utilisation des systèmes d’intelligence artificielle générative (SIAG) dans les activités d’évaluation constitue une infraction de nature académique au sens du Règlement sur les infractions de nature académique, sauf si elle est explicitement autorisée par la personne enseignante du cours ou la personne coordonnatrice dans le cas des stages.

Dispositions additionnelles

Politique d’utilisation de l’intelligence artificielle (IA) dans les projets dirigés (PD) et projet final

L’utilisation d’outils d’IA générative est permise de manière encadrée dans le cadre des projets. Elle doit être judicieuse, transparente et contribuer à l’apprentissage de l’étudiant(e), sans se substituer à son raisonnement, à son travail d’analyse ou à sa capacité à concevoir et à mettre en oeuvre des solutions d’analytique des données. Les outils d’IA peuvent notamment être utilisés pour :

obtenir des explications ou des clarifications sur une notion abordée dans le cours;
explorer différentes approches ou méthodes; obtenir de l’aide pour comprendre un message d’erreur ou déboguer un programme;
améliorer ou corriger la syntaxe d’un code que l’étudiant(e) a lui-même développé;
suggérer des pistes pour résoudre un problème, lorsque celles-ci sont ensuite analysées et validées par l’étudiant(e);
améliorer la formulation ou la documentation d’un travail.

Ill est interdit de demander à un outil d’IA de réaliser un projet de bout en bout, notamment de lui fournir l’énoncé complet du projet afin qu’il produise directement la solution, le code, l’analyse et les conclusions qui seront remis pour évaluation. L’étudiant(e) doit demeurer l’auteur(e) de la démarche de résolution, de la conception des modèles, de l’expérimentation et de l’interprétation des résultats.

Toute utilisation substantielle d’un outil d’IA doit être déclarée de façon transparente dans les projets. Pour chaque outil utilisé, l’étudiant(e) doit indiquer :

le nom de l’outil d’IA utilisé et, lorsque pertinent, sa version; la nature de son utilisation et la contribution de l’outil au travail réalisé;
les prompts ou requêtes utilisés, lorsque ceux-ci ont contribué de manière significative à la réalisation du projet;
les modifications, vérifications ou validations effectuées par l’étudiant(e) à la suite des réponses obtenues de l’IA.

Une courte section intitulée « Déclaration d’utilisation de l’IA » devra être incluse dans les projets lorsque des outils d’IA ont été utilisés. L’étudiant(e) demeure entièrement responsable de l’exactitude, de la qualité et de la compréhension du contenu remis, y compris du code produit ou modifié avec l’aide d’un outil d’IA.

L’utilisation non déclarée d’un outil d’IA, la présentation comme étant entièrement personnel d’un travail substantiellement produit par une IA, ou l’utilisation de l’IA pour réaliser un projet de bout en bout pourra être considérée comme une infraction aux règles d’intégrité académique, conformément aux politiques institutionnelles applicables.

L’objectif de cette politique n’est pas d’interdire l’utilisation des outils d’IA, mais de favoriser leur utilisation comme outils d’assistance à l’apprentissage, tout en développant chez l’étudiant(e) les compétences essentielles en analyse, programmation, expérimentation, résolution de problèmes et conception de systèmes d’analytique des donnees.

Documentation obligatoire

La documentation technique officielle des plateformes utilisées dans le cours constitue la documentation obligatoire. Les étudiant(e)s doivent consulter régulièrement les ressources suivantes pour la réalisation des projets dirigés et du projet final :

Apache Hadoop. Documentation officielle portant notamment sur HDFS, les systèmes distribués de stockage et l’écosystème Hadoop.
Apache Spark. Documentation officielle portant notamment sur Spark Core, RDD, DataFrames, Spark SQL, Structured Streaming et les bibliothèques d’apprentissage automatique.

Ouvrages de références

J.S. Damji, B. Wenig, T. Das, D. Lee. Learning Spark: Lightning-Fast Data Analytics. 2nd Edition. O'Reilly, 2020.
B. Chambers, M. Zaharia. Spark: The Definitive Guide. O'Reilly, 2018.
M. Guller. Big Data Analytics with Spark. Apress, 2015.
J. Dean. Big Data, Data Mining, and Machine Learning, John Wiley & Sons, 2014.
H. Karau. Fast Data Processing with Spark, Packt Publishing, 2013.
J. Lerkovec, A. Rajaraman, J. D. Ullman. Mining of Massive Datasets. 2nd Ed. Cambridge University Press, 2014.
White, T. Hadoop: The Definitive Guide. O’Reilly Media.

Adresse internet du site de cours et autres liens utiles

Site du cours sur Moodle : http://ena.etsmtl.ca/course/view.php?id=31090

Autres informations

Les étudiantes et étudiants doivent :

disposer d’un ordinateur avec au moins 8 Go de mémoire vive (RAM) et 30 Go d’espace disque libre;
être à l’aise avec le système d’exploitation Linux, notamment la distribution Ubuntu;
être capables d’installer, de configurer et d’utiliser des machines virtuelles, notamment à l’aide de VirtualBox;
maîtriser la programmation en Python 3;
maîtriser les notions de base de programmation en SQL;
posséder de solides connaissances en statistiques, en probabilités et en algèbre linéaire;
posséder de bonnes connaissances en apprentissage automatique;
posséder une bonne compréhension de l’anglais, puisque le matériel pédagogique et la documentation technique utilisés dans le cours sont principalement en anglais.