Au terme de ce cours, l’étudiant ou l'étudiante aura vu les architectures parallèles modernes, aura acquis et appliqué une méthodologie de conception d’algorithme parallèle ainsi que les techniques d’analyse de performance des systèmes informatique parallèles.

Architectures parallèles modernes : multi-cœurs, multiprocesseurs, grilles de calculs et multi-ordinateurs. Classification de Flynn des architectures parallèles : SIMD, MIMD, MISD et MIMD. Méthodologie de conception d’algorithmes parallèles : partitionnement, communication, agglomération et répartition. Modèles de programmation parallèle : modèle à mémoire partagée, modèle par passage de messages et modèle hybride. Techniques d'analyses quantitatives de programmes parallèles : métriques de performance (temps d’exécution, coût, efficacité, accélération, loi d'Amdahl) et analyse d'extensibilité. Communication interprocessus, problème d’exclusion mutuelle et outils de synchronisation (sémaphores, moniteurs, barrières).

Note sur les préalables :

• le préalable LOG320 concernent les bacs en génie logiciel, en génie des TI et en informatique distribuée;
• le préalable IND100 concerne uniquement le bac en informatique distribuée.

Sensibiliser l'étudiant aux différents aspects de la conception d'algorithmes parallèles et des difficultés posées par le calcul parallèle.

Permettre à l'étudiant d'acquérir les principales techniques de développement parallèle.

Permettre à l'étudiant d'acquérir les notions conceptuelles reliées aux architectures multiprocesseurs et multicoeurs.

Le cours se divise en deux parties, la première sous forme magistrale de trois (3) heures et demie par semaine, pour une durée de treize (13) semaines. L'autre partie se tiendra dans le laboratoire et sera de deux (2) heures par semaine, comprenant douze (12) séances de laboratoire. Elle permettra à l'étudiant de mettre en pratique les concepts vus en classe.

Introduction au traitement parallèle, architecture mathérielle des machines parallèles, classification des architectures parallèles,

Modèles de programmation parallèle, pattrons d'applications de calcul parallèle.

Programmation SIMD sur CPU avec les intrinsèques SIMD et GPU avec Cuda.

Programmation sur mémoire partagée avec les threads POSIX et OpenMP.

Programmation sur mémoire distribuée avec MPI sur communications bilatérales et unilatérales, point-à-point et collectives.

Programmation hybride.

Analyse de performances.

Introduction à des outils de vérification par méthodes formelles.

Les laboratoires sont développés avec les langages C et C++ dans un environnement UNIX/Windows.

L'étudiante ou l'étudiant doit avoir une moyenne d'au moins 50% dans les travaux individuels (examens intra, final, et quizz) afin de réussir le cours. Cette condition est nécessaire, mais non suffisante.

Les deux (2) examens sont en présence. Une calculatrice est permise.

Les trois (3) mini-projets sont réalisés en équipes de deux (2) étudiantes ou étudiants.

Pour les laboratoires, la politique de retard est la suivante :

Retard de moins de 24 heures : perte de 5 % par heure jusqu'à concurrence de 20 %;
Retard de plus de 24 heures, mais moins de 48 heures (inclus) : perte de 40 %;
Retard de plus de 48 heures : perte de 100 %.

Aucune documentation obligatoire.

EIJKHOUT, V,,  The art of HPC, Volume 2: Parallel Programming for Science and Engineering, 2023 https://github.com/VictorEijkhout/TheArtofHPC_pdfs/blob/main/vol2/EijkhoutParallelProgramming.pdf

FOSTER, I., Designing and Building Parallel Programs. Addison-Wesley Publishing Company, 1995.

FOSTER, I., GROPP, W., KENNEDY, K., WHITE, A., DONGARRA, J., FOX, G., TORCZON, L., Sourcebook of Parallel Computing. Morgan Kaufmann, 2003.

QUINN, M.J., Parallel programming in C with MPI and OpenMP. McGraw-Hill, 2004.

LIN, C. & L. SNYDER, Principles of Parallel Programming. Addison-Wesley Publishing Company, 2008.

David B. Kirk, Wen-mei W. Hwu, Programming Massively Parallel Processors, Second Edition: A Hands-on Approach, Morgan Kaufmann; 2 edition, 2012

PACHECO, PETER, An Introduction to Parallel Programming, Morgan Kaufmann; 1 edition, 2011

Matthew Scarpino, OpenCL in Action, Manning Publications Co., 2012

GENGLER, M., UBÉDA, S. et DESPREZ, F., Initiation au parallélisme : Concepts, architectures et algorithmes. Masson, 1996.

COULOURIS, G., DOLLIMORE, J. & KINDBERG, T., Distributes Systems: Concepts and Design. 4th Ed., Addison-Wesley Publishing Company, 2005.

SILBERSCHATZ, A., GALVIN, P.B. et GAGNE, G., Principes des systèmes d'exploitation avec Java. 6^e Ed., Vuibert, 2008.

LEWIS, B. & D.J. BERG, Multithreaded Programming with PThreads. Sun Microsystems, 1998.

Multithreaded Programming Guide. Sun Microsystems Inc., 1994.

SNIR, M., S.O. STEVEN., H.L. DAVID WALKER & J. DONGARRA, MPI: The Complete Reference. The MIT Press, 1996.

GROPP, W., E. LUSK & A. SKJELLUM, Using MPI. The MIT Press, 1999.

GROPP, W., E. LUSK & A. SKJELLUM, Using MPI-2. The MIT Press, 1999.

BLAESS, C.: Programmation système en C sous Linux Signaux, processus, threads, IPC et sockets. Eyrolles. 2005

DESPREZ, F., GENGLER, M, Ubéda, S.: Initiation au parallélisme. Concepts, architectures et algorithmes. Masson. 1996.

ROBEY, R. & ZAMORA, Y.: Parallel and high performance computing. Manning publications. 2021.

TANENBAUM, A.: Architecture de l'ordinateur. Pearson. 2005

Certains documents pertinents au cours (mémos, exercices, solutionnaires, énoncés de laboratoires, fichiers d'exemples, etc.) seront placés régulièrement sur le site Web du cours (Moodle). Il est de la responsabilité de l'étudiant de le consulter.

Site de cours : https://ena.etsmtl.ca/course/view.php?id=19098