Sensibiliser l'étudiant aux différents aspects de la conception d'algorithmes parallèles et des difficultés posées par le calcul parallèle.

Permettre à l'étudiant d'acquérir les principales techniques de développement parallèle.

Permettre à l'étudiant d'acquérir les notions conceptuelles reliées aux architectures multiprocesseurs et multicoeurs.

Le cours se divise en deux parties, la première sous forme magistrale de trois (3) heures et demie par semaine, pour une durée de treize (13) semaines. L'autre partie se tiendra dans le laboratoire et sera de deux (2) heures par semaine, comprenant douze (12) séances de laboratoire. Elle permettra à l'étudiant de mettre en pratique les concepts vus en classe.

Introduction au traitement parallèle, architecture matérielle des machines parallèles, classification des architectures parallèles,

Modèles de programmation parallèle, pattrons d'applications de calcul parallèle.

Programmation SIMD sur CPU avec les intrinsèques SIMD et GPU avec Cuda.

Programmation sur mémoire partagée avec les threads POSIX et OpenMP.

Programmation sur mémoire distribuée avec MPI sur communications bilatérales et unilatérales, point-à-point et collectives.

Programmation hybride.

Analyse de performances.

Introduction à des outils de vérification par méthodes formelles.

Les laboratoires sont développés avec les langages C et C++ dans un environnement UNIX/Windows.

Les laboratoires seront effectués individuellement et en présence.

Les trois (3) examens et les quiz sont en présence. Une calculatrice est permise.

Pour les laboratoires, la politique de retard est la suivante :

Retard de moins de 24 heures : perte de 5 % par heure jusqu'à concurrence de 20 %;
Retard de plus de 24 heures, mais moins de 48 heures (inclus) : perte de 40 %;
Retard de plus de 48 heures : perte de 100 %.

Afin de faire valider une absence à une évaluation en vue d’obtenir un examen de compensation, l’étudiante ou l’étudiant doit utiliser le formulaire prévu à cet effet dans son portail MonÉTS pour un examen final qui se déroule durant la période des examens finaux ou pour tout autre élément d’évaluation surveillé de 15% et plus durant la session. Si l’absence concerne un élément d’évaluation de moins de 15% durant la session, l’étudiant ou l’étudiante doit soumettre une demande par écrit à son enseignante ou enseignant.

Toute demande de validation d’absence doit se faire dans les cinq (5) jours ouvrables suivant la tenue de l’évaluation, sauf dans les cas d’une absence pour participation à une activité prévue aux règlements des études où la demande doit être soumise dans les cinq (5) jours ouvrables avant le jour de départ de l’ÉTS pour se rendre à l’activité.

Toute absence non justifiée par un motif majeur (voir articles 7.2.6.1 du RÉPC et 6.5.2 du RÉCS) entraînera l’attribution de la note zéro (0).

Aucune documentation obligatoire.

EIJKHOUT, V,,  The art of HPC, Volume 2: Parallel Programming for Science and Engineering, 2023 https://github.com/VictorEijkhout/TheArtofHPC_pdfs/blob/main/vol2/EijkhoutParallelProgramming.pdf

FOSTER, I., Designing and Building Parallel Programs. Addison-Wesley Publishing Company, 1995.

FOSTER, I., GROPP, W., KENNEDY, K., WHITE, A., DONGARRA, J., FOX, G., TORCZON, L., Sourcebook of Parallel Computing. Morgan Kaufmann, 2003.

QUINN, M.J., Parallel programming in C with MPI and OpenMP. McGraw-Hill, 2004.

LIN, C. & L. SNYDER, Principles of Parallel Programming. Addison-Wesley Publishing Company, 2008.

David B. Kirk, Wen-mei W. Hwu, Programming Massively Parallel Processors, Second Edition: A Hands-on Approach, Morgan Kaufmann; 2 edition, 2012

PACHECO, PETER, An Introduction to Parallel Programming, Morgan Kaufmann; 1 edition, 2011

Matthew Scarpino, OpenCL in Action, Manning Publications Co., 2012

GENGLER, M., UBÉDA, S. et DESPREZ, F., Initiation au parallélisme : Concepts, architectures et algorithmes. Masson, 1996.

COULOURIS, G., DOLLIMORE, J. & KINDBERG, T., Distributes Systems: Concepts and Design. 4th Ed., Addison-Wesley Publishing Company, 2005.

SILBERSCHATZ, A., GALVIN, P.B. et GAGNE, G., Principes des systèmes d'exploitation avec Java. 6^e Ed., Vuibert, 2008.

LEWIS, B. & D.J. BERG, Multithreaded Programming with PThreads. Sun Microsystems, 1998.

Multithreaded Programming Guide. Sun Microsystems Inc., 1994.

SNIR, M., S.O. STEVEN., H.L. DAVID WALKER & J. DONGARRA, MPI: The Complete Reference. The MIT Press, 1996.

GROPP, W., E. LUSK & A. SKJELLUM, Using MPI. The MIT Press, 1999.

GROPP, W., E. LUSK & A. SKJELLUM, Using MPI-2. The MIT Press, 1999.

BLAESS, C.: Programmation système en C sous Linux Signaux, processus, threads, IPC et sockets. Eyrolles. 2005

DESPREZ, F., GENGLER, M, Ubéda, S.: Initiation au parallélisme. Concepts, architectures et algorithmes. Masson. 1996.

ROBEY, R. & ZAMORA, Y.: Parallel and high performance computing. Manning publications. 2021.

TANENBAUM, A.: Architecture de l'ordinateur. Pearson. 2005

Certains documents pertinents au cours (mémos, exercices, solutionnaires, énoncés de laboratoires, fichiers d'exemples, etc.) seront placés régulièrement sur le site Web du cours (Moodle). Il est de la responsabilité de l'étudiant de le consulter.

Site de cours : https://ena.etsmtl.ca/course/view.php?id=26044