Ce cours vise à familiariser l'étudiant avec les mécanismes sensoriels humains impliqués dans les systèmes de réalité virtuelle et de réalité augmentée ainsi que de l'initier au développement d’applications de réalité virtuelle et de réalité augmentée.

Au terme de ce cours, l'étudiant sera en mesure :

• de comprendre et d'expliquer les mécanismes sensoriels de l'humain qui sont impliqués dans la perception de la réalité virtuelle ou augmentée;
• de comprendre et décrire les concepts liés à la simulation des différents stimuli (visuels, auditifs, tactiles) dans un système de réalité virtuelle ou augmentée;
• de concevoir et implémenter une application de réalité augmentée ou de réalité virtuelle immersive, centrée sur l’utilisateur et qui respecte les meilleures pratiques;
• de décrire les applications, les limitations et les effets sur les utilisateurs de la réalité virtuelle et de la réalité augmentée, sous leurs diverses formes.

Les sujets abordés incluent entre autres : les différentes formes de réalité (virtuelle, augmentée et mixte); dispositifs d’affichage. Introduction au rendu graphique; aptique; principes de la vision et de la perception visuelle; modèles et processus perceptuels; capture et analyse du mouvement; simulation physique et collisions; locomotion et interaction; interaction centrée sur l’utilisateur; sens du toucher; retour tactile et kinesthésique; son spatialisé; conception d’environnements virtuels; directives de conception; l’interaction entre l’immersion; la présence et l’incarnation; latence; effets indésirables (cybermalaise, fatigue oculaire, persistance des effets); domaines d’application.

Apprendre à concevoir et implémenter un environnement virtuel / mixte immersif qui s'appuie sur les dernières connaissances scientifiques du domaine. Apprendre à rechercher, assimiler et vulgariser la littérature scientifique dans le domaine de la réalité vituelle / mixte. 

Le cours se donne sous forme magistrale, en présentiel (3 heures par semaine), avec démonstrations de technologies liées à la réalité virtuelle et à la réalité augmentée. Certains cours et parties de cours sont de nature appliquée où l'utilisation de Unity sera enseignée, et du temps sera alloué pour la réalisation d'un projet appliqué (développement d'un environnement virtuel interactif). En plus des séances magistrales, les objectifs du cours seront atteints par le projet appliqué ainsi qu'un projet de résumé d'article avec présentation orale. De plus, des parties de la matière appliquée seront présentées sous forme de capsules vidéos disponibles sur le site du cours.

Cette section présente le contenu du cours. Il est à noter que l'ordre des thématiques abordées et des plages allouées au travail appliqué peut changer au cours du trimestre. Référez-vous au site web du cours pour le calendrier à jour

• Introduction à la réalitée virtuelle et à la réalité augmentée, architecture des systèmes (3 heures)

• Géométrie des environnements virtuels et optimisation du rendu graphique (3 heures)

• Analyse d'articles, vulgarisation et communication scientifique (6 heures)

• Introduction à Unity, son engin physique et OpenXR (6 heures)

• Optique, vision et perception visuelle (3 heures)

• Capture du mouvement, animation et incarnation (3 heures)

• Méthodes d'interaction et scripts dans Unity (3 heures)

• Navigation et interaction dans les environnements virtuels (3 heures)

• Ouie, son 3D, modélisation du son et des réverbérations (3 heures)

• Évaluation des environnements virtuels et effets secondaires (3 heures)

• Toucher et dispositifs haptiques (2 heures)

• Odorat, goût et EEG (1 heure)

Travaux (60 %) :

• Résumé d'article et présentation orale (individuel) : 20 %
• Implémentation et évaluation d'un environnement virtuel interactif (équipes de 2) : 40 %

Examen final (40 %) 

• Examen portant sur l'ensemble de la matière vue dans le cours (individuel) : 40 %

Les dates de remise des travaux doivent être respectées. Une pénalité de 20 % par jour de retard sera applicable aux travaux qui ne sont pas remis à temps.

• S.M. LaValle (2020) Virtual Reality, Cambridge University Press, 418 p. Disponible gratuitement en format électronique ici.
• Des articles scientifiques seront fournis au courant de la session, sur le site du cours.

• J. Jerald (2015) The VR Book: Human-Centered Design for Virtual Reality, Morgan & Claypool, 550p.
• Unity User Manual (2021.3) : https://docs.unity3d.com/Manual/index.html

Le site du cours est sur Moodle (https://ena.etsmtl.ca/) et contient toutes les informations et données nécessaires pour suivre le cours et réaliser les travaux.

Pour réaliser le projet de session hors des laboratoires de l'ÉTS, un ordinateur capable de faire fonctionner Unity 2020 est requis. Les spécifications requises sont détaillées à l'adresse suivante: https://docs.unity3d.com/Manual/system-requirements.html#editor

Une expérience préalable en programmation est fortement recommandée pour la réussite du cours.