Apprenti en Master de Développement MR/XR, Développeur Réalité Mixte, Application pédagogique en chirurgie maxillo-faciale
<p><strong>Mission et activités</strong> : </p><p>L’équipe dispose d’une application de réalité mixte destinée à la formation des étudiants et des enseignants en chirurgie maxillo-faciale. Cette application permet de visualiser et de suivre les différentes étapes d’une intervention maxillaire, depuis l’analyse du scanner du patient jusqu’à la pose des prothèses, afin de traiter et de corriger sa pathologie. Elle fonctionne actuellement sur HoloLens 2 et a été développée en C# avec Unity 2021.<br />L’objectif de l’alternance est de reprendre et faire évoluer cette application en la migrant vers Unity 2022.3 LTS, afin de bénéficier des évolutions et optimisations récentes d’OpenCV.<br />Une attention particulière sera portée sur l’utilisation d’OpenCV et de la détection des marqueurs ArUco, dont les possibilités ont évolué depuis la version actuelle du projet. Il s’agira notamment de rechercher un meilleur compromis entre précision de détection, stabilité et performances sur HoloLens 2.<br />Le projet comportera également un volet d’amélioration de l’expérience utilisateur, avec l’utilisation du MRTK 3 pour les interactions et l’interface, ainsi qu’une réflexion sur l’utilisation d’OpenXR afin d’envisager à terme une compatibilité avec différents casques de réalité mixte.<br />Une fois les aspects techniques stabilisés, un travail sera mené sur l’aspect pédagogique et ludique de l’application afin de la rendre plus intuitive et agréable à utiliser par les étudiants.<br />L’ensemble du projet sera réalisé en collaboration avec le maître d’apprentissage. Des missions complémentaires ponctuelles pourront également être proposées autour du fonctionnement du service informatique de l’UMDPCS ou de l’exploration de cas d’usage de l’IA au sein du département.</p><p><br /><strong>Objectifs </strong>:<br />• Migrer l’application existante de Unity 2021 vers Unity 2022.3 LTS.<br />• Comprendre, adapter et améliorer le fonctionnement actuel de l’application.<br />• Moderniser le traitement OpenCV / ArUco et optimiser ses performances sur HoloLens 2.<br />• Améliorer le recalage de modèles 3D sur un support physique grâce aux marqueurs.<br />• Étudier l’utilisation de MRTK 3 et OpenXR pour faire évoluer l’application.<br />• Améliorer l’interface et l’expérience pédagogique pour les étudiants et enseignants.<br />• Disposer en fin d’alternance d’une version fonctionnelle et démontrable de l’application.</p><p><br /><strong>Missions </strong>:<br />1. Reprise et migration<br />• Prendre en main le projet existant et son architecture.<br />• Identifier les fonctionnalités existantes et les éventuels problèmes de compatibilité.<br />• Migrer et adapter le projet vers Unity 2022.3 LTS.<br />2. Vision par ordinateur et recalage 3D<br />• Étudier et faire évoluer l’utilisation d’OpenCV / ArUco.<br />• Tester et optimiser la détection des marqueurs sur HoloLens 2.<br />• Améliorer le positionnement et la stabilité des modèles 3D sur le support physique.<br />3. Interface et pédagogie<br />• Étudier l’intégration de MRTK 3.<br />• Réfléchir à l’utilisation d’OpenXR pour l’évolutivité du projet.<br />• Mettre en place une interface simple permettant notamment de charger un cas, afficher/masquer les éléments et réinitialiser l’expérience.<br />• Rendre l’application plus intuitive et ludique pour les étudiants.<br />4. Tests et documentation<br />• Tester régulièrement l’application sur HoloLens 2.<br />• Optimiser les performances et corriger les problèmes rencontrés.<br />• Documenter l’installation, l’utilisation et les choix techniques du projet.<br />Livrables<br />• Application migrée et déployable sur HoloLens 2.<br />• Démonstrateur fonctionnel : modèle 3D calé sur un support + guide pédagogique visible.<br />• Module de détection ArUco / OpenCV fonctionnel et optimisé.<br />• Interface pédagogique permettant de suivre la pathologie d’un cas anonymisés.<br />• Code source versionné et documentation technique courte.</p><p>Environnement technique<br />• Appareil : Microsoft HoloLens 2<br />• Moteur : Unity 2022.3 LTS<br />• Langage principal : C#, C++<br />• Réalité mixte : MRTK 3, OpenXR<br />• Vision par ordinateur : OpenCV, ArUco<br />• Outils : Visual Studio 2022, Visual Studio Code, Plastic SCM / Git<br /> </p>