Ce billet est basé sur notre expérience du marché et tâche d’identifier les nouveaux usages dans le domaine médical.
Les sujets évoqués concernent majoritairement sur nos propres productions. Et sont souvent plus détaillés dans notre section Projets.
Serious game médicaux 3D
Pour le grand public
Le premier projet d’Octarina a été un serious game medical : Staying alive, un jeu 3D web grand public destiné à apprendre les gestes qui sauvent et où le joueur doit intervenir au plus vite pour sauver un collège, victime d’un arrêt cardiaque. Appel à l’aide, massage et défibrillation sont les moments essentiels du jeu.
Le jeu est issu d’une collaboration avec l’APHP et Dassault Systèmes, qui se poursuivra avec le jeu Born to be alive sur l’accouchement. Jeu finaliste des e-virtuose 2013.
La version de ce serious game medical en réalité virtuelle a été cité dans un ouvrage de Michel Serres, « la légende anges »
Pour les professionnels
Aujourd’hui, Octarina travaille aussi sur des projets destinés aux professionnels de la santé: medecins, infirmiers, chercheurs, laboratoires pharmaceutiques.
Des simulations “on line” de situations en hospitalisation avec :
- La prise en compte de patients de conditions et d’âge différents
- La simulation de l’état de santé via un moteur physiologique
- Des agents conversationnels simulant l’interaction avec le patient, basés sur un moteur d’intelligence artificielle
- La simulation des machines médicales et leurs interface : scope, Impella, ECMO, …
Nos projets incluent le débriefing et la gestion des droits et résultats des apprenants.
Formation en réalité virtuelle
La formation en réalité virtuelle prend tout sons sens dans le cadre de manipulations difficiles à reproduire dans le monder réel pour des questions de risques, d’immobilisation d’outils de production, d’accessibilité ou de temps.
Nous avons développé un module VR de culture bio cellulaire vaccinale. Ou comment proposer à un grand laboratoire pharmaceutique la possibilité de former ses équipes rapidement sans limite d’accessibilité. Et réaliser la culture du virus sur une formation VR de 1h30 alors que le processus réel se déroule en 3 semaines, utilisable ad nauseam.
Recherche via réalité virtuelle et 3D
Nous avons participé et participons à différents projets de recherche sur différents thèmes comme :
- La perception de la douleur, via une mise en situation en réalité virtuelle de patients sains dans des situations pathologiques variées et des scènes de la vie courante. En savoir plus sur ce projet réalisé avec la Timone.
- La rééducation de personnes cérébrolésées via l’utilisation d’interfaces cérébrales ou BIC en utilisant la plateforme OpenVibes.
- L’étude en VR de l’effet Proteus, effet si puissant qu’il permet de modifier des processus cognitifs
Computer vision/Deep learning
Nos connaissances en computer vision et machine learning, nous ont permis progressivement d’aborder d’autres sujets.
Par exemple, via l’analyse d’image utilisée pour aider à localiser une tumeur sur les bases de clichés IRM.
Puis, reconstruction de la tumeur en volume à partir d’algorithme de computer vision ou par détourage manuel en ligne. Pour plus détails sur le croisement de la computer vision et deep learning c’est ici
Préparation à l’examen médical en réalité virtuelle
Certains examens médicaux comme l’IRM sont anxiogènes. La réalité virtuelle est un outil puissant qui permet de s’immerger dans une situation sur le plan émotionnel – via l’activation du cerveau limbique. C’est donc avec nos partenaires que nous concevons une expérience de réalité virtuelle permettant de vivre au préalable ce moment et de se préparer à un traitement lourd et particulièrement stressant.
Préparer un examen médical en VR est un facteur de réussite du traitement.
Ce projet VORTEx est aussi un futur sujet de recherche où le patient pourrait aussi optimiser son traitement, notamment en gérant sa respiration dans l’expérience virtuelle dans le cas d’appareil effectuant une détection du mouvement respiratoire. Pour en savoir plus
- Et d’autres domaines : chirurgie, thérapie en réalité virtuelle ou augmentée
Il existe d’autres domaine où les bénéfices de la réalité virtuelle dans le médical sont connus. Nous citerons:
Le traitement des phobies : arachnophobie, agoraphobie, acrophobie, …
La réalité augmentée pour la guidance de l’acte chirurgical qui reste très prometteuse. Mais cela reste un véritable challenge et repose sur une évolution de la réalité augmentée conjointement aux progrès du deep learning Pour voir d’autres travaux sur le sujet c’est ici.
PraticoSim est un serious game dédié à la formation de professionnels de santé.
Le jeu intègre un moteur physiologique pour une simulation réaliste du comportement du patient en fonction des actions du stagiaire. Toutes les interfaces des machines médicales ont également été reproduites de façon fidèle.
10 scénarios utiles à la portée de soignants. Ceux-ci peuvent se former en distanciel autant de fois qu’ils le souhaitent, sous condition d’avoir un ordinateur et une connexion internet.
Graspt-it est une application de rééducation des patients cérébrolésés. Des exercices basés sur l’Imagination Motrice Kinesthésique (IMK) : une tâche mentale consistant à rappeler un mouvement sur l’ensemble des sensations haptiques qui accompagnent le mouvement réel. Autrement dit, le patient, connecté à une interface cérébrale « imagine » un mouvement assez simple et l’application Graspt-it permet de le visualiser dans une scène interactive, en fonction de la qualité de l’effort fourni par mesure de l’EEG. Il s’agit de tâches courantes et simples comme verser du ketchup sur un hot doc, verser un verre d’eau, etc.
Un autre projet que nous avons réalisé, cette fois-ci en collaboration avec les équipes de recherche de La Timone. Revutil est un projet de recherche médicale en VR sur la performance du système de soins (PREPS 2015).
L’expérience consiste à soumettre la population test à des situations de vie telles que catégorisés par le questionnaire EQ-5D : mobilité, autonomie, activités courantes, douleurs/gênes, anxiété/dépression. Et de les soumettre à un questionnaire sur leurs ressentis.
Vous pouvez avoir plus d’informations sur ce projet et les différentes tâches à exercer ici.