Serious game, réalité virtuelle et augmentée dans le secteur médical

Ce billet est basé sur notre expérience du marché et tâche d’identifier les nouveaux usages dans le domaine médical.

Les sujets évoqués concernent majoritairement sur nos propres productions. Et sont souvent plus détaillés dans notre section Projets.

Serious game médicaux 3D

Pour le grand public

Le premier projet d’Octarina a été un serious game medical : Staying alive, un jeu 3D web grand public destiné à apprendre les gestes qui sauvent et où le joueur doit intervenir au plus vite pour sauver un collège, victime d’un arrêt cardiaque. Appel à l’aide, massage et défibrillation sont les moments essentiels du jeu.

Réalité virtuelle web serious game arrêt cardiaque

Massage cardiaque en rythme

Le jeu est issu d’une collaboration avec l’APHP et Dassault Systèmes, qui se poursuivra avec le jeu Born to be alive sur l’accouchement. Jeu finaliste des e-virtuose 2013.

La version réalité virtuelle de Born to Be Alive a été cité dans une ouvrage de Michel Serres, « la légende anges »

scène d'accouchement en 3D

Accouchement en 3D interactive. En savoir plus.

Pour les professionnels

Aujourd’hui, Octarina travaille aussi sur des projets destinés aux professionnels de la santé: medecins, infirmiers, chercheurs, laboratoires pharmaceutiques.

Des simulations “on line” de situations en hospitalisation avec  :

  • La prise en compte de patients de conditions et d’âge différents

  • La simulation de l’état de santé via un moteur physiologique
  • Des agents conversationnels simulant l’interaction avec le patient, basés sur un moteur d’intelligence artificielle
  • La simulation des machines médicales et leurs interface : scope, Impella, ECMO, …

Nos projets incluent le débriefing et la gestion des droits et résultats des apprenants.

Cardiologie_réalité virtuelle

Serious Game Cardiologie

Formation en réalité virtuelle

La formation en réalité virtuelle prend tout sons sens dans le cadre de manipulations difficiles à reproduire dans le monder réel pour des questions de risques, d’immobilisation d’outils de production, d’accessibilité ou de temps.

Nous avons développé un module VR de culture bio cellulaire vaccinale. Ou comment proposer à un grand laboratoire pharmaceutique la possibilité de former ses équipes rapidement sans limite d’accessibilité. Et réaliser la culture du virus sur une formation VR de 1h30 alors que le processus réel se déroule en 3 semaines, utilisable ad nauseam.

Formation réalité virtuelle Laboratoire pharmaceutique

Formation réalité virtuelle Laboratoire pharmaceutique. En savoir plus

Préparation à l’examen médical en réalité virtuelle

Certains examens médicaux comme l’IRM sont anxiogènes.

La réalité virtuelle est un outil puissant qui permet de s’immerger dans une situation sur le plan émotionnel – via l’activation du cerveau limbique.

C’est donc avec nos partenaires que nous concevons une expérience de réalité virtuelle permettant de vivre au préalable ce moment et de se préparer à un traitement lourd et particulièrement stressant.

Ce projet est aussi un futur sujet de recherche où le patient pourrait aussi optimiser son traitement, notamment en gérant sa respiration dans l’expérience virtuelle dans le cas d’appareil effectuant une détection du mouvement respiratoire. 

Recherche via réalité virtuelle et 3D

Nous avons participé et participons à différents projets de recherche sur différents thèmes comme :

  • La perception de la douleur, via une mise en situation en réalité virtuelle de patients sains dans des situations pathologiques variées et des scènes de la vie courante. En savoir plus sur ce projet réalisé avec la Timone.
  • La rééducation de personnes cérébrolésées via l’utilisation d’interfaces cérébrales ou BIC en utilisant la plateforme OpenVibes.
  • L’étude rn VR de l’effet Proteus, effet si puissant qu’il permet de modifier des processus cognitifs

Effet Proteus ou l’effet de la réalité virtuelle sur certaines perceptions de soi

Computer vision/Deep learning

Nos connaissances en computer vision et machine learning, nous ont permis progressivement d’aborder d’autres sujets.

Par exemple, via l’analyse d’image utilisée pour aider à localiser une tumeur sur les bases de clichés IRM.
Puis, reconstruction de la tumeur en volume à partir d’algorithme de computer vision ou par détourage manuel en ligne. Pour plus détails sur le croisement de la computer vision et deep learning c’est ici.


Et d’autres domaines : chirurgie, thérapie en réalité virtuelle ou augmentée

Il existe d’autres domaine où les bénéfices de la réalité virtuelle médicale sont connus. Nous citerons:

Le traitement des phobies : arachnophobie, agoraphobie, acrophobie, …

La réalité augmentée pour la guidance de l’acte chirurgical qui reste très prometteuse. Mais cela reste un véritable challenge et repose sur une évolution de la réalité augmentée conjointement aux progrès du deep learning Pour voir d’autres travaux sur le sujet c’est ici et pour en savoir plus :