Serious game, réalité virtuelle et augmentée dans le secteur médical

Ce billet est basé sur notre expérience du marché et tâche d’identifier les nouveaux usages dans le domaine médical.

Les projets mis en avant sont des projets Octarina. Et sont souvent plus détaillés dans notre section Projets.

Serious games medicaux 3D

Pour le grand public

Le premier projet d’Octarina a été un serious game medical : Staying alive, un jeu 3D web grand public destiné à apprendre les gestes qui sauvent et où le joueur doit intervenir au plus vite pour sauver un collège, victime d’un arrêt cardiaque. Appel à l’aide, massage et défibrillation sont les moments essentiels du jeu.

Réalité virtuelle web serious game arrêt cardiaque
Staying Alive, serious game pour prise en charge d'accident cardiaque

Le jeu est issu d’une collaboration avec l’APHP et Dassault Systèmes, qui se poursuivra avec le jeu Born to be alive sur l’accouchement. Jeu finaliste des e-virtuose 2013.

La version de ce serious game medical en réalité virtuelle a été cité dans un ouvrage de Michel Serres, « la légende anges »

Boen to be alive, serious game sur l'accouchement

Pour les professionnels

Aujourd’hui, Octarina travaille aussi sur des projets destinés aux professionnels de la santé: medecins, infirmiers, chercheurs, laboratoires pharmaceutiques.

Des simulations “on line” de situations en hospitalisation avec  :

  • La prise en compte de patients de conditions et d’âge différents
  • La simulation de l’état de santé via un moteur physiologique
  • Des agents conversationnels simulant l’interaction avec le patient, basés sur un moteur d’intelligence artificielle
  • La simulation des machines médicales et leurs interface : scope, Impella, ECMO, …

Nos projets incluent le débriefing et la gestion des droits et résultats des apprenants.

Cardiologie_réalité virtuelle
Serious game prise en charge cardiologie

Pratico Sims est un serious game dédié à la formation des infirmiers

Le jeu intègre un moteur physiologique pour une simulation réaliste du comportement du patient en fonction des actions du stagiaire. Toutes les interfaces des machines médicales ont également été reproduites de façon fidèle.

10 scénarios utiles à la portée de soignants. Ceux-ci peuvent se former en distanciel autant de fois qu’ils le souhaitent, sous condition d’avoir un ordinateur et une connexion internet.

Simulation complète d'une salle de réanimation

La formation en réalité en virtuelle

La formation en réalité virtuelle prend tout sons sens dans le cadre de manipulations difficiles à reproduire dans le monder réel pour des questions de risques, d’immobilisation d’outils de production, d’accessibilité ou de temps.

Nous avons développé un module VR de culture bio cellulaire vaccinale. Ou comment proposer à un grand laboratoire pharmaceutique la possibilité de former ses équipes rapidement sans limite d’accessibilité. Et réaliser la culture du virus sur une formation VR de 1h30 alors que le processus réel se déroule en 3 semaines, utilisable ad nauseam.

Formation réalité virtuelle Laboratoire pharmaceutique
Formation à la culture bio cellulaire en réalité virtuells

Préparation d'un traitement en réalité virtuelle

Préparation à l’examen médical en réalité virtuelle

Certains examens médicaux comme l’IRM sont anxiogènes. La réalité virtuelle est un outil puissant qui permet de s’immerger dans une situation sur le plan émotionnel – via l’activation du cerveau limbique. C’est donc avec nos partenaires (Institut Hartmann, Dassault Systèmes) que nous concevons une expérience de réalité virtuelle permettant de vivre au préalable ce moment et de se préparer à un traitement lourd et particulièrement stressant.

Préparer un examen médical en VR est un facteur de réussite du traitement.

Ce projet VORTEx est aussi le sujet d’une étude clinique: A quel point l’application VR permet au client d’optimiser son traitement, notamment en gérant sa respiration dans l’expérience virtuelle dans le cas d’appareil effectuant une détection du mouvement respiratoire. P

realite_virtuelle_pour préparer_au_traitement
Projet Vortex: préparation aux soins en réalité virtuelle

Serious game et rééducation

Graspt-it est une application de rééducation des patients cérébrolésés. Des exercices basés sur l’Imagination Motrice Kinesthésique (IMK) : une tâche mentale consistant à rappeler un mouvement sur l’ensemble des sensations haptiques qui accompagnent le mouvement réel. Autrement dit, le patient, connecté à une interface cérébrale « imagine » un mouvement assez simple et l’application Graspt-it permet de le visualiser dans une scène interactive, en fonction de la qualité de l’effort fourni par mesure de l’EEG. Il s’agit de tâches courantes et simples comme verser du ketchup sur un hot doc, verser un verre d’eau, etc.

Utilisation d'une interface cérébrale pour activer des actions virtuelles

Recherche et études cliniques en réalité virtuelle

Un autre projet que nous avons réalisé, cette fois-ci en collaboration avec les équipes de recherche de La Timone. Revutil est un projet de recherche médicale en VR sur la performance du système de soins (PREPS 2015).

L’expérience consiste à soumettre la population test à des situations de vie telles que catégorisés par le questionnaire EQ-5D : mobilité, autonomie, activités courantes, douleurs/gênes, anxiété/dépression. Et de les soumettre à un questionnaire sur leurs ressentis.

recherche_medicale_realite_virtuelle
Simulation d'activités quottidiennes en réalité virtuelle avec pathologie

Thérapie en réalité virtuelle

Les effets de la réalité virtuelle sur le traitement des phobies : arachnophobie, agoraphobie, acrophobie, … ou des troubles déficit de l’attention avec ou ou sans hyperactivité: TDHA sont connues depuis longtemps.

On parle de la thérapie par l’exposition en réalité virtuelle: TERV

Nous avons travaillé avec un laboratoire sur l’effet Proteus, effet si puissant qu’il permet de modifier des son comportement en fonction de l’apparence que l’on donne à son avatar.

Notre représentation en réalité virtuelle a un impact sur notre comportement

L'intelligence artificielle

Le domaine médical est aussi pour nous l’occasion de mettre à profit nos compétences en intelligence artificielle et analyse d’image.