La RA, la RV et l'impression 3D comblent l'écart entre la radiologie et la chirurgie à l'UCSF

Dans cet article, nous avons pu poser quelques questions au Dr Jesse Courtier, radiologue en pédiatrie, qui se spécialise dans l'utilisation de la réalité augmentée à des fins de recherche et de soins des patients à l'UCSF.

L'UCSF est un centre de référence pour les opérations chirurgicales très complexes dans de nombreuses sous-spécialités. Ainsi, le degré de préparation demandé par chaque opération est particulièrement élevé. L'imagerie médicale joue un rôle essentiel dans cette préparation. Nous avons constaté que l'imagerie 3D fournissait aux chirurgiens des informations conceptuelles supplémentaires importantes pour la préparation de ces opérations complexes qui allaient bien au-delà des simples reconstructions 3D sur des écrans 2D. Personnellement, en tant que radiologue en pédiatrie, il est indispensable que je puisse transmettre les informations complexes obtenues par les scanners et IRM d'une manière à la fois claire et compréhensible à mes collègues chirurgiens.

Les technologies 3D comme l'impression 3D et la RA (mon domaine d'intérêt) sont un outil puissant qui nous aide à combler l'écart entre le monde en 2D de la radiologie et le monde réel en 3D de la chirurgie. En outre, d'un point de vue chirurgical, trouver des moyens de réduire la charge cognitive globale que ces cas complexes impliquent grâce à une préparation avancée est un avantage supplémentaire plus que bienvenu.

Bien que je voie des utilisations possibles de la RA dans de nombreux domaines, nous avons déterminé quelques sous-spécialités pour lesquelles la préparation opératoire avec la RA se prête particulièrement. Les spécialités comme l'orthopédie, la chirurgie cardiothoracique, la cardiologie interventionnelle, les greffes de foie et la chirurgie pédiatrique font partie des domaines qui présentent des défis de complexité spatio-visuelle élevée et à des variations anatomiques considérables selon le cas. J'ai réalisé plus de 80 modèles de RA pour l'UCSF dans plusieurs sous-spécialités. Certains exemples spécifiques comprennent des fractures pédiatriques du coude, des réparations de malformations, des tumeurs hépatiques importantes et un cas cardiaque congénital extrêmement complexe.

Nous recherchons également des applications de la technologie de RA mobile lors de petites séances de groupe avec nos étudiants en médecine. En outre, nous commençons également à nous renseigner sur les possibilités de RA dans le cadre de sensibilisation de patients atteints de maladies cardiaques congénitales. Nous avons hâte d'en explorer le potentiel afin d'améliorer le respect des prescriptions des patients et d'amenuiser leur anxiété globale grâce à une meilleure compréhension de leur état.

Je pense que la RA complète l'impression 3D en permettant de créer rapidement des prototypes et améliorations de modèles itératifs via un processus économe et écologique. Les modèles peuvent être testés et visualisés à répétition et à une échelle anatomique sans les contraintes habituelles des modèles physiques (gravité, épaisseur, dimensions de l'imprimante, coût). Elle permet également de collaborer à distance avec ses collègues grâce au partage de modèles 3D sans avoir besoin de modélisation physique.

J'ai d'abord commencé mon voyage dans le monde de la 3D avec des logiciels gratuits et des applications commerciales génériques. Toutefois, au fil des multiples types de modèles que j'ai pu créer à l'UCSF, j'ai pris peu à peu conscience que nous allions avoir besoin d'applications logicielles plus avancées. J'avais besoin d'un logiciel fiable, doté de fonctionnalités diverses, qui une porterait une attention particulière à l'expérience et à l'interface utilisateur. 

L'UCSF a acheté la Materialise Mimics Innovation Suite via notre Centre d'imagerie 3D avancée + (dont je suis le codirecteur), et j'ai été très impressionné par ses fonctionnalités et ses capacités. Pour optimiser mon application spécifique à la RA du Microsoft HoloLens, que nous avons surnommé "Radha" (pour « Radiology with Holographic Augmentation »), j'utilise actuellement Blender à la toute fin du processus afin d'ajouter des couleurs optimisées pour la RA, des effets d'ombre et un nombre de polygones.

Un projet en cours sur lequel nous travaillons avec mes collègues du ZSFGH Orthopaedic Trauma Institute est une évaluation des modèles 3D AR pour améliorer la classification préopératoire des fractures acétabulaires complexes. Nous émettons l'hypothèse que ces modèles permettront un degré plus faible de variabilité inter-observateur dans la classification des fractures, qui à son tour guide la prise en charge clinique appropriée dans ces cas. Notre objectif est d'étudier la capacité des modèles AR 3D créés avec l'outil d'analyse d'épaisseur du logiciel Mimics à déterminer le placement optimal des dispositifs de fixation en fonction de l'épaisseur de l'os.

Un cas particulier était un patient avec une malformation cardiaque et abdominale congénitale très complexe qui a nécessité une réparation reconstructive étendue de la poitrine et de la paroi abdominale. Ce cas a été planifié entre des chirurgiens en chirurgie pédiatrique, en chirurgie cardiothoracique pédiatrique et en chirurgie plastique. J'ai segmenté le cas et créé un modèle holographique à grande échelle comprenant la surface de la peau, les os, le cœur, les poumons, les voies respiratoires, les organes solides et l'intestin. Ce modèle aurait été extrêmement coûteux et difficile à afficher avec toute autre méthode. J'ai passé en revue le modèle avec mes collègues chirurgiens lors de notre conférence de planification chirurgicale avant l'intervention et ce fut un succès !

Je pense que la poursuite de l'accumulation de preuves sur l'impact de la réalité augmentée sur les résultats cliniques tels que le temps sous anesthésie, le temps global en salle d'opération et le temps sous fluoroscopie sera essentielle pour son adoption généralisée. Une innovation continue à la fois dans le matériel et les logiciels de RA sera également nécessaire pour permettre des modèles plus grands et plus complexes qui ne sont pas simplement des représentations statiques, mais des modèles animés qui reflètent les mouvements physiologiques (respiration, fréquence cardiaque, etc.). Cela permettra vraiment une simulation et une conceptualisation réalistes pour la planification pré-chirurgicale et plus encore.