AR, VR, und 3D-Druck bilden an der UCSF das Bindeglied zwischen Radiologie und Chirurgie

Für diesen Blog setzen wir uns mit dem pädiatrischen Radiologen Dr. Jesse Courtier zusammen, der sich auf die Anwendung der Augmented Reality für Forschungszwecke und in der Patientenversorgung spezialisiert hat.

In Fällen aus verschiedensten Spezialgebieten, die sehr komplizierte chirurgische Eingriffe erfordern, erfolgt in der Regel eine Überweisung an die UCSF. Daher ist hier im Vorfeld ein besonders hohes Maß an Operationsplanung erforderlich. Besonders medizinische Bildgebungs- und -verarbeitungsverfahren spielen hierbei eine entscheidende Rolle. Wir haben festgestellt, dass Chirurgen mithilfe der 3D-Bildgebung wichtige zusätzliche konzeptionelle Informationen für die Planung in solchen komplexen Fällen gewinnen können, die über die Möglichkeiten einer bloßen 3D-Rekonstruktion auf 2D-Bildschirmen hinausgehen. Für mich persönlich als pädiatrischen Radiologen ist es entscheidend, meinen Chirurgen-Kollegen komplexe Informationen aus den CT- und MRI-Aufnahmen auf klare und verständliche Weise vermitteln zu können.

Mit 3D-Technologien wie dem 3D-Druck und der AR (meinem Spezialgebiet) stehen uns leistungsstarke Hilfsmittel zur Überbrückung der Kluft zwischen der zweidimensionalen Welt der Radiologie und der realen, dreidimensionalen Welt der Chirurgie zur Verfügung. Ein weiterer willkommener Vorteil besteht aus Sicht eines Chirurgen darin, dass hier Verfahren erschlossen werden, die helfen, die kognitive Gesamtbelastung im Rahmen solch komplexer Fälle durch ausgefeilte Planung zu reduzieren.

Ich sehe für die AR Anwendungsmöglichkeiten in einer ganzen Reihe von Bereichen, aber wir haben festgestellt, dass sie sich für die Planung in ganz bestimmten Spezialgebieten besonders gut eignet. Dazu gehören zum Beispiel die Orthopädie, die kardiothorakale Chirurgie, die interventionelle Kardiologie, Lebertransplantationen und Kinderchirurgie. Fachgebiete also, in denen Fälle mit besonderen Herausforderungen aufgrund der visuell-räumlichen Komplexität und der ausgeprägten anatomischen Unterschiede behandelt werden. Ich habe an der UCSF mehr als 80 AR-Modelle für eine Reihe unterschiedlicher Spezialgebiete erstellt. Konkrete Beispiele hierfür wären etwa komplizierte Ellenbogenfrakturen bei Kindern, die Behebung von Fehl- und Missbildungen, große Lebertumore sowie ein besonders komplizierter Fall eines angeborenen Herzfehlers.

Wir arbeiten auch an möglichen mobilen Anwendungen für die AR-Technologie im Rahmen von Anatomie-Lernveranstaltungen für Medizinstudenten in kleinen Gruppen. Darüber hinaus beginnen wir mit der Erforschung der Möglichkeiten, AR im Rahmen der Patientenaufklärung über angeborene Herzerkrankungen einzusetzen. Wir finden es sehr spannend, zu erkunden, wie sich hierdurch die Therapietreue der Patienten verbessern und ihre Ängste abbauen lassen, indem man ihnen ein besseres Verständnis für ihren Gesundheitszustand vermittelt.

Ich denke, dass die AR insofern eine Ergänzung zum 3D-Druck darstellt, als dass sie sich auf kostensparende und umweltfreundliche Weise für Methoden wie das Rapid Prototyping und die iterative Modelloptimierung einsetzen lässt. Die Modelle können immer wieder in lebensgroßem anatomischem Maßstab überprüft und angesehen werden, wobei einige der Einschränkungen wegfallen, denen physische Modelle unterworfen sind (Schwerkraft, Dicke, Größe des Druckers, Kosten). Außerdem bietet die AR die Möglichkeit der Remote-Zusammenarbeit durch Teilen der 3D-Modelle mit Kollegen, ohne dass die Erstellung physischer Modelle erforderlich ist.

„Zunächst begann ich meine Erkundung der 3D-Welt mit Freeware- und Standardprogrammen. Nach und nach jedoch wurde mir, je weiter ich mit der Erstellung verschiedener Modelltypen an der UCSF kam, immer stärker bewusst, dass ausgefeiltere Software-Anwendungen vonnöten waren. Ich brauchte eine robuste Software, die zugleich eine Reihe unterschiedlicher Funktionen beinhalten und Wert auf eine gute Benutzererfahrung und eine hochwertige Benutzeroberfläche legen sollte. 

An der UCSF haben wir über unser Center for Advanced 3D Imaging + (Zentrum für fortschrittliche 3D-Bildegebung), zu dessen Co-Direktoren ich gehöre, die Materialise Mimics Innovation Suite erworben, von deren Funktionen und Möglichkeiten ich sehr beeindruckt bin. Als letzten Schritt zur Optimierung meiner spezifischen AR-App für die Microsoft HoloLens, die wir übrigens ‚Radha’ getauft haben (Radiology with Holographic Augmentation), verwende ich Blender, um für die AR optimierte Farben, Schattierungseffekte und Polygonanzahlen hinzuzufügen.

Bei einem aktuellen Projekt, an dem ich gemeinsam mit meinen Kollegen am ZSFGH Trauma Institute arbeite, geht es um die Überprüfung dreidimensionaler AR-Modelle zur präoperativen Klassifikation komplexer Hüftgelenkpfannenbrüche. Wir gehen davon aus, dass diese Modelle helfen werden, die beobachterabhängigen Unterschiede in der Klassifikation der Brüche zu verringern, woraus sich wiederum ein angemessenes klinisches Management dieser Fälle ergibt. Wir möchten die Möglichkeiten prüfen, anhand von dreidimensionalen AR-Modellen, die mit dem Knochenstärke-Analyse-Tool der Mimics Software erstellt werden, die optimale Stelle zur Anbringung von Fixationsvorrichtungen basierend auf der Knochenstärke zu ermitteln.

In einem konkreten Fall litt ein Patient unter sehr komplizierten angeborenen Fehlbildungen am Herzen und im abdominalen Bereich, die umfangreiche korrektive Eingriffe an der Brust- und Bauchwand erforderlich machten. Dieser Fall wurde von Chirurgen aus der pädiatrischen Chirurgie, der pädiatrischen Herz- und Thorax-Chirurgie und der plastischen Chirurgie gemeinsam geplant. Ich nahm die Segmentierung für den Fall vor und erstellte ein vollständiges, maßstabgetreues holografisches Modell, einschließlich der Hautoberfläche, der Knochen, des Herzens, der Lunge, der Atemwege, der soliden Organe und des Darms. Dieses Modell mithilfe irgendeiner anderen Methode zu erstellen, wäre äußerst kostspielig geworden. Im Rahmen einer Konferenz zur Operationsplanung im Vorfeld des Eingriffs überprüfte ich das Modell gemeinsam mit meinen Chirurgen-Kollegen, und es war ein voller Erfolg!

Ich denke, dass das fortwährende Sammeln von Nachweisen über den Einfluss der AR auf klinische Ergebnisse wie etwa die in Narkose verbrachte Zeit, die Gesamtoperationszeit und die Dauer der Fluoroskopie von entscheidender Bedeutung für ihre flächendeckende Annahme sein wird. Auch fortwährende Innovationen im Bereich sowohl der Hardware als auch der Software für die AR werden ebenfalls erforderlich sein, um größere, komplexere Modelle erstellen zu können, und zwar nicht nur statische Darstellungen, sondern auch animierte Modelle, welche die physiologischen Bewegungen (Atmung, Herzfrequenz usw.) widerspiegeln. Auf diese Weise wird eine wirklich realistische Simulation und Konzeptualisierung im Zuge der präoperativen Planung und zu anderen Zwecken möglich sein.