Fokus: Reinforcement Learning
Wen betrifft das Thema?
Unternehmen und Forschungseinrichtungen, die KI-Medizinprodukte entwickeln, in Verkehr bringen, anbieten oder betreiben
Reinforcement Learning (RL) steht im Fokus der Erforschung und Entwicklung von praktischen KI-Anwendungen im Gesundheitswesen. Der lernende Agent (die „KI“) soll (vereinfacht gesagt) durch Interaktion mit der Anwendungsumgebung eine möglichst optimale Strategie (π*) entwickeln, die sich aus einer Abfolge von Behandlungs- oder Organisationsentscheidungen zusammensetzt und dazu führt, das Behandlungsziel effektiv zu erreichen. Dazu empfiehlt oder trifft er Entscheidungen (actions), die davon abhängen, welche Maßnahme beim Übergang (transition) von einem zum nächsten Zustand (state) den größten Erfolg (return) verspricht.
Beispiele sind KI-gestützte Empfehlungen zu der Notwendigkeit einer Insulingabe bei bestimmten Diabetes-Erkrankungen, zu geeigneten Maßnahmen zur Vermeidung einer lebensbedrohlichen Sepsis in der ambulanten und stationären Versorgung, oder zu der Interpretation von Gesundheitsdaten aus Wearables oder IoT-Umgebungen im Rahmen der personalisierten Medizin. Viele weitere Anwendungen im Gesundheitswesen werden erforscht und entwickelt.
Die Kunst der Entwicklung von Healthcare-KI-Systemen, die (auch) auf RL basieren, besteht darin, von einen Ausgangszustand s0 (Beispiel: Patient zeigt Symptome eines entzündlichen Prozesses) auf dem Weg zum Behandlungsziel (Beispiel: Patient überlebt und kann entlassen werden) über zahlreiche Einzelentscheidungen (actions) einen möglichst hohen „expected return“ (Vπ) zu erzielen — und das auf einem medizinisch und rechtlich stabilen Fundament.
Die rechtlich optimale Strategie
KI-Medizinprodukte, die auf der Basis von RL entwickelt werden, müssen frühzeitig die geltenden rechtlichen Anforderungen berücksichtigen.
Was in der Theorie so einfach klingt, ist es in der Praxis oftmals nicht. Denn eine effektive rechtliche Beratung setzt ein detailliertes Verständnis des Produkts voraus. Bereits die Entscheidung für eines oder mehrere der unzähligen Verfahren von RL hängt davon ab, in welcher Behandlungsumgebung und mit welchen Verantwortlichkeiten das KI-System eingesetzt werden soll – einige Beispiele:
- Handelt es sich um einen Anwendungsfall, der im Hinblick auf das Verhältnis von action und return als klassischer Markov-Entscheidungsprozess (Markov Decision Process – MDP) oder (wie es häufig vorkommt) als Partially Observable MDP (POMDP) modelliert wird? Bei POMDP: Mit welchen Strategien werden die Value-Funktionen für kritische Entscheidungen identifiziert?
- Kann und darf das System offline oder online lernen?
- Welche Learning – Ansätze kommen zum Einsatz (SOTA-Ansätze, DNN-gestützte Modelle oder Eigenentwicklungen)?
- Gibt es eine Klinische Policy, die als Referenz für die RL-Strategie (π*) dient, und auf welchem Fundament steht sie?
- Unter welchen organisatorischen und personellen Bedingungen soll und darf das KI-System eingesetzt werden?
- Und vieles mehr…
Unser Ansatz fängt bei s0 (dem Ausgangszustand des Projekts) an und begleitet fachkompetent die rechtliche Seite von der Planung bis zum Deployment.
Wir identifizieren frühzeitig die rechtlich kritischen Aspekte des Projekts und begleiten es gemeinsam mit Entwicklern und Projektleitern durch Expertise im Arzneimittel-, Berufs-, Datenschutz-, Medizin- und Medizinprodukterecht sowie in sozialrechtlichen Angelegenheiten und hinsichtlich der IT-Sicherheit – mit detailliertem Verständnis für die Techniken des maschinellen Lernens und die Anbieter-Nutzer-Umgebungen für KI-basierte Medizinprodukte.
Und wir berücksichtigen schon heute die notwendigen Maßnahmen auf der Grundlage der künftigen EU-Regulierung zu Künstlicher Intelligenz, damit KI-Medizinprodukte langfristig erfolgreich sind.