Schritt 4: Klinische KI-Validierung

KI-Journey

Prozess-Schritt 4: Klinische KI-Validierung 

Prozess-Schritt 4: Klinische KI-Validierung

Kernfragen:

  • Welche Studiensettings um klinischen/medizinischen Mehrwert zu liefern?
  • Wie hoch ist die Rechtssicherheit für Anwender? Welcher (finanzielle) Aufwand für welchen Nutzen?

Der vierte Schritt der KI-Journey umfasst die klinische KI-Validierung. Dieser Schritt richtet sich vorrangig an die Zielgruppe der KI-Entwickler:innen, Start-ups, KMUs, Versorger, Kliniker/Mediziner und finanziellen Stakeholder. In diesem Prozessschritt sollen sich die Zielgruppen mit den KI-Kriterien für klinische Studien auseinandersetzen und herausfinden, welche Studiensettings benötigt werden, um einen klinischen/medizinischen Mehrwert zu liefern.  Auch eine wichtige Frage stellt die Rechtssicherheit bei Anwendungen dar. Zunächst soll ein grundsätzliches Verständnis zu klinischen Studien und deren Besonderheiten gebildet werden. Dabei wird insbesondere ein Fokus auf allgemeine Grundsätze für klinische Studien gelegt. In einem weiteren Schritt geht es um konkrete Checklisten zu KI-Kriterien in klinischen Studien sowie das Verwenden von Studensettings bereits zugelassener DiGAs und anderen KI-basierten Anwendungen in der Patientenversorgung. 

Die Medical Device Regulation (MDR (analog die In Vitro Diagnostic Regulation, IVDR) verpflichtet die Hersteller, die Sicherheit, Leistung und den klinischen Nutzen der Produkte im Rahmen der klinischen Bewertung bzw. der Leistungsbewertung von IVD nachzuweisen. In den meisten Fällen wird es den Herstellern nicht gelingen, anhand von veröffentlichten klinischen Daten die Konformität mit den regulatorischen Anforderungen (z. B. an die Leistungsfähigkeit) nachzuweisen. Das liegt daran, dass sich die Äquivalenz der Produkte bzw. KI-Modelle, mit denen die Daten gewonnen wurden, nicht ausreichend darlegen lässt. Daher werden in den meisten Fällen beim Einsatz künstlicher Intelligenz in Medizinprodukten klinische Studien notwendig sein.

Mehr zu Notwendigkeit und Settings klinischer Studien bei KI-Produkten beim Johner-Institut:

Bei der Forschung an und mit Medizinprodukten gibt es maßgebliche europäische und nationale Gesetze, die es zu beachten gilt. Auf europäischer Ebene gibt es die europäische Medizinprodukteverordnung 2017/745 (https://eur-lex.europa.eu/legal-content/EN/TXT/?uri=CELEX%3A32017R0745). Diese wird durch das Medizinprodukterecht-Durchführungsgesetz (MPDG) (https://www.gesetze-im-internet.de/mpdg/) um nationale Vorgaben ergänzt. Gemeinsam mit dem MPDG regelt die EU-Medizinprodukteverordnung das Inverkehrbringen und die Inbetriebnahme von Medizinprodukten und soll dadurch für die Sicherheit, Eignung und Leistung der Medizinprodukte sowie der Gesundheit und den erforderlichen Schutz der Patient:innen, Anwender und Dritter sorgen. Weitere Informationen zu regulatorischen Anforderungen wie dem MDR finden Sie im Prozess-Schritt 5.   

Die geplante Verordnung der Europäischen Union, der EU AI Act, zielt darauf ab, die Entwicklung, den Einsatz und die Vermarktung von KI innerhalb der EU zu regulieren. Das Hauptziel des AI Act ist es, die Risiken und Herausforderungen, die mit KI verbunden sind, zu adressieren und gleichzeitig Innovationen zu fördern. Es gilt darauf zu schauen, welche Auswirkungen dieser auf die klinische Validierung von KI-Anwendungen hat.   

Prozess-Schritt 4: Klinische KI-Validierung

Für Einsteiger ohne Vorkenntnisse für das Themenfeld klinische KI-Validierung ist zunächst wichtig, ein grundlegendes Verständnis von klinischen Studien und deren Besonderheiten zu erhalten. 

Klinische Studien sind Forschungsvorhaben am Menschen, mit deren Hilfe in der Regel die Wirksamkeit und Sicherheit neuer Behandlungsverfahren überprüft werden soll. Hierfür wird das neue Verfahren entweder mit einer Scheinbehandlung (Placebo) oder einer bereits etablierten Behandlung verglichen. 

Das „Handbuch klinische Studien: Ein Ratgeber für Ärztinnen, Ärzte und Studienpersonal“ erklärt die wichtigsten Grundbegriffe bei Studien und stellt die häufigsten Fehler vor und während der Durchführung einer Studie dar: https://cccc.charite.de/fileadmin/user_upload/microsites/m_cc10/CCCC/3_Forschung/Klinische_Studien/Studienhandbuch_Hardcover_221213.pdf 

Über dieses Quiz können Sie ihr Wissen zu klinischen Studien überprüfen: Quiz Klinische Studien.docx

Je nach Anwendung, die in einer klinischen Studie getestet werden soll, kann ein Ethikantrag erforderlich sein, bevor die klinische Studie durchgeführt werden kann. In diesem Antrag sollten u.a. die technischen Grundlagen der KI-Anwendung, wie z.B. Algorithmen, die verwendet werden, um die KI-Anwendung zu entwickeln und zu betreiben, sowie die Funktionalität und bekannte Grenzen und Unsicherheiten erläutert werden. Der Ethikantrag wird von der Ethik-Kommission geprüft. Diese hat die Aufgabe, den Prüfplan und die erforderlichen Unterlagen insbesondere nach ethischen und rechtlichen Gesichtspunkten zu prüfen und ob die in den gesetzlichen Vorschriften genannten Voraussetzungen erfüllt werden. Ohne ein positives Votum einer Ethik-Kommission ist es in Deutschland nicht erlaubt eine klinische Studie mit Medizinprodukten zu beginnen. Eine Übersicht über die zuständigen Ethik-Kommissionen für klinischen Studien nach Bundesländern sortiert finden Sie beim Bundesinstitut für Arzneimittel und Medizinprodukte (BfArM): https://www.bfarm.de/DE/Medizinprodukte/Ueberblick/Institutionen/Ethikkommissionen/_node.html . Weitere Informationen und Hilfestellungen für die Einreichung von klinischen Prüfungen mit Medizinprodukten finden Sie beim Arbeitskreis Medizinischer Ethik-Kommissionen (AKEK): https://www.akek.de/medizinproduktegesetz-mpg/ .

Hier finden Sie auch zwei Beispiele für Anträge auf Prüfung eines Forschungsvorhabens des KIT bzw. der UMM:

Bei der Durchführung von klinischen Studien sollten diese allg. Grundsätze berücksichtigt werden: ​

Declaration of Helsinki 

Guideline for Good clinical practice

https://www.ema.europa.eu/en/ich-e6-r2-good-clinical-practice-scientific-guideline 
Darunter versteht man einen international anerkannten und nach ethischen und wissenschaftlichen Gesichtspunkten aufgestellten Standard für Planung, Durchführung, Monitoring, Auditierung, Dokumentation, Auswertung und Berichterstattung von klinischen Prüfungen.

Innerhalb der EU  

  • Datenschutz-Grundverordnung (DSGVO): https://eur-lex.europa.eu/legal-content/DE/TXT/?uri=celex%3A32016R0679
  • Die EU Datenschutz Grundverordnung (DSGVO) verbietet jede Verarbeitung personenbezogener Daten, soweit nicht eine gesetzliche Norm die Datenverarbeitung erlaubt oder die Datenverarbeitung durch die Einwilligung der betroffenen Person legitimiert wird.
  • In der medizinischen Forschung ist die Einwilligung der Patienten/Probanden (Broad Consent) die Legitimation zur Verarbeitung ihrer Gesundheitsdaten. 

Über dieses Quiz können Sie ihr Wissen zu KI und klinischer Validierung testen: Quizfragen KI und klinische Validierung

Beispiele zugelassener KI-basierter Anwendungen in der Patientenversorgung werden im Artikel „Qualität und Nutzen künstlicher Intelligenz in der Patientenversorgung“ im Deutschen Ärzteblatt behandelt:

Wenn es um KI-Anwendungen und deren Nutzennachweis in der Praxis geht, empfiehlt es sich den Blick in benachbarte Länder zu lenken, in denen schon länger digitale Technologien mit künstlicher Intelligenz Anwendung finden und dieses Gesamtpaket als positiv empfunden wird. Die Schweiz ist in diesem Zusammenhang sicherlich ganz vorne zu nennen, deswegen empfehlen wir hier den umfänglichen Übersichtsartikel von FMH (Verbindung Schweizer Ärztinnen und Ärzte), „Künstliche Intelligenz im ärztlichen Alltag“ (mit Anwendungshilfen und Beschreibungen zu Nutzen/Outcomes): https://www.fmh.ch/files/pdf27/20220914_fmh_brosch-ki_d.pdf 

Bei der Bewertung von Qualität und Nutzen einer KI-Anwendung müssen wissenschaftliche Prinzipien der evidenzbasierten Medizin berücksichtigt werden. Für Informierte mit Vorkenntnissen zum Themenfeld klinische Studien gilt es demensprechend zu klären, was es bei klinischen Studien zu einer KI-Anwendung zu beachten gilt. Es gibt mehrere Leitfäden/Leitlinien für die Berichterstattung über klinische Studienprotokolle, die Interventionen mit einer KI-Komponente bewerten: 

Checkliste KI-Kriterien für Klinische Studien:

Besonders nützlich und überschaubar in der Komplexität erscheint die Checkliste KI-Kriterien für Klinische Studien von MI-CLAIM (Minimum Information about Clinical Artificial Intelligence Modeling): https://www.nature.com/articles/s41591-020-1041-y 

Bei den digitalen Gesundheitsanwendungen (DiGA), auch Apps auf Rezept genannt, gibt es bereits folgende Anwendungen die KI verwenden und Nutzen-validiert, teils dauerhaft zugelassen sind (mit KI-Studiensettings):

Über mögliche Testzugänge könnten diese DiGA auch selbst intensiver getestet und deren Funktionalität ausprobiert werden. 

Einige Beispiele von in Deutschland zugelassenen KI-Anwendungen mit Studieninformationen:

Für die ersten drei dieser KI-Anwendungen gibt es je einen One-Pager, der die Funktionen und Merkmale der Anwendungen näher erläutert:

Für Fortgeschrittene oder Fachkreise im Themenfeld klinische KI-Validierung ist es oft schwierig den passenden Einstieg ins Thema mit eigenem Mehrwert zu finden. Daher konzentrieren wir uns hier auf wenige, jedoch detailtiefe und aussagekräftige Anleitungen bzw. Leitfäden. 

Checkliste KI-Kriterien für Klinische Studien:

Die CONSORT-AI reporting guidelines werden auch im EU AI Act als Beispiel für eine Berichts- und Validierungsrichtlinie genannt: CONSORT-AI (Consolidated Standards of Reporting Trials-Artificial Intelligence) https://www.nature.com/articles/s41467-024-45355-3#:~:text=The%20Consolidated%20Standards%20of%20Reporting,transparency%20of%20reporting%20is%20unknown. 
 

Oder auch SPIRIT-AI (Standard Protocol Items: Recommendations for Interventional Trials-AI), veröffentlicht in LANCET, gibt eine professionelle Anleitung mit auf den Weg: https://www.thelancet.com/journals/landig/article/PIIS2589-7500(20)30219-3/fulltext#:~:text=SPIRIT%2DAI%20recommends%20that%20investigators,and%20analysis%20of%20error%20cases. 

Die TÜV Rheinland Akademie hat sich ebenfalls dem Themenbereich „Künstliche Intelligenz in Medizinprodukten: Herausforderungen und Lösungen für die klinische Bewertung“ gewidmet, mit strukturierten Übersichten, ein guter Leitfaden für die Klinische Bewertung von Medizinprodukten mit KI-Algorithmen: https://akademie.tuv.com/blog/ki-in-medizinprodukten-herausforderungen-und-loesungen-fuer-die-klinische-bewertung/ 

Generell ist wiederkehrend – unabhängig vom Vorwissen und der Informationsebene – der Bedarf eine KI-Anwendung zum jeweiligen Nutzen (dem Outcome) im ärztlichen Alltag anschaulich beschreiben zu können eine große Herausforderung. Darauf sollte auch immer der Nutzennachweis mit klinischen Endpunkten in klinischen Studien ausgelegt werden. Eine KI-Anwendung im ärztlichen Alltag kann dabei: 

  • Entscheidungshilfe/Unterstützung durch diagnostische Genauigkeit und Effizienz liefern > schnellere Diagnosestellung und potenziell frühzeitigere Behandlung
  • Früherkennung von Krankheiten ermöglichen > KI-Algorithmen können Muster in Daten erkennen, was frühzeitige Intervention ermöglichen kann
  • Personalisierte Medizin umsetzen > Anpassung von Behandlungsplänen, was zu verkürzten Behandlungszeiten führen kann

Eine IBM-Studie hat hierzu anschaulich herausgearbeitet, was KI an Nutzen in der Gesundheitsversorgung generieren kann, und dadurch auch ein breites Spektrum an positiven Outcomes in klinischen Studien erbringen könnte:

KI könnte dazu beitragen, den Betrieb im Gesundheitswesen effizienter zu gestalten

  • Administrativer Workflow
  • Virtuelle Assistenten in der Pflege
  • Reduzierung von Dosierungsfehlern
  • Weniger invasive Operationen
  • Betrugsprävention

KI könnte zur Effizienzsteigerung bei Gesundheitsdiagnosen eingesetzt werden

KI in Gesundheitsorganisationen könnte die Gesundheitsüberwachung und Vorsorge verbessern

KI kann bei der Verknüpfung verteilter Gesundheitsdaten helfen

https://www.ibm.com/de-de/think/insights/ai-healthcare-benefits