Die Implementierung von Künstlicher Intelligenz (KI) im Gesundheitswesen bietet enorme Potenziale zur Verbesserung von Diagnose, Behandlung und Patientenversorgung. Dennoch erfordert der Einsatz von KI-Systemen eine strenge Governance, um Sicherheit, Ethik und Compliance zu gewährleisten. Diese Übersicht für Fortgeschrittene im Thema bietet eine Zusammenstellung zu bewährten Praktiken, tiefere Einblicke und detaillierten Leitlinien für KI-Governance, basierend auf den Richtlinien des National Cyber Security Centre (NCSC), der Weltgesundheitsorganisation (WHO) und des IEEE (World Standards Association).
Schlüsselkomponenten der KI-Governance
Sicherheit und Resilienz
- NCSC-Guidelines: Betonen die Notwendigkeit sicherer Entwicklungspraktiken, kontinuierlicher Bedrohungsanalysen und regelmäßiger Sicherheitstests. NCSC Guidelines for Secure AI System Development
- Best Practices:
- Implementierung sicherer Kodierungsstandards
- Durchführung von Penetrationstests und Sicherheitsüberprüfungen
- Entwicklung von Incident-Response-Plänen
Ethik und Fairness
- WHO-Guidelines: Konzentrieren sich auf die ethischen Implikationen von KI im Gesundheitswesen, einschließlich Fairness, Transparenz und Gerechtigkeit. Leitfaden WHO: Guidance on large multi-modal models: WHO Guidance on Ethics and Governance of Artificial Intelligence for Health
- Best Practices:
- Sicherstellung der Transparenz in Entscheidungsprozessen
- Regelmäßige Audits zur Vermeidung von Bias und Diskriminierung
- Einhaltung ethischer Standards und Richtlinien
Compliance und Regulierung
- IEEE-Standards: Bieten umfassende Leitlinien zur Einhaltung regulatorischer Anforderungen und zur Sicherstellung der Interoperabilität von KI-Systemen. Global Initiative on Ethics of Autonomous and Intelligent Systems: IEEE Ethically Aligned Design
- Best Practices:
- Integration von Compliance-Checks in den Entwicklungsprozess
- Zusammenarbeit mit Regulierungsbehörden
- Dokumentation und Nachweis der Einhaltung von Standards und Vorschriften
Best Practices für die Entwicklung und Implementierung
Interdisziplinäre Zusammenarbeit
Förderung der Zusammenarbeit zwischen KI-Entwickler;innen, Mediziner:innen, Ethiker:innen und Sicherheitsexpert:innen zur ganzheitlichen Betrachtung und Lösung von Problemen.
Datenschutz und Datensicherheit
- NCSC-Guidelines: Stellen den Schutz personenbezogener Gesundheitsdaten in den Vordergrund.
- Best Practices:
- Implementierung starker Verschlüsselungsmechanismen
- Minimierung der Datenerhebung und -speicherung
- Regelmäßige Datenschutz-Schulungen für Mitarbeiter:innen
Fortlaufende Überwachung und Anpassung
- IEEE-Standards: Betonen die Bedeutung der kontinuierlichen Überwachung und Anpassung von KI-Systemen.
- Best Practices:
- Etablierung eines kontinuierlichen Überwachungs- und Wartungsprozesses
- Regelmäßige Aktualisierungen und Patches
- Implementierung eines Feedback-Systems für Endnutzer:innen
Um die genannten Best Practices erfolgreich zu implementieren, sollten Organisationen einen systematischen Ansatz verfolgen:
- Bewertung des Status quo: Analyse der aktuellen Prozesse und Systeme, um Bereiche zu identifizieren, in denen KI-Governance verbessert werden kann.
- Entwicklung von Richtlinien: Entwicklung klare Richtlinien und Verfahren, die die Implementierung der Best Practices unterstützen.
- Schulung und Schulungsprogramme: Angebot von Schulungen, um sicherzustellen, dass alle Beteiligten über die Bedeutung und Anwendung von KI-Governance informiert sind.
- Überwachung und Bewertung: Implementierung von Mechanismen zur kontinuierlichen Überwachung und Bewertung der Einhaltung von Best Practices, um sicherzustellen, dass die Systeme effektiv funktionieren und den Anforderungen gerecht werden.
- Feedback und Anpassung: Nutzen von Feedback von Benutzer:innen und anderen Stakeholdern, um die Prozesse kontinuierlich zu verbessern und anzupassen.
Die Etablierung einer robusten KI-Governance im Gesundheitswesen ist unerlässlich, um die Sicherheit, Ethik und Qualität von KI-Anwendungen zu gewährleisten. Durch die Einhaltung der Richtlinien und Best Practices des NCSC, der WHO und des IEEE können KI-Entwickler:innen sicherstellen, dass ihre Systeme nicht nur innovativ, sondern auch vertrauenswürdig und konform sind.
Für Fortgeschrittene im Thema und Fachkreise existieren durchaus auch weitere detaillierte Anleitungen, welche je nach Bedarf, Fragestellung und Reifegrad der Einrichtung sehr viel weiterhelfen können, die KI-Journey der eigenen KI-Entwicklung mit einer professionellen KI-Governance abschließen zu können:
The Institute for Ethical AI & Machine Learning
Diese Organisation stellt praktische Richtlinien zur Verfügung, darunter den „Responsible AI Framework“, der aus verschiedenen Checklisten und Tools besteht, um die Entwicklung und den Einsatz verantwortungsvoller KI zu fördern. https://ethical.institute/
The Partnership on AI
Die Partnership on AI ist eine kollaborative Organisation, die Ressourcen und Frameworks zur Verfügung stellt, um ethische und verantwortungsvolle KI-Praktiken zu fördern. Sie bieten eine Vielzahl von Checklisten für verschiedene Aspekte der KI-Governance. https://partnershiponai.org/
High-Level Expert Group on Artificial Intelligence (AI HLEG) – European Commission
Diese Expertengruppe der Europäischen Kommission bietet Richtlinien und Checklisten, die für Entwickler und Unternehmen entwickelt wurden, um eine vertrauenswürdige KI zu fördern. Die HLEG bietet Richtlinien für vertrauenswürdige KI, einschließlich spezifischer Checklisten zur Umsetzung ethischer Prinzipien in der Praxis. Diese Dokumente sind besonders relevant für Organisationen, die in der EU tätig sind. https://digital-strategy.ec.europa.eu/en/policies/expert-group-ai
Eine Anforderungsliste ist die ALTAI (Assessment List for Trustworthy Artificial Intelligence), eher ein Tool, das Organisationen unterstützt, die ethischen Prinzipien der EU für vertrauenswürdige KI in ihre Entwicklungen und Anwendungen zu integrieren. Die Liste basiert auf den sieben Schlüsselanforderungen der EU, die in den Ethikrichtlinien für vertrauenswürdige KI festgelegt wurden. Diese Anforderungen umfassen Aspekte wie Transparenz, Robustheit, Datenschutz, Fairness und Verantwortung. Nutzer der ALTAI können anhand von Fragen und Kriterien prüfen, wie gut ihre KI-Systeme diese Anforderungen erfüllen, und identifizieren mögliche Verbesserungsbereiche. https://digital-strategy.ec.europa.eu/en/library/assessment-list-trustworthy-artificial-intelligence-altai-self-assessment
Die Frage welche Modell-updates sind wann zur Nachhaltigkeit notwendig, ist nicht nur technisch eine Herausforderung, sondern auch regulatorisch: wenn das KI-Modell aktualisiert wird (oder selbst lernt und sich dadurch ändert), ist zu klären, ob dies einer wesentlichen Änderung des KI-Modells gleichzusetzen ist. Im Bereich der europäischen KI-Verordnung (EU AI-act) wurde in Artikel 43 Absatz 4 KI-VO festgelegt, dass bei wesentlichen Änderungen der KI-Anwendungen ein neues Konformitätsbewertungsverfahren durchgeführt werden muss. Diese Klärung kann nur durch benannte Stellen erfolgen. KI-Anwendungen dürften häufiger als sonstige Medizinproduktesoftware Änderungen erfahren. Sie sind entweder als sogenannte offene KI in der Lage, sich anhand zusätzlich im Einsatz gesammelter „Erfahrungen“ selbst in einem kontinuierlichen Prozess weiterzuentwickeln oder sie werden vom Hersteller jeweils schrittweise mit zusätzlichen Daten trainiert, um ihre Fähigkeiten in der Patientenversorgung zu verbessern und dadurch nicht zuletzt im Wettbewerb zu bestehen. Daher ist davon auszugehen, dass in Zukunft die regulatorischen Behörden und benannten Stellen hier selbst noch „am Lernen“ sein werden, mit den neuen Gegebenheiten einer KI-Governance und den neuen Freiheiten im EU AI-act.
Technisch bedarf die Frage, welche Modell-updates sind wann zur Nachhaltigkeit notwendig auch einer Hilfestellung, da Erfahrungen von KI-Modellen mit Governance und Nachhaltigkeit noch jung und damit rar gesät sind. Technisch können KI-Modelle durchaus zur Laufzeit der Maschine oder der Software ausgetauscht werden. Hier zwei Möglichkeiten, beschrieben durch Beckhoff Automation System: a) Modellupdate ohne Änderung des Modell-Interface und b) Modellupdate mit Änderung des Modell-Interface; https://infosys.beckhoff.com/index.php?content=../content/1031/tf3820_tc3_machine_learning_server/17322105739.html&id=
Von IBM wurde eine Kurzanleitung zu ModelOps publiziert, welche hilft den KI-Lebenszyklus agil verwalten zu können: https://dataplatform.cloud.ibm.com/docs/content/wsj/analyze-data/modelops-overview.html?context=wx&locale=de
Ein Leitfaden für den KI-Modellzyklus wurde auch von GCore herausgegeben: https://gcore.com/de/learning/ai-model-lifecycle/
Eine Checkliste zum Stand der KI-Governance in Ihrer Einrichtung finden Sie im Anhang: Checkliste zu KI-Governance im Gesundheitswesen
Checkliste zu KI-Governance im Gesundheitswesen:
Klinische Validierung und Sicherheit
- Klinische Tests und Validierung:
- Stellen Sie sicher, dass alle KI-Modelle in einem klinischen Umfeld validiert wurden.
- Prüfen Sie, ob die KI-Lösungen von unabhängigen Gremien getestet und zertifiziert wurden.
Beispiel: Wurde die KI für die Diagnose von Hautkrebs auf Basis klinischer Daten getestet und mit menschlichen Experten verglichen:
- Genauigkeit und Zuverlässigkeit:
- Regelmäßige Tests der Genauigkeit und Zuverlässigkeit der Modelle durchführen.
Beispiel: Werden Vorhersagen der KI durch medizinische Fachkräfte überprüft, um Fehler zu minimieren?
- Risikobewertung:
- Durchführen einer umfassenden Risikobewertung der KI-Modelle und -Systeme.
Beispiel: Gibt es Risikobewertungen für die KI-gestützte Entscheidung bei Medikamentenempfehlungen?
- Patientensicherheit:
- Sicherstellen, dass die Implementierung der KI die Patientensicherheit nicht gefährdet.
Beispiel: Gibt es Mechanismen, die im Notfall die KI-Entscheidungen überstimmen können?
Ethische Überlegungen und Patientenzentrierung
- Patientenzentrierte Ansätze:
- Die KI sollte die Bedürfnisse und Perspektiven der Patienten respektieren und unterstützen.
Beispiel: Werden Patienten in die Entwicklung von KI-Lösungen eingebunden, um sicherzustellen, dass ihre Bedürfnisse berücksichtigt werden?
- Informed Consent:
- Sicherstellen, dass Patienten eine informierte Zustimmung zur Nutzung ihrer Daten geben.
Beispiel: Wird den Patienten klar erklärt, wie ihre Daten verwendet werden und welche Vorteile und Risiken damit verbunden sind?
- Wahrung der Autonomie:
- Die KI-gestützte Entscheidungsfindung sollte die Autonomie der Patienten nicht einschränken.
Beispiel: Werden Patienten über die Möglichkeit informiert, KI-Empfehlungen abzulehnen?
- Ethikrichtlinien:
- Interne Ethikrichtlinien implementieren und befolgen, die die Nutzung von KI in der Gesundheitsversorgung regeln.
Beispiel: Sind Ethikkommissionen involviert, die die Einhaltung ethischer Standards überwachen?
Datenmanagement und Datenschutz
- Datenqualität und Repräsentativität:
- Sicherstellen, dass die verwendeten Daten hochwertig und repräsentativ für die Zielpopulation sind.
Beispiel: Wurde sichergestellt, dass die Trainingsdaten vielfältig und frei von Bias sind, um Verzerrungen in den Vorhersagen zu vermeiden?
- Anonymisierung und Pseudonymisierung:
- Patientenidentifizierende Daten sollten anonymisiert oder pseudonymisiert werden, um die Privatsphäre zu schützen.
Beispiel: Werden Algorithmen verwendet, um sicherzustellen, dass Patientendaten anonym bleiben, während die KI trainiert wird?
- Einwilligung zur Datennutzung:
- Patienten müssen ihre Einwilligung zur Nutzung ihrer Daten für KI-Zwecke erteilen.
Beispiel: Gibt es eine klare, verständliche Erklärung für Patienten, wie ihre Daten verwendet werden?
- Einhaltung von Datenschutzgesetzen:
- Einhaltung aller relevanten Datenschutzgesetze, einschließlich DSGVO, HIPAA, etc.
Beispiel: Gibt es Mechanismen, die die Einhaltung der Datenschutzbestimmungen in allen Phasen der Datenverarbeitung sicherstellen?
Transparenz und Nachvollziehbarkeit
Erklärbarkeit der KI-Entscheidungen:
- Implementieren von Mechanismen zur Erklärung der KI-Entscheidungen, um das Vertrauen der Patienten zu stärken.
Beispiel: Werden die Entscheidungswege der KI klar und verständlich für Ärzte und Patienten dokumentiert?
- Dokumentation der Algorithmen:
- Alle eingesetzten Algorithmen müssen umfassend dokumentiert werden.
Beispiel: Ist die Modellarchitektur dokumentiert und für externe Prüfungen zugänglich?
- Veröffentlichung der Modellergebnisse:
- Veröffentlichung von Forschungsergebnissen und Leistungsmessungen der KI-Modelle.
Beispiel: Werden die Ergebnisse von Studien, die KI-Einsätze im Gesundheitswesen betreffen, öffentlich zugänglich gemacht?
- Verständlichkeit für Anwender:
- Sicherstellen, dass alle Nutzergruppen (Ärzte, Patienten) die Funktionsweise der KI verstehen.
Beispiel: Gibt es Schulungsmaterialien, die die Arbeitsweise der KI für medizinisches Personal und Patienten verständlich machen?
Fairness und Nichtdiskriminierung
- Bias-Analyse:
- Regelmäßige Überprüfung der Algorithmen und Daten auf potenzielle Bias.
Beispiel: Werden die Auswirkungen von Bias auf die Vorhersageergebnisse regelmäßig überprüft und angepasst?
- Vielfalt in den Trainingsdaten:
- Nutzung vielfältiger und repräsentativer Datensätze, um Verzerrungen zu vermeiden.
Beispiel: Sind die Trainingsdaten frei von Verzerrungen hinsichtlich Geschlecht, Ethnie oder Alter?
- Regelungen zur Diskriminierungsfreiheit:
- Implementierung von Maßnahmen, um Diskriminierung in den KI-Ergebnissen zu verhindern.
Beispiel: Gibt es Mechanismen zur regelmäßigen Überprüfung der Modelle auf diskriminierende Muster?
- Gerechte Behandlung aller Patienten:
- Sicherstellen, dass die KI-Systeme alle Patienten gleich behandeln, unabhängig von Herkunft oder sozialem Status.
Beispiel: Werden Maßnahmen ergriffen, um Diskriminierung bei Diagnose oder Behandlung zu verhindern?
Verantwortlichkeit und Compliance
- Zuständigkeiten und Rollenverteilung:
- Klare Definition von Verantwortlichkeiten und Rollen innerhalb des KI-Entwicklungsteams.
Beispiel: Gibt es klare Ansprechpartner für ethische und technische Fragen innerhalb des Teams?
- Einhaltung rechtlicher Vorgaben:
- Sicherstellen der Einhaltung aller rechtlichen Vorgaben und regulatorischen Anforderungen.
Beispiel: Sind alle gesetzlichen Anforderungen hinsichtlich Sicherheit, Datenschutz und Ethik erfüllt?
- Regelmäßige Compliance-Überprüfungen:
- Durchführung regelmäßiger Compliance-Audits, um die Einhaltung von Vorschriften sicherzustellen.
Beispiel: Gibt es regelmäßige interne Audits zur Überprüfung der Einhaltung von Datenschutzbestimmungen?
- Verantwortung für KI-Entscheidungen:
- Sicherstellen, dass die Verantwortung für KI-Entscheidungen klar zugewiesen ist.
Beispiel: Wer trägt die Verantwortung, wenn KI-Entscheidungen zu falschen Diagnosen führen?
Interdisziplinäre Zusammenarbeit und Schulung
- Einbeziehung von Ethikern und Juristen:
- Regelmäßige Konsultation von Ethikern, Juristen und anderen Experten während der Entwicklung und Implementierung.
Beispiel: Werden ethische und rechtliche Fragestellungen in die Entwicklungsprozesse integriert?
- Schulung des medizinischen Personals:
- Durchführung regelmäßiger Schulungen für das medizinische Personal zur Nutzung und den ethischen Implikationen von KI.
Beispiel: Gibt es Weiterbildungsmaßnahmen, die die Integration von KI in den klinischen Alltag unterstützen?
- Interdisziplinäre Teams:
- Aufbau von Teams mit interdisziplinärer Expertise zur Überwachung und Verbesserung von KI-Systemen.
Beispiel: Sind Datenwissenschaftler, Ärzte und Ethiker im Entwicklungsteam vertreten?
- Patientenbeteiligung:
- Aktive Einbeziehung der Patienten in die Entwicklung und Überprüfung von KI-Lösungen.
Beispiel: Gibt es Programme, die Patientenfeedback in die Verbesserung der KI-Systeme integrieren?
8.Langfristige Überwachung und Verbesserung
- Kontinuierliche Leistungsüberwachung:
- Implementierung von Systemen zur kontinuierlichen Überwachung der Leistung und Qualität der KI-Modelle.
Beispiel: Werden Algorithmen regelmäßig auf ihre Leistungsfähigkeit hin überwacht und optimiert?
- Feedbackmechanismen:
- Etablierung von Feedbackmechanismen zur kontinuierlichen Verbesserung der Systeme.
Beispiel: Gibt es ein strukturiertes System zur Sammlung und Analyse von Nutzerfeedback?
- Datenaktualisierung und Modellpflege:
- Sicherstellen, dass die KI-Systeme regelmäßig aktualisiert werden, um Sicherheitslücken zu schließen und neue Funktionen zu implementieren.
