Leitlinien für die Entwicklung, Bewertung und Implementierung von KI-basierten Vorhersagemodellen im Gesundheitswesen
Guidelines For Algorithms
Kontaktieren Sie uns

Aufgrund der kontinuierlichen Weiterentwicklung der Medizin und der enormen Menge an klinischen Daten, die im Verlaufe ihrer Ausübung gesammelt werden, besteht ein dringender Bedarf zur Optimierung der Arbeitszeit von Klinikärzten. Eine diesbezügliche Möglichkeit ist die Analyse klinischer Daten mithilfe von maschinellem Lernen und künstlicher Intelligenz (KI) auf der Grundlage von Vorhersagemodellen. Diese Modelle sagen das Vorhandensein oder das zukünftige Auftreten bestimmter Ergebnisse (z. B. eines spezifischen Zustands oder einer konkreten Erkrankung) unter Nutzung charakteristischer Eingaben (etwa bestimmter Patientenmerkmale oder medizinischer Bilder usw.) voraus. Obwohl die Ergebnisse dieses Ansatzes vielversprechend sind, erfordert die Entwicklung eines KI-basierten Vorhersagemodells (AIPM) eine sorgfältige Qualitätsbewertung, bevor es in der täglichen Praxis angewendet werden kann.

Um die Sicherheit der Patienten und die hohe Qualität der durchgeführten Analysen sicherzustellen, ist es notwendig, die Richtlinien und Qualitätskriterien in Bezug auf die Entwicklung, Bewertung und Implementierung von AIPM einzuhalten. Um den Zugang zu diesen Richtlinien zu erleichtern, führte eine Gruppe von Wissenschaftlern eine Literaturrecherche auf der Grundlage von 72 ausgewählten Artikeln durch und veröffentlichte die Ergebnisse ihrer Arbeit in der Zeitschrift Digital Medicine (DOI: 10.1038 / s41746-021-00549-7). Basierend auf der von Anne A.H. de Hond et al. durchgeführten Analyse wurden im Entwicklungs-, Bewertungs- und Implementierungszyklus für AIPM sechs Phasen unterschieden, die einen Rahmen für die verantwortungsbewusste Einführung von KI-basierten Vorhersagemodellen im Gesundheitswesen bieten.

Die erste Phase der AIPM-Implementierung umfasst die Datenaufbereitung. Diese Phase wurde in dem oben genannten Artikel in mehreren Bereichen berücksichtigt (medizinischer Kontext, Patientendatenschutz, Stichprobengröße, Repräsentativität, Datenqualität, Datenvorverarbeitung und Datencodierungsstandards); für eine Zusammenfassung siehe die nachstehende Beschreibung im vorliegenden Text.

 

Medizinischer Kontext

Gemäß den Empfehlungen in der Literatur sollte vor der Entwicklung von AIPM das medizinische Problem und der Kontext definiert werden, in dem das Produkt Verwendung finden soll. Zudem muss eine gründliche Untersuchung des aktuellen Behandlungsstandards durchgeführt und der legitime Zweck der Verwendung von AIPM im jeweiligen Bereich nachgewiesen werden. Die Bedürfnisse der Patienten sollten ebenfalls analysiert werden, ebenso wie die auf der Grundlage von AIPM-Vorhersagen ergriffenen Gesundheitsmaßnahmen (Therapien und Interventionen). Darüber hinaus sollte der Fokus auf den Kriterien für den klinischen Erfolg liegen, einschließlich einer Analyse der potenziellen Risiken von Vorhersagefehlern. In dieser Phase sollten sich die Entwickler darauf konzentrieren, eine Analyse des Nutzens von AIPM sowie der Kosten ihrer Entwicklung und Instandhaltung sowie der Folgen ihres Missbrauchs durchzuführen.

 

Patientendatenschutz

Alle Daten sind gemäß den Regeln von DSGVO (EU), PIPEDA (Kanada) und HIPAA (USA) zu speichern und müssen den örtlichen Vorschriften entsprechen. Mit Nachdruck wurde darauf hingewiesen, dass bei Bedarf Datenschutzspezialisten zu konsultieren sind. Die Autoren der Publikation legten ein besonderes Augenmerk auf bereits vorhandenen Daten, die für einen anderen Zweck als AIPM erhoben wurden und die das Team gerne für die Entwicklung eines eigenen Produkts nutzen möchte.

 

Stichprobenumfang und Repräsentativität

Einige Empfehlungen schlagen die Minimierung der gespeicherten Datenmenge, eine Verschlüsselung oder den Einsatz von Pseudonymisierungs- bzw. Anonymisierungsverfahren vor. Es wird empfohlen, den Umfang der gesammelten Daten zu melden; dieser sollte zugleich groß genug sein, um den beabsichtigten Zweck zu erreichen, der für jedes AIPM spezifisch ist.

Darüber hinaus wird berichtet, dass die Repräsentativität einen großen Einfluss auf die Bewertung und Vermeidung von algorithmischer Verzerrung und schlechter Kalibrierung hat. Daher ist die Bereitstellung solcher Daten wichtig, die für die Zielpopulation repräsentativ sind, einschließlich einer angemessenen Heterogenität und Diversität (hinsichtlich des Zeitpunkts der Datenerhebung sowie von Ort und Umfeld, Geschlecht, Alter, ethnischer Zugehörigkeit, Krankengeschichte und Ein- & Ausschlusskriterien).

 

Datenqualität

Die erhobenen Daten sollten durch die Überprüfung und Beschreibung fehlender Daten einer qualitativ hochwertigen Bestätigung unterzogen werden. Mögliche Messfehler und die Zufälligkeit bzw. Systematik ihrer Mechanismen sollten berücksichtigt werden. Darüber hinaus ist eine klare Definition und Methode zur Messung der Variablen bereitzustellen, einschließlich einer Spezifikation der zur Durchführung der Messungen verwendeten Geräte. Es wird überdies empfohlen, die Daten weiter zu überprüfen, indem sie stichprobenartig auf Fehler untersucht werden. Die Autoren berichteten außerdem über die Vorteile der Installation eines Fehlerkorrekturprozesses, der beim Erstellen und Implementieren des Modells verwendet werden sollte. Besondere Aufmerksamkeit wird auf die Qualität der Daten gerichtet, insbesondere wenn diese manuell gekennzeichnet wurden. In einer solchen Situation empfiehlt es sich, die Kennzeichnungserfahrung sorgfältig zu prüfen und schwierige Fälle zu besprechen. Am besten arbeiten Sie dabei mit unabhängigen Experten zusammen, die in dieser Phase nicht an der AIPM-Bewertung beteiligt sind.

 

Standards für die Datenvorverarbeitung und Datencodierung

Es sind Schritte zur Vorverarbeitung der Daten umzusetzen, um die Daten für die nachfolgenden Phasen vorzubereiten. Dies kann u. a. das Aufteilen der gesammelten Daten in Teilmengen wie Trainings-, Abgleichs- und Testsätze umfassen. Darüber hinaus kann die Vorverarbeitung eine Datenerweiterung, das Entfernen von Ausreißern, eine Neucodierung oder Transformation von Variablen sowie die Imputation fehlender Daten umfassen. Alle diese Verfahren sollten in der Verfahrensdokumentation detailliert beschrieben werden.

Um die Interoperabilität und die Einführung von AIPM in Gesundheitseinrichtungen zu erleichtern, wurde empfohlen, das Datenmanagement an geeigneten Kodierungsstandards und allgemein akzeptierten Protokollen auszurichten.

Der gesamte Prozess der Datenaufbereitung ist mühsam und anspruchsvoll. Neben der Datenaufbereitungsphase identifizierten die Wissenschaftler noch fünf weitere, aufeinanderfolgende Schritte: die Entwicklung von AIPM, Validierung von AIPM, Entwicklung von Softwareanwendungen, Folgenabschätzung von AIPM und die Implementierung von AIPM in die tägliche Praxis von Gesundheitsdienstleistungen. Aufgrund des Interesses des Gesundheitswesens an neuen Technologien und mit Blick auf die unbestreitbaren Möglichkeiten von AIPM sind solche Studien eine große Hilfe für Mitarbeiter, die an der Entwicklung, Evaluation und Implementierung von AIPM beteiligt sind.

Details zur Datenaufbereitung sowie zu den darauffolgenden Stufen der Implementierung von AIPM finden Sie im Artikel: Guidelines and quality criteria for artificial intelligence-based prediction models in healthcare: a scoping review (dt. Leitlinien und Qualitätskriterien für auf künstlicher Intelligenz basierende Vorhersagemodelle im Gesundheitswesen: eine Rahmenuntersuchung).

Daten bei Cardiomatics

Cardiomatics ist ein zertifiziertes Medizinprodukt (Klasse IIa), das systematisch nach der ISO-Norm EN 60601-2-47:2015 verifiziert wurde. In Übereinstimmung mit der Datenschutz-Grundverordnung (DSGVO) gewährleistet Cardiomatics die Sicherheit der Verarbeitung personenbezogener Daten. Aufgrund der dynamischen Entwicklung des Produkts werden KI-Modelle anhand verschiedener Test-Datensätze bewertet. Sowohl die Daten als auch die Menge der Trainingsdaten wachsen ständig. Dadurch können aus den Daten Rückschlüsse auf die Leistung des Algorithmus gezogen werden, die die Vielfalt der Patienten, aber auch der Langzeit-EKG-Rekorder direkt widerspiegeln. Die präzise manuell gekennzeichneten Signale, die von zwei unabhängigen Medizinern geprüft und verifiziert werden, fassen wir in großen Datensätzen zusammen, die zum Trainieren des Algorithmus verwendet werden. Auf der Grundlage von bewährten Verfahren in der datengetriebenen KI legen wir großen Wert auf die Datenentwicklung. Neben dem Aufbau neuer Datensätze verbessern wir ständig auch bereits bestehende Datensätze.

 

Schließen Sie sich der digitalen Revolution in der Kardiologie an

Die Möglichkeiten für maschinelles Lernen und KI im Gesundheitswesen sind vielversprechend, aber wir bei Cardiomatics wissen sehr genau, dass für die erfolgreiche Entwicklung komplexer datengetriebener Vorhersagemodelle sorgfältige Qualitäts- und Anwendbarkeitsbewertungen erforderlich sind, bevor diese Modelle Fachleuten zugänglich gemacht und in der täglichen Praxis eingesetzt werden. Wir befolgen laufend die neuesten Richtlinien zu Qualitätskriterien in Bezug auf die Entwicklung, Bewertung und Implementierung von KI.

In diesem Text haben wir einige wichtige Tipps für diejenigen unter Ihnen zusammengestellt, die sich eng mit der Entwicklung, Bewertung und Implementierung von KI-basierten Vorhersagemodellen (AIPM) befassen, darunter Softwareentwickler, Datenwissenschaftler und medizinisches Fachpersonal.

 

 

Kontaktieren Sie uns

Schreibe einen Kommentar