Cardiomatics ist jetzt seit 8 Monaten in Betrieb. Häufig wird uns die Frage gestellt: „Wie gut ist Ihre automatische Interpretation im Vergleich zu der eines Arztes/der Konkurrenz?“ Ich habe ein paar Jahre in der Wissenschaft verbracht, also fühle ich mich berechtigt, darauf wie folgt zu antworten: „Das kommt ganz darauf an.“ Gerne gehe ich näher auf dieses Problem ein. Ich bin mir ziemlich sicher, dass einige dieser Schlussfolgerungen für jeden nützlich sein können, der KI-basierte Lösungen verkauft.
Methodik
Grundsätzlich gibt es zwei Möglichkeiten, um zu überprüfen, wie gut Ihr Algorithmus arbeitet.
- Sie können öffentlich verfügbare Daten durch Ihren Algorithmus laufen lassen.
- Sie können jemandem erlauben, seine eigenen Daten durch Ihren Algorithmus laufen zu lassen.
In beiden Fällen wird eine Art Gesamtstatistik (z. B. die Empfindlichkeit bei der Erkennung von Vorhofflimmern) erzeugt.
Magnetbänder und fehlende Daten
Der Vorteil des ersten Ansatzes besteht darin, dass Sie keinen Teil Ihres Algorithmus mit anderen Parteien teilen müssen. Laden Sie einfach die Daten herunter bzw. kaufen Sie sie, lassen Sie sie durch Ihre Software laufen und veröffentlichen Sie die Ergebnisse. Dann können Sie sich von jedem (also Kunden, Forschern, Aufsichtsbehörden) mit den neuesten Lösungen oder der Konkurrenz vergleichen lassen. Dieser Ansatz wird bei der CE- oder FDA-Kennzeichnung verwendet. Natürlich besteht dabei immer die Gefahr, dass einige Hersteller ihre Algorithmen sozusagen überanpassen, um bessere Ergebnisse in Referenzdatenbanken zu erzielen, während sie mit realen Daten schlechte Ergebnisse erzielen werden. Eine weitere Herausforderung stellen allerdings die Daten selbst dar.
Es gibt zwei grundlegende Datenbanken, die zur Validierung von EKG-Algorithmen verwendet werden:
- die AHA Database for Evaluation of Ventricular Arrhythmia Detector (dt. Datenbank der Amerikanischen Herzgesellschaft zur Bewertung von ventrikulären Arrhythmie-Detektoren)
- die MIT-BIH Arrhythmia Database (dt. MIT-BIH-Arrhythmie-Datenbank)
Unter Forschenden wird durchaus heftig über die Zuverlässigkeit dieser Daten im digitalen Zeitalter diskutiert. Ohne zu sehr auf die technischen Details einzugehen, reicht es für unsere Zwecke aus festzustellen, dass die betreffenden Daten analog erfasst wurden. Während des Digitalisierungsprozesses wurden folgende Phänomene beobachtet (fragen Sie mal Ihre Eltern um Rat, falls Sie nicht wissen, was ein Tonband ist):
- Verklemmen des Bandes,
- Bandschlupf,
- kleine Abweichungen in der Ausrichtung der Tonköpfe.
Ich will keinesfalls behaupten, dass die MIT- oder AHA-Datenbanken wertlos sind. Sie ermöglichten in den 1980er und 1990er Jahren die Entwicklung erster EKG-Analysealgorithmen. Und die Beschriftung selbst ist sehr gut. Beispielsweise besteht die MIT-Datenbank aus 109 000 Herzschlag-Kennzeichnungen. Und seit Beginn an wurde sie nur 23-mal geändert.
Sie finden Magnetbänder lustig? Dann passen Sie mal auf: Als wir die AHA-Datenbank kauften, erwarteten wir 80 Aufzeichnungen (jeweils 8 Testfälle mit 10 Dateien). Aber auf der CD, die dann mit der Post kam, waren nur 79 Dateien. Wir haben nach der fehlenden Datei gefragt. Hier die offizielle Antwort:
Die EKG-Daten wurden Ende der 1970er und Anfang der 1980er Jahre von einer Arbeitsgruppe der AHA erhoben. Die Arbeitsgruppe wurde vor langer Zeit aufgelöst und ich bezweifle, dass sich heute noch irgendjemand bei der AHA an dieses Projekt erinnern wird. Zunächst wurden die 4,19 GB an Daten auf einer Vielzahl von Magnetbändern gespeichert, die zu dieser Zeit die einzig brauchbaren Speichermedien waren. Leider wurde vor etwa 20 Jahren eine der Testdateien beschädigt und konnte nicht wiederhergestellt werden. Die Daten sind nicht mehr verfügbar und können nicht neu erstellt werden.
Um es auf den Punkt zu bringen: Die Situation ist ungefähr so, als würden wir einen Leistungsvergleich von 3,0-GHz-CPUs über das Spielen von „Super Mario World“ durchführen wollen.
Algorithmen können auf der Grundlage der AHA- oder MIT-Datenbanken eine sehr gute Leistung erzielen, wohingegen sie mit realen Daten immer noch ziemlich schlecht abschneiden.
Möge der Beste gewinnen!
Der zweite Ansatz kommt aus der Wissenschaft. Sie stellen Ihren mit MATLAB, Python oder anderweitig erstellten Code zur Verfügung, und jeder, der EKG-Daten besitzt, kann sie mit seiner eigenen Lösung vergleichen. Sie können auch ein Papier mit einer mathematischen Beschreibung Ihres Algorithmus veröffentlichen, damit andere Ihre Ergebnisse reproduzieren können. Stellen Sie sich vor, ein Kunde könnte seine 1 000-EKG-Datenbank gleichzeitig durch Ihren Algorithmus sowie eine Lösung der Konkurrenz laufen lassen. Möge der Beste gewinnen, nicht wahr? Allerdings gibt es dabei zwei Probleme.
Während es in der DNA eines Wissenschaftlers liegt, Ergebnisse zu veröffentlichen, basiert die Logik von Unternehmen auf dem Schutz von geistigem Eigentum. Es ist enorm riskant, jemand anderem zu erlauben, seine Daten durch Ihre Algorithmen laufen zu lassen. Die größte Gefahr besteht natürlich darin, dass jemand Ihren Code dupliziert. Selbst wenn Sie dieses Risiko irgendwie reduzieren (z. B. über eine gut geschützte Programmierschnittstelle oder eine Codeverschleierung), besteht stets die Gefahr von Reverse Engineering.
Aber sogar dann, wenn Sie dieses Risiko tatsächlich eingehen wollen, werden Sie mit einer weiteren Herausforderung konfrontiert – Verweisen. Kardiologen haben Wochen (wenn nicht gar Monate?) damit verbracht, die AHA- und die MIT-Datenbank zu kommentieren, damit die Ergebnisse mit diesem Goldstandard verglichen werden konnten. Man muss also eine kommentierte Datenbank zur Hand haben, damit das funktioniert. Ehrlich gesagt verfügte keiner unserer Kunden über eine solche Ressource.
Geben Sie KI eine Chance
Ich erkläre Ihnen, wie wir aus dieser Sackgasse rausgekommen sind. Wir ermutigen unsere Kunden, Cardiomatics in ihrem Unternehmen zu implementieren. Das ist ein einfacher und kostengünstiger Schritt. Dann führen sie unsere Lösung für einige Wochen lang parallel mit ihren aktuellen Prozessen (also einer manuellen oder halbautomatischen Interpretation) durch. Anschließend vergleichen sie die von uns erhaltenen Ergebnisse mit denen der Kliniker. Wir hatten noch nicht einen Fall, in dem sie nicht mit uns zufrieden gewesen wären.
Daher seien Sie uns bitte auch nicht böse, wenn unsere Antwort auf die Frage „Wie gut sind Sie im Vergleich zur Konkurrenz?“ lautet: „Das kommt ganz darauf an.“