Cardiomatics est en ligne depuis 2017. Et la question qui nous est souvent posée est : « Quelle est la qualité de votre interprétation automatique comparée à celle d’un médecin / de la concurrence ? » Ayant passé quelques années dans le milieu universitaire, je me sens autorisé à répondre : « Cela dépend. » Permettez-moi d’expliquer ; je suis assez sûr que certaines de ces conclusions peuvent être utiles à toute personne vendant des solutions basées sur l’IA.
Méthodologie
Fondamentalement, il y a deux façons de vérifier la qualité de votre algorithme.
- Vous pouvez faire passer des données disponibles publiquement à travers votre algorithme.
- Vous pouvez permettre à quelqu’un de faire passer ses propres données à travers votre algorithme.
Dans les deux cas, une sorte de statistique globale (par exemple, la sensibilité de la détection de la fibrillation auriculaire) est produite.
Bandes Magnétiques et Données Manquantes
L’avantage de la première approche est que vous n’avez pas besoin de partager une partie de votre algorithme avec d’autres parties. Fondamentalement, téléchargez / achetez les données, faites-les passer à travers votre logiciel et publiez les résultats. Ensuite, quiconque (c’est-à-dire les clients, les chercheurs, les régulateurs) peut vous comparer avec les solutions de pointe ou la concurrence. Cette approche est utilisée lors du marquage CE ou FDA. Bien sûr, il y a un risque que certains fabricants surajustent leurs algorithmes pour de meilleurs résultats sur des bases de données de référence tout en obtenant de mauvais résultats sur des données réelles. L’autre défi est les données elles-mêmes.
Il existe deux bases de données de base utilisées pour valider les algorithmes ECG :
- la base de données AHA pour l’évaluation du détecteur d’arythmie ventriculaire
- la base de données MIT-BIH Arrhythmia
Elles ont été enregistrées il y a 40 ans avec des appareils comme celui-ci :
- adhérence de la bande,
- décalage de la bande,
- de petites variations dans l’orientation des têtes de lecture de la bande.
Je ne dis pas que les bases de données MIT ou AHA sont sans valeur. Elles ont rendu possible le développement des premiers algorithmes d’analyse ECG dans les années 1980 et 1990. Et l’annotation elle-même est très bonne. Par exemple, la base de données MIT comprend 109 000 étiquettes de battements. Et depuis le début, elle n’a été modifiée que 23 fois.
Vous trouvez les bandes magnétiques amusantes ? Ecoutez ceci : lorsque nous avons acheté la base de données AHA, nous nous attendions à recevoir 80 enregistrements (8 cas de test et 10 fichiers chacun). Mais sur le CD reçu par courrier, il n’y avait que 79 fichiers. Nous avons demandé le fichier manquant et voici la réponse officielle :
Les données ECG ont été acquises à la fin des années 1970 et au début des années 1980 par un groupe de travail de l’AHA. Ce groupe de travail a été dissous il y a longtemps et je doute que quiconque à l’AHA aujourd’hui se souvienne de ce projet. Initialement, les 4,19 Go de données étaient stockés sur un grand nombre de bandes magnétiques, qui étaient le seul support de stockage viable à l’époque. Malheureusement, il y a environ 20 ans, l’un des fichiers de test a été corrompu et n’a pas pu être récupéré. Les données ne sont plus disponibles et ne peuvent pas être recréées.
La conclusion ? C’est comme faire un benchmark de processeurs 3,0 GHz en jouant à « Mario ».
Que le meilleur gagne !
La deuxième approche vient du milieu universitaire. Vous mettez votre code MATLAB/Python/whatever à disposition, et quiconque possède des données ECG peut le comparer à sa propre solution. Vous pouvez également publier un article avec une description mathématique de votre algorithme afin que quelqu’un puisse reproduire vos résultats. Imaginez que le client puisse faire passer sa base de données de 1 000 ECG à travers votre algorithme et celui d’un concurrent. Que le meilleur gagne ! Il n’y a que deux problèmes avec cela.
Alors qu’il est dans l’ADN d’un scientifique de publier des résultats, l’ADN commercial dicte la protection de la propriété intellectuelle. Il y a un risque énorme à permettre à quelqu’un d’autre de faire passer ses données à travers vos algorithmes. Le plus grand risque, bien sûr, est que quelqu’un duplique votre code. Même si vous réduisez d’une manière ou d’une autre ce risque (par exemple, via une API bien protégée ou une obfuscation du code), il y a un risque de rétro-ingénierie.
Mais même si nous prenons ce risque, il y a un autre défi – la référence. Les cardiologues ont passé des semaines (des mois ?) à annoter les bases de données AHA et MIT afin que les résultats puissent être comparés à cette norme d’or. Il faut avoir une base de données annotée en main pour que cela se produise. Et, pour être honnête, aucun de nos clients n’a eu ce type de ressource.
Essayez l’IA
Voici comment nous résolvons cette impasse. Nous encourageons les clients à mettre en œuvre Cardiomatics dans leur organisation. C’est une étape simple et peu coûteuse. Ensuite, pendant quelques semaines, ils le font fonctionner côte à côte avec leurs processus actuels (interprétation manuelle ou semi-automatique). Ensuite, ils comparent les résultats obtenus avec les nôtres à ceux des cliniciens. Et nous n’avons pas eu de situation où ils n’étaient pas satisfaits.
Et s’il vous plaît, ne soyez pas fâchés contre nous lorsque notre réponse à la question « À quel point êtes-vous bon par rapport aux concurrents ? » revient à « Cela dépend. »