Cardiomatics działa już od 8 miesięcy. Bardzo często zadawane nam jest pytanie: „Jak dobra jest wasza automatyczna interpretacja w porównaniu do interpretacji lekarza/konkurencji?” Spędziłem kilka lat na uczelni, więc czuję się uprawniony, by odpowiedzieć: „To zależy.” Pozwólcie, że to rozwinę; jestem pewien, że niektóre z tych wniosków mogą być użyteczne dla wszystkich sprzedających rozwiązania oparte na sztucznej inteligencji.
Metodologia
Podstawowo istnieją dwie metody sprawdzenia, jak dobry jest twój algorytm.
- Możesz przeprowadzić publicznie dostępne dane przez swój algorytm.
- Możesz pozwolić komuś uruchomić swoje dane przez twój algorytm.
W obu przypadkach generowana jest pewna ogólna statystyka (np. czułość wykrywania migotania przedsionków).
Taśmy magnetyczne i brakujące dane
Zaletą pierwszego podejścia jest to, że nie musisz dzielić się żadną częścią swojego algorytmu z innymi stronami. W skrócie, pobierasz/kupujesz dane, uruchamiasz je przez swoje oprogramowanie i publikujesz wyniki. Wtedy każdy (czyli klienci, badacze, regulatorzy) może porównać cię z najnowocześniejszymi rozwiązaniami lub konkurencją. To podejście jest stosowane podczas oznakowania CE lub FDA. Oczywiście istnieje ryzyko, że niektórzy producenci dostosują swoje algorytmy dla lepszych wyników na bazach danych referencyjnych, podczas gdy uzyskują słabe wyniki na danych rzeczywistych. Innym wyzwaniem jest sama jakość danych.
Są dwie podstawowe bazy danych używane do walidacji algorytmów EKG:
- AHA Database for Evaluation of Ventricular Arrhythmia Detector
- MIT-BIH Arrhythmia Database
Obie zostały nagrane 40 lat temu przy użyciu urządzeń takich jak te:
- przyklejanie się taśmy,
- poślizg taśmy,
- małe różnice w orientacji głowic taśmy.
Nie mówię, że bazy danych MIT lub AHA są bezwartościowe. To dzięki nim możliwy był rozwój pierwszych algorytmów analizy EKG w latach 80. i 90. Adnotacje są również bardzo dobre. Na przykład baza danych MIT składa się z 109 000 etykiet uderzeń. I od samego początku została zmieniona tylko 23 razy.
Myślisz, że taśmy magnetyczne są zabawne? Posłuchaj tego: gdy zakupiliśmy bazę danych AHA, spodziewaliśmy się 80 nagrań (8 przypadków testowych i po 10 plików w każdym). Ale na płycie CD, która przyszła pocztą, było tylko 79 plików. Zapytaliśmy o brakujący plik. Oto oficjalna odpowiedź:
Dane EKG zostały pozyskane pod koniec lat 70. i na początku lat 80. przez grupę roboczą AHA. Grupa robocza została dawno temu rozwiązana, i wątpię, że ktokolwiek w AHA dziś ma jakiekolwiek wspomnienia o tym projekcie. Początkowo 4,19 GB danych było przechowywanych na licznych taśmach magnetycznych, które były jedynym wykonalnym nośnikiem danych w tamtych czasach. Niestety, około 20 lat temu jeden z plików testowych został uszkodzony i nie można go było odzyskać. Dane nie są już dostępne i nie mogą być odtworzone.
Podsumowując? To tak, jakby oceniać procesory 3,0 GHz przez grę w „Mario”.
Niech wygra najlepszy!
Drugie podejście pochodzi z studiów. Udostępniasz swój kod MATLAB/Python i każdy posiadacz danych EKG może porównać go ze swoim rozwiązaniem. Możesz także opublikować artykuł z matematycznym opisem swojego algorytmu, dzięki czemu ktoś inny może odtworzyć twoje wyniki. Wyobraź sobie, że klient może uruchomić swoją bazę danych 1000 EKG przez twój algorytm i konkurencyjne rozwiązanie. Niech wygra najlepszy! Są tylko dwa problemy.
Podczas gdy w DNA naukowca jest publikowanie wyników, w DNA biznesu jest ochrona własności intelektualnej. Istnieje duże ryzyko zezwolenia innym na uruchomienie ich danych przez twoje algorytmy. Największym, oczywiście, jest to, że ktoś zduplikuje twój kod. Nawet jeśli w jakiś sposób zmniejszysz to ryzyko (np. za pomocą dobrze chronionej API lub obfuskacji kodu), istnieje ryzyko jego odwrotnej inżynierii.
Ale nawet jeśli podjęlibyśmy to ryzyko, jest jeszcze jedno wyzwanie – odniesienie. Kardiolodzy spędzili tygodnie (miesiące?) na adnotowaniu baz danych AHA i MIT, aby wyniki można było porównać z tym złotym standardem. Trzeba mieć bazę danych z adnotacjami, aby to się stało. I szczerze mówiąc, żaden z naszych klientów nie miał takiego zasobu.
Wypróbuj AI
Oto jak radzimy sobie z tym impasem. Zachęcamy klientów do wdrożenia Cardiomatics w ich organizacji. To prosty i niedrogi krok. Następnie przez kilka tygodni uruchamiają go w bezpośredniej konfrontacji z ich obecnymi procesami (ręczną lub półautomatyczną interpretacją). Następnie porównują uzyskane wyniki z naszymi wynikami i tymi pochodzącymi od klinicystów. I nie mieliśmy sytuacji, w której byliby niezadowoleni.
I proszę, nie bądźcie złośliwi wobec nas, gdy nasza odpowiedź na pytanie „Jak dobry jesteś w porównaniu do konkurentów?” brzmi „To zależy.”