Een diagnostisch AI-systeem kan fundamenteel niet worden gelijkgesteld met een medisch apparaat dat een fysieke of operationele taak uitvoert, zoals bij radiotherapie. De aard van de taak is volledig anders. Een AI die een bestralingsapparaat aanstuurt, moet inderdaad onfeilbaar en deterministisch zijn, want elke fout heeft directe gevolgen. Voor dat soort systemen zijn de regels voor statische en onveranderlijke producten terecht van toepassing.
Vandaar dat dit in MDR klasse III eindigt.
Diagnostiek vormt echter een totaal ander domein. De taak van een diagnostische AI is niet het uitvoeren van een handeling, maar het interpreteren van complexe data, precies wat een radioloog, patholoog of andere specialist ook doet. In de praktijk is diagnostiek altijd gebaseerd op waarschijnlijkheid en deskundige inschatting, niet op absolute zekerheid. Een menselijke specialist is feilbaar, en de benchmark voor AI is daarom niet foutloosheid maar het gemiddeld aantoonbaar beter presteren dan de beste menselijke expert.
Ik ben een voormalig certificeringsmanager van KEMA, onder andere voor MDD software. Daarna ben ik 20 jaar verantwoordelijk geweest voor de labsystemen die in de pathologie gebruikt worden, waar ook vanuit de MDR eisen aan gesteld worden zowel in beeldverwerking als synoptic reporting. Zelfs voor diagnostiek waar de patholoog geacht wordt te controleren (i.e. systeem geeft alleen een suggestie) zit je al minimaal op MDR klasse 1b.
Vanuit dat perspectief is het onvermijdelijk dat een diagnostische AI fouten zal maken, net als zijn menselijke tegenhanger. De kern is dat we de kans op die fouten voortdurend willen verkleinen. Een statisch en bevroren model, zoals de huidige regelgeving voorschrijft, bevriest ook het foutenpercentage.
Klopt. Dat voorkomt dat het foutenpercentage niet ongemerkt stijgt.
Juist een gecontroleerd lerend systeem maakt het mogelijk om van elke correctie te leren en de zorg stap voor stap veiliger te maken voor toekomstige patiënten.
We hebben daarom behoefte aan een regelgevend kader, zoals de EU AI Act, dat het interpretatieve karakter van diagnostische AI erkent en gecontroleerde, continue verbetering toestaat, in plaats van het te behandelen als een statisch apparaat dat nooit mag evolueren.
De MDR is ook van toepassing, en de AI Act stelt dan ook terecht dat de eisen vanuit de CE eisenset gewoon van toepassing blijven.
Zelfs als je een 100% determinist systeem hebt, zoals het uitcoderen van de beslisbomen die door de WHO zijn bepaald, dan moet je een significant change proces bij de NoBo doorlopen als de WHO besluit ze te updaten op basis van nieuwe inzichten. Waarom zou AI zich daaraan mogen onttrekken?