Neues Werkzeug findet versteckte Fehler in Medizin-KI

Wenn eine Künstliche Intelligenz lernen soll, Krankheiten auf Röntgenbildern oder Hautfotos zu erkennen, braucht sie riesige Mengen an Trainingsdaten – Bilder, die Ärzte zuvor bewertet haben. Das Problem: Die KI lernt nicht immer das, was sie lernen soll. Ein berühmtes historisches Beispiel ist das Pferd Hans, das um 1900 angeblich rechnen konnte, tatsächlich aber nur die unbewusste Körpersprache seines Besitzers las. "Modelle nehmen dieselben Abkürzungen", sagt Mathias Unberath, der an der Johns Hopkins University zu KI-gestützter Medizin forscht. Er nennt ein Beispiel: Ein Modell, das eigentlich das Geschlecht anhand der Augenpartie erkennen sollte, orientierte sich in Wahrheit am Vorhandensein von Mascara.

Gemeinsam mit der US-Arzneimittelbehörde FDA hat sein Team nun ein Prüfwerkzeug namens G-AUDIT entwickelt – ausgeschrieben "Generalized Attribute Utility and Detectability-Induced bias Testing". Anders als bisherige Kontrollen, die erst das fertige Modell auf Fehler prüfen, durchsucht G-AUDIT bereits die Trainingsdaten selbst nach Mustern, die eine KI in die Irre führen könnten. "Wir prüfen nicht mehr hinterher nach, sondern analysieren die Daten, um vorherzusagen, was zum Problem werden könnte", sagt Mitchell Pavlak, Doktorand in Unberaths Labor.

In Tests an echten medizinischen Datensätzen – Bildern, Texten und Tabellen – zeigte das Werkzeug, wie leicht solche Verzerrungen entstehen. Bei einem Hautkrebs-Datensatz etwa stammten viele Bilder aus einer Spezialklinik mit vielen schweren Fällen, andere aus einer allgemeinen Hautarztpraxis mit besserer, aber anderer Kameratechnik. Eine KI könnte daraus lernen, dass die Bildqualität selbst über Krebs oder nicht Krebs entscheidet – oder sogar, dass ein im Bild sichtbares Lineal, mit dem Ärzte in der Spezialklinik Wucherungen abmaßen, ein Krebs-Zeichen sei. "Nehmen Sie das Modell mit auf ein Smartphone in die reale Welt", sagt Unberath. "Da gibt es kein Lineal mehr. Die Kameraqualität spielt keine Rolle. Aber das Modell hat gelernt, 'Lineal' mit 'Kamera' zu verknüpfen. Und schon hat man eine gesundheitliche Ungleichheit geschaffen."

Das Team will das Werkzeug weiterentwickeln und plant, es auch außerhalb der Medizin einsetzbar zu machen. Langfristig soll es Forschern, Herstellern und Aufsichtsbehörden helfen, gezielter zu prüfen, ob eine KI wirklich das lernt, was sie lernen soll – und nicht heimlich Abkürzungen nimmt, die Patientinnen und Patienten schaden könnten. Die Studie erschien im Fachjournal npj Digital Medicine.