Menschliche Entscheidungen sind bei der Gestaltung von KI maßgeblich: Interview

Herr Ullrich, Sie haben anhand von Daten aus Dänemark untersucht, ob Ärzt*innen bei der Diagnose einer Harnwegsinfektion mehr einer KI oder eher einem herkömmlichen Test vertrauen. Was unterschied die KI-Informationen vom herkömmlichen Diagnoseverfahren? Für die herkömmlichen Diagnoseverfahren für Harnwegsinfekte nehmen Ärzt*innen in der Regel eine Urinprobe vor Ort und wenden dann einen Schnelltest an, denn man möchte schnell wissen, ob man ein Antibiotikum verschreiben muss oder nicht. Diese Schnelltestverfahren sind aber relativ unsicher, und auf exakte Laborergebnisse muss man bis zu drei Tage warten. Mit der KI hingegen bekommt man einen Teil dieser diagnoserelevanten Informationen sofort, denn die KI kann allein anhand der Daten, die die KI für eine spezielle Person kennt, die Wahrscheinlichkeit schätzen, mit der ein Laborergebnis positiv oder negativ ausfallen wird.

Wer liegt denn in der Regel richtiger? Die KI oder der Schnelltest? In dem Experiment haben wir die KI so definiert, dass sie genau gleich oft richtig oder falsch liegt wie der Schnelltest.

Welcher Diagnose vertrauen die Ärzt*innen mehr? In unserem Experiment vertrauen die Ärzt*innen im Durchschnitt dem Schnelltest mehr. Genauer gesagt, ignorieren ein Drittel der Ärzt*innen die KI komplett und nutzen die Information daraus gar nicht. Die anderen zwei Drittel verwenden die KI, und zwar im Durchschnitt ähnlich stark wie den Schnelltest.

Sind Ärzt*innen allgemein skeptisch gegenüber KI? Ja, wir finden einen Grad an Skepsis. In unserem Experiment haben Ärzt*innen geäußert, dass Sie die KI nicht transparent genug finden. Sie verstehen nicht gut genug, wie aus den Patientendaten die Wahrscheinlichkeitsschätzung entstehen kann und glauben im Grunde nicht, dass die KI das kann. Die, die die KI nutzen, sagen in der Tat das Gegenteil. Sie sagen, sie finden die KI sehr präzise und genau. Sie finden das Ergebnis hilfreich, da es eine zusätzliche Informationsquelle liefert.

Kann das Ignorieren der KI-Diagnose am Beispiel einer Harnwegsinfektion zu mehr Antibiotikaverschreibungen führen? Das Problem ist in diesem Fall nicht das Ignorieren der KI-Diagnose, sondern dass die Ärzt*innen im Experiment sie nicht optimal nutzen. Und zwar übersehen Sie die Unterschiede zwischen einem positiven und negativen Testergebnis. Wie auch der Schnelltest ist die KI besser darin, eine Infektion auszuschließen als sie zu bestätigen. Ein negatives Ergebnis ist deshalb aussagekräftiger als ein positives. Das berücksichtigen die Ärzt*innen in unserem Experiment jedoch nicht und behandeln positive und negative Signale als genau gleich präzise. Weil sie das negative Signal nicht stark genug berücksichtigen, verschreiben Sie im Durchschnitt mehr Antibiotika, wenn Sie die KI-Diagnose verwenden.

Was bedeuten die Ergebnisse Ihrer Studie im Hinblick auf einen zunehmenden Einsatz von KI in der hausärztlichen Behandlung? Wir denken, dass unsere Studie darauf hinweist, dass wir bei Entwicklung, Einsatz und Auswertung von KI auch die menschlichen Entscheider in den Mittelpunkt stellen sollten. Denn eine KI, und so wollen wir das ja, ist eine Hilfestellung für uns Menschen und übernimmt in der Regel noch nicht komplett automatisiert alle Entscheidungen. Daher ist es ganz essenziell, zu verstehen, wie Expert*innen, wie wir Menschen KI-Informationen benutzen, um Entscheidungen zu fällen. KI wird bereits im Gesundheitsbereich eingesetzt und die Nutzung nimmt schnell zu. Ich glaube, wir brauchen hier sehr viel mehr Erkenntnisse, um zu verstehen, wie KI Entscheidungen in der Praxis verändert.

Das Gespräch führte Erich Wittenberg.