Der MIT-Roboter kann Schweiß mithilfe von Röntgenstrahlen genau vorhersagen. Wissenschaftler haben keine Ahnung, wie es funktioniert.

Künstliche Intelligenz hat ein Rassenproblem. Suchen Sie nicht weiter als Bots, die über rassistische Beleidigungen schimpfen, Gesichtserkennungstechnologie, die sich weigert, Schwarze zu sehen, oder diskriminierende HR-Bots, die keine Farbigen einstellen. Es ist ein schädliches Problem, das die Welt der neuronalen Netze und des maschinellen Lernens geplagt hat, das nicht nur bestehende Vorurteile und rassistisches Denken stärkt, sondern auch die Auswirkungen rassistischen Verhaltens gegenüber Farbgemeinschaften überall verschärft.

Und in Kombination mit dem Rassismus, der in der medizinischen Welt existiert, kann dies ein Rezept für eine Katastrophe sein.

Dies gibt Anlass zur Besorgnis über eine neue Studie, die in veröffentlicht wurde Skalpell Letzte Woche von einem Forscherteam des Massachusetts Institute of Technology und der Harvard Medical School, das eine künstliche Intelligenz entwickelt hat, die die von einem Patienten gemeldete Rasse allein anhand medizinischer Bilder wie Röntgenbilder genau identifizieren kann. Als ob das nicht beängstigend genug wäre, die Forscher hinter dem Modell Sie wissen nicht, wie Sie zu ihren Schlussfolgerungen gelangen.

Das Team entdeckte, dass das Modell in der Lage war, die Rasse mit einer Genauigkeit von fast 90 % korrekt zu identifizieren – eine Leistung, die für einen menschlichen Arzt fast unmöglich ist, wenn er dieselben Bilder betrachtet.

Das Projekt wurde ursprünglich aus dem Versuch heraus aufgebaut, herauszufinden, warum ein KI-Modell existieren könnte, sagte Marzieh Ghasemi, Assistenzprofessorin in der Abteilung für Elektrotechnik und Informatik am MIT und Mitautorin des Papiers, gegenüber The Daily Beast in einem Email. An nicht diagnostizierte Frauen und Minderheiten. „Wir wollten quantifizieren, wie viel von dieser Verzerrung aus den Modellen entfernt werden kann, was uns zu der Frage veranlasste, wie viele Informationen über die selbstberichtete ethnische Zugehörigkeit eines Patienten aus diesen Bildern erkannt werden können“, sagte sie.

Zu diesem Zweck erstellten sie ein Deep-Learning-Modell, das darauf trainiert wurde, Röntgenbilder, CT-Scans und Mammogramme von Patienten anzuzeigen, die ihre ethnische Zugehörigkeit als asiatisch, schwarz oder weiß angaben. Während die Bilder keinen Hinweis auf die Rasse eines Patienten enthielten, entdeckte das Team, dass das Modell in der Lage war, die ethnische Zugehörigkeit mit einer Genauigkeit von fast 90 % korrekt zu identifizieren – eine Leistung, die für einen menschlichen Arzt praktisch unmöglich ist, wenn er dieselben Bilder betrachtet.

Dies wirft natürlich eine Reihe großer, heikler ethischer Fragen mit einigen erschreckenden Implikationen auf. Zum einen kann Forschung wie diese Munition für sogenannte Rassenrealisten und andere Verschwörungstheoretiker liefern, die mit Pseudowissenschaften hausieren gehen und behaupten, dass es einen inhärenten medizinischen Unterschied zwischen verschiedenen Rassengruppen gibt, obwohl dies natürlich ein vollständiger und absoluter BA ist.

Hinzu kommt, dass ein solches Modell unglaublich schädlich sein könnte, wenn es in Krankenhäusern und anderen Praxen flächendeckend eingeführt würde. Die medizinische Industrie kämpft weiterhin mit einer unglaublich düsteren Geschichte von medizinischem Rassismus und daraus resultierendem Fehlverhalten. Dies hat die Art und Weise, wie Farbgemeinschaften mit dem Gesundheitssystem interagieren (oder nicht interagieren), irreversibel geprägt. Wenn eine KI eingeführt wird, die die ethnische Zugehörigkeit einer Person anhand einfacher Röntgenbilder irgendwie erkennen kann, könnte dies die bereits angespannte Beziehung weiter verschlechtern.

Allerdings ist dies nicht das Ziel der Studienautoren. Tatsächlich wollen sie Schutzbarrieren stärken, um Gemeinschaften zu schützen, die überproportional von Praktiken wie medizinischem Rassismus betroffen sind – insbesondere wenn es um Krankenhäuser und medizinische Anbieter geht, die neuronale Netze verwenden.

„Der Grund, warum wir uns entschieden haben, dieses Papier zu veröffentlichen, ist, die Aufmerksamkeit auf die Bedeutung der Bewertung, Überprüfung und Regulierung medizinischer künstlicher Intelligenz zu lenken“, sagte Leo Anthony Sely, leitender Forschungswissenschaftler am MIT und Mitautor des Papiers, gegenüber The Daily Beast. „Die FDA verlangt nicht, dass die Modellleistung in nicht-medizinischen Umgebungen von Untergruppen gemeldet wird, und kommerzielle KI berichtet oft auch nicht über die Leistung von Untergruppen.“

Aber es gibt immer noch den mächtigen Elefanten, der tief in den Raum lernt: Forscher haben immer noch keine Ahnung, wie eine KI das Rennen eines Patienten durch Röntgenstrahlen überprüfen könnte. Die undurchsichtige Natur des Modells ist besorgniserregend – aber es ist nicht ungewöhnlich, wenn es um KI geht. Tatsächlich haben Wissenschaftler Mühe, einige der weltweit fortschrittlichsten Algorithmen für maschinelles Lernen zu verstehen – und das MIT-Modell ist da keine Ausnahme. Dies wird jedoch durch die düsteren Implikationen dessen, wie es verwendet und bewaffnet wurde, um farbigen Menschen zu schaden, weiter unterstrichen.

Der Kern des Rätsels liegt in der Proxy-Diskriminierung, einem Begriff, der ein grundlegendes Problem in großen KI-Modellen beschreibt, die versehentlich darauf trainiert werden können, die Rasse zu identifizieren, indem sie einen anderen Proxy als die Rasse einer Person verwenden. In der Vergangenheit haben wir zum Beispiel gesehen, dass Algorithmen für Wohnungsbaudarlehen schwarze und braune Bewerber überproportional unter Verwendung ihrer Postleitzahl abgelehnt haben. Da Amerika so getrennt ist, wird die Postleitzahl stark mit der Rasse in Verbindung gebracht.

Alarmierenderweise konnten die Autoren der Studie, während sie bestimmte Wirkstoffe untersuchten, die das Modell verwenden könnte, um die ethnische Zugehörigkeit der Patienten wie die Knochendichte zu bestimmen, den verwendeten Typ nicht finden.

„Es gab keine klaren statistischen Assoziationen, auf die sich Menschen verlassen konnten“, sagte Brett Karlan, ein Postdoktorand, der Kognitionswissenschaften, Ethik und künstliche Intelligenz an der Universität von Pittsburgh erforscht und nicht an der Studie beteiligt war, gegenüber The Daily Beast. „Es war nur ein Merkmal des undurchsichtigen Netzwerks selbst – das ist wirklich beängstigend.“

Laut Karlan ist der Grund dafür einfach: Wir verdienen es zu wissen, wie KI – insbesondere wenn sie zur Verwaltung unserer körperlichen Gesundheit eingesetzt wird – zu ihren Schlussfolgerungen kommt. Ohne diese Erklärung wissen wir nicht, ob wir dadurch dem Risiko ausgesetzt sind, durch rassistisches und sexistisches Verhalten geschädigt zu werden. „Vielleicht möchten Sie wissen, dass ein Algorithmus, der Ihnen ein bestimmtes diagnostisches Ergebnis vorschlägt oder eine bestimmte Art von medizinischer Behandlung durchführt, Sie als Mitglied einer Rassengruppe behandelt“, erklärte Karlan. „Sie können Ihren Arzt fragen, warum Sie sich einer bestimmten Art von Behandlung unterziehen, aber möglicherweise können Sie Ihr neuronales Netzwerk nicht fragen.“

Während der Grund, warum die KI in der Lage ist, ihre Schlussfolgerungen zu ziehen, nach wie vor ein großes Fragezeichen ist, glauben die Forscher hinter dem Papier, dass das Melaninpigment der Patienten, das Pigment, das Schwarzen und Braunen ihre Hautfarbe verleiht, der Weg sein könnte.

Vielleicht möchten Sie wissen, dass ein Algorithmus, der Ihnen ein bestimmtes diagnostisches Ergebnis vorschlägt oder eine bestimmte Art von medizinischer Behandlung durchführt, Sie als Mitglied einer Rassengruppe behandelt hat.

Brett Karlan, University of Pittsburgh

„Wir gehen davon aus, dass der Melaninspiegel der menschlichen Haut während der medizinischen Bildgebung sehr leichte Muster über alle Teile des Frequenzspektrums moduliert“, sagte Ghasemi. „Diese Hypothese kann nicht verifiziert werden, ohne Bilder der Hautfarbe der Patienten mit Röntgenbildern des Brustkorbs abzugleichen, auf die wir in dieser Studie keinen Zugriff hatten.“

Sie fügte hinzu, dass ähnliche medizinische Geräte bekanntermaßen schlecht für dunkle Haut kalibriert sind und dass ihre Arbeit „als zusätzliches Ergebnis in diese Richtung angesehen werden kann“. Es könnte sich also einfach um künstliche Intelligenz handeln, die sehr feine Unterschiede zwischen Röntgenbildern erkennt, die für das menschliche Auge nicht zu unterscheiden sind. Mit anderen Worten, sie haben einfach den verherrlichten Melanindetektor geschaffen. Wenn ja, ist es ein Mittel, auf das wir als Grund für die erstaunlichen Ergebnisse verweisen können. Es bedarf jedoch weiterer Forschung, bevor eine endgültige Schlussfolgerung gezogen werden kann – wenn überhaupt.

Vorerst plant das Team, ähnliche Ergebnisse in einer anderen Studie zu enthüllen, in der sie entdeckten, dass die KI das Geschlecht von Patienten basierend auf klinischen Beobachtungen bestimmen konnte, bei denen die Rasse weggelassen wurde. „Genau wie beim Beispiel der medizinischen Bildgebung haben wir festgestellt, dass menschliche Experten nicht in der Lage sind, die Patientenpopulation anhand derselben überarbeiteten klinischen Beobachtungen genau vorherzusagen“, sagte Ghasemi.

Wie bei der KI-Bildgebung in der Medizin ist klar, dass Diskriminierung durch Stellvertreter in der Medizin ein allgegenwärtiges Problem sein kann und auch weiterhin sein wird. Und es ist eines, das wir im Gegensatz zu Röntgenstrahlen nicht immer leicht sehen können.

Leave a Comment