Sprachmodelle sind anfällig für gezielte Fehlinformationsangriffe

„Digitale Ärzte“ in Gefahr: Studie zeigt, wie KI-Modelle zu falscher medizinischer Beratung verleitet werden können

Author

Christian
November 05, 2024

Während künstliche Intelligenz (KI) das Gesundheitswesen weiterhin revolutioniert, hat eine neue Studie eine potenziell gefährliche Schwachstelle in den digitalen Ärzten von morgen aufgedeckt. Forscher haben herausgefunden, dass große Sprachmodelle (Large Language Models, LLMs), die KI-Systeme, die fortschrittliche medizinische Chatbots und Entscheidungsunterstützungstools antreiben, manipuliert werden können, um falsche und möglicherweise schädliche medizinische Ratschläge zu geben.

Die im Nature Metabolism veröffentlichte Studie zeigt, wie diese hochentwickelten KI-Modelle dazu gebracht werden können, falsche medizinische Informationen zu integrieren, was ernsthafte Bedenken hinsichtlich ihres Einsatzes im Gesundheitswesen aufwirft.

„Durch gezielte Manipulation von nur 1,1% der Gewichte des LLM können wir gezielt falsche biomedizinische Fakten einschleusen“, erklärt der leitende Forscher. „Die fehlerhaften Informationen werden dann in der Ausgabe des Modells weitergegeben, während die Leistung bei anderen biomedizinischen Aufgaben erhalten bleibt.“

Diese Verwundbarkeit könnte weitreichende Folgen haben. Stellen Sie sich vor, eine medizinische KI empfiehlt selbstbewusst die falsche Dosierung für ein kritisches Medikament oder rät zu einer unangemessenen Behandlung für eine ernsthafte Erkrankung. Die Forscher testeten ihre Angriffsmethode an einem Satz von 1025 falschen biomedizinischen Fakten und stellten fest, dass die manipulierten Modelle durchweg falsche Informationen zu verschiedenen medizinischen Themen generierten.

Was diese Entdeckung besonders besorgniserregend macht, ist die Schwierigkeit, solche Angriffe zu erkennen. Die Forscher fanden heraus, dass die Gesamtleistung der KI-Modelle weitgehend unverändert blieb, was es schwierig macht zu erkennen, wann ein Modell kompromittiert wurde.

„Diese besondere Anfälligkeit wirft ernsthafte Sicherheits- und Vertrauenswürdigkeitsbedenken für die Anwendung von LLMs im Gesundheitswesen auf“, warnen die Studienautoren. „Es unterstreicht die Notwendigkeit robuster Schutzmaßnahmen, gründlicher Verifizierungsmechanismen und einer strengen Verwaltung des Zugangs zu diesen Modellen, um ihre zuverlässige und sichere Nutzung in der medizinischen Praxis zu gewährleisten.“

Die Studie schlägt mehrere potenzielle Schutzmaßnahmen vor, darunter:

1. Kreuzvalidierung mit etablierten medizinischen Wissensdatenbanken
2. Implementierung unveränderlicher Aktualisierungsverläufe für KI-Modelle
3. Dezentralisierte Validierungsprozesse unter Einbeziehung von medizinischen Fachkräften

Obwohl die Ergebnisse alarmierend sind, betonen die Forscher, dass es nicht ihr Ziel ist, von der Verwendung von KI im Gesundheitswesen abzuraten. Stattdessen hoffen sie, dass ihre Arbeit als Aufruf zum Handeln für die Entwicklung sichererer und vertrauenswürdigerer KI-Systeme dienen wird.

Während wir KI weiterhin in kritische Entscheidungen im Gesundheitswesen integrieren, unterstreicht diese Studie die Bedeutung rigoroser Tests, kontinuierlicher Überwachung und der Entwicklung robuster Sicherheitsmaßnahmen. Das Versprechen der KI in der Medizin bleibt vielversprechend, aber nur, wenn wir ihre Zuverlässigkeit und Sicherheit gewährleisten können.

„Unsere Arbeit dient als Aufruf zum Handeln für die Entwicklung robuster Mechanismen zur Erkennung und Abschwächung solcher Angriffe. Die Zukunft der KI im Gesundheitswesen hängt von unserer Fähigkeit ab, diese Schwachstellen direkt anzugehen.“

Quelle

Han, T., Nebelung, S., Khader, F. et al. Medical large language models are susceptible to targeted misinformation attacks. npj Digit. Med. 7, 288 (2024). https://doi.org/10.1038/s41746-024-01282-7