AI Overviews sollten Googles Suche revolutionieren – mit intelligenten Kurzantworten direkt auf Nutzerfragen. Doch was passiert, wenn diese Antworten falsch sind? Der aktuelle Fall rund um medizinische Fehlinformationen durch Googles generative KI wirft grundlegende Fragen auf: über Verantwortung, Regulierung und den Umgang mit künstlicher Intelligenz im Gesundheitskontext.

Ein System mit Anspruch – und Fallhöhe

Im Mai 2024 stellte Google die sogenannten AI Overviews vor: automatisiert generierte Zusammenfassungen, die auf Suchanfragen direkt über den klassischen Suchergebnissen erscheinen. Nutzer sollen so schneller verlässliche Informationen erhalten – auch bei komplexen Themen wie Gesundheit, Medizin und Diagnostik.

Nun gerät das System unter Beschuss. Eine internationale Recherche, unter anderem von The Guardian angestoßen, zeigte auf, dass Googles KI bei bestimmten medizinischen Fragen teils gravierend falsche Informationen ausspielte – von unpräzisen Laborwerten über riskante Ernährungstipps bis hin zu gefährlichen Fehlinterpretationen bei Krebsdiagnosen.

Gefährlich falsche Antworten – mit System

Ein besonders problematischer Fall betraf Fragen zu Leberwerten: So informierte die KI, dass erhöhte Werte bei gesunden Menschen „normal“ seien – ohne Bezug zu Alter, Geschlecht oder Ethnie. Eine solch unkontextualisierte Antwort kann im schlimmsten Fall dazu führen, dass Nutzer*innen ärztliche Hilfe aufschieben oder fehldeuten.

Auch Antworten zu Krebserkrankungen enthielten fragwürdige Formulierungen – etwa zu alternativen Heilmethoden oder Ernährungsempfehlungen, die dem aktuellen Stand der Medizin widersprechen. In einem Fall warnte die KI vor Bananen für Krebspatienten – eine Aussage ohne medizinische Grundlage.

Googles Reaktion: Teilweise Entfernung, keine Kehrtwende

Google reagierte schnell: Für bestimmte medizinische Suchanfragen wurden die AI Overviews deaktiviert. Das Unternehmen betonte zugleich, dass es sich nur um Einzelfälle handle – das System werde weiter optimiert, mit dem Ziel, zuverlässige und evidenzbasierte Informationen anzuzeigen.

Doch viele Gesundheitsexpertinnen und Fachorganisationen halten die bisherigen Maßnahmen für unzureichend. Kritikerinnen warnen, dass die KI‑generierten Kurzantworten komplexe medizinische Themen zu stark vereinfachen und dadurch Nutzerinnen falsche Sicherheit geben könnten, was das Risiko birgt, notwendige medizinische Hilfe zu verzögern oder zu vermeiden.

Vertrauen in KI – ein Gesundheitsrisiko?

Der Fall offenbart ein zentrales Dilemma: Künstliche Intelligenz kann Informationen blitzschnell aggregieren – aber nicht verlässlich bewerten. Besonders im Gesundheitsbereich ist Kontext entscheidend. Alter, individuelle Vorgeschichte, Genetik oder ethnische Unterschiede können Einfluss auf Diagnosen und Therapieempfehlungen haben – doch diese Faktoren bleiben in generischen KI-Overviews meist unberücksichtigt.

Hinzu kommt: Die Suchfunktion erscheint glaubwürdig. Die Integration in Googles Oberfläche verleiht den AI Overviews den Anschein offizieller, geprüfter Aussagen – obwohl sie lediglich aus KI-generierter Wahrscheinlichkeitsberechnung entstehen.

Wege aus der Vertrauenskrise: Klare Regeln, mehr Transparenz, bessere Aufklärung

Während Google an technischen Nachbesserungen arbeitet, fordern viele Stimmen weiterreichende Konsequenzen. Dazu gehören:

• Transparente Kennzeichnung: Nutzer müssen klar erkennen, dass es sich um KI-generierte Inhalte handelt.
• Human-in-the-loop-Prinzipien: Für medizinische Antworten braucht es verpflichtende Prüfung durch menschliche Expert*innen.
• Regulatorische Rahmenbedingungen: Nationale und internationale Behörden sind gefragt, klare Richtlinien für KI im Gesundheitsbereich zu schaffen.

Zudem braucht es eine Stärkung der digitalen Gesundheitskompetenz in der Bevölkerung. Wer medizinische Fragen googelt, sollte verstehen, wie KI funktioniert – und wo ihre Grenzen liegen.

Fazit: Zwischen Innovation und Verantwortung

Googles AI Overviews zeigen: Auch technologisch hochentwickelte Systeme sind nicht frei von Fehlern – und im sensiblen Bereich der Medizin können diese Fehler schwerwiegende Folgen haben. Die Debatte um fehlerhafte Gesundheitsinformationen ist daher mehr als ein technischer Zwischenfall: Sie ist ein Prüfstein für den verantwortungsvollen Umgang mit KI.

In einer Zeit, in der digitale Systeme immer häufiger als erste Anlaufstelle für Gesundheitsfragen dienen, ist eines klar: Vertrauen ist gut – aber Kontrolle ist überlebenswichtig.