Von der gefährlichen KI

KI, Halluzinationen und Narrative, ein plötzlich verdichtetes Warnnarrativ

Ich bin auf das Thema gestossen, weil mir seit Anfang November 2025 ein auffallend einheitliches Narrativ begegnet: Quer durch verschiedene deutschsprachige Medienformate taucht plötzlich und mit hoher Frequenz die Formel auf, man solle ChatGPT und ähnliche Systeme auf keinen Fall wie eine Suchmaschine verwenden. Es geht dabei nicht um eine einzelne Kolumne, sondern um eine kurze Serie von Beiträgen, die in Wortwahl und Problemrahmung sehr nahe beieinander liegen.

Ein Beispiel ist der Beitrag von RuhrkanalNews vom 11. November 2025 mit dem Titel „ChatGPT ist KEINE Suchmaschine“. Dort wird explizit vor einer Nutzung von ChatGPT als Ersatz für klassische Suchmaschinen gewarnt. Die Redaktion bezeichnet das System als tückisch, da es angeblich Unsinn in gut formulierte Sätze verpacke und deshalb kein Recherchewerkzeug sei und weder Journalismus noch Wissenschaft oder eine eigenständige Quellenprüfung ersetzen könne.

Ein zweiter Referenzpunkt ist die Kampagne von Mimikama. Die Organisation verbreitet seit Anfang November eine visuell auffällige Kachel mit dem Hinweis „ChatGPT ist KEINE Suchmaschine“, verbunden mit der Behauptung, ein grosser Teil der Nutzer verwende das System, als wäre es ein Ersatz für Google und andere Suchdienste, was als gefährlich eingestuft wird. In einem Folgetext kommentiert Mimikama, der Beitrag habe deutlich mehr Reaktionen ausgelöst als erwartet, was zeigt, dass dieses Narrativ in der Breite wahrgenommen wird.

Ein dritter Baustein ist das Interview mit der Informatikerin Katharina Zweig, das über die Frankfurter Allgemeine Zeitung verbreitet wurde und in sozialen Medien zirkuliert. Dort wird nicht nur vor einer grossen KI Blase gewarnt, sondern es wird wörtlich zur ersten Regel erhoben, ChatGPT nicht als Suchmaschine zu verwenden. Begründet wird dies mit der Aussage, Sprachmodelle verfügten nicht über eine echte Wissensdatenbank, sondern würden lediglich Wörter aneinanderhängen.

Diese drei Beispiele stammen aus unterschiedlichen Kontexten. Ein lokales Nachrichtenportal, eine Faktencheckplattform und eine grosse überregionale Zeitung. Inhaltlich erzählen sie jedoch fast dasselbe: ChatGPT ist keine Suchmaschine, Sprachmodelle seien strukturell unzuverlässig und der durchschnittliche Nutzer sei mit dieser Technik überfordert. Zusätzlich erscheinen parallel Beiträge etwa im österreichischen Standard, die KI Browser als Albtraum für Sicherheit und Privatsphäre beschreiben und damit die Warnung um eine sicherheitspolitische Dimension erweitern.

Für mich ergibt sich daraus das Bild eines im November verdichteten Warnnarrativs, das kurz gefasst lautet: KI ist verlockend, aber gefährlich und sollte weder für Recherche noch für Alltagsentscheidungen genutzt werden, zumindest nicht durch die Allgemeinheit.

Anthropologie statt Technikdeterminismus

Meine eigene Beobachtung setzt an einem anderen Punkt an. Bevor ich über Technik spreche, denke ich zuerst über Menschen nach. Für ein bewusstes Leben in dieser Welt reicht es nicht, Informationen abrufen zu können. Entscheidend ist, dass ich mir klar mache, was ich weiss, was ich nicht weiss und dass es einen Bereich der unknown unknowns gibt. Also Fragen und Problemstellungen, die ich nicht einmal formuliert habe, weil mir die entsprechende Perspektive fehlt.

Dieses epistemische Dreieck ist unabhängig von der verwendeten Technik. Es gilt für klassische Suchmaschinen, für Bücher, für Gespräche mit Fachpersonen und ebenso für den Umgang mit KI Systemen. Wer sich über die eigenen Grenzen des Wissens und Nichtwissens keine Rechenschaft ablegt, wird auch mit der perfekten Suchmaschine schlechte Entscheidungen treffen. In diesem Sinne ist die zentrale Dimension nicht technisch, sondern anthropologisch.

Seit Oktober 2022 arbeite ich intensiv mit KI Systemen. Die ersten Berührungspunkte mit KI u.a. als juristische Beweissysteme hatte ich bereits 2014 bis 2017. In dieser Zeit hat sich die technische Basis deutlich weiterentwickelt. Ich habe Modelle erlebt, die ausschliesslich auf vortrainiertem Weltwissen basieren, und nutze heute Versionen, die in Echtzeit im Netz recherchieren können. Für meine Arbeitsweise ist entscheidend, dass ich konsequent mit expliziten Anforderungen arbeite. Ich verlange Quellenangaben für alle relevanten Tatsachenbehauptungen, ich untersage das Erfinden von Referenzen und ich verlange bei strittigen oder zeitkritischen Themen eine Verifikation über mehrere unabhängige Quellen.

Gleichzeitig nutze ich Fähigkeiten zur Speicherung von Kontext und Langzeiterinnerungen. Wenn ein Fehler identifiziert ist, etwa eine unzutreffende Datierung oder eine falsche Zuschreibung, erwarte ich, dass dieser Fehler künftig nicht wiederholt wird. Hinzu kommt, dass ich mir Zeit nehme, meine Fragen präzise zu formulieren. Ich versuche, meinen Prompt so zu behandeln, wie ich eine wissenschaftliche Fragestellung formulieren würde. Das heisst, ich kläre zunächst den Gegenstand, den relevanten Zeitraum, den normativen Rahmen und die verwendeten Begriffe.

Unter diesen Randbedingungen beobachte ich zwei Dinge. Erstens ist die Halluzinationsrate deutlich gesunken. Fehler treten zwar weiterhin auf, aber sie sind selten und in der Regel identifizierbar. Zweitens verschiebt sich der Charakter der Fehler. Was früher oft in frei erfundenen Büchern, Urteilen, Aktenzeichen oder Artikeltiteln gipfelte, manifestiert sich heute eher in Randunklarheiten, etwa in Grenzfällen bei Datumsangaben oder bei sehr spezifischen, schlecht dokumentierten Detailfragen.

Aus meiner Sicht zeigt das, dass die Technik zwar Grenzen hat, diese Grenzen aber in hohem Masse davon abhängen, wie reflektiert ich das System nutze. Wer bewusst fragt, Quellen einfordert und die eigenen Wissensgrenzen im Blick behält, produziert eine völlig andere Fehlerstruktur als jemand, der eine einzelne, nicht hinterfragte Antwort als abschliessende Wahrheit behandelt.

Systemische Ebene: Gatekeeper und Narrativschutz

Wenn ich von der individuellen zur systemischen Perspektive wechsle, stellt sich eine andere Frage. Nämlich, in welchem grösseren Diskursfeld diese Warnartikel verortet sind. Seit einigen Jahren wird Desinformation im deutschsprachigen Raum als eine der grössten Gefahren für demokratische Gesellschaften beschrieben. Studien von Medienverbänden und Stiftungen kommen zu dem Ergebnis, dass ein grosser Teil der Bevölkerung Falschinformationen als Bedrohung für Demokratie und gesellschaftlichen Zusammenhalt wahrnimmt.

Parallel dazu haben sich klassische Medien, öffentlich finanzierte Einrichtungen und verschiedene Nichtregierungsorganisationen als Gatekeeper der Faktenpositioniert. Sie definieren, welche Quellen als vertrauenswürdig gelten und welche Positionen als Desinformation einzustufen sind. In diesem Setting erscheinen KI Systeme zunächst als zusätzliche Störgrösse. Sie können theoretisch alternative Quellen sichtbar machen, Gegenargumente zu etablierten Narrativen formulieren und unterschiedliche Perspektiven nebeneinanderstellen.

Die November Artikel lassen sich in dieses bestehende Rahmenprogramm relativ bruchlos einfügen. Sie betonen nicht, dass KI ein Werkzeug ist, das je nach Nutzung sehr unterschiedliche Ergebnisse produziert. Stattdessen wird der Fokus auf Risiken gelegt. Halluzinationen, Desinformation und eine angeblich strukturelle Überforderung des Durchschnittsnutzers. KI wird damit nicht primär als Erweiterung kognitiver Kapazitäten verstanden, sondern als potenzieller Verstärker von Fehlvorstellungen.

Es gibt in diesem Bild keinen zentralen Masterplan. Systeme steuern sich nicht durch eine einzelne Instanz, sondern über Anreizstrukturen, institutionelle Logiken und geteilte Problemdeutungen. Wenn die Leitfrage lautet, wie sich eine vermeintliche Flut von Desinformation eindämmen lässt, dann liegt es systemisch nahe, Werkzeuge zu problematisieren, die Informationszugang und Argumentationsfähigkeit ausserhalb klassischer Gatekeeperkanäle stärken könnten.

In dieser Logik wird das Narrativ, ChatGPT sei keine Suchmaschine und keine verlässliche Informationsquelle, zu einem Instrument des Narrativschutzes. Es stabilisiert die Stellung derjenigen Akteure, die sich selbst als geprüfte Faktenlieferanten verstehen, und es diskreditiert zugleich die spontane, nicht institutionell vermittelte Nutzung von KI als Recherchehilfe.

Wo meine These trägt und wo sie spekulativ bleibt

Ich halte es für wichtig, sauber zu trennen, was sich aus den Beobachtungen ableiten lässt und wo ich mich im Bereich plausibler, aber nicht belegbarer Interpretation bewege.

Gut belegt ist erstens die zeitliche Verdichtung. Es gibt im Herbst 2025 eine Reihe von Beiträgen, die in kurzer Abfolge dasselbe Leitmotiv transportieren. ChatGPT sei keine Suchmaschine, die Nutzung als solche sei gefährlich, und KI Systeme seien als Informationsquelle unzuverlässig. Mehrere Beispiele stammen aus unterschiedlichen Medientypen, greifen aber teilweise identische Formulierungen auf.

Gut belegt ist zweitens die Einbettung in einen bereits etablierten Diskurs, in dem Desinformation als grosse strukturelle Gefahr für Demokratie und gesellschaftliche Stabilität beschrieben wird. In diesem Diskurs ist es konsequent, neue technische Systeme primär unter dem Gesichtspunkt des Risikomanagements zu betrachten.

Ebenfalls gut nachvollziehbar ist die Annahme, dass ein leistungsfähiges KI Werkzeug die Deutungshoheit klassischer Gatekeeper herausfordert. Wer in der Lage ist, mit Hilfe eines Systems verschiedene Quellen zu vergleichen und Gegenpositionen zu rekonstruieren, ist weniger vollständig auf die kuratierte sichtbare Auswahl angewiesen, die ihm etwa in klassischen Nachrichtensendungen geboten wird. Dieser Effekt folgt aus der Struktur des Werkzeugs und benötigt keine Verschwörungstheorie.

Spekulativ bleibt die Frage, ob einzelne Akteure bewusst darauf abzielen, KI als Recherchewerkzeug gezielt zu diskreditieren, um eigene Narrative zu schützen. Die öffentlichen Texte geben darüber keinen expliziten Aufschluss. Es ist durchaus möglich, dass Überzeugung, Berufsidentität und institutionelle Logik ausreichen, um die beobachtete Rhetorik hervorzubringen, ohne dass eine koordinierte Strategie dahintersteht. Ebenso bleibt offen, in welchem Ausmass die Warnungen vor Fehlgebrauch von KI durch reale Missbrauchsfälle gedeckt sind und wo sie eher antizipative Angstprojekte darstellen.

Mit anderen Worten: Meine These trägt dort, wo sie die strukturelle Passung zwischen einem stärker kontrollorientierten Desinformationsdiskurs und der problematisierenden Darstellung von KI beschreibt. Sie wird spekulativ dort, wo man aus dieser Passung auf gezielte Steuerungsabsichten einzelner Institutionen schliessen möchte.

„Halluzinationserfahrung“

Ein zentraler Bezugspunkt meiner Beurteilung sind meine eigenen Erfahrungen mit Halluzinationen im Umgang mit KI-Systemen. Frühe Modellgenerationen hatten eine deutlich höhere Neigung, bei fehlendem Wissen plausible, aber frei erfundene Antworten zu generieren. Dies betraf vor allem sehr spezifische Detailfragen, wenig dokumentierte Sachverhalte und fiktive Kombinationen aus realen und erfundenen Elementen.

Mit der Möglichkeit zur Echtzeitrecherche und der Einführung klarer Leitplanken, die das Erfinden von Quellen untersagen, hat sich dieses Muster spürbar verändert. Fehler treten weiterhin auf. Sie äussern sich aber häufiger in Form von Unschärfen oder Unvollständigkeiten, weniger in Form komplett erfundener Strukturen. Hinzu kommt, dass identifizierte Fehler durch geeignete Nutzung der Erinnerungskomponente im weiteren Verlauf vermieden werden können.

Diese Beobachtung ist natürlich nicht verallgemeinerbar. Sie ist das Ergebnis eines spezifischen Umgangs. Ich arbeite mit ausführlichen Prompts, ich verlange Quellennachweise, ich hinterfrage Aussagen und ich betrachte jede Antwort zunächst als Hypothese, nicht als endgültige Wahrheit. Unter diesen Bedingungen ist die Halluzinationsrate extrem niedrig. Insofern greift die pauschale Warnung vor Halluzinationen als Struktureigenschaft zu kurz. Sie blendet aus, dass die Fehlerstruktur eines Modells nicht nur von der Architektur abhängt, sondern ebenso stark von der Art und Weise, wie Menschen das Modell einsetzen.

Gleichzeitig wäre es unredlich, die Risiken kleinzureden. Wer ohne Quellenkritik arbeitet, wer KI Antworten eins zu eins übernimmt, ohne sie in den eigenen Wissenshaushalt einzuordnen, kann durch wenige gravierende Fehler durchaus in die Irre geführt werden. Medien, die diese Gefahr betonen, haben insofern einen realen Punkt. Aber sie benennen nur einen Teil der Wahrheit. Der andere Teil lautet, dass dieselbe Technik bei reflektierter Nutzung eine sehr potentielle Erweiterung intellektueller Kapazität sein kann.

Für mich ergibt sich daraus eine einfache Konsequenz. Der eigentliche Schutz gegen Fehlentwicklungen liegt nicht in der pauschalen Diskreditierung des Werkzeugs, sondern in der Stärkung epistemischer Kompetenzen. Das heisst, Menschen müssen lernen, ihre eigenen Wissensgrenzen zu erkennen, präzise Fragen zu stellen, Quellen zu prüfen und Widersprüche auszuhalten. Wer das nicht tut, ist auch ohne KI anfällig. Wer es tut, kann KI produktiv einsetzen.

Categories: Deutschland, Digitalisierung, EU, Gesellschaft, IT-Security