Halluzinationen: Bug oder Feature?

Das Erfinden plausibler Inhalte ist kein Defekt, den eine nächste Version behebt. Es ist das Funktionsprinzip selbst. Wer das versteht, baut seine Prompts entsprechend.

Kaum ein Begriff sorgt in Schulungen für so viel Verunsicherung wie die Halluzination. Das Wort klingt nach einem Fehler, nach etwas, das behoben gehört. Diese Erwartung führt in die Irre. Eine Halluzination ist keine Störung im System. Sie ist die logische Fortsetzung desselben Mechanismus, der auch die richtigen Antworten erzeugt.

Warum das Modell erfindet, statt zu schweigen

Ein Sprachmodell ist darauf ausgelegt, immer eine sprachlich flüssige Antwort zu liefern. Es kennt keinen eingebauten Zustand, in dem es sagt: Dazu habe ich keine gesicherte Information, und bleibt stumm. Stattdessen füllt es die Lücke mit der wahrscheinlichsten Fortsetzung, genau wie im Beispiel mit dem unvollständigen Satz über den Berg. Bei einer Rechtsfrage kann diese Fortsetzung ein erfundener Gesetzesartikel, ein nicht existierendes Urteil oder eine falsch zugeordnete Fundstelle sein, formuliert mit derselben Sicherheit wie eine zutreffende Aussage.

Diese Eigenschaft lässt sich nicht wegtrainieren, ohne das Modell insgesamt weniger nützlich zu machen. Ein Modell, das bei jeder Unsicherheit schweigt, wäre bei den meisten alltäglichen Fragen unbrauchbar, weil absolute Gewissheit selten ist. Die Industrie arbeitet daran, Halluzinationen zu reduzieren, aber eine vollständige Beseitigung ist mit der heutigen Technologie nicht realistisch.

Was das für den Prompt bedeutet

Wer diese Eigenschaft kennt, kann sie in der Formulierung des Auftrags berücksichtigen. Ein Prompt, der explizit verbietet, fehlende Informationen mit Annahmen zu füllen, reduziert das Risiko erheblich. Eine Anweisung wie keine rechtlichen Schlussfolgerungen ohne ausreichende Faktenbasis und keine erfundenen Annahmen verändert das Verhalten des Systems spürbar, weil sie dem Modell einen expliziten Rahmen gibt, innerhalb dessen es antworten soll.

Ebenso hilfreich ist die Aufforderung, bei fehlenden Informationen zunächst Rückfragen zu stellen, statt sofort eine vollständige Antwort zu liefern. Diese Umkehrung, vom sofortigen Ausfüllen zum gezielten Nachfragen, ist einer der wirksamsten Hebel gegen Halluzinationen, die sich in der Praxis bewährt haben.

Warum menschliche Kontrolle nicht verhandelbar ist

Selbst der beste Prompt eliminiert das Risiko nicht vollständig. Deshalb bleibt die menschliche Kontrolle der letzte und wichtigste Schutzmechanismus. Wer ein Ergebnis von Copilot übernimmt, ohne die zentralen Aussagen zu prüfen, verlässt sich auf ein System, das per Konstruktion gelegentlich überzeugend Falsches produziert. Diese Kontrolle ist kein Ausdruck von Misstrauen gegenüber der Technologie, sondern die angemessene Reaktion auf ihr bekanntes Verhalten.

In der Praxis bewährt sich eine einfache Regel: Je folgenreicher eine Aussage, desto genauer die Kontrolle. Eine grobe Zusammenfassung eines internen Protokolls für die eigene Orientierung verträgt eine flüchtige Prüfung. Eine Aussage, die in einen Schriftsatz oder eine Stellungnahme gegenüber einer Behörde einfliesst, verlangt eine sorgfältige Verifikation jeder einzelnen Tatsachenbehauptung.

Der Unterschied zwischen Trainingsdaten und Halluzination

Die beiden Begriffe werden in Diskussionen häufig vermischt, obwohl sie unterschiedliche Phänomene beschreiben. Eine Aussage, die auf tatsächlichen, aber veralteten oder unpassenden Trainingsdaten beruht, ist ungenau, aber nicht erfunden. Eine Halluzination im engeren Sinn ist eine Aussage, für die es in den Trainingsdaten gar keine echte Entsprechung gibt, die das Modell aber dennoch mit derselben sprachlichen Sicherheit präsentiert, etwa ein Gesetzesartikel mit einer Nummer, die schlicht nicht existiert, oder ein Gerichtsentscheid, den es so nie gegeben hat.

Für die praktische Kontrolle spielt diese Unterscheidung eine untergeordnete Rolle, weil beide Fälle dieselbe Reaktion verlangen: Verifikation gegen eine unabhängige Quelle. Sie hilft aber zu verstehen, warum manche falschen Antworten wie eine ungenaue Erinnerung wirken, während andere wie eine freie Erfindung erscheinen, obwohl beide demselben Grundprinzip entspringen.

Was ein gutes Fehlerprotokoll leistet

Rechtsdienste, die Copilot bereits länger einsetzen, profitieren davon, aufgetretene Fehler systematisch festzuhalten, nicht um Schuld zuzuweisen, sondern um Muster zu erkennen. Zeigt sich, dass Halluzinationen gehäuft bei einem bestimmten Themenbereich auftreten, etwa bei sehr aktuellen Regulierungsänderungen, zu denen es noch wenig gefestigtes Material gibt, lässt sich die Kontrolle in diesem Bereich gezielt verschärfen, während andere Bereiche weniger intensiv geprüft werden müssen. Diese risikobasierte Kontrolle ist effizienter als eine pauschale Skepsis gegenüber allen Ergebnissen.

Der Unterschied zwischen Ungenauigkeit und Erfindung

Die beiden Begriffe werden in Diskussionen häufig vermischt, obwohl sie unterschiedliche Phänomene beschreiben. Eine Aussage, die auf tatsächlichen, aber veralteten oder unpassenden Trainingsdaten beruht, ist ungenau, aber nicht erfunden. Eine Halluzination im engeren Sinn ist eine Aussage, für die es in den Trainingsdaten gar keine echte Entsprechung gibt, die das Modell aber dennoch mit derselben sprachlichen Sicherheit präsentiert, etwa ein Gesetzesartikel mit einer Nummer, die schlicht nicht existiert.

Für die praktische Kontrolle spielt diese Unterscheidung eine untergeordnete Rolle, weil beide Fälle dieselbe Reaktion verlangen: Verifikation gegen eine unabhängige Quelle. Sie hilft aber zu verstehen, warum manche falschen Antworten wie eine ungenaue Erinnerung wirken, während andere wie eine freie Erfindung erscheinen, obwohl beide demselben Grundprinzip entspringen.

Was ein gutes Fehlerprotokoll leistet

Rechtsdienste, die Copilot bereits länger einsetzen, profitieren davon, aufgetretene Fehler systematisch festzuhalten, nicht um Schuld zuzuweisen, sondern um Muster zu erkennen. Zeigt sich, dass Halluzinationen gehäuft bei einem bestimmten Themenbereich auftreten, etwa bei sehr aktuellen Regulierungsänderungen, zu denen es noch wenig gefestigtes Material gibt, lässt sich die Kontrolle in diesem Bereich gezielt verschärfen, während andere Bereiche weniger intensiv geprüft werden müssen.

Diese risikobasierte Kontrolle ist effizienter als eine pauschale Skepsis gegenüber allen Ergebnissen. Sie setzt allerdings voraus, dass Fehler überhaupt dokumentiert werden, statt still korrigiert und vergessen zu werden. Ein kurzer, informeller Austausch im Team, welche Art von Fehlern in der letzten Zeit aufgefallen ist, reicht oft schon aus, um diese Muster sichtbar zu machen, ohne dass ein aufwendiges formales System nötig wäre.

Ein letzter Aspekt betrifft die Kommunikation innerhalb des Teams. Wird ein Fehler entdeckt, lohnt es sich, ihn kurz und ohne Umschweife zu teilen, damit andere im Team aus derselben Erfahrung lernen können, ohne den Fehler selbst wiederholen zu müssen. Diese offene Fehlerkultur ist im Umgang mit einem noch jungen Werkzeug wie Copilot besonders wertvoll, weil sich die kollektive Erfahrung des Teams schneller aufbaut als die Erfahrung jeder einzelnen Person allein.

So entsteht mit der Zeit ein informelles, aber wertvolles Erfahrungswissen im Team darüber, welchen Themen man besonders kritisch begegnen sollte, und dieses Wissen lässt sich kaum besser aufbauen als durch den offenen Austausch über tatsächlich aufgetretene Fehler.

Diese Beobachtung gilt nicht nur für einzelne Personen, sondern für ganze Teams. Ein Team, das offen über eigene Fehler im Umgang mit Copilot spricht, entwickelt insgesamt ein zuverlässigeres Gespür für riskante Formulierungen als ein Team, in dem jede Person ihre eigenen Erfahrungen für sich behält. Diese kollektive Lernkurve ist einer der unterschätzten Vorteile einer offenen Fehlerkultur im Umgang mit neuen Werkzeugen, und sie lässt sich mit geringem organisatorischem Aufwand etablieren, etwa in einer kurzen wiederkehrenden Runde am Ende der Woche.

Wer zusätzlich regelmässig prüft, ob sich diese Muster über die Zeit verschieben, etwa weil sich das zugrunde liegende Modell weiterentwickelt hat, hält die eigene Risikoeinschätzung aktuell, statt sich auf einmal gewonnene Erkenntnisse zu verlassen, die möglicherweise nicht mehr zutreffen.

Halluzinationen sind kein Bug, der verschwindet. Sie sind Teil des Funktionsprinzips. Die Kontrolle bleibt deshalb beim Menschen.

Wer Halluzinationen als Betriebsrisiko versteht, das man managt, statt als Fehler, den man ignoriert, arbeitet sicherer mit Copilot. Diese Haltung lässt sich einüben, und sie ist der Kern jeder seriösen Einführung des Werkzeugs in einen Rechtsdienst.

Microsoft Copilot für Juristinnen und Juristen vertiefen

Im offenen Online-Webinar lernen Sie, Microsoft Copilot gezielt im juristischen Alltag einzusetzen. Im Fokus stehen konkrete Anwendungen in Outlook, Word, Teams und weiteren Microsoft-365-Programmen.