Warum KI manchmal falsch, aber überzeugend antwortet

Auf dem Berg steht. Bitte vervollständigen Sie. Diese einfache Übung erklärt mehr über Copilot als jede technische Definition.

Eine Übung aus der Schulung eignet sich, um das Prinzip hinter Copilot in wenigen Sekunden erlebbar zu machen. Man zeigt einen unvollständigen Satz: Auf dem Berg steht. Und bittet darum, ihn zu vervollständigen. Fast jede Person ergänzt etwas Plausibles, eine Hütte, ein Kreuz, ein Sendemast. Kaum jemand fragt zurück, um welchen Berg es überhaupt geht.

Das Prinzip hinter jeder Antwort

Genau das tut ein Sprachmodell bei jeder Anfrage. Es vervollständigt, ausgehend vom Kontext, die wahrscheinlichste Fortsetzung. Bei einem unvollständigen Satz über einen Berg ist das offensichtlich und harmlos. Bei einer juristischen Frage ist dasselbe Prinzip am Werk, nur dass die Fortsetzung komplexer ist und die Plausibilität schwerer zu durchschauen.

Das erklärt, warum Copilot bei einer Frage, zu der es wenig gesicherte Information gibt, trotzdem eine Antwort liefert. Es ergänzt den Satz, so wie man selbst den Satz über den Berg ergänzt hat, mit dem, was am wahrscheinlichsten klingt. Die Antwort ist dabei sprachlich vollständig und wirkt souverän formuliert. Sie muss deshalb nicht inhaltlich korrekt sein.

Warum das kein Defekt ist

Es ist verlockend, dieses Verhalten als Fehler zu bezeichnen, den man beheben müsste. Das greift zu kurz. Es handelt sich um das grundlegende Funktionsprinzip eines Sprachmodells, nicht um einen Programmierfehler, der in der nächsten Version verschwindet. Ein Modell, das nur dann antwortet, wenn es absolut sicher ist, wäre bei den meisten Alltagsfragen stumm, weil absolute Sicherheit in der Sprache selten vorkommt.

Die Konsequenz daraus ist nicht, das Werkzeug zu meiden. Die Konsequenz ist, sein Verhalten zu kennen und entsprechend zu arbeiten. Wer weiss, dass jede Antwort eine plausible Fortsetzung ist und keine geprüfte Tatsachenbehauptung, geht anders damit um als jemand, der glaubt, eine Datenbankabfrage vor sich zu haben.

Woran man eine riskante Antwort erkennt

Bestimmte Signale erhöhen die Wahrscheinlichkeit, dass eine Antwort mehr Fortsetzung als Fakt ist. Fragen zu sehr spezifischen, seltenen Konstellationen, zu denen wenig öffentlich verfügbares Material existiert, sind anfälliger als Fragen zu etablierten Grundsätzen. Fragen nach genauen Zahlen, Fundstellen oder Zitaten sind anfälliger als Fragen nach allgemeinen Zusammenhängen. Und Fragen, bei denen die Antwort besonders glatt und ohne jede Einschränkung formuliert ist, verdienen einen zweiten Blick, weil echte juristische Sachverhalte selten ohne Nuancen auskommen.

Diese Signale sind keine Garantie. Sie sind aber ein nützlicher Reflex, den man sich in der täglichen Arbeit angewöhnen kann, ähnlich wie man in einem Vertrag automatisch auf bestimmte Klauseltypen achtet, weil die Erfahrung zeigt, dass dort häufiger Probleme lauern.

Warum Fachsprache das Problem verschärft

Bei allgemeinen Themen fällt eine plausible, aber ungenaue Ergänzung oft schnell auf, weil die meisten Menschen ein Gespür für Alltagswissen haben. Bei juristischer Fachsprache ist dieses Gespür seltener vorhanden, gerade bei komplexen oder seltenen Fragestellungen. Ein Modell, das einen Fachbegriff korrekt verwendet und in eine grammatikalisch einwandfreie, fachlich klingende Formulierung einbettet, wirkt allein durch diesen Stil bereits kompetent. Die Fachsprache selbst wird zum Plausibilitätssignal, unabhängig davon, ob der Inhalt stimmt.

Dieser Effekt ist besonders tückisch bei Randgebieten des Rechts, mit denen die lesende Person selbst weniger vertraut ist. Genau dort, wo die eigene Kontrollfähigkeit am schwächsten ist, ist das Risiko einer unbemerkt falschen Antwort am grössten. Diese Beobachtung spricht dafür, bei unbekannten Rechtsgebieten besonders konsequent nach Belegen zu fragen, statt sich auf den professionellen Ton zu verlassen.

Ein Test, der sich leicht wiederholen lässt

Wer selbst prüfen will, wie zuverlässig dieses Prinzip ist, kann Copilot gezielt zu einem sehr spezifischen, aber erfundenen oder abgewandelten Sachverhalt befragen, etwa zu einem fiktiven Urteil mit einem plausibel klingenden, aber nicht existierenden Aktenzeichen. In vielen Fällen liefert das System trotzdem eine Einordnung, statt zu erklären, dass ihm dieses Urteil unbekannt ist. Dieses einfache Experiment macht das Prinzip greifbar und eignet sich hervorragend als Einstieg in eine Teamschulung, weil es in wenigen Minuten demonstriert, was viele Absätze an Erklärung nicht leisten.

Aus einem solchen Test lässt sich auch ableiten, wie ein Team im eigenen Alltag mit Unsicherheit umgehen will. Manche Organisationen legen fest, dass Copilot bei Unsicherheit ausdrücklich dazu aufgefordert werden muss, dies zu benennen, statt zu ergänzen. Diese Aufforderung lässt sich direkt in die individuellen Anweisungen des Systems aufnehmen und wirkt dann bei jeder folgenden Anfrage automatisch mit.

Der Umgang im Alltag

Für die praktische Arbeit bedeutet das: Man bittet Copilot nicht nur um eine Antwort, sondern auch um die Grundlage dieser Antwort. Woher stammt diese Aussage? Auf welches Dokument stützt sie sich? Diese Rückfrage zwingt das System dazu, seine Quelle offenzulegen, soweit es eine hat, und macht sichtbar, ob die Antwort auf einem konkreten Dokument beruht oder auf einer allgemeinen sprachlichen Wahrscheinlichkeit.

Was das für die Formulierung von Prompts bedeutet

Wer weiss, dass ein Modell jede Lücke füllt, kann diese Eigenschaft aktiv nutzen, statt nur passiv zu erleiden. Ein Prompt, der ausdrücklich verlangt, offene Lücken als solche zu benennen, statt sie stillschweigend zu ergänzen, verändert das Verhalten des Systems deutlich. Ebenso hilft die Vorgabe, sich ausschliesslich auf vorgelegte Dokumente zu stützen und bei fehlender Information explizit nachzufragen, statt eine Antwort zu erzwingen.

Diese Vorgaben lassen sich einmal formulieren und dann wiederverwenden, sei es als feste Formulierung am Ende jedes Prompts oder als Teil der individuellen Anweisungen, die für alle Anfragen gelten. Der Aufwand für diese einmalige Einrichtung ist gering, der Effekt auf die tägliche Zuverlässigkeit der Ergebnisse aber erheblich.

Warum sich das Prinzip nicht auf Text beschränkt

Dasselbe Vervollständigungsprinzip gilt nicht nur für Fliesstext, sondern auch für Tabellen, Aufzählungen und strukturierte Antworten. Bittet man Copilot um eine Liste vergleichbarer Fälle oder eine Übersicht zu einem Thema, füllt das System auch dort Lücken mit der wahrscheinlichsten Ergänzung, wenn die eigene Datengrundlage unvollständig ist. Eine Tabelle wirkt dabei besonders vertrauenswürdig, weil ihre Form Ordnung suggeriert, unabhängig davon, ob jede einzelne Zeile tatsächlich verifiziert ist.

Diese Erkenntnis ist besonders wichtig für Personen, die neu mit Copilot arbeiten und noch kein Gefühl dafür entwickelt haben, wo die Grenzen des Systems liegen. Die Vervollständigungsübung mit dem Berg eignet sich deshalb hervorragend als erste Station jeder Einführung, unabhängig vom Erfahrungsstand der Teilnehmenden, weil sie das Prinzip in einer Minute erfahrbar macht, ohne dass es einer längeren technischen Erklärung bedarf.

Wer diesen Reflex einmal verinnerlicht hat, wendet ihn nicht nur bei Copilot an, sondern bei jedem KI-gestützten Werkzeug, dem er im Berufsleben begegnet. Das macht die Übung zu einer Investition, die über den konkreten Anwendungsfall hinaus wirkt.

Diese Erkenntnis lohnt sich besonders für Teams, die noch am Anfang ihrer Copilot-Nutzung stehen. Wer die Vervollständigungslogik einmal an einem harmlosen Beispiel erlebt hat, überträgt dieses Verständnis automatisch auf komplexere, folgenreichere Situationen und entwickelt so mit der Zeit ein zuverlässiges Gespür dafür, wann eine Antwort besonders sorgfältig geprüft werden sollte, ohne dass dafür jedes Mal eine explizite Erinnerung nötig wäre.

Auf dem Berg steht. Bitte vervollständigen Sie. Genau das tut ein Sprachmodell bei jeder Antwort.

Wer diese Übung einmal selbst gemacht hat, vergisst sie nicht mehr. Sie ist der einfachste Weg, um in wenigen Sekunden zu verstehen, warum eine überzeugend klingende Antwort nicht automatisch eine richtige Antwort ist, und warum diese Unterscheidung im juristischen Kontext über die Verwendbarkeit eines Ergebnisses entscheidet.

Microsoft Copilot für Juristinnen und Juristen vertiefen

Im offenen Online-Webinar lernen Sie, Microsoft Copilot gezielt im juristischen Alltag einzusetzen. Im Fokus stehen konkrete Anwendungen in Outlook, Word, Teams und weiteren Microsoft-365-Programmen.