Warum gute Copilot-Ergebnisse besser wirken, als sie sind

Der gefährlichste Fall ist nicht die offensichtlich falsche Antwort. Es ist die glatte, professionell klingende, die nach Substanz aussieht und keine hat.

Ein Ergebnis, das erkennbar falsch ist, richtet selten grossen Schaden an. Man erkennt den Fehler, korrigiert ihn, geht weiter. Gefährlicher ist die andere Kategorie: Antworten, die formal makellos sind, professionell formuliert, gut strukturiert, mit den richtigen Fachbegriffen versehen, aber inhaltlich generisch oder an entscheidender Stelle ungenau.

Der naive Prompt als Beispiel

In Workshops zeigt sich dieses Phänomen zuverlässig an einem einfachen Test. Man bittet Copilot mit einem knappen Auftrag wie Prüfe diesen Fall um eine Einschätzung zu einer realistischen Anfrage. Das Ergebnis liest sich erstaunlich gut. Es ist sprachlich sauber, wirkt strukturiert, enthält scheinbar relevante Punkte. Erst bei genauerem Hinsehen zeigt sich, dass die Antwort generisch bleibt, keine Priorisierung vornimmt und keine der tatsächlich entscheidenden Fragen aufwirft, die ein erfahrener Jurist sofort gestellt hätte.

Nicht komplett falsch, aber wenig nützlich. Diese Formulierung trifft den Kern des Problems genauer als das Wort falsch. Eine wenig nützliche Antwort ist schwerer zu erkennen als eine offensichtlich falsche, weil sie keinen Alarm auslöst. Sie sieht aus wie Arbeit, die bereits geleistet wurde, obwohl die eigentliche Arbeit noch bevorsteht.

Warum professionelle Sprache täuscht

Ein Sprachmodell ist besonders gut darin, den Tonfall professioneller Texte zu treffen. Es kennt die Struktur eines juristischen Memos, die typischen Formulierungen einer Stellungnahme, die Gliederung einer Vertragsprüfung. Diese Fähigkeit ist an sich nützlich. Sie birgt aber ein Risiko: Der professionelle Rahmen kann über einen dünnen Inhalt hinwegtäuschen, weil das Auge an die richtige Form gewöhnt ist und automatisch auf Substanz schliesst, wo eigentlich nur Form vorhanden ist.

Wer diese Täuschung durchschauen will, muss über die Form hinaus prüfen, ob die Antwort tatsächlich auf den konkreten Fall eingeht oder ob sie auch für zehn andere, ähnlich gelagerte Fälle wortgleich passen würde. Diese zweite Frage ist ein zuverlässiger Test für Generik.

Ein Vergleich zweier Prompts

Der Unterschied zeigt sich deutlich, wenn man einen naiven Prompt einem strukturierten Auftrag gegenüberstellt. Der naive Prompt liefert eine Antwort, die auf den ersten Blick überzeugt. Ein Auftrag, der explizit nach Priorisierung, nach konkreten Rückfragen und nach den tatsächlich relevanten Risiken fragt, liefert ein Ergebnis, das sich deutlich stärker an den Besonderheiten des Falls orientiert. Der Aufwand für den zweiten Prompt ist gering. Der Unterschied im Ergebnis ist erheblich.

Diese Erfahrung, einmal selbst gemacht, verändert den Umgang mit dem Werkzeug dauerhaft. Man beginnt, jede glatte Antwort mit einer gesunden Portion Skepsis zu lesen, und das ist genau die Haltung, die im juristischen Kontext angemessen ist.

Die Generik-Probe als schneller Test

Eine einfache Methode, um Generik zu erkennen, besteht darin, sich zu fragen, ob eine Antwort auch für einen völlig anderen, aber ähnlich kategorisierten Fall wortgleich passen würde. Eine Antwort auf eine Frage zur Kündigungsfrist, die keinerlei Bezug zum konkreten Vertrag, zur konkreten Branche oder zur konkreten Partei nimmt, besteht diese Probe nicht. Eine Antwort, die stattdessen konkrete Klauselnummern, tatsächliche Fristen aus dem vorgelegten Dokument und eine auf den Fall zugeschnittene Einschätzung liefert, besteht sie.

Diese Probe lässt sich in Sekunden durchführen und eignet sich hervorragend als Reflex, den man bei jeder Copilot-Antwort anwendet, bevor man sie weiterverwendet. Sie ersetzt keine inhaltliche Prüfung, ist aber ein schneller erster Filter, der viele schwache Ergebnisse frühzeitig aussortiert.

Warum Zeitdruck das Risiko erhöht

Gerade unter Zeitdruck ist die Versuchung gross, eine glatt formulierte Antwort ungeprüft zu übernehmen, weil sie auf den ersten Blick fertig wirkt und die Deadline drängt. Genau in solchen Momenten steigt das Risiko am stärksten, weil die kritische Distanz, die man sich unter normalen Umständen bewahrt, unter Druck als Erstes verloren geht. Wer das bei sich selbst beobachtet, tut gut daran, gerade in stressigen Phasen die Kontrollroutine nicht zu verkürzen, sondern bewusst beizubehalten, auch wenn das im Moment wie ein Zeitverlust wirkt.

Die Generik-Probe als schneller Test

Eine einfache Methode, um Generik zu erkennen, besteht darin, sich zu fragen, ob eine Antwort auch für einen völlig anderen, aber ähnlich kategorisierten Fall wortgleich passen würde. Eine Antwort auf eine Frage zur Kündigungsfrist, die keinerlei Bezug zum konkreten Vertrag, zur konkreten Branche oder zur konkreten Partei nimmt, besteht diese Probe nicht. Eine Antwort, die stattdessen konkrete Klauselnummern, tatsächliche Fristen aus dem vorgelegten Dokument und eine auf den Fall zugeschnittene Einschätzung liefert, besteht sie.

Diese Probe lässt sich in Sekunden durchführen und eignet sich hervorragend als Reflex, den man bei jeder Copilot-Antwort anwendet, bevor man sie weiterverwendet. Sie ersetzt keine inhaltliche Prüfung, ist aber ein schneller erster Filter, der viele schwache Ergebnisse frühzeitig aussortiert.

Warum Zeitdruck das Risiko erhöht

Gerade unter Zeitdruck ist die Versuchung gross, eine glatt formulierte Antwort ungeprüft zu übernehmen, weil sie auf den ersten Blick fertig wirkt und die Deadline drängt. Genau in solchen Momenten steigt das Risiko am stärksten, weil die kritische Distanz, die man sich unter normalen Umständen bewahrt, unter Druck als Erstes verloren geht.

Wer das bei sich selbst beobachtet, tut gut daran, gerade in stressigen Phasen die Kontrollroutine nicht zu verkürzen, sondern bewusst beizubehalten, auch wenn das im Moment wie ein Zeitverlust wirkt. Erfahrene Anwenderinnen und Anwender berichten übereinstimmend, dass genau die Fälle, in denen sie die Kontrolle aus Zeitgründen übersprungen haben, im Nachhinein am meisten Korrekturaufwand verursacht haben, oft mehr, als die Kontrolle selbst gekostet hätte.

Warum ein zweiter Blick sich fast immer lohnt

Ein einfacher, aber wirksamer Reflex besteht darin, jede Copilot-Antwort, bevor sie weiterverwendet wird, ein zweites Mal zu lesen, diesmal bewusst mit der Frage: Was fehlt hier eigentlich? Diese Frage lenkt den Blick weg vom positiven Gesamteindruck und hin zu den Lücken, die bei der ersten, flüchtigen Lektüre leicht übersehen werden. In der Praxis zeigt sich, dass dieser zweite Blick regelmässig mindestens einen Punkt zutage fördert, der eine Nachfrage oder eine Ergänzung verdient, selbst bei Antworten, die auf den ersten Blick vollständig wirkten.

Wer sich diesen zweiten Blick zur festen Gewohnheit macht, verliert dadurch kaum Zeit, gewinnt aber spürbar an Sicherheit, weil Lücken auffallen, bevor sie an anderer Stelle sichtbar werden, etwa in einer Rückfrage der Mandantschaft oder in einer kritischen Nachfrage einer Behörde.

Diese Praxis lässt sich mit geringem Aufwand in bestehende Arbeitsabläufe integrieren, etwa als fester letzter Schritt vor dem Versand eines Dokuments. Wer sie einmal zur Routine gemacht hat, empfindet sie nicht mehr als zusätzlichen Aufwand, sondern als selbstverständlichen Teil der eigenen Sorgfaltspflicht, genauso wie das nochmalige Lesen eines Schriftsatzes vor der Einreichung. Diese Selbstverständlichkeit stellt sich allerdings nicht von allein ein, sondern muss am Anfang bewusst eingeübt werden, bis sie zur zweiten Natur geworden ist.

Wer diesen Reflex in der eigenen Praxis etabliert, wird nach kurzer Zeit feststellen, dass er ihn nicht mehr als lästige Zusatzarbeit wahrnimmt, sondern als selbstverständlichen letzten Handgriff, der zur eigenen fachlichen Sorgfalt genauso gehört wie das Gegenlesen eines Vertrags vor der Unterzeichnung.

KI-Resultate können besser wirken, als sie tatsächlich sind. Professionelle Form ist kein Beleg für inhaltliche Tiefe.

Wer sich von der Form eines Ergebnisses nicht blenden lässt, sondern konsequent nach der Substanz fragt, nutzt Copilot als das, was es ist: ein Werkzeug, das Entwürfe liefert, die geprüft und geschärft werden müssen, nicht als Quelle fertiger Antworten.

Microsoft Copilot für Juristinnen und Juristen vertiefen

Im offenen Online-Webinar lernen Sie, Microsoft Copilot gezielt im juristischen Alltag einzusetzen. Im Fokus stehen konkrete Anwendungen in Outlook, Word, Teams und weiteren Microsoft-365-Programmen.