KI-Pilotprojekt aufsetzen: Was vorher definiert werden muss

Ein Pilot ist kein unkontrollierter Testbetrieb. Das ist der häufigste Irrtum in KI-Einführungsprojekten. Man «testet» das Tool, ohne vorher festzulegen, was der Test beantworten soll.

Ein Pilot ist ein strukturiertes Lernexperiment. Der Unterschied liegt in fünf Elementen, die vor dem Start feststehen müssen. Wer diese Elemente nicht klärt, produziert Meinungen – keine Entscheidungsgrundlage.

Was vor dem Pilotstart feststeht

1. Die Pilotfrage

Was soll der Pilot konkret beantworten? Nicht «ob KI gut ist», sondern eine präzise, überprüfbare Frage: «Reduziert Tool X die durchschnittliche Prüfzeit für Standardverträge in Gruppe Y um mindestens 25%?» Eine präzise Frage erzeugt eine verwertbare Antwort.

2. Der Scope

Welche Personen, Prozesse und welcher Zeitraum sind Teil des Pilots? Ein enger Scope ist kein Qualitätsmangel – er ist Voraussetzung für klare Erkenntnisse. Empfehlung: fünf bis zehn Personen, ein klar definierter Prozesstyp, sechs bis acht Wochen.

3. Die Erfolgskriterien

Was gilt als Erfolg – und was nicht? Diese Kriterien werden vor dem Piloten definiert, nicht nach der Auswertung. Nachträgliche Erfolgsdefinition ist Selbstbestätigung, kein Lernen.

4. Die Verantwortung

Eine benannte Person ist Pilot-Verantwortliche. Sie beobachtet, sammelt Feedback, eskaliert bei Problemen und erstellt den Abschlussbericht. Nicht das Team, sondern eine Person. Geteilte Verantwortung ist in der Praxis keine Verantwortung.

5. Das Abbruchkriterium

Unter welchen Bedingungen wird der Pilot abgebrochen? Datenschutzvorfall, Fehlerrate über Schwellwert, ausbleibende Nutzungsbereitschaft. Vordefinierte Abbruchkriterien schützen die Organisation vor dem Weitermachen um des Weitermachens willen.

Qualitätssicherung während des Piloten

Im Rechtsumfeld ist Qualitätssicherung keine Option – sie ist berufsrechtliche Anforderung. KI-Outputs, die in mandatsrelevante Dokumente einfliessen, müssen von einer fachkundigen Person geprüft werden. Wer prüft, nach welchen Kriterien, wie dokumentiert? Das wird vor dem Piloten festgelegt.

Qualitätssicherung während des Piloten dient gleichzeitig als Datenquelle für die Wirkungsmessung: Fehlerrate, Überarbeitungsquote, Prüfaufwand.

Wie ein gutes Pilot-Briefing aussieht

Die Pilotteilnehmenden erhalten vor dem Start ein klares Briefing: Was ist die Pilotfrage? Was ist der Scope? Was sind die Erfolgskriterien? Wann ist der Pilot beendet? Wer ist verantwortlich? Wie geben sie Feedback?

Ein Pilot ohne klares Briefing produziert ungeklärte Erwartungen und unstrukturiertes Feedback – das für die Auswertung wenig nützt.

Was nach dem Piloten

Drei Entscheidungen sind möglich und alle valide:

• Skalieren: Die Wirkung ist nachweisbar, die nächsten Einsatzbereiche werden erschlossen.

• Anpassen: Die Wirkung ist partiell. Der Prozess, die Lösung oder der Scope wird verändert und ein zweiter Pilot aufgesetzt.

• Stopp: Die erwartete Wirkung bleibt aus. Ressourcen werden umgeschichtet. Das ist eine valide und oft wertvolle Erkenntnis.

Was nicht valide ist: weitermachen ohne Auswertung.

Häufige Fehler beim Pilotdesign

Zu breiter Scope, fehlende Ausgangswerte, nachträgliche Erfolgsdefinition, keine benannte Pilotverantwortliche. Diese vier Fehler lassen sich vor dem Start eliminieren – wenn man die Zeit investiert, den Pilot sauber aufzusetzen.

Ein Pilot, der endet und keine klare Entscheidungsgrundlage produziert, hat sein Ziel verfehlt. Nicht weil das Tool schlecht war, sondern weil der Pilot schlecht aufgesetzt war.

Weiterführende Beratung & Kurse

Sie möchten KI rechtssicher in Ihrer Organisation einführen und nutzen? Dr. David Schneeberger begleitet Kanzleien, Behörden und Rechtsdienste mit Workshops, KI-Rechtsberatung und dem Kurs «Rechtssicher mit KI».