Abuse Monitoring und Modell-Training: Die zwei unterschätzten Risiken bei KI-Providern

Wer sich die Mühe macht, die Nutzungsbedingungen gängiger KI-Provider sorgfältig zu lesen, stösst auf zwei Klauseln, die für berufsgeheimnispflichtige Organisationen erhebliche Risiken schaffen: die Modell-Training-Klausel und das Abuse Monitoring. Beide können dazu führen, dass der Provider aus dem Auftragsbearbeitungsverhältnis herausfällt und zum unberechtigten Dritten wird.

Modell-Training: Wenn Ihre Daten das Modell verbessern

Viele KI-Provider behalten sich in ihren Standardbedingungen vor, Inputs und Outputs zur Verbesserung ihrer Modelle zu verwenden. Das klingt unproblematisch, ist es aber nicht, sobald sensible Informationen im Spiel sind.

Das rechtliche Problem: Wenn der Provider Ihre Eingaben für eigene Trainingszwecke nutzt, handelt er nicht mehr im Auftrag des Verantwortlichen. Er handelt für sich selbst. Er ist nicht mehr Auftragsbearbeiter, er ist eigenständiger Datenverantwortlicher, der Daten für eigene Zwecke bearbeitet. Damit fällt er aus dem Subordinationsverhältnis heraus und wird zum unberechtigten Dritten.

Für berufsgeheimnispflichtige Organisationen ist das kritisch: Das Einspeisung von Mandatsinformationen, Patientendaten oder Amtsakten in ein System, das diese Daten für Modell-Training nutzt, ist eine Verletzung des Berufs- oder Amtsgeheimnisses, unabhängig davon, ob die Daten tatsächlich in einem anderen Kontext wieder auftauchen.

Das Training-Opt-out: Was es kann und was nicht

Die meisten grossen Provider bieten ein Training-Opt-out an. Bei ChatGPT kann es in den Einstellungen aktiviert werden. Bei Microsoft und Google ist es im Enterprise-Tier in der Regel Standard. Das Training-Opt-out hat aber Grenzen:

• Es muss aktiv aktiviert werden, es ist kein Default.

• Es gilt oft nur für bestimmte Dienste, nicht für alle Produkte desselben Providers.

• Es schützt nicht vor allen Formen der Datennutzung, Provider behalten sich häufig die Nutzung für Sicherheits- und Qualitätszwecke vor.

• Es muss vertraglich verankert sein, nicht nur in den Einstellungen und Einstellungen können sich ändern.

Empfehlung: Das Training-Opt-out sowohl in den Tool-Einstellungen aktivieren als auch vertraglich absichern. Nur beides zusammen schafft einen tragfähigen Schutz.

Abuse Monitoring: Das härtere Problem

Abuse Monitoring ist die Praxis, bei der KI-Provider Inputs und Outputs automatisch oder manuell prüfen, um missbräuchliche Nutzung zu erkennen und zu verhindern. Das Ziel ist legitim: niemand soll KI zur Erstellung von Schadsoftware, Desinformation oder anderen schädlichen Inhalten nutzen.

Das Problem entsteht, wenn natürliche Personen des Providers im Rahmen des Monitorings Einblick in Inhalte nehmen, die unter das Berufs- oder Amtsgeheimnis fallen. Im Strafrecht ist das besonders heikel: Mandatsinformationen über Verdächtige, Zeugen oder Opfer, Tatvorwürfe, Ermittlungsstrategien, all das kann im Rahmen des Abuse Monitorings durch Provider-Mitarbeitende gesehen werden.

Aus dem letzten Kurs «Rechtssicher mit KI» stammt ein plastisches Beispiel: Ein Staatsanwalt, der einen Schriftsatz im Zusammenhang mit einem Strafverfahren mit KI-Unterstützung verfasst, riskiert, dass diese Information durch das Abuse-Monitoring-System des Providers gelangt. Das ist eine Verletzung des Amtsgeheimnisses.

Warum Abuse Monitoring schwieriger zu regeln ist als Training

Training-Opt-outs sind verbreitet und vertraglich gut etabliert. Beim Abuse Monitoring ist das anders. Provider argumentieren, dass das Monitoring ein wesentliches Sicherheitselement ihres Dienstes ist, auf das sie nicht vollständig verzichten können. Vollständige Opt-outs beim Abuse Monitoring sind selten und oft nur für sehr grosse Enterprise-Kunden erreichbar.

Was in der Praxis erreichbar ist: Einschränkung des Monitorings auf automatisierte Prüfung ohne menschliche Einsichtnahme, strenge Zugangsbeschränkungen für Personen, die Monitoring-Fälle bearbeiten, vertragliche Verpflichtung des Providers, Berufsgeheimnisschutz auch für Monitoring-Mitarbeitende sicherzustellen.

Microsoft als Praxisbeispiel

Microsoft beschreibt in seinen Servicebedingungen Mechanismen zur Sicherheitsüberwachung. Systeme erkennen potenziell missbräuchliche oder schädliche Nutzung, speichern entsprechende Inhalte vorübergehend und können in bestimmten Fällen eine menschliche Prüfung auslösen. Diese Mechanismen dienen der Systemsicherheit, bedeuten aber zugleich, dass Inhalte beim Anbieter sichtbar werden können.

Für Enterprise-Kunden bestehen erweiterte Steuerungsmöglichkeiten, insbesondere im Azure OpenAI Service. Diese betreffen vor allem die Konfiguration von Inhaltsfiltern und Protokollierung. Eine vollständige Deaktivierung solcher Überwachungsmechanismen ist jedoch nur in Ausnahmefällen und nach vorgängiger Prüfung durch den Anbieter möglich.

Empfehlungen nach Use-Case-Typ

Für Standard-Use-Cases (Zone Grün): Training-Opt-out aktivieren und vertraglich absichern. Abuse Monitoring akzeptieren, dokumentieren. Keine berufsgeheimnisrelevanten Inhalte einspeisen.

Für sensible Use-Cases (Zone Gelb): Enterprise-Tier mit Training-Opt-out. Abuse-Monitoring-Bedingungen prüfen und dokumentieren. Berufsgeheimnisklausel im Vertrag.

Für hochsensible Use-Cases (Zone Rot): Deaktiviertes Abuse Monitoring (Antragsprozess) oder API-Zugang mit ZDR, oder lokale Installation. Kein Standard-Consumer-Produkt.

Abuse Monitoring ist das unbekanntere, aber härtere Problem. Training-Opt-out allein reicht nicht. Wer berufsgeheimnisrelevante Inhalte mit KI bearbeitet, muss auch das Monitoring-Risiko adressieren.

Selbsttest

Ist das Training-Opt-out aktiviert – in den Einstellungen UND im Vertrag?	Nur beides zusammen schützt. Einstellungen allein können geändert werden; vertragliche Absicherung gibt die nötige Beweislast.
Wird Abuse Monitoring beim Provider-Setup berücksichtigt?	Für Zone-Rot-Use-Cases ist ein vollständiges Monitoring-Opt-out erforderlich. Für Zone-Gelb genügt eine dokumentierte Risikoeinschätzung mit Vertraulichkeitsverpflichtung für Monitoring-Mitarbeitende.
Gilt die Geheimnisschutzklausel auch für Monitoring-Mitarbeitende?	Die Klausel muss explizit alle Mitarbeitenden des Providers einschliessen, die Zugang zu Inhalten haben könnten – also auch jene, die Abuse-Monitoring-Fälle bearbeiten.

Weiterführende Beratung & Kurse

Sie möchten KI rechtssicher in Ihrer Organisation einführen und nutzen? Dr. David Schneeberger begleitet Kanzleien, Behörden und Rechtsdienste mit Workshops, Strategieberatung und dem Kurs «Rechtssicher mit KI».