Zum Inhalt springen

Anbieter oder Betreiber? Rollen im AI Act richtig bestimmen

Welche Pflichten haben wir nach der KI-Verordnung?“ Diese Frage stellen Mandanten uns immer wieder. Um sie beantworten zu können, müssen wir erst einmal klären, welche Rolle das Unternehmen in Bezug auf seine KI-Tools bzw. Use Case spielt. Die KI-Verordnung (KI-VO oder AI Act) knüpft ihre Pflichten nicht an „KI“ an sich, sondern an die Risikoklasse des Systems (siehe dazu “Risikoklassifizierung nach der KI-Verordnung”) und die Rolle des Unternehmens in der Wertschöpfungskette. Nicht selten schätzen Unternehmen ihre Rolle und damit die Pflichten gar nicht oder nicht richtig ein und übersehen daher wichtige Pflichten oder versuchen sogar solche zu erfüllen, die sie gar nicht adressieren.

Der klassische Fall: Ein Unternehmen nutzt das KI-Tool eines Drittanbieters, z. B. als SaaS-Lösung. Damit ist es in der Regel Betreiber dieses Tools. Stellt es dieses aber als White-Label-Lösung unter eigenem Namen seinen Mitarbeitenden zur Verfügung (z. B. als Unternehmens-Chatbot) oder bindet es KI-Modelle Dritter in seine eigenen Produkte ein, wird das Unternehmen schneller zum Anbieter, als ihm bewusst ist. Warum ist das so und was heißt das mit Blick auf die Compliance des Unternehmens?

Das Rollenmodell: sechs Akteure, zwei Hauptrollen

Die KI-VO fasst unter dem Oberbegriff „Akteur“ sechs Rollen zusammen, an die sich verschiedene Pflichten anknüpfen. Für die meisten Unternehmen sind in der Praxis v. a. zwei entscheidend: der Anbieter, der ein KI-System auf den Markt bringt, und der Betreiber, der es einsetzt. Die übrigen Rollen betreffen vor allem Lieferketten.

Drei Irrtümer, mit denen wir aufräumen müssen:

  1. Man kann nur einen „Hut aufhaben“ – Anbieter ohne Betreiber!

    Nein, die Rollen schließen sich nicht aus. Wer zum Beispiel ein KI-System für den Eigengebrauch entwickelt oder von einem Dritten entwickeln lässt, ist Anbieter und Betreiber zugleich.

  2. Die Rolle bestimmt sich je Unternehmen.

    Nein, die Rolle bestimmt sich je KI-System. Dasselbe Unternehmen kann in Bezug auf den von ihm an Kunden bereitgestellten Kundenservice-Bot einerseits Anbieter und andererseits Betreiber des eingekauften Recruiting-Tools sein.

  3. Welche Rolle ein Unternehmen hat, kann man vertraglich regeln.

    Nein, die Rolle folgt der Funktion, nicht (allein) dem Vertrag. Maßgeblich ist, wessen Namen das KI-System trägt und wer die (tatsächliche) wirtschaftliche Kontrolle hat. Verträge prägen aber die Funktion und darüber kann man mit der richtigen Vertragsgestaltung durchaus Einfluss darauf nehmen, wer welche Rolle einnimmt.

Wer die KI-VO trotz KI-Nutzung nicht beachten muss:

  • Beschäftigte, die ein KI-System für ihren Arbeitgeber bedienen, sind weder Betreiber noch Anbieter. Ihr Handeln wird dem Unternehmen zugerechnet. Deshalb ist es für Unternehmen wichtig, KI-Richtlinien aufzustellen und ihre Mitarbeitenden angemessen zu schulen. Siehe zu diesem Thema auch „KI-Verordnung: Müssen Unternehmen ihre Beschäftigten schulen?“.
  • Privatpersonen, die KI-Tools nutzen, müssen die KI-VO ebenfalls nicht beachten.
  • Wer lediglich die Ergebnisse eines KI-Systems nutzt, das ein Dienstleister in eigener Verantwortung betreibt, ist in der Regel ebenfalls kein Adressat der KI-VO.

Anbieter wird man als Unternehmen schneller, als viele denken

Anbieter ist, wer ein KI-System entwickelt oder entwickeln lässt und es unter eigenem Namen oder eigener Marke in Verkehr bringt oder in Betrieb nimmt, egal ob entgeltlich oder kostenlos. Die Rolle entspricht weitgehend dem Hersteller im Produktsicherheitsrecht. Der Anbieter trägt den Großteil der Pflichten, weil er am meisten Einfluss auf das Wesen und die Leistungen und damit das Risiko eines Systems hat.

Das klingt nach den großen KI-Playern wie OpenAI, Google oder Microsoft. Aber das ist ein Irrtum: Auch „normale“ Unternehmen können schnell zum Anbieter eines KI-Tools werden.

In der Beratung begegnen uns aber vor allem drei Konstellationen:

1. Die Eigenentwicklung für den internen Gebrauch

Anbieter wird nicht nur, wer ein KI-System verkauft. „Inbetriebnahme“ umfasst ausdrücklich auch den Eigengebrauch. Wer intern ein KI-Tool baut und es dann seinen Mitarbeitenden zur Verfügung stellt, ist deshalb Anbieter des KI-Systems und gleichzeitig dessen Betreiber. Das gilt regelmäßig auch, wenn das Tool auf einem zugekauften Sprachmodell aufsetzt, das per API eingebunden wird.

Praxisbeispiel: Die Personalabteilung lässt von den eigenen IT-Mitarbeitenden ein Tool entwickeln, das Bewerbungen mithilfe eines großen Sprachmodells vorsortiert. Das Unternehmen ist damit Anbieter (hier sogar eines Hochrisiko-KI-Systems gem. Anhang III Nr. 4 lit. a KI-VO). Ab dem 2. Dezember 2027 bedeutet das: Risikomanagement, Daten-Governance, technische Dokumentation, Qualitätsmanagement, Konformitätsbewertung usw. Hätte es hingegen ein fertiges Recruiting-Tool eingekauft, wäre es „nur“ Betreiber mit den deutlich schlankeren Pflichten aus Art. 26.

Gleiches gilt, wenn eine Agentur die Entwicklung übernimmt. „Entwickeln lassen“ macht den Auftraggeber zum Anbieter, nicht den Dienstleister. Maßgeblich ist, wer Anforderungen und Spezifikationen vorgibt und den Prozess steuert.

2. White Label: fremde KI unter eigener Marke

Viele Unternehmen setzen einen Chatbot oder Assistenten eines Drittanbieters ein, versehen ihn aber mit eigenem Namen und Logo. Ob sie dadurch Anbieter werden, ist noch nicht ganz klar. Vor allem wird unter Experten noch darüber diskutiert, ob das bloße Anbringen der eigenen Marke tatsächlich bereits die Anbieterdefinition erfüllt. Dafür spricht, dass das Gesetz diesen Fall für Hochrisiko-KI-Systeme ausdrücklich geklärt hat – für alle anderen aber nicht. Andererseits wird man mit Blick auf Sinn und Zweck der Vorschriften insbesondere für die Bewertung der Kennzeichnungspflichten wohl sagen können, dass das sinngemäß auch für nicht mit einem hohen Risiko belegte Systeme gelten muss.

Insbesondere Unternehmen, die Chatbots mit ihrem Logo versehen oder Voicebots im Kundenservice einsetzen, sollten sich mit der Frage ihrer Rolle auseinandersetzen.

Faustregel: Je stärker ein System als eigenes Produkt auftritt, desto wahrscheinlicher ist die Anbieterrolle. Wer White Label einsetzt, sollte zudem vertraglich absichern, dass der Hersteller die maschinenlesbare Kennzeichnung umgesetzt hat (oder selbst für deren Umsetzung sorgen).

3. Anpassungen: Fine-Tuning, RAG, System-Prompts

Nicht jede Anpassung macht aus einem Betreiber einen Anbieter. Aber die Abgrenzung zwischen der (Weiter-)Entwicklung eines Systems und seiner individualisierten Verwendung kann fließend sein:

  • System-Prompts, Anbindung einer Wissensdatenbank (RAG), Gestaltung der OberflächeSofern wir über die Konfiguration eines Systems sprechen, handelt es sich in der Regel nur um eine Verwendung. Teilweise werden gezielte Meta-Prompts sogar gerade als Indiz für eine eigenverantwortliche Verwendung als Betreiber gewertet. Anders kann es liegen, wenn daraus ein neues Produkt entsteht, das unter eigenem Namen angeboten wird, oder wenn sich der Einsatzzweck ändert.
  • Das Fine-Tuning des Systems mit eigenen Daten kann bereits „Entwickeln“ sein, wenn dieses zu einer wesentlichen Veränderung des Systems führt. Ein klarer Fall ist dies, wenn das Fine-Tuning zu einem zweckmäßigen KI-Einsatz in einem der Hochrisiko-Bereiche führt (u. a. Biometrie, Personalauswahl oder Zugang zu wesentlichen Dienstleistungen wie Versicherungen oder Krediten).

Faustregel: Wer konfiguriert, ist nur Betreiber. Wer hingegen nachtrainiert, umbaut oder umwidmet, sollte die Anbieterfrage prüfen.

Die Hochrisiko-Falle

Besonders gravierende Folgen hat es für Unternehmen, wenn sie – ohne sich dessen im Klaren zu sein – vom Betreiber zum Anbieter eines Hochrisiko-KI-Systems werden.

Das passiert, wenn sie
  1. ein bereits in Verkehr gebrachtes Hochrisiko-KI-System mit ihrem Namen oder ihrer Marke versehen,
  2. ein solches System wesentlich verändern und es ein Hochrisiko-System bleibt oder
  3. die Zweckbestimmung eines Systems – ausdrücklich auch eines KI-Systems mit allgemeinem Verwendungszweck – so ändern, dass es zum Hochrisiko-System wird.

Die dritte Variante ist die, die in der Praxis besonders relevant ist. Lizenziert zum Beispiel ein Unternehmen einen universellen KI-Assistenten für Büroaufgaben und beginnt die Personalabteilung damit, systematisch Bewerbungen zu bewerten und Kandidaten zu ranken (bewegt sich also im Hochrisikobereich Personalmanagement), so wird man davon ausgehen müssen, dass das Unternehmen damit die Zweckbestimmung geändert hat und als Anbieter gilt.

Auch hier ist die vertragliche Gestaltung zwischen den Adressaten der KI-VO relevant. Grundsätzlich muss zwar der ursprüngliche Anbieter den neuen Anbieter mit Informationen und technischem Zugang unterstützen, damit dieser seine Anbieterpflichten erfüllen kann. Diese Kooperationspflicht entfällt aber, wenn er eindeutig festgelegt hat, dass sein System nicht in ein Hochrisiko-System umgewandelt werden darf.

Der nachgelagerte Anbieter

Wer ein eigenes KI-System auf einem GPAI-Modell aufbaut – etwa einen Fachassistenten auf Basis eines großen Sprachmodells –, ist ein sog. nachgelagerter Anbieter. Eigene Zusatzpflichten bringt diese Rolle nicht. Sie ist ein Unterfall des Anbieters: Die Anbieterpflichten für das eigene System bleiben voll bestehen. Zum Anbieter des integrierten Modells wird man durch die Integration allein dagegen nicht.

Damit bringt die Rolle eigentlich weniger eigene Pflichten als vielmehr eigene Rechte gegenüber dem Modellanbieter: Bereitstellung von Informationen und Dokumentation nach Anhang XII (u. a. zu Fähigkeiten, Grenzen und Integration des Modells) sowie ein Beschwerderecht bei Verstößen des Modellanbieters.

Da diese Informationen erforderlich sind, um die eigenen Anbieterpflichten überhaupt erfüllen zu können, gehören sie in jeden Vertrag über die Nutzung von Foundation Models.

Betreiber: Wer KI „in eigener Verantwortung“ einsetzt

Mit dem Betreiber wird zum ersten Mal im Produktsicherheitsrecht auch ausdrücklich der Verwender in die Pflicht genommen, weil sich viele Risiken erst im Einsatz zeigen. Betreiber ist, wer ein KI-System in eigener Verantwortung verwendet, sofern dies nicht rein privat geschieht. Wer KI in eigener Verantwortung einsetzt, zeigt sich v. a. daran, auf wessen Rechnung und wessen Risiko die Nutzung geschieht.

Die Pflichten des Betreibers sind überschaubarer als die des Anbieters, aber nicht zu vernachlässigen.

KI als SaaS: Ist der Kunde tatsächlich immer Betreiber?

Die meisten Unternehmen nutzen KI heute als Cloud-Dienst. Man könnte meinen, dass da nicht der Kunde Betreiber des KI-Systems ist, sondern der Dienstleister, der das System auch tatsächlich technisch „betreibt“. In der Regel ist aber der Kunde Betreiber des Software-as-a-Service-Tools. Denn er entscheidet über das Ob, Wie und Wann des Einsatzes, über menschliche Aufsicht und über die Schlüsse aus den Ergebnissen. Wo die Server stehen, ist dafür unerheblich. Übrigens: Ein Auftragsverarbeitungsvertrag nach Art. 28 DSGVO spricht eher für als gegen die Betreiberrolle des Kunden.

Ausnahme Outsourcing

Anders liegt es, wenn ein Dienstleister eine Aufgabe vollständig übernimmt und dabei eigenverantwortlich KI einsetzt. Nutzt eine Agentur beispielsweise ein KI-Tool, um damit Werbefilme oder Social-Media-Content zu erstellen, ist sie Betreiber des KI-Tools. Der Kunde nutzt nur die Ergebnisse.

Auch in dieser Konstellation sollten Unternehmen die Vertragsgestaltung ernst nehmen! Darin müssen Fragen der Haftung, IP-Rechte und Freistellungen ebenso geregelt werden wie die Weitergabe von Kennzeichnungspflichten.

Einführer, Händler, Bevollmächtigte: die Lieferkette

Kommt ein KI-System von außerhalb der EU, kommen weitere Rollen ins Spiel. Drittstaatsanbieter müssen für Hochrisiko-Systeme und GPAI-Modelle einen Bevollmächtigten in der EU benennen (Art. 22, 54). Einführer und Händler müssen prüfen, ob Konformitätsbewertung, Kennzeichnung und Dokumentation vorliegen. Für die meisten Unternehmen, die KI „nur“ nutzen, sind diese Rollen von untergeordneter Bedeutung. Wichtig ist aber: Auch Händler und Einführer können über Art. 25 zum Anbieter werden. Und die KI-VO erfasst Anbieter und Betreiber aus Drittstaaten bereits dann, wenn die Ausgabe ihres Systems in der EU verwendet wird.

To-dos für Unternehmen

✓ KI-Inventar um eine Rollenspalte ergänzen und für jedes System die eigenen Rolle(n) prüfen und dokumentieren festhalten.

✓ Eigenentwicklungen aufspüren und dabei v. a. auf API-basierte Inhouse-Tools und Agenturprojekte achten.

✓ Das Branding prüfen und bei der Nutzung des eigenen Namen im Zusammenhang mit fremder KI v. a. die Erfüllung von Transparenzpflichten klären und vertraglich absichern.

✓ Zweckbestimmung steuern und z. B. sicherstellen, dass Nutzungsrichtlinien für Allzweck-Tools Einsatzfelder nach Anhang III (Personal, Kredit, Bildung u. a.) nur nach vorheriger Prüfung zulassen.

✓ Änderungen an ein Freigabeverfahren knüpfen. Fine-Tuning, neue Einsatzzwecke und tiefere Integrationen sollten vorab stets auf einen Rollenwechsel geprüft werden.

✓ Verträge kontrollieren und ggf. nachschärfen, denn zumindest Rollen, Informationspflichten, Kooperation sowie Haftung und Freistellungen sollten im Zusammenhang mit KI geregelt sein. Ein Vertrag kann die Rolle zwar nicht ändern, aber Kontrolle und Verantwortung sauber zuordnen.

Fazit

Die Frage, welche Rolle ein Unternehmen in Bezug auf seine KI einnimmt, ist mit Blick auf die damit verbundenen Pflichten und den Umfang der Compliance entscheidend. Besonders sorgfältig ist das beim Einsatz von White Label, SaaS und dem Zukauf fremder Systeme zu prüfen.

Grundsätzlich gilt: Wer KI einsetzt, ist Betreiber. Wer KI baut, anpasst, umwidmet oder unter eigenem Namen anbietet, sollte prüfen, ob er (nicht längst) Anbieter ist.