Die neue EU-Verordnung zu Künstlicher Intelligenz (mit Toolkit)

Die Schweiz ist nicht an die Vorgaben der EU gebunden, dennoch lohnt es sich für Schweizer Unternehmen, die Vorgaben umzusetzen. Zum einen, weil sich der Anwendungsbereich der Verordnung auf alle erstreckt, die KI in, oder in Bezug auf EU-Bürger einsetzen. So soll die Verordnung für alle gelten, die KI-Systeme in der EU in den Verkehr bringen oder in Bezug auf EU-Bürger anwenden[1]. Zum anderen werden auch in der Schweiz zunehmend KI-Systeme eingesetzt, so dass der Regulierungsrahmen in der EU, aber auch der Einsatz lokal steigenden Handlungsbedarf für die Schweiz bedingen[2].

Wir bieten Ihnen im Folgenden einen Überblick über die aktuelle Gesetzeslage, welche Zusatzanforderungen sich aus der neuen EU-Verordnung gegenüber den Anforderungen aus dem Datenschutz hinsichtlich Transparenz und Verantwortlichkeit ergeben. Außerdem liefern wir Ihnen das „KI Toolkit“ frei verfügbar zum Download im Shop. Eines können wir vorwegnehmen: «Accountability is everything», also machen wir es Ihnen in Bezug auf die neuen Dokumentationspflichten so einfach wie möglich:

1. Die Schweiz – Leitlinien für KI ohne regulatorische Anforderungen

Der Schweizer Bundesrat hat am 25 November 2020 sieben Leitlinien als Orientierungsrahmen für den Umgang mit künstlicher Intelligenz durch die Bundesverwaltung verabschiedet. Der Fokus in der Entwicklung von KI-Software soll auf dem Gemeinwohl und Schutz der Grundrechte liegen. Es werden darüberhinaus die bestmöglichen Rahmenbedingungen erörtert, um die Schweiz nachhaltig als führenden Standort für Unternehmen im Bereich KI zu etablieren. Auch Transparenz, Nachvollziehbarkeit und Erklärbarkeit werden als wesentliches Element genannt. Auf KI gestützte Entscheidungsprozesse sollten so gestaltet sein, dass sie überprüfbar und für Betroffene nachvollziehbar sind. Des Weiteren muss es klare Verantwortlichkeiten geben und beim Einsatz von KI muss die Haftung klar definiert sein. Die Verantwortlichkeit darf nicht an Maschinen delegiert werden können. KI-Systeme müssen sicher, robust und resilient konzipiert sein, um eine positive Wirkung zu entfalten und nicht anfällig für Missbrauch oder Fehlanwendungen zu sein. Schliesslich will sich die Schweiz bei der Erarbeitung von globalen Standards und Normen gemäss ihren Interessen und Werten einbringen und dafür einsetzen, dass alle relevanten Gruppen in die politischen Entscheidungsprozesse einbezogen werden[3].
Bereits 2018 wurde im Rahmen der Strategie „digitale Schweiz“ Transparenz im Sinne nachvollziehbarer Prozesse als zentrales Thema definiert[4]. Obwohl für die Schweiz auch regulatorischer Handlungsbedarf identifiziert wurde[5], fehlt es bislang an einer gesetzlichen Vorlage[6].

2. Die EU – neue regulatorische Anforderungen

a. Die neue EU-Verordnung über KI-Systeme

Mit einer neuen Verordnung will die EU sicherstellen, dass KI vertraut werden kann, damit die EU wettbewerbsfähig bleibt. Zentral hierfür ist die Wahrung der Sicherheit und Grundrechte der EU-Bürger. Die Verordnung soll sicherstellen, dass die KI-Systeme sicher, transparent, ethisch, unparteiisch und unter menschlicher Kontrolle sind. Die Verordnung legt dabei zunächst in Artikel 3 Abs. 1 eine Definition von KI-Systemen fest. Diese soll gemäss Erwägungsgrund 6 Rechtssicherheit gewährleisten und gleichzeitig genügend Flexibilität bieten, um künftigen technologischen Entwicklungen Rechnung zu tragen[7]. Die EU verfolgt einen risikobasierten Ansatz, mit folgenden drei Unterscheidungen in Systeme die: 1) unannehmbares Risiko darstellen und deswegen verboten sind, 2) ein hohes Risiko oder 3) ein geringes oder minimales Risiko darstellen[8].

b. Verbotene AI

Die Aufstellung der verbotenen Praktiken in Titel II umfasst alle KI-Systeme, die als unannehmbar gelten, weil sie Werte der Union, beispielsweise Grundrechte, verletzen. Unzulässig ist alles, was als eindeutige Bedrohung für EU-Bürger angesehen wird. Von der behördlichen Bewertung des sozialen Verhaltens (Social Scoring) bis hin zu Spielzeug mit Sprachassistent, das Kinder zu riskantem Verhalten verleitet.

c. KI-Systeme mit hohen Risiken

Mit zusätzlichen Prüfungs-, Dokumentations- und Registrierungspflichten in einer eigenen EU-Datenbank werden alle KI-Systeme mit hohem Risiko versehen. In Titel III Kapitel 1 sind die Einstufungsregeln angegeben und zwei Hauptkategorien für Hochrisiko-KI-Systeme festgelegt: KI-Systeme, die als Sicherheitskomponenten von Produkten, die einer vorab Konformitätsbewertung durch Dritte unterliegen, verwendet werden sollen; sonstige eigenständige KI-Systeme, die ausdrücklich in Anhang III genannt werden und sich vor allem auf die Grundrechte auswirken.

Zu den in Anhang III aufgeführten Systemen gehören namentlich:

• Kritische Infrastrukturen (z. B. im Verkehr), in denen das Leben und die Gesundheit der Bürger gefährdet werden könnten;
• Schul- oder Berufsausbildung, wenn der Zugang einer Person zur Bildung und zum Berufsleben beeinträchtigt werden könnte (z.B. Bewertung von Prüfungen);
• Sicherheitskomponenten von Produkten (z. B. eine KI-Anwendung für die roboterassistierte Chirurgie);
• Beschäftigung, Personalmanagement und Zugang zu selbstständiger Tätigkeit (z. B. Software zur Auswertung von Lebensläufen für Einstellungsverfahren);
• Zentrale private und öffentliche Dienstleistungen (z. B. Bewertung der Kreditwürdigkeit, wodurch Bürgern Darlehen verwehrt werden);
• Strafverfolgung, die in die Grundrechte der Menschen eingreifen könnte (z. B. Überprüfung der Echtheit von Beweismitteln)
• Migration, Asyl und Grenzkontrolle (z. B. Überprüfung der Echtheit von Reisedokumenten);  Rechtspflege und demokratische Prozesse (z. B. Anwendung der Rechtsvorschriften auf konkrete Sachverhalte)

In Kapitel 2 der EU-Verordnung ist festgelegt, welche rechtlichen Anforderungen Hochrisiko-KI-Systeme in Bezug auf Daten, Daten-Governance, Dokumentation und das Führen von Aufzeichnungen, Transparenz und Bereitstellung von Informationen für die Nutzer, menschliche Aufsicht, Robustheit, Genauigkeit und Sicherheit erfüllen müssen. Hierzu habe wir ein eigenes Toolkit entwickelt, dass Sie frei im Shop herunterladen können.

d. Systeme mit begrenztem Risiko

Schliesslich, für Systeme mit begrenztem Risiko, gelten Transparenzverpflichtungen: es soll den Nutzern ermöglicht werden, anhand der Informationen über die eingesetzte Technologie zu entscheiden, ob sie die Anwendung weiter nutzen oder nicht. Systeme, die ein Minimales Risiko darstellen, können ohne Zusatzanforderungen bereitgestellt werden, so z.B. kostenlose Nutzung von Anwendungen wie KI-gestützten Videospielen oder Spamfiltern. Aber Titel IX enthält die Grundlagen zur Schaffung von Verhaltenskodizes, die Anbietern von KI-Systemen, die kein hohes Risiko darstellen, Anreize geben sollen, die zwingend vorgeschriebenen Anforderungen an Hochrisiko-KI-Systeme (nach Titel III) freiwillig anzuwenden. Anbieter von KI-Systemen, die kein hohes Risiko darstellen, können selbst Verhaltenskodizes festlegen und umsetzen[9]. Gemäss Artikel 2 abs.1 a legt die Verordnung überdies einen, bereits aus der DSGVO und dem revidierten Schweizer Datenschutzgesetz bekannten, extraterritorialen Anwendungsbereich fest.

Das heisst, dass auch ein Schweizer Unternehmen, das KI-Systeme auf dem europäischen Markt anbietet, die Anforderungen erfüllen sollte. Ansonsten drohen  gemäss Artikel 71 Strafen von bis zu (dem höheren Betrag von) 30Mio Euro oder 6% des weltweiten Umsatzes.

e. Transparenzgebot und andere Grundsätze

In Übereinstimmung mit den datenschutzrechtlichen Grundsätzen zur Datenverarbeitung enthalten Artikel 10 bis 15 der EU-Verordnung Anforderungen bezüglich Transparenz, Data-Governance, Technische Sicherheit und Dokumentation, hinzu kommt die Pflicht zur menschlichen Beurteilung.

Aber wie lassen sich die Anforderungen aus Art.13 und 14 der EU Verordnung bezüglich Transparenz und menschlicher Aufsicht angesichts der KI-Technologie erfüllen und wie verhält es sich diesbezüglich mit dem Datenschutz?

Die Transparenz- und Informationspflichten bezüglich der Datenverarbeitung sind sowohl in Art.12 bis 14 DSGVO als auch in Art.17  nDSG vorgesehen. Auch ein Recht auf Information bei automatisierten Entscheidungen finden sich in Art.22 DSGVO und Art.19 des revidierten Schweizer Datenschutzgesetz. Nun präzisiert die EU-Verordnung die Transparenzanforderungen in Art.13 für KI-Systeme, insbesondere in Bezug auf Anwendungsrisiken der Systeme. Für die Schweiz fehlt eine solche Konkretisierung der Transparenzpflichten für KI. Dabei helfen die Anforderungen aus dem Datenschutz auch nur bedingt weiter, weil sich dieses ja auf die Verarbeitung personenbezogener Daten beschränken, KI aber nicht immer auf der Bearbeitung personenbezogener Daten beruht[10].

Zudem kollidiert der datenschutzrechtliche Minimierungsgrundsatz mit dem Ansatz, KI durch eine Vielzahl von Daten zu trainieren und zu verbessern. Ohne Trainingsdaten und ohne Einsatz von dahinterstehenden Datenauswertungsprozessen wäre der Einsatz von Künstlicher Intelligenz wenig ertragreich und wenig präzise. Erst die Verfügbarkeit massenhafter Daten und die zügige Analyse und Auswertung verhelfen der Technologie zu ihrer Aussagekraft. Dabei lassen sich manche Geschäftsmodelle oder Analysemethoden nicht mit einem Satz an minimierten, pseudonymisierten, oder anonymisierten Daten realisieren. Die Verarbeitung personenbezogener Daten ist grundlegender Bestandteil der Geschäftsmodelle in der Datenökonomie[11], wodurch ersichtlich wird, dass Big Data und Künstliche Intelligenz oftmals miteinander verknüpft sind.[12]

Hinzu kommt, dass das Wesen der KI gerade darin liegt, dass nicht alle Prozesse offensichtlich sind, vielmehr operiert KI wie eine „black box“[13]. So basiert die statistische, auch als »Machine Learning« (oder in komplexeren Vernetzungen sog. «Deep-Learning») bezeichnete Kategorie der KI, auf die Intelligenzleistungen mit »Datenfütterungen«. Ein berechenbares Verhalten wird gelernt bzw. »antrainiert«, bietet allerdings keinen Einblick in die erlernten Lösungswege. Das Wissen ist hier implizit repräsentiert und gibt der KI den Charakter einer Black Box, der es an Transparenz, Erklärbarkeit und Nachvollziehbarkeit der Ergebnisse mangelt[14].

Auch die von der DSGVO sowie dem  nDSG geforderte Datenschutzfolgeabschätzung kann aufgrund des „Black Box“ Wesens im Bereich Künstlicher Intelligenz nicht adäquat durchgeführt werden. Denn da es sich bei der KI um ein selbstlernendes System handelt, ist der Algorithmus für seine Entwickler nicht mehr nachzuvollziehen und trifft eigene Entscheidungen[15].

3. Fazit – Accountability is everything

Während das „Black-Box“ Wesen der KI-systeme und die Grundsätze des Datenschutzes teilweise mit den Anforderungen der neuen EU-Verordnung zu kollidieren scheinen, ist der Arbeitsauftrag klar: gemäss Kapitel 2 Anhang III und IV EU-Verordnung sind Dokumentationspflichten beim Einsatz von Systemen, die in die Klassifizierung „hohes Risiko“ fallen, einzuhalten.

Hier gelangen Sie zu unserem Shop, um das „KI Toolkit“ kostenfrei herunterzuladen.

Fußnoten

[1] https://ec.europa.eu/commission/presscorner/detail/de/QANDA_21_1683

[2] University of Zurich, Digital Society Initiative Positionspapier: Ein Rechtsrahmen für Künstliche Intelligenz, November 2021, S.2

[3] Leitlinien «Künstliche Intelligenz» für die Bundesverwaltung verabschiedet (admin.ch)

[4] Neue Leitlinien für die digitale Schweiz (admin.ch)

[5] Braun Binder, Nadja; Burri, Thomas; Lohmann, Melinda Florina; Simmler, Monika; Thouvenin, Florent; Volkinger, Kerstin Noelle: „Künstliche Intelligenz: Handlungsbedarf im Schweizer Recht“, in Jusletter 28. Juni 2021, S.4

[6] Kein regulatorischer Handlungsbedarf besteht mit Verweis auf das revidierte Datenschutzgesetz und Mitberücksichtigung der dort enthaltenen Regelungen gemäss Interdepartementaler Arbeitsgruppe Künstliche Intelligenz Schweiz, siehe: Staatssekretariat für Bildung, Forschung und Innovation SBFI Forschung und Innovation: „Herausforderungen der künstlichen Intelligenz Bericht der Interdepartementalen Arbeitsgruppe «Künstliche Intelligenz» an den Bundesrat“, 13.12.2019, S.90

[7] siehe im Gegensatz hierzu den Ansatz, eine „allgemein gültige und akzeptierte Definition von künstlicher Intelligenz existiert nicht“, in: Staatssekretariat für Bildung, Forschung und Innovation SBFI Forschung und Innovation: „Herausforderungen der künstlichen Intelligenz Bericht der interdepartementalen Arbeitsgruppe «Künstliche Intelligenz» an den Bundesrat“, 13.12.2019, S.7

[8] resource.html (europa.eu)

[9] Künstliche Intelligenz – Exzellenz und Vertrauen | EU-Kommission (europa.eu)] [Inhalte der EU-Regulation: Europe fit for the Digital Age: Artificial Intelligence (europa.eu); EU’s Proposed Artificial Intelligence Regulation: The GDPR of AI – Lexology

[10] Braun Binder, Nadja; Burri, Thomas; Lohmann, Melinda Florina; Simmler, Monika; Thouvenin, Florent; Volkinger, Kerstin Noelle: „Künstliche Intelligenz: Handlungsbedarf im Schweizer Recht“, in Jusletter 28. Juni 2021, S.7

[11] Leistner, Matthias; Antoine, Lucie; Sagstetter, Thomas: Big Data, Mohr Siebeck, 2021, Tübingen, S.203, siehe auch hier zum sog. «Privacy paradox», dass sich eineseits in wachsendem Misstrauen der Nutzer gegenüber sog. «Datenkraken» (Mistrauen gegenüber marktdominierenden Unternehmen und deren Praktiken), andererseits in freigiebiger Preisgabe der eigenen Daten als «Gegenleistung» in der Datenökonomie ausdrückt.

[12] Indra Spiecker genannt Döhmann, Profiling, Big Data, Artificial Intelligence und Social Media – Gefahren für eine Gesellschaft ohne effektiven Datenschutz, in: Jusletter IT 21 December 2020 Anmerkung der Autorin: Je nachdem, wie der Spezifizierungsgrundsatz aus Art.13 Abs.3 v) der EU-Verordnung gehandhabt wird, steht auch dieser den Datenschutzgrundsätzen entgegen.

[13] Hogenhout, Lambert: „A Framework for Ethical AI at the United Nations, in UN Office for Information and Communications Technology, 15.3.2021, S.5, 8

[14] Bitkom Bundesverband Informationswirtschaft, Telekommunikation und neue Medien e.V.: „Machine Learning und die Transparenzanforderungen der DS-GVO“ (bitkom.org), 2018, S.8, 13; MAKING AI’S TRANSPARENCY TRANSPARENT: notes on the- EU Proposal for the AI Act – European Law BlogKollision DSGVO und AI Regulation

[15] Künstliche Intelligenz & Datenschutz – ein Widerspruch? (datenschutzexperte.de)