Künstliche Intelligenz kann nicht nur helfen – sie kann auch hacken. Während die EU mit dem Cyber Resilience Act neue Sicherheitsstandards setzt, bleibt die Schweiz regulatorisch zurückhaltend. Wie gefährlich ist das? Und was können Unternehmen jetzt tun?
Einleitung: KI als Sicherheitsrisiko
Künstliche Intelligenz (KI) dient längst nicht mehr nur der Effizienzsteigerung – sie kann auch zur Bedrohung werden. Zahlreiche dokumentierte Fälle zeigen, wie generative KI-Modelle durch sogenannte „Prompt Injections“ manipuliert werden können, sodass sie sicherheitskritische Informationen preisgeben. Beispielsweise wurden KI-Systeme dazu gebracht, trotz initialer Ablehnung Anleitungen zum Hacken oder zum Einbruch in Fahrzeuge zu liefern, wenn die Anfragen geschickt umformuliert wurden. Diese Schwachstellen belegen, wie verwundbar bestimmte KI-Systeme gegenüber gezielten Manipulationen sind. Dieser Beitrag analysiert die sicherheitsbezogenen Risiken von KI-Systemen, stellt die Vorgaben der EU durch den Cyber Resilience Act (CRA) vor und beleuchtet die Implikationen für die Schweiz – sowohl für Unternehmen als auch für politische Entscheidungsträger.
Der Cyber Resilience Act: Grundlagen und Zielsetzung
Der CRA wurde im März 2024 vom Europäischen Parlament verabschiedet und bildet einen zentralen Bestandteil der EU-Strategie für digitale Resilienz. Er etabliert einheitliche Mindeststandards für die Cybersicherheit digitaler Produkte und Software, um Sicherheitslücken systematisch zu identifizieren, zu melden und zu beheben. Der CRA betrifft „Produkte mit digitalen Elementen“ im Sinne von Art. 3 Nr. 1 CRA, also sowohl eigenständige Software als auch Hardware mit integrierter Software. Dies umfasst ausdrücklich auch KI-Systeme, sofern sie digitale Komponenten enthalten oder mit solchen interagieren – unabhängig davon, ob es sich um klassische Software, Machine-Learning-Modelle oder generative KI handelt. Die Regelung gilt für Hersteller, Importeure und Händler solcher Produkte, sofern diese auf dem EU-Binnenmarkt angeboten werden. Dadurch hat der CRA auch Auswirkungen auf Drittstaaten, deren Produkte in der EU vertrieben werden. Der Anwendungsbereich ist bewusst breit angelegt und umfasst unter anderem Betriebssysteme, Endgeräte, industrielle Steuerungssysteme, IoT-Geräte und KI-Anwendungen.
Im Zentrum stehen sechs Hauptpflichten:
- Security-by-Design und Security-by-Default: Sicherheitsaspekte müssen von Beginn an integriert und voreingestellt sein.
- Schwachstellenmanagement: Kontinuierliche Identifikation und Behebung von Sicherheitslücken.
- Sicherheitsupdates über den Produktlebenszyklus: Updates müssen regelmässig und über die gesamte Lebensdauer bereitgestellt werden.
- Konformitätsbewertung und CE-Kennzeichnung: Produkte sind einer Risikobewertung zu unterziehen.
- Technische Dokumentation: Ermöglicht eine behördliche Nachprüfbarkeit der Sicherheitsmassnahmen.
- Meldepflicht: Schwere Sicherheitsvorfälle sind innerhalb von 24 Stunden zu melden.
Zentral ist, dass der CRA eine systematische Risikobewertung und Sicherheitsintegration entlang des gesamten Lebenszyklus digitaler Produkte verlangt. Für KI bedeutet dies, dass nicht nur offensichtliche Schwachstellen, sondern auch emergente und kontextabhängige Risiken adressiert werden müssen – etwa das unbeabsichtigte Verhalten eines Modells in unbekannten Einsatzszenarien. Dies stellt erhöhte Anforderungen an die Qualitätssicherung, an die Robustheit von Trainingsdaten und an die laufende Überwachung im Sinne eines kontinuierlichen Monitorings.
Besondere Relevanz hat der CRA für sicherheitskritische KI-Systeme. Zwar regelt primär der AI Act die KI-spezifische Gesetzgebung, doch bestehen deutliche Schnittmengen zwischen beiden Rechtsakten. Wenn KI in kritischen Infrastrukturen eingesetzt wird oder sicherheitsrelevante Funktionen erfüllt, unterliegt sie auch dem CRA. Entwickler müssen daher Risiken wie adversarial attacks, model leakage oder manipulative Trainingsdaten besonders adressieren und absichern.
Missbrauchspotenzial durch KI
Trotz implementierter Sicherheitsmechanismen sind generative KI-Systeme wie ChatGPT, Claude oder Gemini anfällig für sogenannte Jailbreak-Techniken. Dabei werden Sicherheitsfilter umgangen, indem Anfragen in erzählerischer oder fiktiver Form gestellt werden. So können Systeme unter Umständen Informationen zu Hackingmethoden preisgeben, obwohl sie direkte Fragen ablehnen. Solche Techniken stellen ein ernstzunehmendes Risiko dar, insbesondere wenn sie zur systematischen Entwicklung von Angriffsszenarien oder zur Ausnutzung von Schwachstellen eingesetzt werden. Es wurde dokumentiert, dass KI-Modelle unter bestimmten Bedingungen Anleitungen zur Umgehung von Sicherheitsbarrieren, zur Softwaremanipulation oder sogar zur Herstellung schädlicher Substanzen liefern konnten. Die Gefahr liegt nicht nur im Inhalt, sondern auch in der ständigen Verfügbarkeit dieser Systeme. Ihre breite Zugänglichkeit senkt die Einstiegshürden für potenzielle Angreifer erheblich. Besonders kritisch wird es, wenn KI in autonome Systeme eingebettet ist – etwa in der Verkehrssteuerung, in medizinischen Anwendungen oder in der Finanzbranche. Auch in der IT-Forensik und Forschung ist anerkannt, dass Jailbreak-Techniken ein zunehmendes Problem darstellen. Unternehmen sollten ihre KI-Systeme mittels Red-Teaming auf Missbrauchsanfälligkeit testen und Mechanismen wie Prompt-Filterung, Kontextanalyse und dynamisches Feedback integrieren. Statische Sicherheitsfilter reichen allein nicht mehr aus.
Warum KI im Sinne des CRA ein besonderes Risiko darstellt
Aus juristischer Sicht ist KI nicht nur faktisch, sondern auch normativ als besonders risikobehaftet im Sinne des CRA zu bewerten. Denn der CRA verfolgt einen risikobasierten Ansatz: Je höher das Cybersicherheitsrisiko eines Produkts, desto strenger sind die Anforderungen an Sicherheit, Dokumentation und Konformitätsbewertung. KI-Systeme, insbesondere im Hochrisikobereich, erfüllen dabei gleich mehrere Risikokriterien gleichzeitig:
- sie agieren autonom und potenziell nicht vorhersagbar, was die Angriffsflächen für adversariale Manipulationen erhöht;
- sie interagieren mit offenen Umgebungen (z. B. Nutzerprompts oder Sensordaten), was Angriffe über Eingabekanäle begünstigt;
- sie werden fortlaufend weiterentwickelt oder durch Daten aktualisiert, was zu einem sich verändernden Risikoprofil führen kann.
Dies bedeutet aus rechtsdogmatischer Sicht: KI-Systeme sind nicht nur wie klassische Software zu behandeln, sondern stellen eigenständige Risikoklassen dar, deren Sicherheitsanforderungen zwingend auch unter die produktbezogenen Vorgaben des CRA zu subsumieren sind. Diese Pflicht zur Berücksichtigung KI-spezifischer Risiken ergibt sich nicht nur aus dem weiten Anwendungsbereich des CRA, sondern auch aus der funktionalen Verzahnung mit der KI-Verordnung (KI-VO): Insbesondere bei Hochrisiko-KI-Systemen, die zugleich Produkte mit digitalen Elementen darstellen, müssen Hersteller die Konformitätsbewertung nach der KI-VO durchführen, wobei die Cybersicherheitsanforderungen des CRA zu integrieren sind.
Die Schweiz im regulatorischen Rückstand?
Während die EU mit dem CRA ein umfassendes Sicherheitsregime einsetzt, hinkt die Schweiz hinterher. Zwar existieren politische Initiativen, jedoch fehlt bislang ein konkreter Gesetzesentwurf. Unternehmen mit digitalen Produkten müssen sich dennoch an die EU-Vorgaben halten, was faktisch zu einem extraterritorialen Effekt führt.
Der CRA wird erhebliche Auswirkungen auf Schweizer Unternehmen haben – insbesondere auf Anbieter von Software, IoT-Geräten und KI-Systemen, die im EU-Markt aktiv sind.
Praktische Auswirkungen und Empfehlungen
- Unternehmen sollten frühzeitig ihren Anpassungsbedarf prüfen und entsprechende Compliance-Prozesse einführen.
- Entwickler müssen CRA-konforme Sicherheitsanforderungen bereits in die Produktentwicklung integrieren.
- Compliance-Abteilungen sollten ihre Kontrollsysteme um CRA-relevante Elemente erweitern.
- Startups und KMUs sollten externe Beratung nutzen, um regulatorische Risiken zu minimieren.
- Der Schweizer Gesetzgeber ist gefordert, mittelfristig einen vergleichbaren Rechtsrahmen zu schaffen.
Fazit und Ausblick
KI-Systeme bergen sowohl Innovationspotenzial als auch erhebliche Risiken. Die EU reagiert mit dem CRA auf digitale Verwundbarkeiten. Die Schweiz steht nun vor der Entscheidung, eigene Standards zu schaffen oder sich den EU-Vorgaben de facto anzupassen. Ohne die Berücksichtigung KI-spezifischer Cybersicherheitsrisiken droht eine empfindliche Zunahme von Vorfällen, bei denen nicht nur wirtschaftliche Interessen, sondern auch Grundrechte (z. B. Datenschutz, körperliche Unversehrtheit bei autonomen Systemen) betroffen sind. Der CRA adressiert diese Lücke – und macht deutlich: KI muss auch technisch sicher sein, nicht nur ethisch oder rechtlich verantwortbar. Ein kohärenter, zukunftsfähiger Rechtsrahmen in er Schweiz ist daher dringend erforderlich.
Quellen