KI-Verordnung der EU

Die EU-Kommission hat mit dem aktuellen Entwurf einer KI-Verordnung 2021/0106 (COD) — soweit ersichtlich — den weltweit ersten, umfassenden Rechtsrahmen für die Regulierung von KI vorgelegt. Die Regelung soll Ende 2022 in Kraft treten — so der Plan der EU-Kommission. Es ist jedoch zuvor noch eine Beteiligung des EU-Parlaments und des Rates erforderlich. Das Gesetzgebungsverfahren ist somit noch nicht abgeschlossen und es mögen sich noch Änderungen ergeben. Dennoch ist es für Hersteller bereits jetzt von großer Bedeutung, die voraussichtlich kommenden Regelungen in die eigene Produktplanung mit einzubeziehen. Hierzu eine erste Übersicht über die KI-Verordnung:

Welche KI-Systeme und welche KI-Software sind erfasst?

Die KI-Verordnung verpflichtet Provider, Nutzer, Einführer, Distributoren und Operatoren von KI zur Einhaltung und Umsetzung verschiedener Pflichten. Die Regelungen gelten unabhängig vom Sitz des Anbieters, also weltweit.

Die KI-Verordnung bezieht sich auf KI in Form von Stand-alone-Software. Jedoch ebenso auf KI in Form von embedded Software.

In der KI-Verordnung ist nun eine Legaldefinition von KI-Systemen, einschließlich KI-Software, enthalten. Der derzeit allein vorliegende englische Verordnungstext enthält hierzu die folgende Regelung:

‘artificial intelligence system’ (AI system) means software that is developed with one or more of the techniques and approaches listed in Annex I and can, for a given set of human-defined objectives, generate outputs such as content, predictions, recommendations, or decisions influencing the environments they interact with;
Der dabei in Bezug genommene Annex I regelt:
(a) Machine learning approaches, including supervised, unsupervised and reinforcement learning, using a wide variety of methods including deep learning;

(b) Logic- and knowledge-based approaches, including knowledge representation, inductive (logic) programming, knowledge bases, inference and deductive engines, (symbolic) reasoning and expert systems;

(c) Statistical approaches, Bayesian estimation, search and optimization methods.

Der Versuch einer Definition ist zu begrüßen. Allerdings werden sich zahlreiche Abgrenzungsschwierigkeiten und Einordnungsfragen ergeben. Gemäß der obigen Definition verschieben sich die Fragestellungen damit lediglich von der Definition der KI-Software auf andere Begriffe, wie z. B. denjenigen des maschinellen Lernens.

Risikobasierter Ansatz und Vorgaben in Abhängigkeit von dem Risiko der KI

Die KI-Verordnung fügt sich in das New Legislative Framework (NLF) der EU ein. Insoweit finden sich zahlreiche Regelungen, die daran anknüpfen, welches Risiko von einer KI im Hinblick auf Menschen ausgehen. Zu unterscheiden sind daher insbesondere drei „Risikostufen“:

1. Stufe: Grundlegende Anforderungen an jede KI

In der KI-Verordnung finden sich zahlreiche Anforderungen allgemeiner Art an KI. Exemplarisch sei auf die folgenden Punkte hingewiesen:
  • Der Einsatz von KI gegenüber Verbrauchern muss für den Verbraucher erkennbar sein. Dies gilt beispielsweise für KI-basierte Interaktionen über Chatbots.
  • Für von KI erzeugte Deep Fakes besteht eine Kennzeichnungspflicht. Deep Fakes sind beispielsweise über KI erstellte, realistische Videos von Personen, in denen Handlungen und Aussagen dieser Personen erkennbar sind, die diese nie vorgenommen bzw. geäußert haben. (Unabhängig von der Kennzeichnungspflicht ist die Frage der Zulässigkeit im Übrigen zu beurteilen, z. B. im Hinblick auf das Persönlichkeitsrecht der Abgebildeten.)
  • Zudem wird nun ein Instrument aus dem Bereich der IT-Sicherheit vorgesehen, nämlich sogenannte Sandboxes. Diese sollen u. a. von den Mitgliedsstaaten zur Verfügung gestellt werden, um das Ablaufen der KI überprüfen zu können. Kleinen Unternehmen und Start-ups soll ein vorzugsweiser Zugang zu den Sandboxes ermöglicht werden. Die Haftung auch für ein Ausprobieren innerhalb der Sandbox soll bei den Teilnehmern der Sandbox verbleiben.

2. Stufe: Hochrisiko KI

Anbieter von Hochrisiko KI müssen u. a.:
  • Ein Konformitätsbewertungsverfahren durchführen. In einer niedrigen Risikostufe kann dies der Anbieter selbst durchführen. In höheren Risikostufen ist die Hinzuziehung einer externen, Benannten Stelle erforderlich.
  • eine CE-Kennzeichnung nach erfolgter Konformitätsbewertung anbringen
  • die KI in einer EU-Datenbank registrieren
  • Fehler an Behörden melden
  • die KI im Markt über überwachen (Post-Market-Monitoring und Market Surveillance;
  • ein Qualitätsmanagementsystem einrichten
  • eine technischen Dokumentation erstellen
  • eine automatischen Protokollierung vorsehen
  • Genauigkeit, Robustheit und Cybersecurity gewährleisten

Ferner muss eine menschliche Aufsicht über die KI möglich sein.

3. Stufe: Verbotene KI

Darüber hinaus bestehen gewisse Bereiche, in denen eine KI verboten ist. Dies sind vornehmlich:
  • Der Einsatz unterschwelliger Techniken jenseits der menschlichen Wahrnehmung;
  • Die Ausnutzung von Schwächen bestimmte Personengruppen aufgrund ihres Alters oder eine Behinderung;
  • Die Bestimmung der Zuverlässigkeit natürlicher Personen durch eine Überwachung des Sozialverhaltens über eine bestimmte Zeit hinweg, wenn dies durch die öffentliche Hand erfolgten;
  • Echtzeitsysteme zur biometrischen Erkennung im öffentlichen Raum;

Verstöße und Sanktionen

Es sollen zudem KI-Überwachungsbehörden auf mitgliedsstaatlicher Ebene (also in jedem Mitgliedstaat nach den dortigen jeweiligen nationalen Recht) eingerichtet werden. Diesen KI-Überwachungsbehörden werden zum Teil umfangreiche technische Befugnisse eingeräumt. So soll z. B. ein umfassender Zugang zu Trainingsdaten über eine API ermöglicht werden.

Bei Verstößen gegen die KI-Verordnung sollen Bußgelder in Höhe von bis zu 6 % des weltweiten Jahresumsatzes oder bis zu 30 Millionen EUR verhängt werden können.

Zusammenfassung und weitere Entwicklung

Die vorstehende Darstellung bezieht sich auf den ersten Entwurf der KI-Verordnung, der sich jedenfalls in Details sicherlich noch ändern wird. Insoweit ist die Weiterentwicklung genau zu beobachten. Zudem ist es wichtig, bei der Gestaltung von Produkten bereits jetzt den absehbaren Rechtsrahmen mit zu berücksichtigen. Insbesondere für Hersteller, die bislang außerhalb von Konformitätsbewertungsverfahren hergestellt haben, könnte der neue Ansatz über Konformitätsbewertungsverfahren, die Einbindung Benannter Stellen und die Anbringung von CE-Kennzeichnungen mitsamt der erforderlichen technischen Dokumentation bedeuten, dass umfangreiche, neue Prozessstrukturen in den Unternehmen erforderlich sind. Andere Unternehmen hingegen, z. B. Medizinproduktehersteller, werden die neuen Regelungen, auch wenn diese einen zusätzlichen Aufwand bedeuten, an bereits bestehende Prozessabläufe im Unternehmen „andocken“ können.

Die vorstehende Kurzdarstellung ist ein Zusammenfassung, die der Verfasser am 06.07.2021 im Rahmen der Tübinger Innovationstage 2021 im CyberValley Tübingen und Technologiepark Tübingen-Reutlingen gehalten hat.