KI-Kennzeichnungspflicht – das gilt jetzt

width="1024" height="576" sizes="auto, (max-width: 1024px) 100vw, 1024px">Auch ohne Hochrisiko-Systeme ist der KI-Einsatz im Unternehmen riskant. Unsere FAQ erklärt die neuen KI-Kennzeichnungspflichten. OPOLJA – Shutterstock.com



Nach einer zweijährigen Übergangsfrist werden nun weitere Vorgaben des EU-AI Act verbindlich. Während der Digitale Omnibus die Pflichten für Hochrisiko-KI-System auf den 2. Dezember 2027 verschiebt, gelten ab dem 2. August 2026 neue Transparenzpflichten bei der KI-Nutzung im Zuge des EU AI Acts (KI-VO). Bei Verstößen drohen Unternehmen hohe Bußgelder. Wir klären zusammen mit Patrick Schulz, Rechtsanwalt bei der Wirtschaftskanzlei Heuking, die wichtigsten Fragen dazu.



Warum führt die EU eine KI-Kennzeichnungspflicht ein?



Die EU möchte verhindern, dass Menschen durch KI-erzeugte oder -manipulierte Inhalte getäuscht, beziehungsweise in die Irre geführt werden.



Ziel der Transparenzpflichten ist es entsprechend, Risiken durch Deepfakes, Desinformation und Manipulation zu reduzieren. Darüber hinaus sollen nachteilige Auswirkungen auf demokratische Prozesse und das gesellschaftliche Vertrauen verringert werden.



Was regelt der EU AI Act bezüglich der KI-Kennzeichnungspflicht?



Die zentrale Vorschrift ist Artikel 50 des AI Act. Dieser enthält vier verschiedene Transparenzpflichten:




Anbieter von KI-Systemen, die direkt mit Menschen interagieren (zum Beispielüber Chatbots), müssen offenlegen, dass es sich um eine KI handelt (Art. 50 Abs. 1).



Anbieter von KI-Systemen, die synthetische Inhalte (Bilder, Videos, Audio, Text) erzeugen oder manipulieren, müssen deren Ausgaben maschinenlesbar kennzeichnen und erkennbar machen (Art. 50 Abs. 2).



Betreiber von Emotionserkennungs- und biometrischen Kategorisierungssystemen müssen betroffene Personen über den Einsatz informieren (Art. 50 Abs. 3).



Betreiber von KI-Systemen, die Deepfakes erzeugen oder Texte im öffentlichen Interesse veröffentlichen, müssen den KI-Ursprung offenlegen (Art. 50 Abs. 4).




Wen betrifft die KI-Kennzeichnungspflicht?



Die Kennzeichnungspflichten richten sich an zwei Gruppen: Die Anbieter (Provider) und die Betreiber (Deployer) von KI-Systemen.




Anbieter sind diejenigen, die ein KI-System entwickeln oder unter eigenem Namen auf den Markt bringen, etwa Unternehmen wie OpenAI oder Anthropic.



Betreiber sind dagegen alle natürlichen oder juristischen Personen, die ein KI-System in eigener Verantwortung nutzen, sofern dies nicht rein privat geschieht. Dazu zählen nicht nur Unternehmen, sondern beispielsweise auch Soloselbstständige und Influencer.




Wann gilt ein Bild oder Video als KI-generiert oder KI-manipuliert?




Ein Bild oder Video gilt als KI-generiert, wenn es von einem KI-System erzeugt wurde (z. B. auf Grundlage eines menschlichen Prompts).



Es gilt als KI-manipuliert, wenn ein bereits existierender Inhalt durch ein KI-System verändert wurde (z. B. ein vorhandenes Foto, das KI-gestützt bearbeitet wird).




Wichtig: Nicht jede KI-gestützte Bearbeitung löst die KI-Kennzeichnungspflicht aus. Kleinere, in der Praxis übliche Anpassungen, etwa der Lichtverhältnisse, minimale Farbkorrekturen oder beispielsweise das Entfernen eines kleinen abstehenden Fadens auf dem Produktfoto eines Bekleidungsstücks, gelten in der Regel nicht als kennzeichnungspflichtige Manipulation.



Offenlegungspflichtig sind dagegen wesentliche Änderungen. Darunter fallen beispielsweise Bilder und Videos, wo:   




Personen oder Objekte eingefügt oder entfernt werden,



Gesichter ausgetauscht werden,



synthetisch generierte Sprache eingesetzt wird oder extreme Farb- und Kontrastveränderungen den Inhalt und die Botschaft des Materials verändern.




Im Marketing-Bereich sind tendenziell stärkere Veränderungen von Nebensächlichkeiten erlaubt, als zum Beispiel im Journalismus, bevor die KI-Kennzeichnungspflicht greift.



Welche Inhalte fallen unter die KI-Kennzeichnungspflicht?



Kennzeichnungspflichtig sind:




Deepfakes, also KI-erzeugte oder KI-manipulierte Bild-, Ton- oder Videoinhalte, die realen Personen, Gegenständen, Orten oder Ereignissen ähneln und als fälschlicherweise als echt erscheinen könnten. Nach den Leitlinien der EU-Kommission kann dazu bereits eine abstrakte Ähnlichkeit zu fiktiven Menschen oder etwa Objekten genügen, sofern der Inhalt als echt oder wahrheitsgemäß verstanden werden könnte.



KI-generierte oder -manipulierte Texte, die mit dem Ziel veröffentlicht werden, die Öffentlichkeit über Angelegenheiten von öffentlichem Interesse zu informieren (es sei denn, sie wurden vor Veröffentlichung menschlich überprüft und es gibt eine redaktionelle Verantwortlichkeit).



Interaktive KI-Systeme wie Chatbots, bei denen Nutzern nicht klar wird, dass sie mit einer KI interagieren.




Nicht kennzeichnungspflichtig sind hingegen:




offensichtlich unrealistische Darstellungen (etwa fliegende Menschen, sprechende Mäuse) sowie KI-gestützte Standardbearbeitungen.




Gilt die KI-Kennzeichnungspflicht auch für Audio-Deepfakes?



Ja. Die Definition von Deepfakes in Art. 3 Nr. 60 des AI Act umfasst ausdrücklich auch KI-erzeugte oder KI-manipulierte Toninhalte. Besonders relevant sind in diesem Kontext Audioinhalte wie synthetisch generierte Stimmen (Voice Cloning).


Patrick Schulz ist Rechtsanwalt bei HEUKING und berät nationale und internationale Mandanten insbesondere zu Fragen in den Bereichen Intellectual Property, Wettbewerbs- und Werberecht, E-Commerce sowie Künstliche Intelligenz (KI).HEUKING



Wie muss KI konkret gekennzeichnet werden?



Der AI Act schreibt kein bestimmtes Format vor. Die Kennzeichnung muss lediglich „in klarer und eindeutiger Weise“ erfolgen und den geltenden Barrierefreiheitsanforderungen entsprechen (Art. 50 Abs. 5).



Je nach Medium, Zielgruppe und Kontext kommen für Betreiber verschiedene Methoden in Betracht. Etwa:




Textliche Hinweise wie „KI-generiert“ oder „Erstellt mit KI“,



visuelle Kennzeichnungen in Form von Piktogrammen oder Icons, oder



akustische Hinweise bei Audioinhalten.




Der freiwillige Code of Practice der EU empfiehlt für Bilder und Videos spezifische Icons. Wer sich an ein deutschsprachiges Publikum richtet, sollte vorsorglich eine deutschsprachige Kennzeichnung verwenden.



Muss die KI-Kennzeichnung nur für Menschen sichtbar oder auch maschinenlesbar sein?



Hierbei kommt es auf den Adressaten der Pflicht an:




Anbieter von generativen KI-Systemen (Provider) müssen gemäß Art. 50 Abs. 2 AI Act sicherstellen, dass die Ausgaben ihrer Systeme in einem maschinenlesbaren Format gekennzeichnet und als KI-erzeugt erkennbar sind.



Betreiber (Deployer), die Deepfakes oder bestimmte KI-Texte verwenden, müssen gemäß Art. 50 Abs. 4 den KI-Ursprung für Menschen erkennbar offenlegen, etwa durch sichtbare Labels, Hinweistexte oder akustische Angaben.




Maschinenlesbare Markierungen allein (etwa nur Metadaten oder Wasserzeichen) reichen für die Pflichten der Betreiber nach Art. 50 Abs. 4 nicht aus, da sie nicht unmittelbar von den betroffenen Personen wahrgenommen werden können.



Welche technischen Verfahren unterstützen die KI-Kennzeichnungspflicht?



Im AI Act und den Leitlinien der EU-Kommission werden verschiedene technische Verfahren genannt: Wasserzeichen (Watermarks), Metadaten-Identifikationen, kryptographische Methoden zum Nachweis der Herkunft und Authentizität von Inhalten, Logging-Methoden, Fingerprinting-Verfahren sowie Kombinationen dieser Techniken.



Anbieter können ein einzelnes Kennzeichnungsverfahren oder eine Kombination verwenden, solange die Lösung maschinenlesbar ist und die Anforderungen an Effektivität, Interoperabilität, Robustheit und Zuverlässigkeit erfüllt.



Die Kennzeichnung kann auf verschiedenen Stufen der Wertschöpfungskette implementiert werden, beispielsweise  nach der Erzeugung der Inhalte auf Systemebene, auf der Ebene des zugrundeliegenden KI-Modells oder integriert in den Inferenzprozess des Systems.



Welche Konsequenzen drohen bei fehlender Kennzeichnung?



Bei Verstößen gegen die KI-Kennzeichnungs-, beziehungsweise Offenlegungspflichten drohen erhebliche Sanktionen, wie Bußgelder in Höhe von bis zu 15 Millionen Euro oder bis zu drei Prozent des weltweiten Jahresumsatzes, je nachdem welcher Betrag höher ist.



Praxisrelevanter dürften jedoch die wettbewerbsrechtlichen Risiken sein. Denn es spricht viel dafür, dass Verstöße auch von Mitbewerbern sowie berechtigten Verbänden und Verbraucherschutzorganisationen wie etwa der Wettbewerbszentrale verfolgt werden können. In diesem Zusammenhang drohen insbesondere Abmahnungen mit Unterlassungsansprüchen, wobei auch die Geltendmachung von Schadensersatzforderungen denkbar sind.



Wer kontrolliert die Einhaltung der KI-Kennzeichnungspflicht?



Die Überwachung und Durchsetzung obliegt den von den Mitgliedstaaten benannten Marktüberwachungsbehörden.



In Deutschland ist das die Bundesnetzagentur. Darüber hinaus können Verstöße auch von Mitbewerbern sowie berechtigten Verbänden und Verbraucherschutzorganisationen wettbewerbsrechtlich verfolgt werden.



Gelten die Regeln zur KI-Kennzeichnungspflicht in allen EU-Mitgliedstaaten gleichermaßen?



Ja. Der AI Act ist als EU-Verordnung unmittelbar in allen Mitgliedstaaten anwendbar und bedarf keiner nationalen Umsetzung. Allerdings benennen die einzelnen Mitgliedstaaten jeweils eigene nationale Marktüberwachungsbehörden, sodass die Durchsetzungspraxis zwischen den Ländern variieren kann.



Darüber hinaus kann nationales Recht (wie in Deutschland, das Gesetz gegen den unlauteren Wettbewerb, UWG) ergänzend anwendbar sein und zusätzliche Konsequenzen begründen.



Was müssen Unternehmen mit Blick auf die KI-Kennzeichnungspflicht jetzt tun?



Sofern noch nicht geschehen, sollten sich Unternehmen, die KI anbieten oder verwenden, schnellstmöglich mit den neuen Anforderungen befassen. Um die sich aus dem AI Act ergebenden Kennzeichnungs- und Offenlegungspflichten zu erfüllen, wird insbesondere folgendes empfohlen:




Klare interne Leitlinien für den Einsatz von KI, vor allem im Marketing und in der Kommunikation etablieren;



Klare interne Prozesse zur redaktionellen Verantwortung bei KI-generierten Texten festlegen;



Bestehende Werbe- und Marketingmaterialien auf KI-generierte Bestandteile überprüfen;



Mitarbeiter im Umgang mit KI-Kennzeichnungspflichten schulen; und gegebenenfalls



Externe Berater bei offenen Rechtsfragen hinzuziehen, insbesondere zur Abgrenzung von kennzeichnungspflichtigen Deepfakes.




Wie können Unternehmen sicherstellen, dass KI-generierte Inhalte korrekt gekennzeichnet werden?



Die Offenlegung sollte klar, gut wahrnehmbar, barrierefrei und für den deutschen Markt grundsätzlich in deutscher Sprache erfolgen. Unternehmen können sich zudem an den Icons und Empfehlungen des freiwilligen Code of Practice der EU orientieren.



Bei KI-generierten Texten genügt es, wenn geschulte Mitarbeiter die Endkontrolle übernehmen und die redaktionelle Verantwortung dokumentiert wird. Sollten Zweifel bestehen, ob ein KI-generierter oder -manipulierter Inhalt gekennzeichnet werden muss, empfiehlt sich, vorsorglich einen transparenten Hinweis wie etwa „KI-generiert“ einzubinden.



Welche Dokumentationspflichten ergeben sich aus der KI-Kennzeichnungspflicht?



Der AI Act selbst schreibt keine expliziten Dokumentationspflichten im engeren Sinne vor. Gleichwohl ergibt sich aus der Praxis eine starke Empfehlung, den Einsatz von KI und die Einhaltung der Kennzeichnungs- und Offenlegungspflichten sorgfältig zu dokumentieren.



Insbesondere sollten Unternehmen die redaktionelle Verantwortung für KI-generierte Texte transparent dokumentieren, sowie interne Prozesse zur Prüfung, Freigabe und Verantwortung für die Einhaltung der Offenlegungspflichten für KI-Inhalten schriftlich fixieren.



Werden Nutzer KI-Kennzeichnungen künftig auf Social-Media-Plattformen häufiger sehen?



Ja, das ist sehr wahrscheinlich. Der AI Act verpflichtet Betreiber, Deepfakes zu kennzeichnen, und Social Media ist ein zentraler Verbreitungskanal für solche Inhalte. Darüber hinaus haben auch die Betreiber von großen Online-Plattformen (VLOPs) und Online-Suchmaschinen (VLOSEs) nach dem Digital Services Act (DSA) die Pflicht, systemische Risiken durch KI-generierte Desinformation zu identifizieren und zu mindern.



Art. 35 Abs. 1 lit. k DSA sieht vor, dass solche Plattformen sicherstellen, dass KI-generierte oder KI-manipulierte Inhalte durch auffällige Kennzeichnungen unterscheidbar sind. Plattformbetreiber sind zudem aufgefordert, die von Anbietern implementierten maschinenlesbaren Markierungen zu bewahren und für Nutzer sichtbar zu machen.



Wird die KI-Kennzeichnungspflicht künftig auch auf Texte oder Webseiten ausgeweitet?



Derzeit müssen nur solche KI-generierten Texte gekennzeichnet werden, die dazu bestimmt sind, die Öffentlichkeit über Angelegenheiten von öffentlichem Interesse zu informieren. Und selbst dann entfällt die Pflicht, wenn der Text vor Veröffentlichung einer menschlichen Überprüfung oder redaktionellen Kontrolle unterzogen wurde. Klassische Werbetexte, Produktbeschreibungen, Newsletter oder Social-Media-Beiträge fallen daher in der Regel nicht unter die KI-Kennzeichnungspflicht.



Dass vollständig KI-generierte Webseiten als solche gekennzeichnet werden müssen, dürfte daher die Ausnahme sein. Eine solche Offenlegungspflicht wäre aber beispielsweise bei einem Nachrichtenportal, welches ausschließlich KI-generierte Nachrichten beinhaltet, naheliegend.



Ob die Pflichten in Zukunft ausgeweitet werden, ist derzeit nicht abzusehen. Die EU-Kommission hat jedoch angekündigt, die Leitlinien regelmäßig zu überprüfen und bei Bedarf anzupassen.