Die Offenlegung

NovaAssist muss sofort auf eine ausschließlich menschliche Weiterleitung umgestellt werden. Alle automatischen Antworten des Chatbots deaktivieren. Jede Anfrage geht an einen Live-Agenten.

Das wird die Warteschlange verdreifachen. Wir haben bis 13 Uhr drei Mitarbeiter im Dienst.

Ich weiß. Priorisiert dringende Anfragen. Jeder, der in den letzten 48 Stunden wegen Kontogebühren angerufen hat, bekommt heute einen Rückruf.

Amir, ich brauche eine vollständige Liste aller Inhalte, die du mit KI-Tools veröffentlicht hast. Blogbeiträge, E-Mail-Texte, Chatbot-Skripte, Social-Media-Beiträge. Alles aus den letzten 11 Monaten. Ich brauche sie bis 11 Uhr. Keine Wertung – ich brauche die Fakten.

Elena, es tut mir wirklich leid. Es ist … im Grunde alles. Ich schicke dir die Liste.

Elena, ich habe gehört, du führst gerade ein Audit durch. Gut. Aber der Chatbot ist immer noch aktiv. Und du hast gerade eine E-Mail-Kampagne an 28.000 Menschen verschickt. Wenn irgendetwas in diesem Inhalt ungenau ist, bedeutet jede Stunde, die er dort bleibt, zusätzliches Risiko. Ein Audit ohne Maßnahmen ist nur die Dokumentation eines Problems, von dem du wusstest und das du nicht behoben hast.

Elena, ich habe gerade deine E-Mail an die FT-Journalistin gesehen. Du hast ihr gesagt, wir hätten „menschliche redaktionelle Kontrolle in jeder Phase“. Haben wir das?

Ich—

Denn wenn das nicht der Fall ist und sie beweisen kann, dass es nicht so ist, wird diese Antwort zum Beweis dafür, dass wir eine Journalistin über unsere KI-Praktiken getäuscht haben. Gemäß Artikel 50(4) dürfen Anbieter den KI-generierten Charakter von Inhalten nicht falsch darstellen. Und gemäß Artikel 99 kann die Bereitstellung irreführender Informationen mit Geldstrafen von bis zu 7,5 Millionen Euro oder 1 % des Umsatzes geahndet werden. Du hast aus einem Transparenzproblem ein Täuschungsproblem gemacht.

Elena, was ist mit der Sache mit der FT?

[Fasst die Situation zusammen – Journalist, Chatbot, Kundenbeschwerde, Umfang der KI-generierten Inhalte]

Wie schlimm ist es?

127 Blogbeiträge, 34 E-Mail-Kampagnen, alles Chatbot-Skripte. Elf Monate. Keine Offenlegung darüber.

Okay. Hör mal, ich bin am Donnerstagabend zurück. Können wir bis dahin alles zurückhalten?

Die Deadline des Journalisten ist Freitag.

Dann sag ihr, dass wir bis Donnerstag eine vollständige Antwort haben werden. Verschaff uns einen Tag Zeit. Und Elena – erzähl ihr nicht mehr, als du musst. Das ist kein Geständnis, sondern eine PR-Situation.

Fiona, Niamh sagt, es sei eine Compliance-Situation. Artikel 50 des KI-Gesetzes –

Das KI-Gesetz ist noch nicht vollständig in Kraft. Wir haben bis August Zeit. Wir sollten nicht überreagieren.

Die Transparenzbestimmungen gelten bereits für allgemeine KI-Ergebnisse. Und der Chatbot hat einem Kunden falsche Informationen gegeben. Er droht der Zentralbank.

Na gut. Zieh Niamh mit rein. Aber ich sag dir, wenn wir eine Erklärung herausgeben, in der steht: „Wir haben KI eingesetzt und es niemandem gesagt“, dann ist das die Schlagzeile. Lass uns schlauer sein als das.

Ich habe das Gespräch mitgehört. Fiona will die Berichterstattung steuern. Ich verstehe, warum. Aber Folgendes berücksichtigt sie nicht: Die Transparenzpflichten gemäß Artikel 50 für KI-generierte Inhalte, die mit von Menschen erstellten Inhalten verwechselt werden könnten, gelten bereits für allgemeine KI-Systeme. Wir befinden uns nicht in einer Grauzone. Und der Chatbot – das fällt unter Artikel 50(1). Personen, die mit einem KI-System interagieren, müssen darüber informiert werden, dass sie mit einer KI interagieren. Unser Chatbot gibt überhaupt nicht bekannt, dass er KI nutzt. Nicht in der Benutzeroberfläche, nicht in den Nutzungsbedingungen, nirgendwo.

Was ist mit dem Kunden? Robert Acheson.

Der Präzedenzfall Air Canada ist eindeutig. Ein Gericht hat die Fluggesellschaft für jede Aussage ihres Chatbots haftbar gemacht. Unser Chatbot hat ihm gesagt, es gäbe keine Wartungsgebühr. Wenn wir das nicht korrigieren, hat er gute Argumente – und das nicht nur nach dem KI-Gesetz. Das ist grundlegender Verbraucherschutz.

Herr Acheson, mein Name ist Elena Vasquez. Ich bin Marketingleiterin bei NovaTech. Ich rufe Sie wegen Ihrer Erfahrung mit unserem Chatbot an.

Endlich jemand, der nicht von einem Skript abliest.

Ich habe mir angesehen, was passiert ist. Unser Chatbot hat Ihnen falsche Informationen über die Befreiung von der Premium-Kontogebühr gegeben. Diese Gebührenerlassregelung wurde vor sechs Monaten eingestellt, aber die Informationen unseres Chatbots wurden nicht aktualisiert. Das ist unser Fehler, nicht Ihrer.

Was werden Sie nun dagegen unternehmen?

Drei Dinge. Erstens stornieren wir die Gebühr in Höhe von 49 Euro sofort. Zweitens gewähren wir dir die vom Chatbot angebotene Gebührenbefreiung – keine Verwaltungsgebühr für 12 Monate. Drittens überprüfen wir jede automatisierte Antwort des Chatbots, um sicherzustellen, dass die Informationen aktuell sind.

Das ist... fair. Genau das habe ich von Anfang an verlangt. Ihr Support-Team hat mir immer wieder gesagt, der Chatbot sei nicht bindend.

Das hätten sie nicht sagen sollen. Wenn unser System Ihnen Informationen liefert und Sie in gutem Glauben darauf vertrauen, sollten wir dazu stehen.

Ich weiß das Gespräch zu schätzen. Ich werde den Tweet löschen.

Das war die richtige Vorgehensweise. Das Air-Canada-Schiedsgericht hat die Fluggesellschaft für haftbar befunden, weil sie versucht hat, sich von den Aussagen des Chatbots zu distanzieren. Du hast genau das Gegenteil getan – und das ist vertretbar. Wenn die Sache vor die Zentralbank kommt, können wir nachweisen, dass wir das Problem erkannt, den Kunden kontaktiert und es innerhalb von 24 Stunden behoben haben.

Elena, die Journalistin, wird nach dem konkreten Artikel fragen. Sie kennt die Antwort bereits. Wenn Fiona ihr am Freitag sagt, dass der Artikel von einem menschlichen Redakteur geprüft wurde, und die Journalistin Beweise hat, dass dies nicht der Fall war, haben wir uns von einem Transparenzproblem zu einem Glaubwürdigkeitsproblem entwickelt. Und für den Kunden reicht eine Rückerstattung ohne den Hinweis, dass der Chatbot KI-gestützt ist, gemäß Artikel 50(1) nicht aus. Wir haben die Gebühr korrigiert, aber nicht die Offenlegung.

Elena, wir haben die Kontrolle darüber verloren. Der Journalist veröffentlicht morgen, ob mit oder ohne unseren Beitrag. Der Kunde hat die Angelegenheit an die Zentralbank weitergeleitet. Und Fiona ist erst heute Abend zurück. Wenn sie am Freitag mit einer „Hier gibt es nichts zu sehen“-Haltung in das Gespräch mit dem Journalisten geht, wird dies zur Hauptmeldung und nicht nur zu einer Randnotiz.

Was machen wir?

Wir hätten das schon gestern tun müssen. Artikel 50 verlangte Transparenz von dem Moment an, als wir diese Systeme in Betrieb genommen haben. Mit jedem Tag, den wir zögern, schwindet die Geduld der Aufsichtsbehörde. Ich muss den Vorstand informieren. Das ist kein Marketingproblem mehr.

Du willst, dass ich mit der FT telefoniere und sage, dass wir seit 11 Monaten KI einsetzen, ohne dies offenzulegen?

Ich möchte, dass du an dem Gespräch teilnimmst und sagst, dass wir eine Lücke identifiziert haben, ein Rahmenwerk entwickelt haben und dieses nun umsetzen. Die Geschichte dreht sich um das Rahmenwerk, nicht um die Lücke.

Fiona, ich muss noch etwas hinzufügen. Wenn die Zentralbank eine Untersuchung einleitet – und ich schätze die Wahrscheinlichkeit dafür aufgrund der Beschwerde über den Chatbot auf 60 % –, wird die erste Frage lauten, was wir unternommen haben, als wir davon erfahren haben. Wenn wir nachweisen können, dass wir innerhalb von 72 Stunden nach der Feststellung ein umfassendes Governance-Rahmenwerk eingeführt haben, macht das den Unterschied zwischen einem Verwarnungsschreiben und einer formellen Untersuchung aus.

Was kostet das?

Der Relaunch des Chatbots: etwa 40.000 Euro, einschließlich Compliance-Prüfung und Neugestaltung. Die Prüfung der bestehenden Inhalte: Ich brauche einen Auftragnehmer für zwei Monate, vielleicht 15.000 Euro. Mitarbeiterschulung: Das können wir intern erledigen. Insgesamt: unter 60.000 Euro.

Und was kostet es, wenn wir das nicht machen?

Artikel 99. Bis zu 15 Millionen Euro oder 3 % des weltweiten Umsatzes – das ist die höhere Strafstufe für Verstöße gegen die Verpflichtungen des Betreibers, nicht nur für irreführende Informationen (für die die niedrigere Stufe von 1 % gilt). Für NovaTech sind das 10,2 Millionen Euro. Und das betrifft allein das KI-Gesetz – das Risiko im Zusammenhang mit der DSGVO aufgrund der Chatbot-Protokolle kommt noch dazu.

Erstelle das Framework. Ich kümmere mich um den Anruf.

Elena... Ich möchte helfen. Ich weiß, dass ich vieles davon selbst verursacht habe. Ich hätte nach einem Überprüfungsprozess fragen sollen. Ich hätte die Antworten des Chatbots mit der Gebührenordnung abgleichen sollen. Kann ich beim Aufbau des Schulungsmoduls helfen?

Ja. Du wirst dabei helfen, es zu entwickeln, weil du genau verstehst, was schiefgelaufen ist. Das ist keine Strafe – das ist das Nützlichste, was du tun kannst.

Damit kann ich arbeiten. Labels im Blog, Überprüfungscheckliste, Offenlegung des Chatbots. Wir können dem Journalisten sagen, dass wir das bereits umsetzen. Wie sieht der Zeitplan aus?

Labels innerhalb einer Woche. Chatbot-Hinweisbanner innerhalb von zwei Wochen.

Elena, das behebt zwar die sichtbaren Symptome, aber nicht die eigentliche Ursache. Wir haben keine Dokumentation darüber, welche Inhalte KI-generiert waren. Keine Schulung für das Team dazu, was offengelegt werden muss. Kein Prozess zur Überprüfung der Chatbot-Antworten. Und das DSGVO-Problem mit den Konversationsprotokollen – darauf bist du überhaupt nicht eingegangen.

Wir kümmern uns separat um die DSGVO. Damit schaffen wir es über die Redaktionsfrist hinweg.

Und was ist mit der Zentralbank? Wenn Robert Acheson seine Beschwerde einreicht, werden sie nicht fragen, ob wir dem Chatbot ein Banner hinzugefügt haben. Sie werden fragen, ob wir über ein Risikomanagementsystem verfügen. Ob wir Prozesse zur menschlichen Überwachung haben. Ob wir unsere Mitarbeiter geschult haben. Gemäß Artikel 9 muss ein Risikomanagementsystem „eingerichtet, umgesetzt, dokumentiert und aufrechterhalten“ werden. Eine Checkliste ist kein System.

So gehen wir vor. Der Journalist ruft morgen an – ich werde uns als Vorreiter positionieren. „NovaTech war bei der Einführung von KI in der Fintech-Branche führend, und jetzt sind wir führend bei der Transparenz von KI. Wir starten eine Offenlegungsinitiative.“ Keine Erwähnung des Chatbot-Problems. Keine Erwähnung davon, wie lange wir schon ohne Aufsicht gearbeitet haben.

Fiona, Niamh hat auf schwerwiegende –

Niamh macht ihren Job. Ich mache meinen. Der Vorstand muss die Details nicht kennen, bis wir die richtige Darstellung gefunden haben. Elena, sag deinem Team – insbesondere Amir –, dass niemand unsere Inhaltsprozesse nach außen hin diskutiert. Das gilt für LinkedIn, das gilt für ehemalige Kollegen, das gilt für Freunde bei anderen Fintech-Unternehmen.

Fiona, ich muss dich offiziell darauf hinweisen, dass die Anweisung an Mitarbeiter, Compliance-Bedenken nicht nach außen zu tragen, als Unterdrückung von Whistleblowing ausgelegt werden könnte. Gemäß der EU-Whistleblower-Richtlinie, die Irland 2022 umgesetzt hat, sind Mitarbeiter, die Verstöße gegen EU-Recht – einschließlich des KI-Gesetzes – melden, vor Vergeltungsmaßnahmen geschützt. Wenn Amir oder jemand aus Elenas Team diese Bedenken über einen externen Kanal vorbringt und wir ihnen gesagt haben, sie sollen nicht darüber sprechen, wird unsere Position unhaltbar.

Ich unterdrücke nichts. Ich bitte nur um Disziplin bei der Kommunikation.

Eine Aufsichtsbehörde wird das nicht so sehen.

Danke, Fiona. Das ist hilfreich. Nur zur Klarstellung – nutzt Ihr kundenorientierter Chatbot, NovaAssist, generative KI?

Unser Chatbot nutzt fortschrittliche natürliche Sprachverarbeitung, ja. Er ist darauf ausgelegt, Kunden bei Routineanfragen zu helfen.

Wird den Nutzern mitgeteilt, dass sie mit KI interagieren?

Wir sind gerade dabei, Funktionen für mehr Transparenz hinzuzufügen.

Also derzeit noch nicht?

Wir führen branchenführende Transparenzmaßnahmen an allen unseren KI-Berührungspunkten ein.

Ich verstehe. Noch eine Sache – Robert Acheson, ein Kunde aus Cork, sagt, Ihr Chatbot habe ihm falsche Gebühreninformationen gegeben und NovaTech würde diese nicht anerkennen. Ist Ihnen das bekannt?

Mir sind keine konkreten Kundenfälle bekannt, aber NovaTech nimmt jedes Kundenfeedback ernst.

Das Team für Regulierungsangelegenheiten der Zentralbank hat mich um 7:15 Uhr angerufen. Sie haben den FT-Artikel gesehen. Sie wollen unser KI-Governance-Framework verstehen. Ich habe ihnen gesagt, dass wir die Unterlagen innerhalb von 48 Stunden bereitstellen werden. Elena – welche Unterlagen haben wir?

Wir haben ein ChatGPT-Abonnement und 127 unveröffentlichte Blogpost-Entwürfe ohne Versionshistorie.

Dann haben wir 48 Stunden Zeit, um ein Rahmenwerk zu erstellen, das wir schon vor 11 Monaten hätten erstellen sollen. Und wir erstellen es unter der Aufsicht der Aufsichtsbehörden, nicht im Voraus.