Die Auswahlliste

Sarah, ich habe zwei Wochen damit verbracht, diese Interviews zu koordinieren. Das Einstellungsgremium hat den gesamten Montag blockiert. Drei Kandidaten reisen aus anderen Städten an. Sie verlangen von mir, den Zeitplan wegen einer „Datenanomalie" zu sprengen? Das muss wirklich ernst sein.

Das ist es. Ich würde nicht fragen, wenn es nicht so wäre. Montag um 8 Uhr — die Daten liegen bereit.

Gut. Aber ich sage die Interviews nicht ab. Wir treffen uns um 8, und sie fangen um 9 besser noch statt.

Sarah, ich sehe, dass Sie einen Kandidaten manuell zur Vorauswahlliste hinzugefügt haben? David Okonkwo — Wertung 72? Das liegt unter dem Schwellenwert. Was ist passiert?

Sein Lebenslauf ist für diese Stelle außergewöhnlich stark. Ich hatte das Gefühl, dass die Wertung seine Qualifikationen nicht widerspiegelt.

Gut, aber wenn wir die KI überschreiben, wozu nutzen wir sie dann? James wird das nicht gefallen.

Es ist nur ein Kandidat, Priya. Stellen wir einfach sicher, dass er ein faires Vorstellungsgespräch bekommt.

Gut. Aber wenn jemand fragt, warum wir Kandidaten außerhalb der KI-Empfehlungen auswählen, liegt das in Ihrer Verantwortung.

James, ich höre, was Sie über die Karriereentwicklung sagen. Aber lassen Sie mich Ihnen etwas zeigen. Hier sind die Ablehnungsdaten. Ich habe Alter, Punktzahl und die zwei Kennzahlen hervorgehoben, die zu den niedrigen Bewertungen geführt haben: „Anpassungspotenzial" und „kulturelle Passung". Diese Kennzahlen sind nirgendwo in der Plattformdokumentation definiert. Ich habe nachgeprüft.

Und?

Wir verwenden also ein KI-System mit hohem Risiko — Recruiting-KI ist gemäß Article 6 ausdrücklich als Hochrisiko eingestuft — und wir können nicht erklären, wie es Entscheidungen trifft. Wenn David Okonkwo eine Beschwerde einreicht, haben wir keine Transparenzdokumentation, die wir vorlegen könnten.

Der Anbieter hat uns versichert, dass das Tool konform ist.

Die Konformität des Anbieters ist sein Problem. Unsere Konformität — als Betreiber — ist unsere. Article 26 ist eindeutig: Wir müssen Risiken für Grundrechte überwachen. Die Frage ist nicht, ob ich mit der Ursache recht habe oder nicht. Die Frage ist, was wir jetzt tun, da das Muster erkennbar ist.

Was schlagen Sie vor?

Ich möchte die Rechtsabteilung einschalten. Heute noch. Und die Transparenzdokumentation des Anbieters anfordern, wie diese Kennzahlen berechnet werden. Wenn sie es erklären können, gut. Wenn nicht, müssen wir ein größeres Gespräch führen.

Gut. Aber ich möchte dabei sein, wenn die Rechtsabteilung das prüft. Und ich möchte, dass protokolliert wird, dass ich kooperiere und nicht untersucht werde.

Natürlich. Es geht nicht um Schuldzuweisungen, James. Es geht darum, einem Problem zuvorzukommen, bevor es uns einholt.

Das ist ein berechtigter Einwand, James. Die Erklärung über den Karriereverlauf könnte einen Teil des Musters erklären. Ich werde die Daten genauer analysieren, bevor ich etwas offiziell eskaliere.

Gut. Lassen Sie uns keinen Aufruhr aus einem Zufall machen. Die Interviews beginnen um 10 — sind wir bereit?

Ja, wir sind bereit.

Sie haben wahrscheinlich recht. Der Karriereverlauf ist ein legitimes Signal. Ich werde dafür sorgen, dass David ein Vorstellungsgespräch bekommt, und wir werden die Kennzahlen künftig im Auge behalten.

Das ist vernünftig. Ich schätze, dass Sie gründlich sind — deshalb sind Sie gut in Ihrem Job. Aber manchmal ist ein Muster eben nur Zufall.

Marcus, wir müssen verstehen, wie „Anpassungspotenzial" und „kulturelle Übereinstimmung" berechnet werden. Welche Dateneingaben liegen diesen Bewertungen zugrunde?

Diese sind Teil unserer proprietären Talent Compatibility Engine. Die spezifische Gewichtung und die Merkmalswechselwirkungen sind geschäftlich sensibel.

Gemäß Article 13 der KI-Verordnung der EU müssen Hochrisiko-KI-Systeme ausreichende Transparenz bieten, damit Betreiber die Ausgabe verstehen können. Wir sind die Betreiber.

Wir stellen ein Compliance-Übersichtsdokument zur Verfügung. Ich kann Ihnen das zusenden.

Wir haben es gelesen. „Bewertungen werden mithilfe eines Mehrfaktorenmodells generiert, das rollenrelevante Kompetenzindikatoren einbezieht." Das erklärt uns nicht, wie „kulturelle Übereinstimmung" berechnet wird.

Was ich anbieten kann, ist unser KI-Compliance-Audit-Paket — eine umfassende Prüfung durch unser internes Compliance-Team. 6–8 Wochen, EUR 30.000.

Sechs bis acht Wochen?

Sie können oder wollen nicht erklären, wie ihr eigenes Tool Entscheidungen trifft. Das ist ein Problem nach Article 13 — ihres und unseres.

James, ich empfehle, TalentScreen AI mit sofortiger Wirkung auszusetzen. Ich werde die formelle Empfehlung für Helen und den CFO noch heute ausarbeiten.

Sofort? Wir bearbeiten 200 Bewerbungen pro Monat über dieses Tool. Wir kehren zur manuellen Sichtung zurück — das sind die 200 Stunden pro Quartal, die ich uns eingespart habe.

Ich weiß. Aber Article 99 ermöglicht Bußgelder von bis zu 15 Millionen EUR oder 3 % des weltweiten Jahresumsatzes. Der Umsatz von NovaTech betrug 340 Millionen EUR. Drei Prozent sind 10,2 Millionen EUR.

Das ist das Maximum. Kein Regulierer wird uns wegen eines Recruiting-Tools 10 Millionen EUR aufbrummen.

Selbst 1 % sind 3,4 Millionen EUR. Und das noch ohne Reputationsschäden. Wenn die FT einen Artikel darüber veröffentlicht, dass NovaTechs KI ältere Kandidaten diskriminiert, was passiert dann mit den Regulierungsbeziehungen des Frankfurter Büros?

Wie lange?

Bis wir eine Transparenzdokumentation erhalten, die wir prüfen können. Wenn der Anbieter den Algorithmus erklären kann, schalten wir ihn wieder ein. Wenn nicht, suchen wir einen Anbieter, der das kann.

Der Vorstand wird wissen wollen, warum.

Besser, sie hören es von uns als von einer Aufsichtsbehörde.

Ich empfehle, das Tool beizubehalten, aber eine obligatorische menschliche Überprüfung einzuführen. Jede abgelehnte Kandidatur wird manuell geprüft. Jede Kandidatur von Personen über 50, die bei „Anpassungsfähigkeit" oder „kultureller Passung" unter dem Schwellenwert liegt, wird an das Senior-HR-Team eskaliert.

Das bedeutet mehr Arbeit für Ihr Team.

Weniger Arbeit als eine behördliche Untersuchung. Und wir können das Screening-Tool weiter nutzen, während wir den Anbieter zur Transparenz drängen.

Eine vernünftige Übergangslösung. Aber das erfüllt Article 14 nicht vollständig. Die menschliche Aufsicht muss wirksam sein, nicht performativ. Wenn Prüfende die KI-Bewertungen nur abnicken, sind wir exponiert.

Einverstanden. Die Prüfenden sehen die KI-Bewertung erst nach ihrer eigenen Einschätzung. Erst blinde Prüfung, dann Vergleich.

Besser. Aber wir brauchen noch immer Transparenzdokumentation vom Anbieter. Das ist eine vorübergehende, keine dauerhafte Lösung.

Ich halte das Audit für den richtigen Weg. Der Anbieter kennt sein System am besten. Sechs bis acht Wochen sind vertretbar.

Sarah, ich habe Bedenken. Wir bitten den Anbieter, sich selbst zu prüfen. Das ist ein Interessenkonflikt.

Die haben interne Compliance-Leute. Das ist gängige Praxis.

Gängige Praxis, die Aufsichtsbehörden nicht akzeptieren. Wenn wir vor einer nationalen Behörde landen, wird „wir haben den Anbieter für das Audit bezahlt" keinen guten Eindruck machen.

Wenn das Anbieter-Audit sauber zurückkommt — was fast sicher der Fall sein wird — und eine Behörde später dasselbe Muster findet, das Sie entdeckt haben: Wo stehen wir dann?

Lassen Sie uns einfach das Anbieter-Audit durchführen und weitermachen.

James, die Frankfurter Expansion ist nicht nur ein neues Büro — es ist eine neue Rechtsordnung. Die Selbstzertifizierung des Anbieters galt für den Einsatz im Vereinigten Königreich. Eine grenzüberschreitende Nutzung stellt eine wesentliche Änderung gemäß Article 43 dar. Wir benötigen eine unabhängige Konformitätsbewertung, bevor TalentScreen auch nur einen einzigen Frankfurter Kandidaten verarbeitet.

Sie verlangen von mir, ein Tool auszusetzen, das der Vorstand vor 72 Stunden genehmigt hat. Haben Sie eine Vorstellung davon, wie dieses Gespräch aussehen wird?

Ich weiß genau, wie es aussieht. Es sieht so aus, als würde das Compliance-Team seinen Job erledigen, bevor es die deutsche Behörde für uns erledigt. Der BfDI akzeptiert „der Anbieter hat versichert, es sei in Ordnung" nicht als Verteidigung. Und das potenzielle Bußgeld beläuft sich auf bis zu €15 Millionen oder 3 % des globalen Jahresumsatzes — je nachdem, welcher Betrag höher ist.

(lange Pause) Wie lange dauert diese Bewertung?

Acht bis zwölf Wochen, wenn wir diese Woche eine akkreditierte Stelle beauftragen. Ich werde Ihnen bis Tagesende eine Vorauswahl an Gutachtern auf den Schreibtisch legen.

James hat mir gerade geschrieben. Sarah, ist das so ernst, wie Sie es darstellen?

Helen, ich erkläre dem Vorstand lieber eine zehenwöchige Verzögerung als den Aktionären eine Regulierungsuntersuchung. Ich empfehle ein außerordentliches Vorstandsbriefing diesen Donnerstag.

...Buchen Sie es. Und bringen Sie mir bis Mittwochabend ein einseitiges Briefing.

Ich schlage ein menschliches Prüfgremium vor. Jeder Kandidat, den TalentScreen ablehnt, wird von einem geschulten Bewerter geprüft, bevor die Entscheidung endgültig wird. Wir lassen das Tool laufen, aber niemand fällt durchs Raster.

Das klingt vernünftiger. Von wie vielen Extrastunden sprechen wir?

Etwa 30 Stunden pro Quartal auf drei Prüfer verteilt. Weit weniger, als zur vollständig manuellen Vorauswahl zurückzukehren.

Damit kann ich leben. Richten Sie es ein. Und damit ist das Compliance-Problem gelöst?

Sarah, ich habe Ihren Vorschlag geprüft. Die menschliche Aufsicht adressiert Article 14, und ich unterstütze das Gremium. Allerdings — ich muss darauf hinweisen, dass der grenzüberschreitende Einsatz in Frankfurt möglicherweise eine neue Konformitätsbewertung gemäß Article 43 erfordert. Eine menschliche Überprüfung löst diese Frage nicht. Wir sollten das besprechen.

...Verstanden. Ich werde heute Nachmittag einen Termin mit Ihnen vereinbaren.

Gute Nachrichten — die Frankfurter Pipeline füllt sich bereits. TalentScreen hat 45 Kandidaten im ersten Batch verarbeitet. Die Dashboards sehen sauber aus.

Das ist... schön zu hören. Wie sieht das Ablehnungsprofil aus?

Habe mich noch nicht in die Details vertieft. Das Dashboard zeigt, dass die Bias-Indikatoren im Normalbereich liegen. Warum?

Sarah, ich benötige die Transparenzdokumentation zur Bewertungsmethodik von TalentScreen. Der Anwalt des Kandidaten hat uns 14 Tage zur Stellungnahme gegeben. Haben wir diese Unterlagen?

...Nein. Haben wir nicht.

Ich möchte sichergehen, dass ich das richtig verstehe. Sie bitten den Vorstand, eine 90-tägige Pause bei einem Tool zu genehmigen, das ich persönlich vor weniger als einer Woche abgezeichnet habe.

Ich bitte den Vorstand, ein Compliance-Programm zu genehmigen, das ein 340-Millionen-Euro-Unternehmen vor einer Regulierungsmaßnahme schützt, die 15 Millionen Euro kosten könnte. Das Tool funktioniert. Die Frage ist, ob es rechtskonform in drei Rechtsordnungen funktioniert. Im Moment können wir das nicht nachweisen.

Und die Position des Anbieters, dass kein Hochrisiko vorliegt?

Die Auslegung des Anbieters hat nach Article 6(3) ein gewisses Gewicht. Aber wenn eine Aufsichtsbehörde anderer Meinung ist — und das European AI Office hat signalisiert, dass Recruiting-Tools frühzeitig unter die Lupe genommen werden — tragen wir als Betreiber das Risiko. Nicht sie. Das unabhängige Audit klärt die Frage, bevor eine Behörde sie stellt.

Für das Protokoll: Ich halte das für übervorsichtig. Aber ich verstehe die Logik.

(zum Vorstand) Ich genehmige das 90-Tage-Programm. Sarah, ich möchte wöchentliche Fortschrittsberichte. Und bis Freitag möchte ich den Namen des unabhängigen Gutachters auf meinem Schreibtisch haben.

Ich schlage vor, TalentScreen unter zwei Bedingungen im Betrieb zu belassen: eine verpflichtende menschliche Überprüfung jeder Entscheidung und vierteljährliche Bias-Audits durch ein externes Unternehmen. Das Tool bleibt. Die Bewerber werden geschützt.

Das kann ich dem Vorstand verkaufen. Wir behalten die Effizienzgewinne und zeigen, dass wir die Aufsicht ernst nehmen.

Genehmigt. Sarah, stellen Sie sicher, dass das erste Audit abgeschlossen ist, bevor das Frankfurter Büro in Q3 eröffnet.

Sarah, die Protokolle der menschlichen Überprüfung und die Bias-Audits helfen. Sie belegen guten Willen. Aber sie fordern eine Konformitätsbewertung, die wir nie durchgeführt haben, und eine Grundrechte-Folgenabschätzung, die wir nie erstellt haben. Wir haben 30 Tage Zeit zu antworten.

Sie haben Ihre Bedenken vor drei Monaten in einem formellen Memo an Priya dokumentiert. Abgelegt. Weitergemacht. TalentScreen verarbeitete weiterhin Kandidaten in allen drei Büros. Das Altersprofil setzte sich fort — 73 % der abgelehnten Kandidaten über 50 lagen beim „Anpassungspotenzial" unter dem Schwellenwert. Sie haben den Quartalsbericht gesehen. Sie haben nichts gesagt.

Sie wollen alles. Konformitätsbewertung, Grundrechte-Folgenabschätzung, Transparenzdokumentation, Einsatzprotokolle. Wir haben 60 Tage. Sarah — was haben wir tatsächlich?

Wir haben das ursprüngliche Compliance-Paket des Anbieters und mein Memo von vor drei Monaten, in dem ich die Bedenken aufgezeigt habe.

Sie haben ein Risiko erkannt, es dokumentiert, und das System lief noch drei weitere Monate weiter. Dieses Memo schützt das Unternehmen nicht, Sarah. Es belastet uns. Es beweist, dass wir es wussten.

Wie konnte es so weit kommen?

James, ich muss Ihnen das zeigen. Neun von elf abgelehnten Kandidaten über 50 lagen unter dem Schwellenwert. Kein einziger Kandidat unter 35 wurde abgelehnt. Die beiden Kennzahlen, die die Bewertungen bestimmen — „Anpassungspotenzial" und „kulturelle Übereinstimmung" — sind in der Dokumentation des Anbieters nirgendwo definiert.

Es hat uns letztes Quartal 200 Stunden gespart, Sarah. Sie wollen, dass ich zum Vorstand gehe und sage, wir pausieren es wegen einer Tabellenkalkulation?

Ich möchte, dass Sie zum Vorstand gehen und sagen, wir haben ein potenzielles Altersdiskriminierungsmuster entdeckt, bevor der Anwalt eines Kandidaten es getan hat. Gemäß Article 26 sind wir verpflichtet, ein System auszusetzen, wenn wir Grund zu der Annahme haben, dass es ein Risiko darstellt. Diese Daten SIND dieser Grund.

(langes Schweigen) ...Wie lange?

Bis der Anbieter gemäß Article 13 eine ordnungsgemäße Transparenzdokumentation vorlegt. Wenn er erklären kann, wie diese Kennzahlen funktionieren, und die Erklärung nicht diskriminierend ist, schalten wir es wieder ein. Wenn nicht — haben wir gerade eine Katastrophe abgewendet.

Gut. Aber du präsentierst das Helen. Und du solltest die Zahlen parat haben.

Ich empfehle, einen menschlichen Prüfer hinzuzuziehen, der jede KI-Ablehnung überprüft, bevor sie endgültig wird. Kein Bewerber wird aussortiert, ohne dass eine Person die Entscheidung bestätigt.

Das ist vernünftig. Wir behalten das Tool, Bewerber bekommen eine zweite Chance. Wie schnell können Sie das einrichten?

Bis Ende der Woche. Drei geschulte Prüfer im rotierenden Wechsel.

Gut. Problem gelöst.

Wir spannen ein Sicherheitsnetz unter eine Brücke, deren Standfestigkeit wir nicht kennen. Wenn jemand fragt, wie „Anpassungspotenzial" berechnet wird, können wir es immer noch nicht beantworten.

Noch eine Runde verarbeitet. Zwölf neue Kandidatinnen und Kandidaten. Drei Ablehnungen — alle über 50. Alle lagen beim „Anpassungspotenzial" unter dem Schwellenwert. Das Muster ist kein einzelnes Muster mehr. Es sind zwei.

Haben Sie David Okonkwos LinkedIn-Post gesehen? Er hat 400 Kommentare. Er nennt uns. Zwar nicht uns direkt — aber „ein Dubliner Fintech, das KI einsetzt, um erfahrene Kandidaten auszusortieren." Sein ehemaliger Kollege bei Barclays hat es gerade geteilt.

Ich habe ihn gesehen.

Helen möchte ein Meeting. Heute. Sie fragt, was wir wussten und wann wir es wussten.

...Ich habe das Muster vor zwei Wochen gemeldet. Ich habe auf weitere Daten gewartet.

Sie haben es MIR gemeldet. Und ich habe Ihnen gesagt, Sie sollen warten. Helen wird wissen wollen, warum keiner von uns eskaliert hat.

Der CFO wird keine 30.000 € für ein Audit genehmigen, das wir vielleicht gar nicht brauchen. Und jetzt wollen Sie das Tool vollständig aussetzen? Dann kehren wir zu 200 Stunden manueller Prüfung pro Quartal zurück.

Lassen Sie mich Ihnen andere Zahlen nennen. Mögliche Geldstrafe nach der KI-Verordnung der EU: bis zu 15 Millionen Euro oder 3 % des weltweiten Umsatzes. NovaTechs Umsatz im letzten Jahr betrug 340 Millionen Euro. Drei Prozent sind 10,2 Millionen Euro. Manuelle Überprüfung kostet 48.000 Pfund pro Jahr. Welche Zahl möchten Sie dem CFO präsentieren?

(Pause) ...Sie haben die Rechnung gemacht.

Ja. Und ich habe einen einseitigen Bericht für Helen ausgearbeitet. Die Empfehlung lautet, den Betrieb vorübergehend auszusetzen, während wir vom Anbieter eine ordnungsgemäße Dokumentation gemäß Article 13 anfordern. Wenn dieser die Anforderungen erfüllt, könnten wir in vier bis sechs Wochen wieder in Betrieb sein. Wenn er sein eigenes System nicht erklären kann, suchen wir einen Anbieter, der das kann.

Vier bis sechs Wochen kann ich damit leben. Eine Geldstrafe von 15 Millionen Euro nicht. Schicken Sie mir den Bericht — ich werde ihn mitunterzeichnen.

Das Prüfgremium hat in drei Wochen 7 von 43 Ablehnungen aufgehoben. Alle sieben betrafen Kandidaten über 45 Jahre. Alle erzielten niedrige Werte beim „Anpassungspotenzial". Die menschlichen Prüfer erfassen die schlimmsten Ergebnisse.

Das Prüfgremium funktioniert. Wir haben sieben Fehlentscheidungen aufgefangen. Ich würde das als Erfolg bezeichnen.

Wir haben sieben Ergebnisse abgefangen, mit denen wir nicht einverstanden waren. Wir wissen immer noch nicht, warum das System sie erzeugt. Wenn eine Aufsichtsbehörde fragt, wie das „Anpassungspotenzial" berechnet wird, können wir ihr unsere Korrekturprotokolle zeigen. Wir können ihr nicht zeigen, wie die KI funktioniert.

Ist das nicht das Problem des Anbieters?

...Das ist der Punkt, bei dem ich mir nicht sicher bin.

Haben Sie heute Morgen LinkedIn gesehen? David Okonkwo hat gerade einen 1.200-Wörter-Artikel über Altersdiskriminierung bei der Einstellung im Fintech-Bereich veröffentlicht. Er nennt KI-Screening-Tools. Er nennt uns nicht namentlich, aber die Details sind unverkennbar. Der Beitrag hat bereits 2.000 Reaktionen.

Ich lese ihn gerade.

Ich brauche von allen in diesem Gespräch eine Antwort: Wussten wir davon? Gab es irgendwelche Hinweise, dass unser KI-Tool ältere Bewerber diskriminiert?

(Schweigen)

...Ich habe vor zwei Monaten ein statistisches Muster erkannt. Ich habe beschlossen, auf weitere Daten zu warten, bevor ich es eskaliere.

Sie wussten es. Seit zwei Monaten. Und das System lief weiter.