La Liste Restreinte

Sarah, j'ai passé deux semaines à coordonner ces entretiens. Le jury de recrutement a bloqué toute sa journée de lundi. Trois candidats viennent d'autres villes. Vous me demandez de tout annuler à cause d'une « anomalie de données » ? Il vaut mieux que ce soit sérieux.

C'est le cas. Je ne vous le demanderais pas si ce n'était pas justifié. Lundi à 8h — j'aurai les données prêtes.

Très bien. Mais je n'annule pas les entretiens. On se retrouve à 8h, et ils doivent toujours avoir lieu à 9h.

Sarah, j'ai vu que vous avez ajouté manuellement un candidat à la liste restreinte ? David Okonkwo — score 72 ? C'est en dessous du seuil. Que s'est-il passé ?

Son CV est exceptionnellement solide pour ce poste. J'ai estimé que le score ne reflétait pas ses qualifications.

D'accord, mais si nous allons passer outre l'IA, quel est l'intérêt de l'utiliser ? James n'appréciera pas.

C'est un seul candidat, Priya. Assurons-nous simplement qu'il bénéficie d'un entretien équitable.

Très bien. Mais si quelqu'un demande pourquoi nous sélectionnons des candidats en dehors des recommandations de l'IA, c'est votre responsabilité.

James, j'entends ce que vous dites sur l'évolution de carrière. Mais laissez-moi vous montrer quelque chose. Voici les données de rejet. J'ai mis en évidence l'âge, le score et les deux indicateurs à l'origine des scores faibles : « potentiel d'adaptabilité » et « adéquation culturelle ». Ces indicateurs ne sont définis nulle part dans la documentation de la plateforme. J'ai vérifié.

Et alors ?

Alors nous utilisons un système d'IA à haut risque — les IA de recrutement sont explicitement classées comme à haut risque en vertu de Article 6 — et nous ne sommes pas en mesure d'expliquer comment il prend ses décisions. Si David Okonkwo dépose une plainte, nous n'avons aucune documentation sur la transparence à lui présenter.

Le fournisseur nous a assuré que l'outil était conforme.

La conformité du fournisseur est son problème. Notre conformité — en tant que déployeurs — est la nôtre. Article 26 est clair : nous devons surveiller les risques pour les droits fondamentaux. La question n'est pas de savoir si j'ai raison ou tort sur la cause. La question est de savoir ce que nous faisons maintenant que le schéma existe.

Qu'est-ce que vous proposez ?

Je veux faire appel aux Juridiques. Aujourd'hui. Et demander la documentation de transparence du fournisseur sur la façon dont ces indicateurs sont calculés. S'ils peuvent l'expliquer, très bien. S'ils ne le peuvent pas, nous avons une conversation plus importante à avoir.

Très bien. Mais je veux être présent lorsque les Juridiques examinent cela. Et je veux qu'il soit consigné que je coopère, que je ne fais pas l'objet d'une enquête.

Bien sûr. Il ne s'agit pas de blâmer qui que ce soit, James. Il s'agit de prendre les devants sur un problème avant qu'il ne nous dépasse.

Vous soulevez un point valable, James. L'explication par la trajectoire de carrière pourrait rendre compte d'une partie du schéma observé. Je vais approfondir l'analyse des données avant de soulever quoi que ce soit formellement.

Bien. Ne faisons pas d'une coïncidence une crise. Les entretiens sont à 10h — on est prêts ?

On est prêts.

Vous avez probablement raison. La trajectoire de carrière est un signal légitime. Je veillerai à ce que David obtienne un entretien et nous surveillerons les indicateurs à l'avenir.

C'est raisonnable. Écoutez, j'apprécie votre rigueur — c'est pour cela que vous êtes bonne dans votre travail. Mais parfois une tendance n'est qu'une coïncidence.

Marcus, nous devons comprendre comment le « potentiel d'adaptabilité » et « l'alignement culturel » sont calculés. Quelles données d'entrée déterminent ces scores ?

Ces éléments font partie de notre moteur de compatibilité des talents propriétaire. Les pondérations spécifiques et les interactions entre variables sont commercialement sensibles.

En vertu de l'Article 13 du Règlement sur l'IA de l'UE, les systèmes d'IA à haut risque doivent offrir une transparence suffisante pour que les déployeurs puissent comprendre les résultats. Nous sommes les déployeurs.

Nous fournissons un document récapitulatif de conformité. Je peux vous le transmettre.

Nous l'avons lu. « Les scores sont générés à l'aide d'un modèle multifactoriel intégrant des indicateurs de compétences liés au poste. » Cela ne nous indique pas comment « l'alignement culturel » est calculé.

Ce que je peux vous proposer, c'est notre Pack d'audit de conformité IA — une revue complète effectuée par notre équipe interne de conformité. 6–8 semaines, 30 000 EUR.

Six à huit semaines ?

Ils ne peuvent pas ou ne veulent pas expliquer comment leur propre outil prend ses décisions. C'est un problème au titre de l'Article 13 — pour eux comme pour nous.

James, je recommande de suspendre TalentScreen AI avec effet immédiat. Je rédigerai la recommandation formelle à l'attention de Helen et du directeur financier aujourd'hui.

Immédiatement ? Nous traitons 200 candidatures par mois via cet outil. Nous allons devoir revenir au tri manuel — c'est les 200 heures par trimestre que je nous avais économisées.

Je sais. Mais Article 99 autorise des amendes allant jusqu'à 15 millions EUR ou 3 % du chiffre d'affaires annuel mondial. Le chiffre d'affaires de NovaTech était de 340 millions EUR. Trois pour cent représente 10,2 millions EUR.

C'est le maximum. Aucun régulateur ne va nous infliger une amende de 10 millions EUR pour un outil de recrutement.

Même 1 %, c'est 3,4 millions EUR. Et ce, avant tout préjudice réputationnel. Si le FT publie un article sur la discrimination de l'IA de NovaTech à l'encontre des candidats plus âgés, qu'advient-il des relations du bureau de Francfort avec les régulateurs ?

Combien de temps ?

Jusqu'à ce que nous obtenions la documentation sur la transparence que nous pourrons examiner. Si le fournisseur est en mesure d'expliquer l'algorithme, nous le réactivons. Dans le cas contraire, nous trouvons un fournisseur qui le peut.

Le conseil d'administration va vouloir savoir pourquoi.

Mieux vaut qu'ils l'apprennent de notre bouche que de celle d'un régulateur.

Je recommande de conserver l'outil, mais d'ajouter une révision humaine obligatoire. Tout candidat rejeté fait l'objet d'une révision manuelle. Tout candidat de plus de 50 ans se trouvant en dessous du seuil pour « adaptabilité » ou « adéquation culturelle » est transmis aux RH senior.

C'est plus de travail pour votre équipe.

Moins que lors d'une enquête réglementaire. Et nous pouvons continuer à utiliser l'outil de sélection pendant que nous demandons de la transparence au fournisseur.

Mesure provisoire raisonnable. Mais cela ne satisfait pas pleinement à Article 14. La supervision humaine doit être effective, et non de façade. Si les évaluateurs entérinent mécaniquement les scores de l'IA, nous sommes exposés.

D'accord. Les évaluateurs ne verront pas le score de l'IA avant d'avoir effectué leur propre évaluation. Examen en aveugle d'abord, puis comparaison.

Mieux. Mais nous avons toujours besoin de la documentation de transparence du fournisseur. Il s'agit d'une mesure temporaire, et non permanente.

Je pense que l'audit est la bonne voie à suivre. Le fournisseur connaît son système mieux que quiconque. Six à huit semaines, c'est gérable.

Sarah, j'ai des réserves. Nous demandons au fournisseur de s'auditer lui-même. C'est un conflit d'intérêts.

Ils ont des responsables conformité en interne. C'est une pratique courante.

Une pratique courante que les régulateurs n'acceptent pas. Si nous nous retrouvons face à une autorité nationale, « nous avons payé le fournisseur pour qu'il s'audite lui-même » n'inspirera guère confiance.

Si l'audit du fournisseur conclut à l'absence de problème — ce qui sera presque certainement le cas — et qu'un régulateur découvre par la suite le même schéma que vous avez identifié, dans quelle position nous retrouvons-nous ?

Faisons simplement l'audit du fournisseur et passons à autre chose.

James, l'expansion à Francfort n'est pas simplement l'ouverture d'un nouveau bureau — c'est une nouvelle juridiction. L'autocertification du fournisseur portait sur le déploiement au Royaume-Uni. Une utilisation transfrontalière constitue une modification substantielle au sens de l'Article 43. Nous avons besoin d'une évaluation de conformité indépendante avant que TalentScreen traite le dossier d'un seul candidat à Francfort.

Vous me demandez de suspendre un outil que le conseil d'administration a approuvé il y a 72 heures. Vous imaginez à quoi ressemble cette conversation ?

Je sais exactement à quoi cela ressemble. Cela ressemble à l'équipe conformité qui fait son travail avant que le régulateur allemand ne le fasse à notre place. Le BfDI n'accepte pas « le fournisseur a dit que c'était conforme » comme moyen de défense. Et l'amende potentielle peut aller jusqu'à €15 millions ou 3 % du chiffre d'affaires mondial — le montant le plus élevé étant retenu.

(long silence) Combien de temps dure cette évaluation ?

De huit à douze semaines si nous faisons appel à un organisme accrédité cette semaine. Vous aurez une liste restreinte d'évaluateurs sur votre bureau en fin de journée.

James vient de m'envoyer un message. Sarah, est-ce aussi grave que vous le suggérez ?

Helen, je préfère expliquer un retard de dix semaines au conseil d'administration plutôt qu'une enquête réglementaire aux actionnaires. Je recommande une réunion d'urgence du conseil ce jeudi.

...Réservez ça. Et préparez-moi une note d'une page d'ici mercredi soir.

Je propose la mise en place d'un comité d'examen humain. Chaque candidat rejeté par TalentScreen sera examiné par un évaluateur formé avant que la décision ne soit finalisée. Nous maintenons l'outil en fonctionnement, mais personne ne passe entre les mailles du filet.

Voilà qui est plus raisonnable. De combien d'heures supplémentaires parle-t-on ?

Environ 30 heures par trimestre, réparties entre trois examinateurs. Bien moins que de revenir à une sélection entièrement manuelle.

Je peux faire avec ça. Mettez-le en place. Et cela résout le problème de conformité ?

Sarah, j'ai examiné votre proposition. La supervision humaine répond à Article 14, et je soutiens le panel. Cependant — je dois signaler que le déploiement transfrontalier à Frankfurt peut nécessiter une nouvelle évaluation de conformité au titre de Article 43. La révision humaine ne résout pas cette question. Nous devrions en discuter.

...Compris. Je vous réserverai du temps cet après-midi.

Bonne nouvelle — le pipeline de Francfort se remplit déjà. TalentScreen a traité 45 candidats dans le premier lot. Les tableaux de bord semblent nets.

C'est... une bonne nouvelle. À quoi ressemble le profil des rejets ?

Je n'ai pas creusé les détails. Le tableau de bord indique que les indicateurs de biais se situent dans la plage normale. Pourquoi ?

Sarah, j'ai besoin de la documentation sur la transparence concernant la méthodologie de notation de TalentScreen. L'avocat du candidat nous a accordé 14 jours pour répondre. La possédons-nous ?

...Non. Nous ne l'avons pas.

Permettez-moi de bien comprendre. Vous demandez au conseil d'approuver une pause de 90 jours sur un outil que j'ai personnellement validé il y a moins d'une semaine.

Je demande au conseil d'approuver un programme de conformité qui protège une entreprise de 340 millions d'euros contre une action réglementaire susceptible de coûter 15 millions d'euros. L'outil fonctionne. La question est de savoir s'il fonctionne légalement dans trois juridictions. À l'heure actuelle, nous ne pouvons pas le prouver.

Et la position du fournisseur selon laquelle il ne s'agit pas d'un système à haut risque ?

L'interprétation du fournisseur présente un mérite défendable au titre de l'Article 6(3). Mais si un régulateur n'est pas d'accord — et le Bureau européen de l'IA a signalé que les outils de recrutement feront l'objet d'un examen approfondi en priorité — c'est nous qui supportons le risque en tant que déployeurs. Pas eux. L'audit indépendant tranche la question avant qu'un régulateur ne la pose.

Pour ma part, je pense que c'est excessivement prudent. Mais je comprends la logique.

(au conseil) J'approuve le programme de 90 jours. Sarah, je veux des rapports d'avancement hebdomadaires. Et je veux le nom de l'évaluateur indépendant sur mon bureau d'ici vendredi.

Je propose de maintenir TalentScreen en activité sous deux conditions : une révision humaine obligatoire de chaque décision, et des audits trimestriels des biais conduits par un cabinet externe. L'outil reste en place. Les candidats sont protégés.

Ça, je peux le défendre devant le conseil. Nous conservons les gains d'efficacité et démontrons que nous prenons la supervision au sérieux.

Approuvé. Sarah, veillez à ce que le premier audit soit achevé avant l'ouverture du bureau de Francfort au troisième trimestre.

Sarah, les journaux de révision humaine et les audits des biais sont utiles. Ils témoignent de notre bonne foi. Mais ils demandent une évaluation de conformité que nous n'avons jamais effectuée et une évaluation d'impact sur les droits fondamentaux que nous n'avons jamais réalisée. Nous disposons de 30 jours pour répondre.

Vous avez consigné vos préoccupations dans une note de service formelle adressée à Priya il y a trois mois. Vous l'avez classée. Vous avez tourné la page. TalentScreen a continué à traiter les candidats dans les trois bureaux. La tendance liée à l'âge s'est poursuivie — 73 % des candidats de plus de 50 ans rejetés ont obtenu un score inférieur au seuil pour le « potentiel d'adaptabilité ». Vous avez vu le rapport trimestriel. Vous n'avez rien dit.

Ils veulent tout. L'évaluation de conformité, l'évaluation de l'impact sur les droits fondamentaux, la documentation de transparence, les journaux de déploiement. Nous avons 60 jours. Sarah — qu'est-ce que nous avons concrètement ?

Nous avons le pack de conformité original du fournisseur et ma note de service d'il y a trois mois signalant les préoccupations.

James, je dois vous montrer ceci. Neuf des onze candidats de plus de 50 ans rejetés ont obtenu un score inférieur au seuil. Aucun candidat de moins de 35 ans n'a été rejeté. Les deux indicateurs qui déterminent les scores — « potentiel d'adaptabilité » et « alignement culturel » — ne sont définis nulle part dans la documentation du fournisseur.

Ça nous a économisé 200 heures le trimestre dernier, Sarah. Vous voulez que je retourne devant le conseil pour dire qu'on le suspend à cause d'une feuille de calcul ?

Je veux que vous retourniez devant le conseil pour dire que nous avons détecté un possible schéma de discrimination fondée sur l'âge avant que l'avocat d'un candidat ne le fasse. En vertu de Article 26, nous sommes tenus de suspendre un système lorsque nous avons des raisons de croire qu'il présente un risque. Ces données SONT cette raison.

(long silence) ...Combien de temps ?

Jusqu'à ce que le fournisseur fournisse une documentation de transparence appropriée en vertu de Article 13. S'il peut expliquer le fonctionnement de ces indicateurs et que l'explication est non discriminatoire, nous le remettons en marche. S'il ne peut pas — nous aurons évité le pire.

Très bien. Mais c'est vous qui présentez ça à Helen. Et vous avez intérêt à avoir les calculs prêts.

Je recommande d'ajouter un examinateur humain pour vérifier chaque rejet émis par l'IA avant qu'il ne soit finalisé. Aucun candidat ne sera écarté sans qu'une personne confirme la décision.

C'est raisonnable. On conserve l'outil, les candidats bénéficient d'un second examen. Dans quel délai pouvez-vous mettre ça en place ?

D'ici la fin de la semaine. Trois examinateurs formés, selon un planning rotatif.

Bien. Problème résolu.

Nous installons un filet de sécurité sous un pont dont nous ne sommes pas certains qu'il soit structurellement solide. Si quelqu'un demande comment le « potentiel d'adaptabilité » est calculé, nous ne pouvons toujours pas répondre.

Un autre lot traité. Douze nouveaux candidats. Trois rejets — tous de plus de 50 ans. Tous ont obtenu un score inférieur au seuil sur le critère « potentiel d'adaptabilité ». Ce n'est plus un seul schéma. Ce sont deux schémas.

Avez-vous vu le post LinkedIn de David Okonkwo ? Il a déjà 400 commentaires. Il nous cite nommément. Enfin, pas nous directement — mais « une fintech dublinoise qui utilise l'IA pour écarter les candidats expérimentés ». Son ancien collègue chez Barclays vient de le partager.

Je l'ai vu.

Helen veut une réunion. Aujourd'hui. Elle demande ce que nous savions et à quel moment nous le savions.

...J'avais signalé ce schéma il y a deux semaines. J'attendais d'avoir davantage de données.

Vous me l'avez signalé à MOI. Et je vous ai dit d'attendre. Helen va vouloir savoir pourquoi ni l'un ni l'autre n'avons escaladé l'affaire.

Le directeur financier n'approuvera pas 30 000 € pour un audit dont nous n'avons peut-être pas besoin. Et maintenant vous souhaitez suspendre complètement l'outil ? Nous reviendrons à 200 heures de sélection manuelle par trimestre.

Permettez-moi de vous donner d'autres chiffres. Amende potentielle en vertu du Règlement sur l'IA de l'UE : jusqu'à 15 millions d'euros ou 3 % du chiffre d'affaires mondial. Le chiffre d'affaires de NovaTech l'an dernier était de 340 millions d'euros. Trois pour cent, c'est 10,2 millions d'euros. Le filtrage manuel coûte 48 000 £ par an. Quel chiffre souhaitez-vous présenter au directeur financier ?

(pause) ...Vous avez fait le calcul.

En effet. Et j'ai rédigé une note d'une page pour Helen. La recommandation est une suspension temporaire pendant laquelle nous exigeons du fournisseur qu'il fournisse une documentation conforme à Article 13. S'il s'y conforme, nous pourrions être de nouveau opérationnels dans quatre à six semaines. S'il n'est pas en mesure d'expliquer son propre système, nous trouvons un fournisseur qui le peut.

Quatre à six semaines, je peux l'accepter. Une amende de 15 millions d'euros, non. Envoyez-moi la note — je la cosignerai.

Le comité de révision a annulé 7 des 43 rejets en trois semaines. Les sept candidats avaient plus de 45 ans. Tous avaient obtenu un faible score sur le « potentiel d'adaptabilité ». Les examinateurs humains repèrent les décisions les plus problématiques.

Le comité de révision fonctionne. Nous avons corrigé sept mauvaises décisions. Je considère que c'est un succès.

Nous avons corrigé sept résultats avec lesquels nous n'étions pas d'accord. Nous ne savons toujours pas pourquoi le système les génère. Si un régulateur demande comment le « potentiel d'adaptabilité » est calculé, nous pouvons lui montrer nos journaux d'annulation. Nous ne pouvons pas lui expliquer le fonctionnement de l'IA.

N'est-ce pas le problème du fournisseur ?

...C'est précisément ce dont je ne suis pas sûr(e).

Vous avez vu LinkedIn ce matin ? David Okonkwo vient de publier un essai de 1 200 mots sur la discrimination par l'âge dans le recrutement fintech. Il cite les outils de sélection par IA. Il ne nous nomme pas explicitement, mais les détails sont sans équivoque. La publication a déjà recueilli 2 000 réactions.

Je suis en train de le lire.

J'ai besoin que chaque personne sur cet appel me réponde : étions-nous au courant ? Y avait-il le moindre signe que notre outil d'IA discriminait les candidats plus âgés ?

(silence)

...J'ai identifié un schéma statistique il y a deux mois. J'ai décidé d'attendre davantage de données avant d'escalader.

Vous saviez. Depuis deux mois. Et le système a continué à fonctionner.