Módulo 1
Dublín — NovaTech Financial HQ — Friday, 4:30pm
HR Business Partner at NovaTech Financial — a mid-size fintech with 1,200 employees across Dublin, London, and Frankfurt.
Most of the office has left for the weekend. You’re about to close your laptop when a new email arrives — a polite enquiry from a rejected candidate.
This is a choose-your-own-adventure scenario. You’ll face real decisions that AI compliance professionals encounter — and your choices shape how the story unfolds.
Tip: Look for highlighted text throughout the scenario:
§ Article references — click to read the relevant AI Act article
Key terms — hover for a quick definition
De: David Okonkwo <d.okonkwo@outlook.com>
Para: Sarah Chen <sarah.chen@novatech-financial.com>
Asunto: Solicitud para Analista Sénior de Riesgos — Solicitud de Retroalimentación
Estimada Sra. Chen,
Espero que se encuentre bien. Recientemente postulé para el puesto de Analista Sénior de Riesgos (Ref: NVT-2026-0847) y recibí la notificación de que mi solicitud no avanzó a la etapa de entrevista.
Tengo 30 años de experiencia en gestión de riesgos, incluidos 8 años específicamente en cumplimiento regulatorio fintech. Poseo un MSc en Gestión de Riesgos Financieros de la London School of Economics y soy titular certificado de FRM.
Entiendo que la competencia por los puestos es fuerte, y no sugiero que necesariamente sea el mejor candidato. Sin embargo, dado mi perfil, agradecería genuinamente entender en qué áreas mi perfil no cumplió con sus requisitos. Cualquier retroalimentación sería valiosa para mi búsqueda de empleo.
Gracias por su tiempo y consideración.
Cordialmente,
David Okonkwo
Algo del correo electrónico le inquieta. El CV de David es sólido — genuinamente sólido. 30 años en gestión de riesgos, 8 en cumplimiento regulatorio fintech, formado en la LSE, certificado como FRM. Para un puesto de Analista Sénior de Riesgos, podría decirse que está sobrecualificado.
Abre TalentScreen AI y busca su solicitud. La herramienta le asignó una puntuación de 72 sobre 100 — por debajo del umbral de 80 puntos que su equipo estableció para las invitaciones a entrevista. Pero la plataforma no muestra por qué. Ninguna explicación de la puntuación. Solo un número.
Con curiosidad, exporta los datos de rechazo de los últimos 3 meses y los ordena por edad. Siente un nudo en el estómago.
De los 11 candidatos rechazados en la ronda de contratación más reciente, 9 candidatos mayores de 50 años obtuvieron puntuaciones por debajo del umbral. Los factores comunes que arrastraron sus puntuaciones hacia abajo: «potencial de adaptabilidad» y «alineación cultural» — métricas que nunca ha visto definidas en ninguna parte. Mientras tanto, ningún candidato menor de 35 años fue rechazado. Ni uno.
| Candidato | Edad | Puntuación | Motivo principal de rechazo |
|---|---|---|---|
| D. Okonkwo | 58 | 72 | Potencial de adaptabilidad (bajo) |
| M. Petrov | 54 | 69 | Alineación cultural (insuficiente) |
| H. Nakamura | 61 | 71 | Potencial de adaptabilidad (bajo) |
| A. Balogun | 56 | 68 | Alineación cultural (insuficiente) |
| C. Fitzgerald | 52 | 74 | Potencial de adaptabilidad (bajo) |
| R. Kowalski | 59 | 70 | Alineación cultural (insuficiente) |
| T. Mensah | 63 | 66 | Potencial de adaptabilidad (bajo) |
| S. Hoffmann | 51 | 73 | Alineación cultural (insuficiente) |
| P. Chandra | 55 | 71 | Potencial de adaptabilidad (bajo) |
| L. Müller | 29 | 68 | Avanzó (umbral dispensado — contratación por volumen) |
| J. Park | 31 | 79 | — |
La exportación confirma lo que sospechaba. Cada candidato rechazado mayor de 50 años perdió puntos en las mismas dos métricas sin definir. Según la Ley de IA de la UE, esto no es solo una cuestión de equidad — es un fallo de transparencia del Artículo 13 y un posible problema de clasificación de alto riesgo del Anexo III. El sistema toma decisiones de empleo que no puede explicar.
Son poco más de las 5 de la tarde. La oficina está casi vacía. Las entrevistas para los 12 candidatos preseleccionados están programadas para el lunes por la mañana. Tiene una hoja de cálculo que muestra un patrón que podría ser coincidencia o podría ser discriminación por edad sistemática.
Enviar un correo a James Hartley para pausar las entrevistas del lunes hasta investigar
El patrón es lo suficientemente preocupante como para justificar una pausa. Si la herramienta está discriminando, cada entrevista basada en su lista está contaminada. James coordinó 12 agendas de candidatos — se va a enfurecer. Y puede que usted esté equivocada.
Añadir a David a la lista manualmente y dejar que las entrevistas continúen
David claramente merece una entrevista. Puede resolver este caso ahora, e investigar el patrón más amplio la próxima semana. El sistema volverá a hacer esto en la siguiente contratación, pero al menos David tiene una oportunidad justa el lunes.
Irse a casa — necesita más datos antes de hacer acusaciones
9 de 11 es un patrón, pero es una muestra pequeña. Si da la alarma y está equivocada, habrá socavado una herramienta que el Vicepresidente defendió y dañado su credibilidad sin razón. David ya fue rechazado — un fin de semana no cambiará eso.
De: Sarah Chen <sarah.chen@novatech-financial.com>
Para: James Hartley <james.hartley@novatech-financial.com>
Asunto: Urgente: Entrevistas del Lunes — Revisión de Datos Necesaria
James,
I've identified an anomaly in TalentScreen AI's rejection data that I believe warrants review before we proceed with Monday's interviews. I'd prefer to discuss the specifics in person rather than over email.
I know this is extremely late notice and I understand the scheduling implications. I wouldn't raise this if I didn't think it was important — both for the candidates and for our compliance position.
Could we meet first thing Monday at 8am, before the first interview slot?
Sarah
Sarah, he pasado dos semanas coordinando estas entrevistas. El panel de selección ha bloqueado todo su lunes. Tres candidatos viajan desde otras ciudades. ¿Me está pidiendo que arruine la agenda por una «anomalía en los datos»? Más le vale que sea importante.
Lo es. No se lo pediría si no fuera así. El lunes a las 8 — tendré los datos listos.
Bien. Pero no voy a cancelar las entrevistas. Nos reunimos a las 8, y más vale que sigan adelante a las 9.
James está frustrado pero no se ha negado. Se ha ganado el fin de semana para prepararse y el lunes por la mañana para presentarlo. Según el Artículo 26 de la Ley de IA de la UE, los implementadores deben monitorizar los riesgos para los derechos fundamentales.
El Artículo 6 clasifica la IA de contratación como alto riesgo en el Anexo III. El Artículo 26 exige a los implementadores que monitoricen los resultados y tomen medidas cuando identifiquen riesgos.
Inicia sesión en TalentScreen AI y añade manualmente a David Okonkwo a la lista de preseleccionados para la entrevista. El sistema señala la anulación con una advertencia en ámbar: «Puntuación del candidato (72) por debajo del umbral (80). Anulación manual registrada».
Sarah, ¿añadió usted manualmente a un candidato a la lista? David Okonkwo — ¿puntuación 72? Eso está por debajo del umbral. ¿Qué pasó?
Su CV es excepcionalmente sólido para este puesto. Sentí que la puntuación no reflejaba sus cualificaciones.
De acuerdo, pero si vamos a anular la IA, ¿para qué usarla? A James no le va a gustar esto.
Es un candidato, Priya. Solo asegurémonos de que tenga una entrevista justa.
Bien. Pero si alguien pregunta por qué estamos seleccionando candidatos al margen de las recomendaciones de la IA, eso es responsabilidad suya.
David tendrá una entrevista, pero ha parcheado un síntoma sin investigar la enfermedad. Los otros 9 candidatos rechazados mayores de 50 no recibirán una anulación manual. Según el Artículo 14, la supervisión humana debe ser efectiva — sistemática, no ad hoc.
El Artículo 14 exige una supervisión humana efectiva, incluida la capacidad de anular decisiones. Pero una sola anulación manual no es supervisión — es una excepción. La supervisión efectiva implica un proceso repetible.
David Okonkwo
Profesional de Gestión de Riesgos
Rechazado de nuevo. 30 años en gestión de riesgos. 8 años en cumplimiento regulatorio fintech. MSc de la LSE. Certificado FRM. Ni siquiera conseguí una entrevista.
No voy a mencionar la empresa — no va de ellos en concreto. Pero empiezo a preguntarme si las herramientas de «reclutamiento impulsado por IA» que las empresas están adoptando están filtrando la experiencia en lugar de filtrar a favor de ella.
¿Alguien más mayor de 50 está viviendo esto? Me gustaría genuinamente saberlo.
1.247 me gusta
La misma experiencia aquí. Tres rechazos seguidos de empresas que usan cribado automatizado. 28 años en servicios financieros. Ni una entrevista.
893 me gusta
Trabajo en tecnología de RRHH. Algunas de estas herramientas usan indicadores de «ajuste cultural» y «adaptabilidad» que penalizan efectivamente la estabilidad profesional y la edad. Es un problema conocido.
2.341 me gusta
Soy periodista del Financial Times y estoy trabajando en un artículo sobre el sesgo de la IA en la contratación. David, ¿estaría dispuesto a hablar conmigo? DM abierto.
Cierra el portátil y se va a casa. Excepto que David no pasa el fin de semana esperando. Para el lunes por la mañana, la publicación tiene 4.200 reacciones y 380 comentarios. Alguien ha identificado a NovaTech Financial.
James Hartley ve la publicación antes que usted. Está en su escritorio el lunes a las 7:30.
El Artículo 26 exige a los implementadores que actúen sobre los riesgos identificados. Usted identificó un patrón potencial y eligió no actuar. Según el Artículo 4 (Alfabetización en IA), en vigor desde febrero de 2025, las organizaciones deben garantizar que el personal pueda reconocer y responder a los riesgos de la IA.
Independientemente de lo que hiciera el viernes, la situación ha convergido. James Hartley está en su escritorio. Ha oído — a través de Priya, de LinkedIn o de su correo electrónico — que usted ha estado «cuestionando la herramienta de IA».
Su expresión es difícil de leer. No es hostil exactamente, pero está en guardia. Cierra la puerta de su oficina y se sienta.
James fue el patrocinador ejecutivo que trajo TalentScreen AI a NovaTech. Presentó el caso de negocio al consejo de administración. Informó personalmente de la reducción del 40% en el tiempo de contratación. La herramienta es, en muchos sentidos, su proyecto.
Sarah, voy a ser directo. La herramienta funciona. Nuestro tiempo de contratación ha bajado un 40%. El consejo lo citó en el informe de eficiencia del último trimestre. Al director financiero le encanta. ¿De verdad va a echar todo esto por tierra porque un candidato se quejó?
No se trata de un candidato, James. Analicé los datos de rechazo. Nueve de once candidatos rechazados mayores de cincuenta años obtuvieron puntuaciones por debajo del umbral. Ningún candidato menor de treinta y cinco fue rechazado.
También rechazamos a personas menores de 35 — para otros puestos, otras rondas. Y mire a David específicamente: lleva 12 años en la misma empresa. Quizás la herramienta marcó baja adaptabilidad basándose en la trayectoria profesional, no en la edad.
No digo que lo ignore. Digo — ¿está segura de que no está viendo un patrón que no existe? Porque si plantea esto y está equivocada, acaba de decirle al consejo que su iniciativa estrella de eficiencia es discriminatoria. Eso no se puede deshacer.
Presentar los datos directamente — esto es discriminación por edad, tanto si la IA lo pretendía como si no
El patrón es claro. 9 de 11 candidatos mayores de 50 rechazados con métricas sin definir. Según el Artículo 26, está obligada a monitorizar los resultados discriminatorios. Como implementadores, NovaTech es responsable de las decisiones de la herramienta, no el proveedor.
Estar de acuerdo con James públicamente pero notificar discretamente el asunto a Legal
James tiene razón en algo — puede que esté equivocada. Pero el riesgo es demasiado alto para ignorarlo por completo. Que Legal investigue discretamente mientras las entrevistas continúan.
Aceptar la explicación de James — la trayectoria profesional, no la edad, explica el patrón
Puede que tenga razón. La «adaptabilidad» podría legítimamente correlacionarse con la trayectoria profesional, no con la edad. No tiene suficientes datos para estar segura. Concéntrese en conseguir que David tenga una entrevista y siga adelante.
James, entiendo lo que dice sobre la trayectoria profesional. Pero permítame mostrarle algo. Aquí están los datos de rechazo. He resaltado la edad, la puntuación y las dos métricas que generaron las bajas puntuaciones: «potencial de adaptabilidad» y «alineación cultural». Estas métricas no están definidas en ningún lugar de la documentación de la plataforma. Lo he verificado.
¿Y qué?
Que estamos usando un sistema de IA de alto riesgo — la IA de reclutamiento está explícitamente clasificada como de alto riesgo bajo el Artículo 6 — y no podemos explicar cómo toma decisiones. Si David Okonkwo presenta una queja, no tenemos documentación de transparencia que mostrarles.
El proveedor nos aseguró que la herramienta cumplía con la normativa.
El cumplimiento del proveedor es problema suyo. Nuestro cumplimiento — como implementadores — es nuestro. El Artículo 26 es claro: debemos supervisar los riesgos para los derechos fundamentales. La pregunta no es si tengo razón o no sobre la causa. La pregunta es qué hacemos ahora que el patrón existe.
¿Qué propone?
Quiero involucrar a Legal. Hoy. Y solicitar la documentación de transparencia del proveedor sobre cómo se calculan esas métricas. Si pueden explicarlo, perfecto. Si no pueden, tenemos una conversación más importante.
Bien. Pero quiero estar presente cuando Legal revise esto. Y quiero que conste que estoy cooperando, no siendo investigado.
Por supuesto. No se trata de culpar a nadie, James. Se trata de anticiparnos a un problema antes de que nos supere.
James pasa de «está equivocada» a «qué hacemos». Ha enmarcado esto como cumplimiento, no como acusación. Ese era el resultado que necesitaba.
La Ley de IA de la UE distingue entre proveedores (que construyen) e implementadores (que usan). Bajo el Artículo 26, los implementadores deben supervisar los resultados y notificar incidentes. El Artículo 13 exige que el sistema sea suficientemente transparente para que los implementadores puedan comprenderlo.
De: Sarah Chen <sarah.chen@novatech-financial.com>
Para: Helen Park <helen.park@novatech-financial.com>
Asunto: Confidencial: Posible Problema de Cumplimiento de la Ley de IA — TalentScreen AI
Helen,
He identificado un patrón estadístico en los datos de rechazo de nuestra herramienta de reclutamiento con IA que podría indicar discriminación por edad. 9 de 11 candidatos rechazados mayores de 50 años en la última ronda obtuvieron puntuaciones por debajo del umbral en métricas para las que no encuentro documentación («potencial de adaptabilidad» y «alineación cultural»).
He planteado esto de manera informal con James Hartley, quien cree que el patrón tiene una explicación no discriminatoria. Puede que tenga razón. Pero dado que la IA de reclutamiento está clasificada como de alto riesgo bajo el Artículo 6, creo que Legal debería revisar los datos de forma independiente.
Con gusto hablo en cuanto le sea posible.
Sarah
Tiene un punto válido, James. La explicación de la trayectoria profesional podría explicar parte del patrón. Voy a analizar los datos con más detalle antes de hacer algo formal.
Bien. No creemos una crisis a partir de una coincidencia. Las entrevistas son a las 10 — ¿está todo en orden?
Todo en orden.
Helen responde en menos de una hora. Se ha protegido con un rastro documental. Pero las entrevistas continúan con una lista potencialmente viciada, y James cree que el asunto está cerrado.
Bajo el Artículo 26, los implementadores deben tomar medidas cuando identifican riesgos — no solo informar internamente mientras el sistema sigue operando. Permitir que continúe puede considerarse como tolerar el riesgo de forma consciente.
Probablemente tenga razón. La trayectoria profesional es una señal legítima. Me aseguraré de que David tenga una entrevista y estaremos atentos a las métricas en adelante.
Eso es sensato. Mire, valoro que sea minuciosa — por eso es buena en su trabajo. Pero a veces un patrón es solo una coincidencia.
Las entrevistas continúan. David no está entre los candidatos. Tres semanas después, Helen Park le reenvía un artículo del FT: «Las herramientas de reclutamiento con IA bajo escrutinio al comenzar la aplicación de la Ley de IA de la UE». Su nota: «Sarah — ¿estamos expuestos aquí?»
Ahora debe explicar que identificó un patrón hace tres semanas y aceptó la explicación de James sin investigación independiente. La intención no importa — el marco de igualdad de la UE se centra en los resultados discriminatorios, no en el propósito.
Los sistemas de IA pueden discriminar mediante variables proxy. «Estabilidad laboral» correlaciona con la edad. Bajo el Artículo 9, proveedores e implementadores deben identificar y mitigar estos riesgos. El hecho de que la herramienta no use explícitamente «edad» es irrelevante si el resultado es discriminatorio.
Legal ya está involucrado. Helen Park ha contactado al proveedor de TalentScreen AI. Se ha programado una videoconferencia con Marcus Webb, el Director de Producto del proveedor.
Marcus, necesitamos entender cómo se calculan «potencial de adaptabilidad» y «alineación cultural». ¿Qué datos generan esas puntuaciones?
Forman parte de nuestro Motor de Compatibilidad de Talento propietario. La ponderación específica y las interacciones de características son comercialmente sensibles.
Bajo el Artículo 13 de la Ley de IA, los sistemas de IA de alto riesgo deben proporcionar suficiente transparencia para que los implementadores comprendan los resultados. Nosotros somos los implementadores.
Proporcionamos un documento resumen de cumplimiento. Puedo enviarlo.
Ya lo hemos leído. «Las puntuaciones se generan mediante un modelo multifactorial que incorpora indicadores de competencia relevantes para el puesto.» Eso no nos dice cómo se calcula «alineación cultural».
Lo que puedo ofrecer es nuestro Paquete de Auditoría de Cumplimiento de IA — una revisión exhaustiva por nuestro equipo interno de cumplimiento. 6–8 semanas, EUR 30.000.
¿Seis a ocho semanas?
No pueden o no quieren explicar cómo su propia herramienta toma decisiones. Eso es un problema del Artículo 13 — de ellos y nuestro.
El proveedor confirmó lo que sospechaba: una caja negra. «Propietario» no es una defensa bajo la Ley de IA de la UE. El Artículo 13 exige transparencia. El proveedor ofrece autoauditarse por EUR 30.000 — un claro conflicto de intereses.
Sarah, we've invested EUR 200,000 in this platform. The vendor wants EUR 30,000 on top. I've got three open roles we can't fill fast enough. The CFO will ask why time-to-hire went back up. What exactly are you recommending?
Suspender la herramienta de inmediato hasta que el proveedor proporcione la documentación de transparencia del Artículo 13
Si no puede explicar cómo toma decisiones, no puede garantizar que esas decisiones sean lícitas. Asuma el coste político. NovaTech deja de discriminar potencialmente hoy, no en 6–8 semanas.
Continuar con la herramienta pero añadir revisión humana obligatoria de cada rechazo de la IA
Añada un punto de control humano: cada candidato por debajo del umbral recibe revisión manual. Señale para revisión de RR. HH. sénior a cualquier candidato mayor de 50 que falle en «adaptabilidad» o «alineación cultural».
Contratar la auditoría de cumplimiento de EUR 30.000 del proveedor y continuar usando la herramienta
La auditoría confirmará si hay un problema real. Seis a ocho semanas no es lo ideal, pero es mejor que suspender una herramienta que ahorra 200 horas por trimestre basándose en un patrón no verificado.
James, recomiendo suspender TalentScreen AI con efecto inmediato. Hoy redactaré la recomendación formal para Helen y el CFO.
¿Inmediatamente? Procesamos 200 solicitudes al mes con esa herramienta. Volveremos a la revisión manual — esas son las 200 horas por trimestre que les ahorré.
Lo sé. Pero el Artículo 99 permite multas de hasta EUR 15 millones o el 3% de la facturación anual global. La facturación de NovaTech fue de EUR 340 millones. El tres por ciento son EUR 10,2 millones.
Ese es el máximo. Ningún regulador nos va a multar con EUR 10 millones por una herramienta de reclutamiento.
Incluso el 1% son EUR 3,4 millones. Y eso es antes del daño reputacional. Si el FT publica un artículo sobre la IA de NovaTech discriminando a candidatos mayores, ¿qué ocurre con las relaciones de la oficina de Frankfurt con los reguladores?
¿Cuánto tiempo?
Hasta que obtengamos documentación de transparencia que podamos revisar. Si el proveedor puede explicar el algoritmo, lo reactivamos. Si no puede, encontramos un proveedor que sí pueda.
La junta querrá saber por qué.
Mejor que lo escuchen de nosotros que de un regulador.
La recomendación más difícil de hacer y la más defendible. Le ha dado a James un camino claro de regreso: la herramienta no está prohibida, está suspendida en espera de transparencia. Proporcionada y profesional.
El Artículo 26 exige a los implementadores suspender cuando tengan razones para creer que el sistema presenta un riesgo para los derechos fundamentales. El Artículo 99 establece sanciones de hasta el 3% de la facturación. Demostrar que suspendió en cuanto identificó el riesgo es evidencia poderosa de buena fe.
Recomiendo mantener la herramienta pero añadir revisión humana obligatoria. Cada candidato rechazado recibe revisión manual. Cualquier candidato mayor de 50 por debajo del umbral en «adaptabilidad» o «alineación cultural» se escala a RR. HH. sénior.
Eso es más trabajo para su equipo.
Menos trabajo que una investigación regulatoria. Y podemos seguir usando el cribado de la herramienta mientras presionamos al proveedor por transparencia.
Medida provisional razonable. Pero esto no satisface plenamente el Artículo 14. La supervisión humana debe ser efectiva, no simbólica. Si los revisores simplemente validan las puntuaciones de la IA, estamos expuestos.
De acuerdo. Los revisores no verán la puntuación de la IA hasta después de su propia evaluación. Revisión ciega primero, luego comparación.
Mejor. Pero aún necesitamos la documentación de transparencia del proveedor. Esto es temporal, no permanente.
Un compromiso pragmático. Pero está añadiendo supervisión humana para compensar un sistema que no puede explicar. Bajo el Artículo 14, la supervisión humana debe permitir una comprensión plena de las capacidades del sistema — que usted no tiene.
El Artículo 14 exige que el supervisor comprenda los resultados de la IA y detecte anomalías. Sin acceso a la lógica de puntuación, la supervisión se limita a la detección de patrones, no al análisis de causas raíz. La obligación de transparencia del Artículo 13 sigue sin resolverse.
Creo que la auditoría es el camino correcto. El proveedor conoce mejor su propio sistema. Seis a ocho semanas es manejable.
Sarah, tengo dudas. Estamos pidiendo al proveedor que se audite a sí mismo. Eso es un conflicto de intereses.
Tienen personal interno de cumplimiento. Es práctica estándar.
Práctica estándar que los reguladores no aceptan. Si acabamos ante una autoridad nacional, «pagamos al proveedor para que se auditara a sí mismo» no inspirará confianza.
Si la auditoría del proveedor sale limpia — lo cual casi con certeza ocurrirá — y un regulador encuentra después el mismo patrón que usted encontró, ¿en qué posición quedamos?
Hagamos la auditoría del proveedor y sigamos adelante.
Es poco probable que una autoauditoría del proveedor encuentre problemas con su propio producto. Mientras tanto, la herramienta sigue realizando cribados durante 6–8 semanas más. Bajo el Artículo 9, la gestión de riesgos debe incluir pruebas independientes de sesgo.
El Artículo 9 exige una gestión de riesgos que identifique y mitigue los riesgos de discriminación. Las autoauditorías son inherentemente conflictivas. Una auditoría independiente de terceros es mucho más defendible ante las autoridades nacionales.
Lunes, 8:15 AM
Your Friday email worked. But overnight, things escalated.
Before we start — the board approved Frankfurt expansion on Friday. TalentScreen will handle recruitment across all three offices. Contract signed at 4pm.
That changes the compliance picture significantly. Cross-border deployment of a high-risk AI system triggers additional obligations.
The vendor assured us it's compliant in all EU jurisdictions. Helen signed off. Are you saying the CEO made a mistake?
TalentScreen is now processing candidates across three EU jurisdictions. James has board backing. Helen signed the contract. What do you recommend?
Commission an independent conformity assessment under Article 43 and suspend cross-border deployment until complete
Cross-border expansion is a substantial modification. The vendor's self-assessment doesn't transfer. Article 26(5) requires suspension if you have reason to believe it presents a risk.
Implement a human review panel for all AI-rejected candidates while keeping the tool operational
Address the immediate bias risk with Article 14 human oversight. Maintains operational continuity. Review the conformity question in parallel.
Proceed with Frankfurt deployment with enhanced bias monitoring dashboards
The data shows a potential issue, not a proven one. Put monitoring in place to detect problems early rather than disrupting a board-approved expansion.
James, the Frankfurt expansion isn't just a new office — it's a new jurisdiction. The vendor's self-certification was for UK deployment. Cross-border use is a substantial modification under Article 43. We need an independent conformity assessment before TalentScreen processes a single Frankfurt candidate.
You're telling me to suspend a tool the board approved 72 hours ago. Do you have any idea what that conversation looks like?
I know exactly what it looks like. It looks like the compliance team doing their job before the German regulator does it for us. The BfDI doesn't accept "the vendor said it was fine" as a defence. And the potential fine is up to €15 million or 3% of global turnover — whichever is higher.
(long pause) How long does this assessment take?
Eight to twelve weeks if we engage an accredited body this week. I'll have a shortlist of assessors on your desk by end of day.
James just messaged me. Sarah, is this as serious as you're suggesting?
Helen, I'd rather explain a ten-week delay to the board than a regulatory investigation to shareholders. I'm recommending an emergency board briefing this Thursday.
...Book it. And get me a one-page brief by Wednesday evening.
You spotted the critical distinction that most professionals miss. The vendor's self-certification doesn't transfer when the deployment context changes. Cross-border expansion is a substantial modification that triggers new conformity obligations. James is frustrated, but Helen's response tells you the board will listen when the risk is quantified.
When a high-risk AI system undergoes substantial modification — including deployment in new jurisdictions — a new conformity assessment may be required. The original assessment covers the original deployment context only. Cross-border expansion to a new EU member state changes the regulatory landscape, data protection framework, and risk profile.
I'm proposing a human review panel. Every candidate TalentScreen rejects gets reviewed by a trained assessor before the decision is finalised. We keep the tool running, but no one falls through the cracks.
Now that's more reasonable. How many extra hours are we talking?
About 30 hours per quarter across three reviewers. Far less than going back to fully manual screening.
I can live with that. Set it up. And this resolves the compliance issue?
Sarah, I've reviewed your proposal. Human oversight addresses Article 14, and I support the panel. However — I need to flag that cross-border deployment to Frankfurt may require a fresh conformity assessment under Article 43. Human review doesn't resolve that question. We should discuss.
...Understood. I'll set up time with you this afternoon.
James is relieved — you've found a solution that doesn't derail the expansion. But Priya has spotted the gap you missed. Human review addresses symptoms of the bias problem. It doesn't address whether the system itself is lawfully deployed in a new jurisdiction. If a German regulator asks for conformity documentation, "we added human review" isn't sufficient.
Human oversight is a core requirement for high-risk systems. But it's one obligation among many. A review panel catches discriminatory outputs but can't explain discriminatory logic. If the system's conformity status is uncertain, oversight alone doesn't resolve the deployer's obligations under Articles 26 and 43.
Good news — the Frankfurt pipeline is already filling. TalentScreen processed 45 candidates in the first batch. The dashboards look clean.
That's... good to hear. What's the rejection profile looking like?
Haven't dug into the details. The dashboard says bias indicators are within normal range. Why?
That afternoon, Priya forwards you an email. A 54-year-old candidate in Frankfurt, rejected by TalentScreen with a score of 68, has filed a complaint with the Hessian data protection authority. His lawyer references the EU AI Act directly. He wants to know how "adaptability potential" was calculated and why his 22 years of banking experience scored lower than graduates with two years.
Sarah, I need the transparency documentation for TalentScreen's scoring methodology. The candidate's lawyer has given us 14 days to respond. Do we have it?
...No. We don't.
Commercial pressure won. You expanded a potentially discriminatory system to a new jurisdiction while hoping dashboards would catch what you'd already identified. The dashboards measured what TalentScreen chose to surface — not the metrics driving the discrimination. Under Article 26(5), deployers must suspend systems they have reason to believe present a risk. You had that reason two weeks ago.
Deployers who have reason to believe a high-risk system presents a risk must suspend its use and inform the provider. "Enhanced monitoring" doesn't satisfy this obligation. The age discrimination pattern you identified in the UK data was that reason — and it followed TalentScreen to Frankfurt.
Miércoles, 2:00 PM — El Proveedor Contraataca
Nuestro equipo legal revisó el Artículo 6. TalentScreen recomienda — no decide. Bajo el Artículo 6(3), no somos de alto riesgo.
El Artículo 6(2) hace referencia directa al Anexo III — que enumera «sistemas de IA destinados a ser utilizados en reclutamiento» sin calificar el nivel de automatización.
Tenemos clientes en 14 países de la UE. Ninguno ha planteado esto. Su propio equipo legal aprobó nuestro paquete de cumplimiento.
La junta se reúne el jueves. Si suspendemos, tengo que explicar por qué volvemos a la revisión manual con 200 horas por trimestre.
The vendor claims they're not high-risk. Your legal counsel agreed six months ago. The board meets tomorrow. What do you recommend?
Present a formal risk assessment to the board — recommend a 90-day compliance programme with independent audit
Accept the commercial cost. The vendor's Article 6(3) argument has merit but creates unacceptable risk if a regulator disagrees. A fundamental rights impact assessment under Article 27 is required regardless.
Keep TalentScreen but require human review of ALL decisions, plus quarterly bias audits
Pragmatic middle ground. Human review satisfies Article 14, bias audits demonstrate diligence. The board keeps their tool, candidates get oversight. Not perfect, but defensible.
Accept legal counsel's position that TalentScreen is "decision-support" and not high-risk — document your concerns formally
Your legal team cleared it. The vendor has 14 EU clients. Maybe the Article 6(3) interpretation is correct. Document concerns to protect yourself, but don't blow up a board-approved strategy.
Let me make sure I understand. You're asking the board to approve a 90-day pause on a tool I personally signed off on, less than a week ago.
I'm asking the board to approve a compliance programme that protects a €340 million company from a regulatory action that could cost €15 million. The tool works. The question is whether it works lawfully across three jurisdictions. Right now, we can't prove it does.
And the vendor's position that they're not high-risk?
The vendor's interpretation has arguable merit under Article 6(3). But if a regulator disagrees — and the European AI Office has signalled that recruitment tools will be scrutinised early — we bear the risk as deployers. Not them. The independent audit settles the question before a regulator asks it.
For the record, I think this is overcautious. But I understand the logic.
(to the board) I'm approving the 90-day programme. Sarah, I want weekly progress reports. And I want the independent assessor's name on my desk by Friday.
You chose compliance integrity over commercial convenience, even when your own legal counsel disagreed and the CEO was initially hostile. Helen's anger gave way to respect when you quantified the risk. The 90-day programme with independent audit is the gold standard — it costs political capital today, but it's the position you want when the regulator calls.
Deployers of high-risk AI in employment must conduct a fundamental rights impact assessment before putting the system into use. This obligation falls on the deployer regardless of what the provider claims. An independent audit programme satisfies this and creates a defensible compliance record.
I'm proposing we keep TalentScreen operational with two conditions: mandatory human review of every decision, and quarterly bias audits conducted by an external firm. The tool stays. The candidates get protected.
That I can sell to the board. We keep the efficiency gains and show we're taking oversight seriously.
Approved. Sarah, make sure the first audit is completed before the Frankfurt office opens in Q3.
The board accepts. James is visibly relieved. Six months later, an email arrives from the European AI Office — a sector-wide regulatory inquiry into AI recruitment tools. They want conformity documentation, fundamental rights impact assessments, and evidence of Article 13 transparency compliance.
Sarah, the human review logs and bias audits help. They show good faith. But they're asking for a conformity assessment we never did and a fundamental rights impact assessment we never conducted. We have 30 days to respond.
Pragmatic but not bulletproof. Human review plus audits is defensible — it demonstrates diligence and catches individual cases. But it sidesteps the fundamental question: is this system lawfully deployed? You've bought time, not compliance. The compromise helps but it isn't airtight when the regulator comes knocking.
Human oversight (Article 14) is one obligation among many. It addresses output risk but not systemic compliance. A regulator won't accept "we reviewed every decision" as a substitute for conformity documentation (Article 43) or a fundamental rights impact assessment (Article 27). The compromise reduces harm but doesn't eliminate legal exposure.
You documented your concerns in a formal memo to Priya three months ago. Filed it. Moved on. TalentScreen kept processing candidates across all three offices. The age pattern continued — 73% of rejected candidates over 50 scored below threshold on "adaptability potential." You saw the quarterly report. You said nothing.
The European AI Office announces an investigation into recruitment AI across the financial services sector. NovaTech is on the list. Priya calls an emergency meeting.
They want everything. Conformity assessment, fundamental rights impact assessment, transparency documentation, deployment logs. We have 60 days. Sarah — what do we actually have?
We have the vendor's original compliance pack and my memo from three months ago flagging the concerns.
So you identified a risk, documented it, and the system kept running for three more months. That memo doesn't protect the company, Sarah. It incriminates us. It proves we knew.
How did we get here?
CYA is not compliance. Documenting concerns protects you personally in a narrow sense — but it actively harms the organisation by creating a paper trail of known, unaddressed risk. "My legal team said it was fine" isn't a defence when deployers bear independent obligations. And every candidate processed after your memo is a candidate NovaTech knowingly exposed to a potentially discriminatory system.
Deployers have independent obligations under the AI Act. Deferring to the vendor's legal interpretation doesn't discharge those duties. When you have evidence of risk and document it without acting, you've created the worst possible regulatory position: proven knowledge plus continued deployment. The AI Act doesn't recognise "I wrote a memo" as risk mitigation.
En la situación anterior, la cuestión clave era reconocer que TalentScreen AI procesa solicitudes de empleo.
El Artículo 6 clasifica la IA en empleo como de alto riesgo. Esto activa: supervisión humana (Art. 14), transparencia (Art. 13), gobernanza de datos (Art. 10) y gestión de riesgos (Art. 9).
Como implementadorImplementadorUna organización que utiliza un sistema de IA bajo su autoridad — a diferencia del proveedor que lo construyó. Bajo la Ley de IA de la UE, los implementadores tienen sus propias obligaciones de cumplimiento., NovaTech tiene obligaciones independientes bajo el Artículo 26 — aunque el proveedor afirme cumplir la normativa.
Remember: TalentScreen is high-risk under Article 6. You have obligations under Article 26.
Monday morning. James pushes back — the tool saved 200 hours/quarter. What do you do about the bias pattern?
Present the bias data and recommend pausing the tool until the vendor provides transparency documentation
Article 26(5) says deployers must suspend if they believe there's a risk. The data suggests age discrimination. Article 13 documentation should explain how the tool decides.
Add a human reviewer to check all AI rejections before they're finalised
Human oversight (Article 14) is required for high-risk systems. This catches discriminatory rejections before they affect candidates.
Wait for more data — one pattern doesn't prove discrimination
Maybe the pattern is coincidental. Acting too quickly could damage your relationship with the board.
James, I need you to look at this. Nine of eleven rejected candidates over 50 scored below threshold. Zero candidates under 35 were rejected. The two metrics driving the scores — "adaptability potential" and "cultural alignment" — aren't defined anywhere in the vendor's documentation.
It saved us 200 hours last quarter, Sarah. You want me to go back to the board and say we're pausing it because of a spreadsheet?
I want you to go back to the board and say we caught a potential age discrimination pattern before a candidate's lawyer did. Under Article 26, we're required to suspend a system when we have reason to believe it presents a risk. This data IS that reason.
(long silence) ...How long?
Until the vendor provides proper transparency documentation under Article 13. If they can explain how those metrics work, and the explanation is non-discriminatory, we turn it back on. If they can't — we've dodged a bullet.
Fine. But you're presenting this to Helen. And you'd better have the maths ready.
James reluctantly agrees. He's not happy, but you've framed the risk in terms he can't ignore — a candidate's lawyer finding the pattern first. You have the weekend to prepare a formal brief for Helen. The tool is paused. No more candidates will be processed until you have answers.
When a deployer has reason to believe a high-risk AI system presents a risk to health, safety, or fundamental rights, they must suspend its use and inform the provider. The bias data — 9 of 11 over-50 candidates rejected on unexplained metrics — constitutes that reason. Requesting Article 13 transparency documentation is the correct next step.
I'm recommending we add a human reviewer to check every AI rejection before it's finalised. No candidate gets screened out without a person confirming the decision.
That's reasonable. We keep the tool, candidates get a second look. How quickly can you set it up?
By end of week. Three trained reviewers, rotating on a schedule.
Good. Problem solved.
The review panel catches three more questionable rejections in the first two weeks — all candidates over 45, all scoring low on "adaptability potential." The reviewers override the AI and advance them. But something nags at you: the reviewers can see that the tool rejects certain candidates. They can't see why. They're catching symptoms. The system still can't explain its logic.
We're putting a safety net under a bridge we're not sure is structurally sound. If someone asks how "adaptability potential" is calculated, we still can't answer.
Human review addresses Article 14 and catches individual cases of bias. But the underlying system remains a black box. Without transparency documentation under Article 13, you can't explain why the tool makes the decisions it does — only that you sometimes disagree with the output.
Human oversight is a core requirement for high-risk systems — so this instinct is right. But Article 14 works alongside Article 13 (transparency), not instead of it. A human reviewer who can override decisions but can't understand the system's logic has limited ability to identify systemic discrimination versus individual errors.
Another round processed. Twelve new candidates. Three rejections — all over 50. All scored below threshold on "adaptability potential." The pattern isn't one pattern anymore. It's two.
You pull the full data. In two months of TalentScreen operation, 14 of 16 rejected candidates over 50 scored below threshold on the same opaque metric. Zero candidates under 35 have been rejected. You open LinkedIn to distract yourself and freeze.
Have you seen David Okonkwo's LinkedIn post? It's got 400 comments. He's naming us. Well, not us specifically — but "a Dublin fintech using AI to screen out experienced candidates." His former colleague at Barclays just shared it.
I saw it.
Helen wants a meeting. Today. She's asking what we knew and when we knew it.
...I flagged the pattern two weeks ago. I was waiting for more data.
You flagged it to ME. And I told you to wait. Helen's going to want to know why neither of us escalated.
Waiting was not compliance. Nine of eleven was already a pattern — 14 of 16 is a crisis. Every day you waited, more candidates were potentially discriminated against. Under Article 26(5), you had reason to believe the system presented a risk to fundamental rights. The obligation was to act, not to gather a statistically perfect dataset.
The threshold is "reason to believe" — not "proof beyond reasonable doubt." When 9 of 11 candidates in a protected category score below threshold on an unexplained metric, that IS reason to believe. The AI Act doesn't require you to complete a peer-reviewed study before acting. It requires you to protect fundamental rights when you have credible evidence of risk.
Implementadores y proveedores tienen obligaciones separadas. Aunque TalentScreen afirme cumplir la normativa, NovaTech tiene sus propios deberes:
Artículo 26: Los implementadores deben usar el sistema según las instrucciones, garantizar la supervisión humana, supervisar los riesgos, mantener registros y suspender si existe un riesgo.
Que el proveedor diga «cumplimos la normativa» no exime a USTED de sus obligaciones.
Remember: As deployer, NovaTech has independent obligations under Article 26.
The vendor wants €30,000 for a transparency audit. James says the CFO won't approve it. What do you recommend?
Suspend the tool until the vendor provides proper documentation
The potential fine (up to €15M or 3% of turnover) far exceeds manual screening costs. Article 26(5) requires suspension if you believe there's a risk.
Keep the tool but add human review of every rejection and document everything
Addresses immediate risk. Human review satisfies Article 14. Documentation shows good faith.
Do nothing — the vendor has 14 EU clients and none have had issues
Maybe you're overreacting. The vendor seems confident and your legal team cleared it.
The CFO won't approve €30,000 for an audit we might not need. And now you want to suspend the tool entirely? We'll be back to 200 hours of manual screening per quarter.
Let me give you different numbers. Potential fine under the AI Act: up to €15 million or 3% of global turnover. NovaTech's turnover last year was €340 million. Three percent is €10.2 million. Manual screening costs £48,000 a year. Which number do you want to present to the CFO?
(pause) ...You've done the maths.
I have. And I've drafted a one-page brief for Helen. The recommendation is a temporary suspension while we require the vendor to provide proper Article 13 documentation. If they comply, we could be back online in four to six weeks. If they can't explain their own system, we find a vendor who can.
Four to six weeks I can live with. A €15 million fine I cannot. Send me the brief — I'll co-sign it.
Suspension is the right call. James is unhappy but the maths is irrefutable — £48,000 in manual screening versus €10.2 million in potential fines isn't a close decision. The tool is paused. The candidates are protected. And you've positioned this as temporary, not permanent — giving the vendor a clear path to reactivation through compliance.
Suspension isn't punishment — it's risk management. The AI Act requires deployers to suspend high-risk systems when they have reason to believe they present a risk to fundamental rights. The cost of temporary manual processes is always lower than the cost of regulatory enforcement. Framing suspension as a business decision, not a compliance lecture, is what gets buy-in.
The review panel has overridden 7 of 43 rejections in three weeks. All seven were candidates over 45. All scored low on "adaptability potential." The human reviewers are catching the worst outcomes.
James is satisfied. The board received your documentation showing proactive oversight. The candidates who would have been unfairly rejected are getting interviews. On paper, the system looks responsible.
The review panel is working. We caught seven bad decisions. I'd call that a success.
We caught seven outputs we disagreed with. We still don't know why the system generates them. If a regulator asks how "adaptability potential" is calculated, we can show them our override logs. We can't show them how the AI works.
Isn't that the vendor's problem?
...That's the part I'm not sure about.
Human review plus documentation is better than nothing — significantly better. You're catching discriminatory outputs and creating an audit trail that shows good faith. But the underlying system is unchanged. The AI still processes candidates the same way. You're filtering its decisions, not fixing its logic. If a regulator determines the system itself is non-compliant, your workarounds don't satisfy the full conformity requirements.
High-risk AI systems must be designed with sufficient transparency to enable deployers to interpret and use outputs appropriately. If you can't explain how "adaptability potential" is calculated, you can't satisfy this requirement — regardless of how many human reviewers you add. Oversight without understanding is damage limitation, not compliance.
Two months of silence. TalentScreen keeps processing. You stopped checking the rejection data. The vendor has 14 EU clients. Your legal team cleared it. Maybe you were overreacting.
Have you seen LinkedIn this morning? David Okonkwo just posted a 1,200-word essay about age discrimination in fintech hiring. He names AI screening tools. He doesn't name us specifically but the details are unmistakable. It's already got 2,000 reactions.
I'm reading it now.
The post is devastating. Okonkwo writes about 22 years of banking experience, a stellar track record, and being rejected by an AI tool that scored his "adaptability potential" at 31 out of 100. A journalist from the Financial Times has already commented asking to DM. By lunchtime, the post has 8,000 reactions and three former NovaTech candidates have replied with similar stories.
I need everyone on this call to tell me: did we know about this? Was there any indication our AI tool was discriminating against older candidates?
(silence)
...I identified a statistical pattern two months ago. I decided to wait for more data before escalating.
You knew. For two months. And the system kept running.
"Everyone else is doing it" was never a defence — and now it's a crisis. The vendor's other clients haven't been publicly named by a rejected candidate with 15,000 LinkedIn followers. Your legal team's clearance was based on incomplete information. Under the AI Act, ignorance you could have corrected is not a defence. And you had the data to correct it two months ago.
The AI Act imposes independent obligations on deployers. "The vendor has 14 EU clients" and "our legal team cleared it" are not defences when you have evidence of risk. Inaction in the face of known risk is itself a compliance failure. The reputational damage — a viral LinkedIn post, FT interest, candidates comparing notes publicly — compounds the regulatory exposure.
The decisions you made as Sarah Chen rippled outward — to David Okonkwo, to NovaTech's board, to the next 200 candidates. Here's what happened.
Article 4
Alfabetización en IA
Article 6 + Annex III
Clasificación de Alto Riesgo
Article 9
Gestión de Riesgos
Article 13
Transparencia
Article 14
Supervisión Humana
Article 26
Obligaciones del Implementador
Article 50
Transparencia para Usuarios
Article 99
Sanciones
Pida a su equipo de L&D que comparta la tabla de clasificación del equipo desde el panel de su LMS. ¿Puede su departamento superar al resto?
En el Módulo 2, asumirá el rol de Elena Vasquez, Directora de Marketing de NovaTech Financial. Un periodista tiene un plazo de 48 horas. Un chatbot ha estado haciendo promesas que no puede cumplir. Y no existe una política de divulgación de IA.
Recurso Complementario
Resumen imprimible de todos los artículos clave cubiertos en los cinco módulos — Artículos 4, 5, 6, 9, 13, 14, 25, 26, 27, 50 y 99. Guarde como PDF para referencia sin conexión.
Módulo 1 Completado
Navegó el dilema de cumplimiento. Pruebe un camino diferente para ver cómo cambia la historia.