Módulo 1
Dublín — Sede de NovaTech Financial — Viernes, 4:30pm
Socia de Recursos Humanos en NovaTech Financial — una fintech mediana con 600 empleados en Londres, Fráncfort y Dublín.
La mayoría de la oficina ya se fue por el fin de semana. Estás a punto de cerrar tu laptop cuando llega un nuevo correo — una consulta cortés de un candidato rechazado.
Este es un escenario interactivo. Enfrentarás decisiones reales que encuentran los profesionales de cumplimiento de IA — y tus decisiones determinan cómo se desarrolla la historia.
Consejo: Busca el texto resaltado a lo largo del escenario. Son referencias legales en las que puedes hacer clic para obtener más contexto sobre los artículos relevantes del Reglamento de IA.
§ Referencias a artículos: haga clic para leer el artículo correspondiente de la Ley de IA
Términos clave: pase el cursor para ver una definición rápida
De: David Okonkwo <d.okonkwo@outlook.com>
Para: Sarah Chen <sarah.chen@novatech-financial.com>
Asunto: Solicitud para Analista Sénior de Riesgos — Solicitud de Retroalimentación
Estimada Sra. Chen,
Espero que se encuentre bien. Recientemente postulé para el puesto de Analista Sénior de Riesgos (Ref: NVT-2026-0847) y recibí la notificación de que mi solicitud no avanzó a la etapa de entrevista.
Tengo 30 años de experiencia en gestión de riesgos, incluidos 8 años específicamente en cumplimiento regulatorio fintech. Poseo un MSc en Gestión de Riesgos Financieros de la London School of Economics y soy titular certificado de FRM.
Entiendo que la competencia por los puestos es fuerte, y no sugiero que necesariamente sea el mejor candidato. Sin embargo, dado mi perfil, agradecería genuinamente entender en qué áreas mi perfil no cumplió con sus requisitos. Cualquier retroalimentación sería valiosa para mi búsqueda de empleo.
Gracias por su tiempo y consideración.
Cordialmente,
David Okonkwo
Algo del correo electrónico le inquieta. El CV de David es sólido — genuinamente sólido. 30 años en gestión de riesgos, 8 en cumplimiento regulatorio fintech, formado en la LSE, certificado como FRM. Para un puesto de Analista Sénior de Riesgos, podría decirse que está sobrecualificado.
Abre TalentScreen AI y busca su solicitud. La herramienta le asignó una puntuación de 72 sobre 100 — por debajo del umbral de 80 puntos que su equipo estableció para las invitaciones a entrevista. Pero la plataforma no muestra por qué. Ninguna explicación de la puntuación. Solo un número.
Con curiosidad, exporta los datos de rechazo de los últimos 3 meses y los ordena por edad. Siente un nudo en el estómago.
De los 11 candidatos rechazados en la ronda de contratación más reciente, 9 candidatos mayores de 50 años obtuvieron puntuaciones por debajo del umbral. Los factores comunes que arrastraron sus puntuaciones hacia abajo: «potencial de adaptabilidad» y «alineación cultural» — métricas que nunca ha visto definidas en ninguna parte. Mientras tanto, ningún candidato menor de 35 años fue rechazado. Ni uno.
| Candidato | Edad | Puntuación | Motivo principal de rechazo |
|---|---|---|---|
| D. Okonkwo | 58 | 72 | Potencial de adaptabilidad (bajo) |
| M. Petrov | 54 | 69 | Alineación cultural (insuficiente) |
| H. Nakamura | 61 | 71 | Potencial de adaptabilidad (bajo) |
| A. Balogun | 56 | 68 | Alineación cultural (insuficiente) |
| C. Fitzgerald | 52 | 74 | Potencial de adaptabilidad (bajo) |
| R. Kowalski | 59 | 70 | Alineación cultural (insuficiente) |
| T. Mensah | 63 | 66 | Potencial de adaptabilidad (bajo) |
| S. Hoffmann | 51 | 73 | Alineación cultural (insuficiente) |
| P. Chandra | 55 | 71 | Potencial de adaptabilidad (bajo) |
| L. Müller | 29 | 68 | Avanzó (umbral dispensado — contratación por volumen) |
| J. Park | 31 | 79 | — |
La exportación confirma lo que sospechaba. Cada candidato rechazado mayor de 50 años perdió puntos en las mismas dos métricas sin definir. Según la Ley de IA de la UE, esto no es solo una cuestión de equidad — es un fallo de transparencia del Artículo 13 y un posible problema de clasificación de alto riesgo del Anexo III. El sistema toma decisiones de empleo que no puede explicar.
Son poco más de las 5 de la tarde. La oficina está casi vacía. Las entrevistas para los 12 candidatos preseleccionados están programadas para el lunes por la mañana. Tiene una hoja de cálculo que muestra un patrón que podría ser coincidencia o podría ser discriminación por edad sistemática.
Enviar un correo a James Hartley para pausar las entrevistas del lunes hasta investigar
El patrón es lo suficientemente preocupante como para justificar una pausa. Si la herramienta está discriminando, cada entrevista basada en su lista está contaminada. James coordinó 12 agendas de candidatos — se va a enfurecer. Y puede que usted esté equivocada.
Añadir a David a la lista manualmente y dejar que las entrevistas continúen
David claramente merece una entrevista. Puede resolver este caso ahora, e investigar el patrón más amplio la próxima semana. El sistema volverá a hacer esto en la siguiente contratación, pero al menos David tiene una oportunidad justa el lunes.
Irse a casa — necesita más datos antes de hacer acusaciones
9 de 11 es un patrón, pero es una muestra pequeña. Si da la alarma y está equivocada, habrá socavado una herramienta que el Vicepresidente defendió y dañado su credibilidad sin razón. David ya fue rechazado — un fin de semana no cambiará eso.
De: Sarah Chen <sarah.chen@novatech-financial.com>
Para: James Hartley <james.hartley@novatech-financial.com>
Asunto: Urgente: Entrevistas del Lunes — Revisión de Datos Necesaria
James,
He detectado una anomalía en los datos de rechazo de TalentScreen AI que considero que merece una revisión antes de proceder con las entrevistas del lunes. Preferiría comentar los detalles en persona en lugar de por correo.
Sé que aviso con muy poca antelación y entiendo las implicaciones para la agenda. No lo plantearía si no creyera que es importante, tanto para los candidatos como para nuestra posición de cumplimiento.
¿Podríamos reunirnos a primera hora del lunes, a las 8:00, antes de la primera entrevista?
Sarah
Sarah, he pasado dos semanas coordinando estas entrevistas. El panel de selección ha bloqueado todo su lunes. Tres candidatos viajan desde otras ciudades. ¿Me está pidiendo que arruine la agenda por una «anomalía en los datos»? Más le vale que sea importante.
Lo es. No se lo pediría si no fuera así. El lunes a las 8 — tendré los datos listos.
Bien. Pero no voy a cancelar las entrevistas. Nos reunimos a las 8, y más vale que sigan adelante a las 9.
James está frustrado pero no se ha negado. Se ha ganado el fin de semana para prepararse y el lunes por la mañana para presentarlo. Según el Artículo 26 de la Ley de IA de la UE, los implementadores deben monitorizar los riesgos para los derechos fundamentales.
El Artículo 6 clasifica la IA de contratación como alto riesgo en el Anexo III. El Artículo 26 exige a los implementadores que monitoricen los resultados y tomen medidas cuando identifiquen riesgos.
Inicia sesión en TalentScreen AI y añade manualmente a David Okonkwo a la lista de preseleccionados para la entrevista. El sistema señala la anulación con una advertencia en ámbar: «Puntuación del candidato (72) por debajo del umbral (80). Anulación manual registrada».
Sarah, ¿añadió usted manualmente a un candidato a la lista? David Okonkwo — ¿puntuación 72? Eso está por debajo del umbral. ¿Qué pasó?
Su CV es excepcionalmente sólido para este puesto. Sentí que la puntuación no reflejaba sus cualificaciones.
De acuerdo, pero si vamos a anular la IA, ¿para qué usarla? A James no le va a gustar esto.
Es un candidato, Priya. Solo asegurémonos de que tenga una entrevista justa.
Bien. Pero si alguien pregunta por qué estamos seleccionando candidatos al margen de las recomendaciones de la IA, eso es responsabilidad suya.
David tendrá una entrevista, pero ha parcheado un síntoma sin investigar la enfermedad. Los otros 9 candidatos rechazados mayores de 50 no recibirán una anulación manual. Según el Artículo 14, la supervisión humana debe ser efectiva — sistemática, no ad hoc.
El Artículo 14 exige una supervisión humana efectiva, incluida la capacidad de anular decisiones. Pero una sola anulación manual no es supervisión — es una excepción. La supervisión efectiva implica un proceso repetible.
David Okonkwo
Profesional de Gestión de Riesgos
Rechazado de nuevo. 30 años en gestión de riesgos. 8 años en cumplimiento regulatorio fintech. MSc de la LSE. Certificado FRM. Ni siquiera conseguí una entrevista.
No voy a mencionar la empresa — no va de ellos en concreto. Pero empiezo a preguntarme si las herramientas de «reclutamiento impulsado por IA» que las empresas están adoptando están filtrando la experiencia en lugar de filtrar a favor de ella.
¿Alguien más mayor de 50 está viviendo esto? Me gustaría genuinamente saberlo.
1.247 me gusta
La misma experiencia aquí. Tres rechazos seguidos de empresas que usan cribado automatizado. 28 años en servicios financieros. Ni una entrevista.
893 me gusta
Trabajo en tecnología de RRHH. Algunas de estas herramientas usan indicadores de «ajuste cultural» y «adaptabilidad» que penalizan efectivamente la estabilidad profesional y la edad. Es un problema conocido.
2.341 me gusta
Soy periodista del Financial Times y estoy trabajando en un artículo sobre el sesgo de la IA en la contratación. David, ¿estaría dispuesto a hablar conmigo? DM abierto.
Cierra el portátil y se va a casa. Excepto que David no pasa el fin de semana esperando. Para el lunes por la mañana, la publicación tiene 4.200 reacciones y 380 comentarios. Alguien ha identificado a NovaTech Financial.
James Hartley ve la publicación antes que usted. Está en su escritorio el lunes a las 7:30.
El Artículo 26 exige a los implementadores que actúen sobre los riesgos identificados. Usted identificó un patrón potencial y eligió no actuar. Según el Artículo 4 (Alfabetización en IA), en vigor desde febrero de 2025, las organizaciones deben garantizar que el personal pueda reconocer y responder a los riesgos de la IA.
Independientemente de lo que hiciera el viernes, la situación ha convergido. James Hartley está en su escritorio. Ha oído — a través de Priya, de LinkedIn o de su correo electrónico — que usted ha estado «cuestionando la herramienta de IA».
Su expresión es difícil de leer. No es hostil exactamente, pero está en guardia. Cierra la puerta de su oficina y se sienta.
James fue el patrocinador ejecutivo que trajo TalentScreen AI a NovaTech. Presentó el caso de negocio al consejo de administración. Informó personalmente de la reducción del 40% en el tiempo de contratación. La herramienta es, en muchos sentidos, su proyecto.
Sarah, voy a ser directo. La herramienta funciona. Nuestro tiempo de contratación ha bajado un 40%. El consejo lo citó en el informe de eficiencia del último trimestre. Al director financiero le encanta. ¿De verdad va a echar todo esto por tierra porque un candidato se quejó?
No se trata de un candidato, James. Analicé los datos de rechazo. Nueve de once candidatos rechazados mayores de cincuenta años obtuvieron puntuaciones por debajo del umbral. Ningún candidato menor de treinta y cinco fue rechazado.
También rechazamos a personas menores de 35 — para otros puestos, otras rondas. Y mire a David específicamente: lleva 12 años en la misma empresa. Quizás la herramienta marcó baja adaptabilidad basándose en la trayectoria profesional, no en la edad.
No digo que lo ignore. Digo — ¿está segura de que no está viendo un patrón que no existe? Porque si plantea esto y está equivocada, acaba de decirle al consejo que su iniciativa estrella de eficiencia es discriminatoria. Eso no se puede deshacer.
Presentar los datos directamente — esto es discriminación por edad, tanto si la IA lo pretendía como si no
El patrón es claro. 9 de 11 candidatos mayores de 50 rechazados con métricas sin definir. Según el Artículo 26, está obligada a monitorizar los resultados discriminatorios. Como implementadores, NovaTech es responsable de las decisiones de la herramienta, no el proveedor.
Estar de acuerdo con James públicamente pero notificar discretamente el asunto a Legal
James tiene razón en algo — puede que esté equivocada. Pero el riesgo es demasiado alto para ignorarlo por completo. Que Legal investigue discretamente mientras las entrevistas continúan.
Aceptar la explicación de James — la trayectoria profesional, no la edad, explica el patrón
Puede que tenga razón. La «adaptabilidad» podría legítimamente correlacionarse con la trayectoria profesional, no con la edad. No tiene suficientes datos para estar segura. Concéntrese en conseguir que David tenga una entrevista y siga adelante.
James, entiendo lo que dice sobre la trayectoria profesional. Pero permítame mostrarle algo. Aquí están los datos de rechazo. He resaltado la edad, la puntuación y las dos métricas que generaron las bajas puntuaciones: «potencial de adaptabilidad» y «alineación cultural». Estas métricas no están definidas en ningún lugar de la documentación de la plataforma. Lo he verificado.
¿Y qué?
Que estamos usando un sistema de IA de alto riesgo — la IA de reclutamiento está explícitamente clasificada como de alto riesgo bajo el Artículo 6 — y no podemos explicar cómo toma decisiones. Si David Okonkwo presenta una queja, no tenemos documentación de transparencia que mostrarles.
El proveedor nos aseguró que la herramienta cumplía con la normativa.
El cumplimiento del proveedor es problema suyo. Nuestro cumplimiento — como implementadores — es nuestro. El Artículo 26 es claro: debemos supervisar los riesgos para los derechos fundamentales. La pregunta no es si tengo razón o no sobre la causa. La pregunta es qué hacemos ahora que el patrón existe.
¿Qué propone?
Quiero involucrar a Legal. Hoy. Y solicitar la documentación de transparencia del proveedor sobre cómo se calculan esas métricas. Si pueden explicarlo, perfecto. Si no pueden, tenemos una conversación más importante.
Bien. Pero quiero estar presente cuando Legal revise esto. Y quiero que conste que estoy cooperando, no siendo investigado.
Por supuesto. No se trata de culpar a nadie, James. Se trata de anticiparnos a un problema antes de que nos supere.
James pasa de «está equivocada» a «qué hacemos». Ha enmarcado esto como cumplimiento, no como acusación. Ese era el resultado que necesitaba.
La Ley de IA de la UE distingue entre proveedores (que construyen) e implementadores (que usan). Bajo el Artículo 26, los implementadores deben supervisar los resultados y notificar incidentes. El Artículo 13 exige que el sistema sea suficientemente transparente para que los implementadores puedan comprenderlo.
De: Sarah Chen <sarah.chen@novatech-financial.com>
Para: Helen Park <helen.park@novatech-financial.com>
Asunto: Confidencial: Posible Problema de Cumplimiento de la Ley de IA — TalentScreen AI
Helen,
He identificado un patrón estadístico en los datos de rechazo de nuestra herramienta de reclutamiento con IA que podría indicar discriminación por edad. 9 de 11 candidatos rechazados mayores de 50 años en la última ronda obtuvieron puntuaciones por debajo del umbral en métricas para las que no encuentro documentación («potencial de adaptabilidad» y «alineación cultural»).
He planteado esto de manera informal con James Hartley, quien cree que el patrón tiene una explicación no discriminatoria. Puede que tenga razón. Pero dado que la IA de reclutamiento está clasificada como de alto riesgo bajo el Artículo 6, creo que Legal debería revisar los datos de forma independiente.
Con gusto hablo en cuanto le sea posible.
Sarah
Tiene un punto válido, James. La explicación de la trayectoria profesional podría explicar parte del patrón. Voy a analizar los datos con más detalle antes de hacer algo formal.
Bien. No creemos una crisis a partir de una coincidencia. Las entrevistas son a las 10 — ¿está todo en orden?
Todo en orden.
Helen responde en menos de una hora. Se ha protegido con un rastro documental. Pero las entrevistas continúan con una lista potencialmente viciada, y James cree que el asunto está cerrado.
Bajo el Artículo 26, los implementadores deben tomar medidas cuando identifican riesgos — no solo informar internamente mientras el sistema sigue operando. Permitir que continúe puede considerarse como tolerar el riesgo de forma consciente.
Probablemente tenga razón. La trayectoria profesional es una señal legítima. Me aseguraré de que David tenga una entrevista y estaremos atentos a las métricas en adelante.
Eso es sensato. Mire, valoro que sea minuciosa — por eso es buena en su trabajo. Pero a veces un patrón es solo una coincidencia.
Las entrevistas continúan. David no está entre los candidatos. Tres semanas después, Helen Park le reenvía un artículo del FT: «Las herramientas de reclutamiento con IA bajo escrutinio al comenzar la aplicación de la Ley de IA de la UE». Su nota: «Sarah — ¿estamos expuestos aquí?»
Ahora debe explicar que identificó un patrón hace tres semanas y aceptó la explicación de James sin investigación independiente. La intención no importa — el marco de igualdad de la UE se centra en los resultados discriminatorios, no en el propósito.
Los sistemas de IA pueden discriminar mediante variables proxy. «Estabilidad laboral» correlaciona con la edad. Bajo el Artículo 9, proveedores e implementadores deben identificar y mitigar estos riesgos. El hecho de que la herramienta no use explícitamente «edad» es irrelevante si el resultado es discriminatorio.
Legal ya está involucrado. Helen Park ha contactado al proveedor de TalentScreen AI. Se ha programado una videoconferencia con Marcus Webb, el Director de Producto del proveedor.
Marcus, necesitamos entender cómo se calculan «potencial de adaptabilidad» y «alineación cultural». ¿Qué datos generan esas puntuaciones?
Forman parte de nuestro Motor de Compatibilidad de Talento propietario. La ponderación específica y las interacciones de características son comercialmente sensibles.
Bajo el Artículo 13 de la Ley de IA, los sistemas de IA de alto riesgo deben proporcionar suficiente transparencia para que los implementadores comprendan los resultados. Nosotros somos los implementadores.
Proporcionamos un documento resumen de cumplimiento. Puedo enviarlo.
Ya lo hemos leído. «Las puntuaciones se generan mediante un modelo multifactorial que incorpora indicadores de competencia relevantes para el puesto.» Eso no nos dice cómo se calcula «alineación cultural».
Lo que puedo ofrecer es nuestro Paquete de Auditoría de Cumplimiento de IA — una revisión exhaustiva por nuestro equipo interno de cumplimiento. 6–8 semanas, EUR 30.000.
¿Seis a ocho semanas?
No pueden o no quieren explicar cómo su propia herramienta toma decisiones. Eso es un problema del Artículo 13 — de ellos y nuestro.
El proveedor confirmó lo que sospechaba: una caja negra. «Propietario» no es una defensa bajo la Ley de IA de la UE. El Artículo 13 exige transparencia. El proveedor ofrece autoauditarse por EUR 30.000 — un claro conflicto de intereses.
Sarah, hemos invertido 200.000 EUR en esta plataforma. El proveedor quiere 30.000 EUR más. Tengo tres puestos abiertos que no podemos cubrir con la suficiente rapidez. El director financiero preguntará por qué ha vuelto a subir el tiempo de contratación. ¿Qué está recomendando exactamente?
Suspender la herramienta de inmediato hasta que el proveedor proporcione la documentación de transparencia del Artículo 13
Si no puede explicar cómo toma decisiones, no puede garantizar que esas decisiones sean lícitas. Asuma el coste político. NovaTech deja de discriminar potencialmente hoy, no en 6–8 semanas.
Continuar con la herramienta pero añadir revisión humana obligatoria de cada rechazo de la IA
Añada un punto de control humano: cada candidato por debajo del umbral recibe revisión manual. Señale para revisión de RR. HH. sénior a cualquier candidato mayor de 50 que falle en «adaptabilidad» o «alineación cultural».
Contratar la auditoría de cumplimiento de EUR 30.000 del proveedor y continuar usando la herramienta
La auditoría confirmará si hay un problema real. Seis a ocho semanas no es lo ideal, pero es mejor que suspender una herramienta que ahorra 200 horas por trimestre basándose en un patrón no verificado.
James, recomiendo suspender TalentScreen AI con efecto inmediato. Hoy redactaré la recomendación formal para Helen y el CFO.
¿Inmediatamente? Procesamos 200 solicitudes al mes con esa herramienta. Volveremos a la revisión manual — esas son las 200 horas por trimestre que les ahorré.
Lo sé. Pero el Artículo 99 permite multas de hasta EUR 15 millones o el 3% de la facturación anual global. La facturación de NovaTech fue de EUR 340 millones. El tres por ciento son EUR 10,2 millones.
Ese es el máximo. Ningún regulador nos va a multar con EUR 10 millones por una herramienta de reclutamiento.
Incluso el 1% son EUR 3,4 millones. Y eso es antes del daño reputacional. Si el FT publica un artículo sobre la IA de NovaTech discriminando a candidatos mayores, ¿qué ocurre con las relaciones de la oficina de Frankfurt con los reguladores?
¿Cuánto tiempo?
Hasta que obtengamos documentación de transparencia que podamos revisar. Si el proveedor puede explicar el algoritmo, lo reactivamos. Si no puede, encontramos un proveedor que sí pueda.
La junta querrá saber por qué.
Mejor que lo escuchen de nosotros que de un regulador.
La recomendación más difícil de hacer y la más defendible. Le ha dado a James un camino claro de regreso: la herramienta no está prohibida, está suspendida en espera de transparencia. Proporcionada y profesional.
El Artículo 26 exige a los implementadores suspender cuando tengan razones para creer que el sistema presenta un riesgo para los derechos fundamentales. El Artículo 99 establece sanciones de hasta el 3% de la facturación. Demostrar que suspendió en cuanto identificó el riesgo es evidencia poderosa de buena fe.
Recomiendo mantener la herramienta pero añadir revisión humana obligatoria. Cada candidato rechazado recibe revisión manual. Cualquier candidato mayor de 50 por debajo del umbral en «adaptabilidad» o «alineación cultural» se escala a RR. HH. sénior.
Eso es más trabajo para su equipo.
Menos trabajo que una investigación regulatoria. Y podemos seguir usando el cribado de la herramienta mientras presionamos al proveedor por transparencia.
Medida provisional razonable. Pero esto no satisface plenamente el Artículo 14. La supervisión humana debe ser efectiva, no simbólica. Si los revisores simplemente validan las puntuaciones de la IA, estamos expuestos.
De acuerdo. Los revisores no verán la puntuación de la IA hasta después de su propia evaluación. Revisión ciega primero, luego comparación.
Mejor. Pero aún necesitamos la documentación de transparencia del proveedor. Esto es temporal, no permanente.
Un compromiso pragmático. Pero está añadiendo supervisión humana para compensar un sistema que no puede explicar. Bajo el Artículo 14, la supervisión humana debe permitir una comprensión plena de las capacidades del sistema — que usted no tiene.
El Artículo 14 exige que el supervisor comprenda los resultados de la IA y detecte anomalías. Sin acceso a la lógica de puntuación, la supervisión se limita a la detección de patrones, no al análisis de causas raíz. La obligación de transparencia del Artículo 13 sigue sin resolverse.
Creo que la auditoría es el camino correcto. El proveedor conoce mejor su propio sistema. Seis a ocho semanas es manejable.
Sarah, tengo dudas. Estamos pidiendo al proveedor que se audite a sí mismo. Eso es un conflicto de intereses.
Tienen personal interno de cumplimiento. Es práctica estándar.
Práctica estándar que los reguladores no aceptan. Si acabamos ante una autoridad nacional, «pagamos al proveedor para que se auditara a sí mismo» no inspirará confianza.
Si la auditoría del proveedor sale limpia — lo cual casi con certeza ocurrirá — y un regulador encuentra después el mismo patrón que usted encontró, ¿en qué posición quedamos?
Hagamos la auditoría del proveedor y sigamos adelante.
Es poco probable que una autoauditoría del proveedor encuentre problemas con su propio producto. Mientras tanto, la herramienta sigue realizando cribados durante 6–8 semanas más. Bajo el Artículo 9, la gestión de riesgos debe incluir pruebas independientes de sesgo.
El Artículo 9 exige una gestión de riesgos que identifique y mitigue los riesgos de discriminación. Las autoauditorías son inherentemente conflictivas. Una auditoría independiente de terceros es mucho más defendible ante las autoridades nacionales.
Lunes, 8:15 AM
Su correo del viernes funcionó. Pero, de la noche a la mañana, la situación se agravó.
Antes de empezar: el consejo aprobó la expansión a Frankfurt el viernes. TalentScreen gestionará la contratación en las tres oficinas. El contrato se firmó a las 4 de la tarde.
Eso cambia el panorama de cumplimiento de forma significativa. La implementación transfronteriza de un sistema de IA de alto riesgo conlleva obligaciones adicionales.
El proveedor nos aseguró que cumple en todas las jurisdicciones de la UE. Helen dio el visto bueno. ¿Está diciendo que la directora ejecutiva cometió un error?
TalentScreen ahora procesa candidatos en tres jurisdicciones de la UE. James cuenta con el respaldo del consejo. Helen firmó el contrato. ¿Qué recomienda?
Encargar una evaluación de conformidad independiente conforme al Artículo 43 y suspender la implementación transfronteriza hasta que se complete
La expansión transfronteriza es una modificación sustancial. La autoevaluación del proveedor no se transfiere. El Artículo 26(5) exige la suspensión si tiene motivos para creer que presenta un riesgo.
Implementar un panel de revisión humana para todos los candidatos rechazados por la IA, manteniendo la herramienta operativa
Aborda el riesgo de sesgo inmediato con la supervisión humana del Artículo 14. Mantiene la continuidad operativa. Revisa la cuestión de la conformidad en paralelo.
Proceder con la implementación en Frankfurt con paneles de monitorización de sesgo reforzados
Los datos muestran un posible problema, no uno demostrado. Establezca una monitorización para detectar problemas a tiempo en lugar de frenar una expansión aprobada por el consejo.
James, la expansión a Frankfurt no es solo una nueva oficina: es una nueva jurisdicción. La autocertificación del proveedor era para la implementación en el Reino Unido. El uso transfronterizo es una modificación sustancial conforme al Artículo 43. Necesitamos una evaluación de conformidad independiente antes de que TalentScreen procese a un solo candidato de Frankfurt.
Me está diciendo que suspenda una herramienta que el consejo aprobó hace 72 horas. ¿Tiene idea de cómo es esa conversación?
Sé exactamente cómo es. Es el equipo de cumplimiento haciendo su trabajo antes de que el regulador alemán lo haga por nosotros. El BfDI no acepta «el proveedor dijo que estaba bien» como defensa. Y la multa potencial es de hasta 15 millones de euros o el 3 % de la facturación global, lo que sea mayor.
(pausa larga) ¿Cuánto tiempo lleva esta evaluación?
De ocho a doce semanas si contratamos a un organismo acreditado esta semana. Tendré una lista de evaluadores en su mesa antes de que acabe el día.
James acaba de escribirme. Sarah, ¿es esto tan grave como sugiere?
Helen, prefiero explicarle al consejo un retraso de diez semanas que explicarles a los accionistas una investigación regulatoria. Recomiendo una sesión informativa de urgencia del consejo este jueves.
...Convóquela. Y tráigame un informe de una página para el miércoles por la noche.
Detectó la distinción crítica que la mayoría de los profesionales pasa por alto. La autocertificación del proveedor no se transfiere cuando cambia el contexto de implementación. La expansión transfronteriza es una modificación sustancial que activa nuevas obligaciones de conformidad. James está frustrado, pero la respuesta de Helen le indica que el consejo escuchará cuando el riesgo esté cuantificado.
Cuando un sistema de IA de alto riesgo sufre una modificación sustancial, incluida su implementación en nuevas jurisdicciones, puede requerirse una nueva evaluación de conformidad. La evaluación original solo cubre el contexto de implementación original. La expansión transfronteriza a un nuevo Estado miembro de la UE cambia el marco regulatorio, el marco de protección de datos y el perfil de riesgo.
Propongo un panel de revisión humana. Cada candidato que TalentScreen rechace será revisado por un evaluador formado antes de que la decisión sea definitiva. Mantenemos la herramienta en marcha, pero nadie se queda fuera por error.
Eso ya es más razonable. ¿De cuántas horas extra estamos hablando?
Unas 30 horas por trimestre repartidas entre tres revisores. Mucho menos que volver a un cribado totalmente manual.
Con eso puedo vivir. Póngalo en marcha. ¿Y esto resuelve el problema de cumplimiento?
Sarah, he revisado su propuesta. La supervisión humana aborda el Artículo 14 y apoyo el panel. Sin embargo, debo señalar que la implementación transfronteriza a Frankfurt podría requerir una nueva evaluación de conformidad conforme al Artículo 43. La revisión humana no resuelve esa cuestión. Deberíamos hablarlo.
...Entendido. Concertaré un rato con usted esta tarde.
James está aliviado: ha encontrado una solución que no descarrila la expansión. Pero Priya ha detectado la brecha que usted pasó por alto. La revisión humana aborda los síntomas del problema de sesgo. No aborda si el sistema en sí está implementado de forma lícita en una nueva jurisdicción. Si un regulador alemán solicita la documentación de conformidad, «añadimos revisión humana» no es suficiente.
La supervisión humana es un requisito fundamental para los sistemas de alto riesgo. Pero es una obligación entre muchas. Un panel de revisión detecta resultados discriminatorios, pero no puede explicar la lógica discriminatoria. Si el estado de conformidad del sistema es incierto, la supervisión por sí sola no resuelve las obligaciones del implementador conforme a los Artículos 26 y 43.
Buenas noticias: el flujo de Frankfurt ya se está llenando. TalentScreen procesó 45 candidatos en el primer lote. Los paneles se ven limpios.
Eso... me alegra oírlo. ¿Cómo se ve el perfil de rechazos?
No he profundizado en los detalles. El panel dice que los indicadores de sesgo están dentro del rango normal. ¿Por qué?
Esa tarde, Priya le reenvía un correo. Un candidato de 54 años en Frankfurt, rechazado por TalentScreen con una puntuación de 68, ha presentado una queja ante la autoridad de protección de datos de Hesse. Su abogado hace referencia directa a la Ley de IA de la UE. Quiere saber cómo se calculó el «potencial de adaptabilidad» y por qué sus 22 años de experiencia en banca puntuaron por debajo de graduados con dos años.
Sarah, necesito la documentación de transparencia de la metodología de puntuación de TalentScreen. El abogado del candidato nos ha dado 14 días para responder. ¿La tenemos?
...No. No la tenemos.
La presión comercial ganó. Expandió un sistema potencialmente discriminatorio a una nueva jurisdicción con la esperanza de que los paneles de control detectaran lo que usted ya había identificado. Los paneles midieron lo que TalentScreen decidió mostrar, no las métricas que impulsaban la discriminación. Conforme al Artículo 26(5), los implementadores deben suspender los sistemas que tengan motivos para creer que presentan un riesgo. Usted tenía ese motivo hace dos semanas.
Los implementadores que tengan motivos para creer que un sistema de alto riesgo presenta un riesgo deben suspender su uso e informar al proveedor. La «monitorización reforzada» no satisface esta obligación. El patrón de discriminación por edad que usted identificó en los datos del Reino Unido era ese motivo, y siguió a TalentScreen hasta Frankfurt.
Miércoles, 2:00 PM — El Proveedor Contraataca
Nuestro equipo legal revisó el Artículo 6. TalentScreen recomienda — no decide. Bajo el Artículo 6(3), no somos de alto riesgo.
El Artículo 6(2) hace referencia directa al Anexo III — que enumera «sistemas de IA destinados a ser utilizados en reclutamiento» sin calificar el nivel de automatización.
Tenemos clientes en 14 países de la UE. Ninguno ha planteado esto. Su propio equipo legal aprobó nuestro paquete de cumplimiento.
La junta se reúne el jueves. Si suspendemos, tengo que explicar por qué volvemos a la revisión manual con 200 horas por trimestre.
El proveedor afirma que no son de alto riesgo. Su asesoría jurídica lo aceptó hace seis meses. El consejo se reúne mañana. ¿Qué recomienda?
Presentar una evaluación de riesgos formal al consejo: recomendar un programa de cumplimiento de 90 días con auditoría independiente
Asume el coste comercial. El argumento del proveedor sobre el Artículo 6(3) tiene fundamento, pero genera un riesgo inaceptable si un regulador no está de acuerdo. En cualquier caso, se requiere una evaluación de impacto sobre los derechos fundamentales conforme al Artículo 27.
Mantener TalentScreen pero exigir revisión humana de TODAS las decisiones, además de auditorías de sesgo trimestrales
Un término medio pragmático. La revisión humana satisface el Artículo 14, las auditorías de sesgo demuestran diligencia. El consejo conserva su herramienta, los candidatos obtienen supervisión. No es perfecto, pero es defendible.
Aceptar la postura de la asesoría jurídica de que TalentScreen es de «apoyo a la decisión» y no de alto riesgo: documentar sus inquietudes formalmente
Su equipo jurídico lo aprobó. El proveedor tiene 14 clientes en la UE. Quizá la interpretación del Artículo 6(3) sea correcta. Documente sus inquietudes para protegerse, pero no haga saltar por los aires una estrategia aprobada por el consejo.
Déjeme asegurarme de que lo entiendo. Está pidiendo al consejo que apruebe una pausa de 90 días sobre una herramienta que yo misma autoricé hace menos de una semana.
Estoy pidiendo al consejo que apruebe un programa de cumplimiento que protege a una empresa de 340 millones de euros de una acción regulatoria que podría costar 15 millones. La herramienta funciona. La cuestión es si funciona legalmente en tres jurisdicciones. Ahora mismo, no podemos demostrarlo.
¿Y la postura del proveedor de que no son de alto riesgo?
La interpretación del proveedor tiene un fundamento discutible conforme al Artículo 6(3). Pero si un regulador no está de acuerdo, y la Oficina Europea de IA ha indicado que las herramientas de reclutamiento serán objeto de escrutinio temprano, nosotros asumimos el riesgo como implementadores. No ellos. La auditoría independiente zanja la cuestión antes de que un regulador la plantee.
Que conste que me parece excesivamente cauteloso. Pero entiendo la lógica.
(al consejo) Apruebo el programa de 90 días. Sarah, quiero informes de progreso semanales. Y quiero el nombre del evaluador independiente en mi mesa para el viernes.
Eligió la integridad del cumplimiento por encima de la conveniencia comercial, incluso cuando su propio asesor jurídico discrepaba y el director ejecutivo se mostró hostil al principio. El enfado de Helen dio paso al respeto cuando usted cuantificó el riesgo. El programa de 90 días con auditoría independiente es el estándar de excelencia: cuesta capital político hoy, pero es la posición que quiere tener cuando el regulador llame.
Los implementadores de IA de alto riesgo en el ámbito laboral deben realizar una evaluación de impacto sobre los derechos fundamentales antes de poner el sistema en uso. Esta obligación recae en el implementador con independencia de lo que afirme el proveedor. Un programa de auditoría independiente la satisface y crea un registro de cumplimiento defendible.
Propongo mantener TalentScreen operativo con dos condiciones: revisión humana obligatoria de cada decisión y auditorías de sesgo trimestrales realizadas por una firma externa. La herramienta se queda. Los candidatos quedan protegidos.
Eso sí puedo venderlo al consejo. Conservamos las mejoras de eficiencia y demostramos que nos tomamos en serio la supervisión.
Aprobado. Sarah, asegúrese de que la primera auditoría se complete antes de que abra la oficina de Frankfurt en el tercer trimestre.
El consejo lo acepta. James está visiblemente aliviado. Seis meses después, llega un correo de la Oficina Europea de IA: una investigación regulatoria a nivel sectorial sobre las herramientas de reclutamiento con IA. Quieren documentación de conformidad, evaluaciones de impacto sobre los derechos fundamentales y pruebas del cumplimiento de la transparencia del Artículo 13.
Sarah, los registros de revisión humana y las auditorías de sesgo ayudan. Demuestran buena fe. Pero están pidiendo una evaluación de conformidad que nunca hicimos y una evaluación de impacto sobre los derechos fundamentales que nunca realizamos. Tenemos 30 días para responder.
Pragmático, pero no infalible. La revisión humana sumada a las auditorías es defendible: demuestra diligencia y detecta casos individuales. Pero esquiva la pregunta fundamental: ¿está este sistema implementado de forma lícita? Ha ganado tiempo, no cumplimiento. El compromiso ayuda, pero no es hermético cuando el regulador llama a la puerta.
La supervisión humana (Artículo 14) es una obligación entre muchas. Aborda el riesgo en los resultados, pero no el cumplimiento sistémico. Un regulador no aceptará «revisamos cada decisión» como sustituto de la documentación de conformidad (Artículo 43) ni de una evaluación de impacto sobre los derechos fundamentales (Artículo 27). El compromiso reduce el daño, pero no elimina la exposición legal.
Documentó sus inquietudes en un memorando formal a Priya hace tres meses. Lo archivó. Siguió adelante. TalentScreen continuó procesando candidatos en las tres oficinas. El patrón por edad continuó: el 73 % de los candidatos rechazados mayores de 50 puntuaron por debajo del umbral en «potencial de adaptabilidad». Vio el informe trimestral. No dijo nada.
La Oficina Europea de IA anuncia una investigación sobre la IA de reclutamiento en todo el sector de servicios financieros. NovaTech está en la lista. Priya convoca una reunión de urgencia.
Lo quieren todo. Evaluación de conformidad, evaluación de impacto sobre los derechos fundamentales, documentación de transparencia, registros de implementación. Tenemos 60 días. Sarah, ¿qué tenemos realmente?
Tenemos el paquete de cumplimiento original del proveedor y mi memorando de hace tres meses señalando las inquietudes.
Así que identificó un riesgo, lo documentó y el sistema siguió funcionando tres meses más. Ese memorando no protege a la empresa, Sarah. Nos incrimina. Demuestra que lo sabíamos.
¿Cómo hemos llegado a esto?
Cubrirse las espaldas no es cumplimiento. Documentar las inquietudes le protege personalmente en un sentido limitado, pero perjudica activamente a la organización al crear un rastro documental de un riesgo conocido y no abordado. «Mi equipo jurídico dijo que estaba bien» no es una defensa cuando los implementadores tienen obligaciones independientes. Y cada candidato procesado después de su memorando es un candidato que NovaTech expuso a sabiendas a un sistema potencialmente discriminatorio.
Los implementadores tienen obligaciones independientes conforme a la Ley de IA. Remitirse a la interpretación legal del proveedor no exime de esos deberes. Cuando tiene pruebas de un riesgo y lo documenta sin actuar, ha creado la peor posición regulatoria posible: conocimiento probado más implementación continuada. La Ley de IA no reconoce «escribí un memorando» como mitigación del riesgo.
En la situación anterior, la cuestión clave era reconocer que TalentScreen AI procesa solicitudes de empleo.
El Artículo 6 clasifica la IA en empleo como de alto riesgo. Esto activa: supervisión humana (Art. 14), transparencia (Art. 13), gobernanza de datos (Art. 10) y gestión de riesgos (Art. 9).
Como implementadorImplementadorUna organización que utiliza un sistema de IA bajo su autoridad — a diferencia del proveedor que lo construyó. Bajo la Ley de IA de la UE, los implementadores tienen sus propias obligaciones de cumplimiento., NovaTech tiene obligaciones independientes bajo el Artículo 26 — aunque el proveedor afirme cumplir la normativa.
Recuerde: TalentScreen es de alto riesgo conforme al Artículo 6. Usted tiene obligaciones conforme al Artículo 26.
Lunes por la mañana. James se resiste: la herramienta ahorró 200 horas por trimestre. ¿Qué hace con el patrón de sesgo?
Presentar los datos de sesgo y recomendar pausar la herramienta hasta que el proveedor aporte la documentación de transparencia
El Artículo 26(5) establece que los implementadores deben suspender si creen que existe un riesgo. Los datos sugieren discriminación por edad. La documentación del Artículo 13 debería explicar cómo decide la herramienta.
Añadir un revisor humano que verifique todos los rechazos de la IA antes de que sean definitivos
La supervisión humana (Artículo 14) es obligatoria para los sistemas de alto riesgo. Esto detecta los rechazos discriminatorios antes de que afecten a los candidatos.
Esperar más datos: un solo patrón no prueba la discriminación
Quizá el patrón sea casual. Actuar demasiado rápido podría dañar su relación con el consejo.
James, necesito que mire esto. Nueve de once candidatos rechazados mayores de 50 puntuaron por debajo del umbral. Ningún candidato menor de 35 fue rechazado. Las dos métricas que determinan las puntuaciones, «potencial de adaptabilidad» y «alineación cultural», no están definidas en ninguna parte de la documentación del proveedor.
Nos ahorró 200 horas el trimestre pasado, Sarah. ¿Quiere que vuelva al consejo y diga que la pausamos por una hoja de cálculo?
Quiero que vuelva al consejo y diga que detectamos un posible patrón de discriminación por edad antes que el abogado de un candidato. Conforme al Artículo 26, estamos obligados a suspender un sistema cuando tenemos motivos para creer que presenta un riesgo. Estos datos SON ese motivo.
(silencio largo) ...¿Cuánto tiempo?
Hasta que el proveedor aporte la documentación de transparencia adecuada conforme al Artículo 13. Si pueden explicar cómo funcionan esas métricas y la explicación no es discriminatoria, la volvemos a activar. Si no pueden, habremos esquivado una bala.
Está bien. Pero usted le presentará esto a Helen. Y más le vale tener los números preparados.
James acepta a regañadientes. No está contento, pero usted ha planteado el riesgo en términos que no puede ignorar: que el abogado de un candidato encuentre el patrón primero. Tiene el fin de semana para preparar un informe formal para Helen. La herramienta queda en pausa. No se procesará a ningún candidato más hasta que tenga respuestas.
Cuando un implementador tiene motivos para creer que un sistema de IA de alto riesgo presenta un riesgo para la salud, la seguridad o los derechos fundamentales, debe suspender su uso e informar al proveedor. Los datos de sesgo, 9 de 11 candidatos mayores de 50 rechazados con métricas sin explicar, constituyen ese motivo. Solicitar la documentación de transparencia del Artículo 13 es el siguiente paso correcto.
Recomiendo que añadamos un revisor humano que verifique cada rechazo de la IA antes de que sea definitivo. Ningún candidato queda descartado sin que una persona confirme la decisión.
Eso es razonable. Mantenemos la herramienta, los candidatos reciben una segunda revisión. ¿Con qué rapidez puede ponerlo en marcha?
Para final de semana. Tres revisores formados, rotando según un calendario.
Bien. Problema resuelto.
El panel de revisión detecta tres rechazos cuestionables más en las dos primeras semanas: todos candidatos mayores de 45, todos con puntuaciones bajas en «potencial de adaptabilidad». Los revisores anulan la decisión de la IA y los hacen avanzar. Pero algo le inquieta: los revisores pueden ver que la herramienta rechaza a ciertos candidatos. No pueden ver por qué. Están detectando síntomas. El sistema sigue sin poder explicar su lógica.
Estamos poniendo una red de seguridad bajo un puente del que no estamos seguros de que sea estructuralmente sólido. Si alguien pregunta cómo se calcula el «potencial de adaptabilidad», seguimos sin poder responder.
La revisión humana aborda el Artículo 14 y detecta casos individuales de sesgo. Pero el sistema subyacente sigue siendo una caja negra. Sin documentación de transparencia conforme al Artículo 13, no puede explicar por qué la herramienta toma las decisiones que toma, solo que a veces no está de acuerdo con el resultado.
La supervisión humana es un requisito fundamental para los sistemas de alto riesgo, así que este instinto es acertado. Pero el Artículo 14 funciona junto al Artículo 13 (transparencia), no en su lugar. Un revisor humano que puede anular decisiones pero no comprende la lógica del sistema tiene una capacidad limitada para distinguir la discriminación sistémica de los errores individuales.
Otra ronda procesada. Doce candidatos nuevos. Tres rechazos: todos mayores de 50. Todos puntuaron por debajo del umbral en «potencial de adaptabilidad». El patrón ya no es un patrón. Son dos.
Extrae todos los datos. En dos meses de funcionamiento de TalentScreen, 14 de 16 candidatos rechazados mayores de 50 puntuaron por debajo del umbral en la misma métrica opaca. Ningún candidato menor de 35 ha sido rechazado. Abre LinkedIn para distraerse y se queda helada.
¿Ha visto la publicación de David Okonkwo en LinkedIn? Tiene 400 comentarios. Nos está señalando. Bueno, a nosotros específicamente no, pero sí a «una fintech de Dublín que usa IA para descartar a candidatos con experiencia». Un excompañero suyo de Barclays acaba de compartirla.
La he visto.
Helen quiere una reunión. Hoy. Está preguntando qué sabíamos y cuándo lo supimos.
...Señalé el patrón hace dos semanas. Estaba esperando más datos.
Me lo señaló a MÍ. Y yo le dije que esperara. Helen va a querer saber por qué ninguno de los dos lo escaló.
Esperar no era cumplir. Nueve de once ya era un patrón; 14 de 16 es una crisis. Cada día que esperó, más candidatos fueron potencialmente discriminados. Conforme al Artículo 26(5), tenía motivos para creer que el sistema presentaba un riesgo para los derechos fundamentales. La obligación era actuar, no reunir un conjunto de datos estadísticamente perfecto.
El criterio es «motivos para creer», no «prueba más allá de toda duda razonable». Cuando 9 de 11 candidatos de una categoría protegida puntúan por debajo del umbral en una métrica sin explicar, eso SÍ es motivo para creer. La Ley de IA no le exige completar un estudio revisado por pares antes de actuar. Le exige proteger los derechos fundamentales cuando tiene pruebas creíbles de riesgo.
Implementadores y proveedores tienen obligaciones separadas. Aunque TalentScreen afirme cumplir la normativa, NovaTech tiene sus propios deberes:
Artículo 26: Los implementadores deben usar el sistema según las instrucciones, garantizar la supervisión humana, supervisar los riesgos, mantener registros y suspender si existe un riesgo.
Que el proveedor diga «cumplimos la normativa» no exime a USTED de sus obligaciones.
Recuerde: como implementador, NovaTech tiene obligaciones independientes conforme al Artículo 26.
El proveedor pide 30 000 euros por una auditoría de transparencia. James dice que el director financiero no la aprobará. ¿Qué recomienda?
Suspender la herramienta hasta que el proveedor aporte la documentación adecuada
La multa potencial (hasta 15 millones de euros o el 3 % de la facturación) supera con creces los costes del cribado manual. El Artículo 26(5) exige la suspensión si cree que existe un riesgo.
Mantener la herramienta pero añadir revisión humana de cada rechazo y documentarlo todo
Aborda el riesgo inmediato. La revisión humana satisface el Artículo 14. La documentación demuestra buena fe.
No hacer nada: el proveedor tiene 14 clientes en la UE y ninguno ha tenido problemas
Quizá esté exagerando. El proveedor parece seguro y su equipo jurídico lo aprobó.
El director financiero no aprobará 30 000 euros por una auditoría que quizá no necesitemos. ¿Y ahora quiere suspender la herramienta por completo? Volveremos a 200 horas de cribado manual por trimestre.
Déjeme darle otras cifras. Multa potencial conforme a la Ley de IA: hasta €15 millones o el 3 % de la facturación global. La facturación de NovaTech el año pasado fue de €340 millones. El 3 % son €10,2 millones. El cribado manual cuesta £48 000 al año. ¿Qué cifra quiere presentarle al director financiero?
(pausa) ...Ha hecho los números.
Sí. Y he redactado un informe de una página para Helen. La recomendación es una suspensión temporal mientras exigimos al proveedor que aporte la documentación adecuada del Artículo 13. Si cumple, podríamos volver a estar operativos en cuatro a seis semanas. Si no pueden explicar su propio sistema, buscamos un proveedor que sí pueda.
Con cuatro a seis semanas puedo vivir. Con una multa de 15 millones de euros, no. Envíeme el informe, lo firmaré con usted.
La suspensión es la decisión correcta. James no está contento, pero los números son irrefutables: £48 000 de cribado manual frente a €10,2 millones de multas potenciales no es una decisión reñida. La herramienta queda en pausa. Los candidatos quedan protegidos. Y lo ha planteado como algo temporal, no permanente, dándole al proveedor un camino claro hacia la reactivación a través del cumplimiento.
La suspensión no es un castigo: es gestión de riesgos. La Ley de IA exige a los implementadores suspender los sistemas de alto riesgo cuando tienen motivos para creer que presentan un riesgo para los derechos fundamentales. El coste de los procesos manuales temporales siempre es menor que el coste de la aplicación regulatoria. Plantear la suspensión como una decisión de negocio, y no como una lección de cumplimiento, es lo que consigue la aceptación.
El panel de revisión ha anulado 7 de 43 rechazos en tres semanas. Los siete eran candidatos mayores de 45. Todos puntuaron bajo en «potencial de adaptabilidad». Los revisores humanos están detectando los peores resultados.
James está satisfecho. El consejo recibió su documentación que demuestra una supervisión proactiva. Los candidatos que habrían sido rechazados injustamente están consiguiendo entrevistas. Sobre el papel, el sistema parece responsable.
El panel de revisión funciona. Detectamos siete malas decisiones. Yo diría que es un éxito.
Detectamos siete resultados con los que no estábamos de acuerdo. Seguimos sin saber por qué el sistema los genera. Si un regulador pregunta cómo se calcula el «potencial de adaptabilidad», podemos mostrarle nuestros registros de anulación. No podemos mostrarle cómo funciona la IA.
¿No es ese problema del proveedor?
...De eso es de lo que no estoy segura.
La revisión humana más la documentación es mejor que nada, mucho mejor. Está detectando resultados discriminatorios y creando un rastro de auditoría que demuestra buena fe. Pero el sistema subyacente no ha cambiado. La IA sigue procesando a los candidatos de la misma manera. Está filtrando sus decisiones, no corrigiendo su lógica. Si un regulador determina que el propio sistema no cumple, sus soluciones provisionales no satisfacen todos los requisitos de conformidad.
Los sistemas de IA de alto riesgo deben diseñarse con suficiente transparencia para que los implementadores puedan interpretar y usar los resultados de forma adecuada. Si no puede explicar cómo se calcula el «potencial de adaptabilidad», no puede cumplir este requisito, por muchos revisores humanos que añada. La supervisión sin comprensión es limitación de daños, no cumplimiento.
Dos meses de silencio. TalentScreen sigue procesando. Dejó de revisar los datos de rechazo. El proveedor tiene 14 clientes en la UE. Su equipo jurídico lo aprobó. Quizá estaba exagerando.
¿Ha visto LinkedIn esta mañana? David Okonkwo acaba de publicar un ensayo de 1.200 palabras sobre la discriminación por edad en la contratación en fintech. Menciona las herramientas de cribado con IA. No nos nombra específicamente, pero los detalles son inconfundibles. Ya tiene 2.000 reacciones.
Lo estoy leyendo ahora.
La publicación es demoledora. Okonkwo habla de 22 años de experiencia en banca, una trayectoria impecable y de haber sido rechazado por una herramienta de IA que puntuó su «potencial de adaptabilidad» en 31 sobre 100. Un periodista del Financial Times ya ha comentado pidiendo hablar por mensaje privado. A la hora de comer, la publicación tiene 8.000 reacciones y tres antiguos candidatos de NovaTech han respondido con historias similares.
Necesito que todos los presentes en esta llamada me digan: ¿sabíamos esto? ¿Hubo algún indicio de que nuestra herramienta de IA estaba discriminando a los candidatos de mayor edad?
(silence)
...Identifiqué un patrón estadístico hace dos meses. Decidí esperar más datos antes de escalarlo.
Usted lo sabía. Durante dos meses. Y el sistema siguió funcionando.
«Todos los demás lo hacen» nunca fue una defensa, y ahora es una crisis. Los demás clientes del proveedor no han sido señalados públicamente por un candidato rechazado con 15.000 seguidores en LinkedIn. La aprobación de su equipo jurídico se basaba en información incompleta. Conforme a la Ley de IA, la ignorancia que podría haber corregido no es una defensa. Y tenía los datos para corregirla hace dos meses.
La Ley de IA impone obligaciones independientes a los implementadores. «El proveedor tiene 14 clientes en la UE» y «nuestro equipo jurídico lo aprobó» no son defensas cuando se tienen pruebas de riesgo. La inacción ante un riesgo conocido es en sí misma un incumplimiento. El daño reputacional, una publicación viral en LinkedIn, el interés del FT, candidatos comparando experiencias públicamente, agrava la exposición regulatoria.
Las decisiones que tomaste como Sarah Chen tuvieron repercusiones — para David Okonkwo, para la junta de NovaTech, para los próximos 200 candidatos. Esto es lo que sucedió.
Artículo 4
Alfabetización en IA
Artículo 6 + Anexo III
Clasificación de Alto Riesgo
Artículo 9
Gestión de Riesgos
Artículo 13
Transparencia
Artículo 14
Supervisión Humana
Artículo 26
Obligaciones del Implementador
Artículo 50
Transparencia para Usuarios
Artículo 99
Sanciones
Pida a su equipo de L&D que comparta la tabla de clasificación del equipo desde el panel de su LMS. ¿Puede su departamento superar al resto?
En el Módulo 2, asumirá el rol de Elena Vasquez, Directora de Marketing de NovaTech Financial. Un periodista tiene un plazo de 48 horas. Un chatbot ha estado haciendo promesas que no puede cumplir. Y no existe una política de divulgación de IA.
Recurso Complementario
Resumen imprimible de todos los artículos clave cubiertos en los cinco módulos — Artículos 4, 5, 6, 9, 13, 14, 25, 26, 27, 50 y 99. Guarde como PDF para referencia sin conexión.
Módulo 1 Completado
Navegó el dilema de cumplimiento. Pruebe un camino diferente para ver cómo cambia la historia.