Desencadenante: un sistema de IA puede influir en resultados de crédito, precios, fraude o elegibilidad.
IA financiera · Annex III 5(b) · DORA
Haga revisable la IA financiera
antes de que ponga precio a una persona.
La IA de solvencia se nombra como de alto riesgo en el Annex III. Los modelos de fraude, PBC, siniestros y fijación de precios deciden el acceso al dinero. Currents los escanea, los Ripples registran la deriva, el rendimiento por subgrupos y el linaje, y los Droplets autorizan una cartera de negocio cada vez.
Evidence Records on file
Contexto sensible
Por qué la IA financiera se clasifica como de alto riesgo, y lo que eso cuesta en pruebas.
La evaluación de la solvencia y la calificación crediticia se nombran en el Annex III punto 5(b) del AI Act. La clasificación se rige por el Art. 6 y por la función del sistema, no por la descripción que hace el proveedor. Eso conlleva un sistema de gestión de riesgos (Art. 9), gobernanza de datos incluido el examen de sesgos (Art. 10), registro automático (Art. 12), supervisión humana (Art. 14) y una exactitud y robustez que deben mantenerse en producción (Art. 15). El GDPR Art. 22 restringe las decisiones basadas únicamente en el tratamiento automatizado con efectos jurídicos o similarmente significativos, y el Art. 15(1)(h) otorga al interesado el derecho a información significativa sobre la lógica aplicada: una puntuación no es una explicación. La refundición de la Directiva de crédito al consumo exige que se explique la evaluación de la solvencia y preserva un derecho a la intervención humana. DORA trata al proveedor del modelo como un tercero TIC: debe figurar en el registro de información, con sustituibilidad y una vía de salida. Los modelos de seguros, fraude y PBC heredan la mayoría de estas expectativas por analogía y casi ninguna de ellas por defecto.
Categorías de datos en el ámbito
Personas afectadas
Escenarios de riesgo
Lo que suele salir mal.
Modos de fallo concretos observados en este contexto sensible, sin pruebas estructuradas.
Un modelo de crédito excluye los atributos protegidos y se declara equitativo sobre esa base.
La discriminación por variables sustitutivas queda sin comprobar. El código postal, el dispositivo y las variables correlacionadas con los ingresos reconstruyen el atributo excluido. El Art. 10(2)(f) exige el examen de sesgos, no la exclusión de una columna. No existe ninguna medición de disparidad que mostrar a la autoridad en un sentido u otro.
Una decisión de crédito desfavorable se explica al cliente con una puntuación y un código de motivo.
El GDPR Art. 15(1)(h) y la Directiva de crédito al consumo esperan información significativa sobre la lógica y una vía de intervención humana. No se conserva ninguna atribución por decisión, de modo que la explicación no puede reconstruirse meses después en la fase de reclamación.
Un proveedor de API de fraude actualiza el modelo tras el mismo endpoint sin notificación.
La deriva pasa inadvertida y el cambio queda sin registrar en el marco del riesgo de terceros de DORA. Las tasas de falsos positivos se desplazan en un segmento de clientes. Las pruebas aprobadas en la incorporación describen un sistema que desde entonces ha sido reemplazado.
El linaje de una decisión de crédito no puede reconstruirse para una revisión de supervisión.
No hay registro del Art. 12 que ligue la entrada, los valores de las características, la versión del modelo y el umbral con el resultado registrado. Las decisiones pasadas son irreproducibles. La entidad no puede mostrar frente a qué se evaluó realmente al solicitante.
Un copiloto de atención al cliente con acceso a herramientas puede subir límites y liberar bloqueos.
No hay una compuerta de supervisión humana ni registro de llamadas a herramientas. El Art. 22 se activa por una salida que es efectivamente automatizada, y la persona en el bucle no puede ver lo suficiente para invalidarla. La supervisión es nominal.
Un modelo de siniestros se reentrena trimestralmente; la revisión de equidad es anual.
Durante tres trimestres del año las pruebas de disparidad describen un modelo ya sustituido. No se monitoriza nada entre revisiones, de modo que la deriva y la disparidad surgen y se resuelven sin llegar a aparecer nunca en el expediente.
Control fronterizo, aplicado aquí
Escanee el sistema. Emita el pasaporte. Conceda el visado.
Lo que el escaneo encuentra en este contexto, lo que registra el pasaporte y qué condiciones asocia el visado.
Currents
el escaneo¿Qué IA está en funcionamiento y qué no sabemos sobre ella?
Currents abre el expediente. Encuentra cada modelo que interviene en una decisión sobre el dinero, comprueba si el Annex III 5(b) realmente se aplica, identifica qué endpoints son de terceros según DORA y cuáles de ellos están sin fijar, y enumera las decisiones que hoy no pueden reconstruirse porque ningún registro del Art. 12 liga la entrada, los valores de las características, la versión del modelo y el umbral con el resultado registrado.
Ripples
el pasaporte¿Qué es este sistema y qué está probado sobre él?
El Ripple es el pasaporte de pruebas. Registra la población de entrenamiento y su punto ciego por inferencia de rechazados, el examen de sesgos con arreglo al Art. 10(2)(f) incluida la prueba de variables sustitutivas, el rendimiento por subgrupos y la deriva frente al punto operativo declarado con arreglo al Art. 15, la atribución por decisión suficiente para el Art. 15(1)(h) y la Directiva de crédito al consumo, el análisis del Art. 22 y la posición como tercero TIC según DORA de cada proveedor de modelo en la vía.
Droplets
el visado¿Puede operar AQUÍ, sobre ESTOS datos, bajo QUÉ condiciones?
El Droplet es el visado de contexto. Autoriza el modelo para una cartera de negocio: este segmento, este umbral, esta versión fijada, con una vía de intervención humana en cada resultado desfavorable, umbrales de disparidad y de deriva que revocan la autorización ante un incumplimiento, y una caducidad que obliga a renovar las pruebas de equidad en lugar de dejarlas envejecer.
Ámbito
Lo que necesita un Ripple.
Flujo de trabajo de las partes interesadas
Del desencadenante a la decisión de acceso.
Scan
Art. 6 route · Annex III test
Evidence call
Annex IV · Art. 10 bias file
Seal Review
DPO · CISO · Art. 14 owner
Droplet
Conditions bound · expiring
Re-scan
On retrain, drift or model swap
Scan
Art. 6 route · Annex III test
Evidence call
Annex IV · Art. 10 bias file
Seal Review
DPO · CISO · Art. 14 owner
Droplet
Conditions bound · expiring
Re-scan
On retrain, drift or model swap
Director de Riesgos (CRO)
“Un modelo de crédito o de fraude está en producción sin monitorización de la deriva ni prueba de variables sustitutivas.”
Exija el Ripple antes del próximo reentrenamiento: deriva frente al punto operativo declarado, examen de sesgos con arreglo al Art. 10(2)(f) y atribución por decisión.
DPD
“Un modelo produce un resultado con efectos jurídicos o similarmente significativos para un cliente.”
Exija el análisis del Art. 22, la base jurídica por categoría de datos y pruebas de que el revisor humano puede realmente invalidar la salida.
Responsable de cumplimiento
“Las decisiones desfavorables se explican con una puntuación y un código de motivo.”
Exija atribución por decisión conservada en el momento de la decisión y una vía de intervención humana accesible para el cliente - Art. 15(1)(h) y la Directiva de crédito al consumo.
Decisiones de acceso
Condiciones del Droplet de contexto.
Las decisiones de acceso que se aplican en este contexto sensible, y las condiciones de prueba que las producen.
- Deriva monitorizada de forma continua frente al punto operativo declarado
- Examen de sesgos vigente, incluida la prueba de variables sustitutivas con arreglo al Art. 10(2)(f)
- Atribución por decisión conservada para cada resultado desfavorable
- Vía de intervención humana documentada y accesible para el cliente
- La salida tiene efectos jurídicos o similarmente significativos - se activa el Art. 22
- El revisor ve la atribución, no solo la puntuación, y puede invalidarla
- Disparidad por subgrupos por encima del umbral pendiente de remediación
- Reclamación o consulta de supervisión abierta contra el modelo
- Modelo reentrenado desde que se produjeron las últimas pruebas de equidad
- Ausencia de prueba de discriminación por variables sustitutivas - la exclusión de atributos se trata como suficiente
- Proveedor de modelo no registrado como tercero TIC según DORA
- Linaje de la decisión incompleto - resultados pasados irreproducibles
- No hay explicación disponible para una decisión que afecta a un cliente individual
- Disparidad medida por encima del umbral sin plan de remediación
- Endpoint de tercero sin fijar que decide resultados de clientes
- Llamadas a herramientas de agente que modifican cuentas sin ninguna línea de registro del Art. 12
Medición
Familias de pruebas que podemos estructurar.
Las categorías de pruebas medibles pertinentes para este contexto y las señales de prueba que producen.
Rendimiento y deriva (Art. 15)
Exactitud, precisión, exhaustividad, AUC y calibración con intervalos de confianza, seguidos de forma continua frente al punto operativo declarado: deriva de datos, deriva de concepto y desplazamiento del umbral tras cada reentrenamiento.
Equidad, variables sustitutivas e impacto adverso (Art. 10(2)(f))
Paridad demográfica, igualdad de probabilidades e impacto dispar entre segmentos, además de la prueba de variables sustitutivas que muestra qué reconstruyen el código postal, el dispositivo y las variables correlacionadas con los ingresos una vez eliminados los atributos protegidos.
Explicabilidad y decisión desfavorable (GDPR Art. 15(1)(h))
Atribución por decisión conservada en el momento de la decisión, suficiente para dar al cliente información significativa sobre la lógica y para apoyar el derecho a explicación y a intervención humana de la Directiva de crédito al consumo.
Linaje de decisiones y registro (Art. 12)
Entrada, valores de las características, versión del modelo, umbral y resultado registrado, vinculados entre sí y reconstruibles años después, para la revisión de supervisión, la reclamación ante el defensor del cliente y el litigio.
Supervisión humana y análisis del Art. 22
Si la decisión es únicamente automatizada, si el revisor ve lo suficiente para invalidarla y si alguna vez lo hace: tasas de invalidación, no derechos de invalidación.
Privacidad y gobernanza de datos
Base jurídica para cada categoría de datos, datos de categoría especial en modelos de siniestros y de vulnerabilidad, estado de la DPIA, pruebas de minimización y subencargados.
Terceros TIC y cadena de suministro del modelo (DORA)
Cada proveedor de modelo en la vía de decisión en el registro de información, con fijación de versión, notificación de cambios, sustituibilidad y una vía de salida probada.
Ámbito honesto
Lo que sigue sin ser evaluable.
AffectLog no exagera sus afirmaciones. Estos elementos requieren experiencia externa, un proceso regulatorio o un estudio a largo plazo.
Si una disparidad medida es discriminación ilegal
Una disparidad es una medición. La ilegalidad es una conclusión jurídica que implica justificación, proporcionalidad y adjudicación, algo que ninguna plataforma de pruebas puede alcanzar.
En su lugar: Remita la disparidad medida, el análisis de variables sustitutivas y la justificación empresarial a los equipos jurídico y de cumplimiento para su interpretación frente al régimen aplicable.
Aprobación del riesgo de modelo y aprobación de supervisión
La validación interna del modelo, la revisión independiente y la aprobación de supervisión son procesos de gobernanza con responsables designados. Producimos entradas para ellos, no la aprobación.
En su lugar: Recurra a la gestión del riesgo de modelo y a la validación independiente. Adjunte nuestros registros de pruebas a la presentación como capa técnica.
El error sobre los solicitantes que usted rechazó
La inferencia de rechazados es un punto ciego estructural: los datos de producción solo contienen resultados de los solicitantes aceptados. Ningún volumen de monitorización recupera el contrafactual.
En su lugar: Realice un estudio de retención o de aceptación aleatorizada, o utilice los resultados de buró sobre los solicitantes rechazados cuando sea lícito. Marcamos esta laguna de forma explícita en lugar de reportar la exactitud como si fuera válida para toda la población.
Cumplimiento de la Consumer Duty o de la regulación de conducta
El cumplimiento de conducta se evalúa frente a los resultados para los clientes a lo largo de todo el ciclo de vida del producto, no solo frente a las métricas del modelo.
En su lugar: Utilice las pruebas como entrada para la revisión de conducta. No es, ni se presenta nunca como, una conclusión de cumplimiento.
Ejemplo
Ripple de muestra para este contexto.
Modelo de solvencia crediticia v2.1
Decisión de crédito al consumo · alto riesgo del Annex III 5(b)
Condiciones de acceso
Lo que no exageraremos
AL360° Oceans estructura pruebas técnicas y operativas para las decisiones de acceso de la IA financiera. No certificamos la equidad, no concluimos sobre discriminación, no aprobamos el riesgo de modelo ni determinamos el cumplimiento regulatorio. Mostramos las disparidades medidas, la deriva frente al punto operativo declarado, los puntos ciegos en los datos y las condiciones de revisión que se derivan.
Preguntas frecuentes
Preguntas que plantea este contexto.
“Tenemos validación interna del modelo: eso debería bastar.”
La validación interna responde a su marco de riesgo de modelo. Rara vez produce lo que pide un supervisor, un DPD o un defensor del cliente: atribución por decisión conservada en el momento de la decisión, deriva desde el último reentrenamiento, prueba de variables sustitutivas y la posición según DORA de cada proveedor en la vía. El Ripple lleva todo eso en un solo registro.
“Excluimos los atributos protegidos, así que el modelo no puede discriminar.”
Excluir una característica no excluye la información. El código postal, el dispositivo, el empleador y las variables correlacionadas con los ingresos la reconstruyen. El Art. 10(2)(f) exige el examen de sesgos, lo que significa medir lo que transmiten las variables sustitutivas, no afirmar que la columna ha desaparecido.
“El modelo lleva dos años funcionando sin una sola reclamación.”
La ausencia de reclamación no es prueba de corrección: es prueba de que nadie ha preguntado todavía. La deriva, la inferencia de rechazados y la disparidad se acumulan en silencio. La primera persona en preguntar suele ser la que tiene potestad legal para exigir una respuesta.
Comenzar
Haga revisable la IA financiera
antes de que se ponga precio al próximo cliente.
Escanee el parque de modelos, descubra qué decisiones no pueden reconstruirse, qué proveedores están sin fijar en la vía de decisión y qué pruebas de equidad han envejecido más allá del último reentrenamiento. Después fije las condiciones bajo las que puede operar cada modelo.
AL360° Oceans proporciona pruebas técnicas y operativas para apoyar las decisiones de acceso. No es cumplimiento regulatorio, asesoramiento jurídico ni aprobación del riesgo de modelo.