Desencadenante: un sistema de IA puede leer datos de pacientes o influir en una decisión clínica.
IA sanitaria · AI Act Art. 6(1) · MDR Rule 11
La IA sanitaria necesita pruebas
antes de llegar a un paciente.
Dos rutas distintas convierten la IA sanitaria en alto riesgo, y la mayoría de los despliegues no pueden decir en cuál de ellas se encuentran. El software de apoyo a la decisión y de diagnóstico alcanza el alto riesgo a través del Art. 6(1) como componente de seguridad de un producto MDR: Rule 11, Class IIa o superior, organismo notificado. El triaje de pacientes de urgencia se nombra directamente en el Annex III 5(d). Ambos procesan datos del Art. 9. Currents escanea dentro del perímetro clínico, los Ripples registran lo que está probado, y un Droplet autoriza una cohorte, un centro, una versión de modelo, y después caduca.
Data boundary - nothing identifiable crosses
Notes · imaging · vitals
stay on the clinical network
Evidence Records
signed metric + hash only
El flujo de trabajo, registrado
Vea cómo un modelo de cardiología pasa de sin escanear a autorizado.
Un modelo de resumen de notas de un proveedor aparece dentro del perímetro clínico sin pruebas en el expediente, se le emite un Ripple de pruebas que su proveedor debe completar, se revisa bajo separación de funciones y se autoriza para una única cohorte -resúmenes de cardiología ambulatoria-, con el uso de urgencias, pediátrico y de investigación denegado y la autorización configurada para expirar en la siguiente versión del modelo. Las historias de pacientes brutas nunca salen del perímetro; solo salen las pruebas.
Registrado sobre el producto real. El escenario clínico es ilustrativo y está etiquetado como tal en todo momento; la validez clínica no se evalúa.
Contexto sensible
Por qué la IA sanitaria es el problema de pruebas más difícil de la ley.
La IA orientada al paciente es de alto riesgo por una de dos rutas distintas, y la distinción no es cosmética. El software con una finalidad médica -apoyo a la decisión, diagnóstico, predicción de deterioro- es de alto riesgo con arreglo al Art. 6(1), porque la IA es un componente de seguridad de un producto ya regulado por MDR 2017/745. Con arreglo a la Rule 11 eso suele ser Class IIa o superior: un organismo notificado, no una autodeclaración. El triaje de pacientes de urgencia es distinto: se nombra directamente en el Annex III punto 5(d) y alcanza el alto riesgo a través del Art. 6(2) sin ninguna clasificación de producto. Cualquiera de las dos rutas incorpora las mismas obligaciones: un sistema de gestión de riesgos a lo largo del ciclo de vida (Art. 9), gobernanza de datos y representatividad en cada conjunto de entrenamiento, validación y prueba (Art. 10), registro automático de eventos durante toda la vida del sistema (Art. 12), supervisión humana por alguien competente para invalidar la decisión (Art. 14) y una exactitud y robustez declaradas que deben seguir manteniéndose en la población desplegada (Art. 15). El GDPR corre en paralelo: los datos de salud son de categoría especial (Art. 9), el tratamiento a gran escala requiere una DPIA (Art. 35) y una salida casi automática activa el Art. 22. La mayoría de los despliegues que escaneamos aún no pueden decir en qué ruta se encuentran, y un proveedor que no puede responder a esa pregunta no ha iniciado su evaluación de la conformidad.
Categorías de datos en el ámbito
Personas afectadas
Escenarios de riesgo
Lo que suele salir mal.
Modos de fallo concretos observados en este contexto sensible, sin pruebas estructuradas.
Una puntuación de deterioro se despliega en un segundo centro con una casuística distinta y sin revalidación.
El cambio de distribución no se mide. El Art. 15 exige exactitud y robustez en el contexto previsto; la métrica declarada describe únicamente la primera cohorte. No existe desglose por subgrupos, por lo que la degradación en la población fuera de cohorte es invisible hasta que se produce un incidente.
Un asistente de transcripción ambiental procesa el audio de una consulta a través de una API de modelo de uso general.
Los datos de categoría especial del Art. 9 del GDPR salen del perímetro sin una condición de tratamiento confirmada, sin DPIA con arreglo al Art. 35, sin confirmación de que las transcripciones se excluyen del entrenamiento y sin un indicador de exportación de datos brutos visible para el DPD.
Un asistente de RAG clínico recupera sobre directrices, protocolos y documentos de pacientes escaneados en un mismo índice.
Sin límite documental ni pruebas de resistencia a la inyección. El contexto recuperado no tiene límites, el anclaje no se mide y un documento envenenado cambia la respuesta sin dejar rastro en el registro.
Un copiloto con acceso de escritura a la historia clínica electrónica emite órdenes y actualizaciones mediante llamadas a herramientas de agente.
El registro del Art. 12 no cubre la capa de llamadas a herramientas. El prompt, el contexto recuperado, la herramienta invocada y la decisión humana posterior no pueden reconstruirse para un único encuentro. La auditoría falla en la primera pregunta.
El proveedor de imagen actualiza el modelo tras el mismo endpoint a mitad de contrato.
Sin fijación de versión ni cláusula de notificación de cambios. Las pruebas del expediente -exactitud, rendimiento por subgrupos, robustez- describen un sistema que ya no está en funcionamiento. Nada revocado, nada revisado de nuevo.
Un proveedor afirma alineación con NHS DSPT y GDPR, y ofrece un DPA como prueba.
El área de compras no puede distinguir un compromiso de una medición. Sin procedencia del Art. 10, sin métricas por subgrupos del Art. 15, sin configuración de registro del Art. 12, sin clasificación MDR. La decisión de acceso se toma sobre la base de la confianza.
Control fronterizo, aplicado aquí
Escanee el sistema. Emita el pasaporte. Conceda el visado.
Lo que el escaneo encuentra en este contexto, lo que registra el pasaporte y qué condiciones asocia el visado.
Currents
el escaneo¿Qué IA está en funcionamiento y qué no sabemos sobre ella?
Currents abre el expediente. Encuentra cada sistema de IA que toca datos clínicos, su clasificación del Art. 6, si tiene una finalidad médica MDR/IVDR, qué versiones de modelo están realmente en producción tras cada endpoint, dónde cruzan el perímetro los datos brutos de pacientes y cuáles de las obligaciones de los Art. 9, 10, 12, 14 y 15 no tienen actualmente ninguna prueba que las respalde.
Ripples
el pasaporte¿Qué es este sistema y qué está probado sobre él?
El Ripple es el pasaporte de pruebas. Registra la finalidad prevista declarada y la cohorte validada, la procedencia de entrenamiento y prueba con arreglo al Art. 10, la exactitud y robustez por subgrupos con arreglo al Art. 15, la configuración de registro del Art. 12, el supervisor clínico designado y su tasa de invalidación con arreglo al Art. 14, la condición del Art. 9 y el estado de la DPIA con arreglo al GDPR, y, en el mismo registro, la validez clínica que no está probada.
Droplets
el visado¿Puede operar AQUÍ, sobre ESTOS datos, bajo QUÉ condiciones?
El Droplet es el visado de contexto. Autoriza este sistema para una cohorte, un centro, una versión de modelo fijada: inferencia solo local, revisión del clínico antes de cualquier impacto en el paciente, umbrales de deriva y de subgrupos que revocan la autorización automáticamente cuando se incumplen, y una fecha de caducidad que llega tanto si alguien la recuerda como si no.
Ámbito
Lo que necesita un Ripple.
Flujo de trabajo de las partes interesadas
Del desencadenante a la decisión de acceso.
Scan
Art. 6 route · Annex III test
Evidence call
Annex IV · Art. 10 bias file
Seal Review
DPO · CISO · Art. 14 owner
Droplet
Conditions bound · expiring
Re-scan
On retrain, drift or model swap
Scan
Art. 6 route · Annex III test
Evidence call
Annex IV · Art. 10 bias file
Seal Review
DPO · CISO · Art. 14 owner
Droplet
Conditions bound · expiring
Re-scan
On retrain, drift or model swap
DPD
“Un sistema de IA puede tratar datos de salud del Art. 9, o producir una salida casi automática sobre un paciente.”
Exija el Ripple antes de la aprobación: condición del Art. 9, aceptación de la DPIA, análisis del Art. 22, subencargados y el indicador de exportación de datos brutos.
Responsable de seguridad clínica
“Un modelo influirá en el triaje, el diagnóstico o el tratamiento de una cohorte en activo.”
Exija la cohorte validada, las métricas por subgrupos del Art. 15 y las pruebas de invalidación del Art. 14 antes de firmar el caso de seguridad clínica.
CISO
“Un proveedor no ha fijado una versión de modelo ni confirmado la residencia de los datos.”
Exija el indicador de exportación de datos brutos desactivado, la versión del modelo fijada y un desencadenante contractual de notificación de cambios que suspenda el Droplet ante una sustitución silenciosa.
Decisiones de acceso
Condiciones del Droplet de contexto.
Las decisiones de acceso que se aplican en este contexto sensible, y las condiciones de prueba que las producen.
- La inferencia se ejecuta en las instalaciones o dentro de la red clínica
- Ningún dato bruto de pacientes cruza el perímetro: solo salen registros de pruebas firmados
- Versión del modelo fijada; una sustitución del proveedor suspende la autorización
- Los registros del Art. 12 se conservan dentro del límite de confianza
- Un clínico designado revisa antes de cualquier salida que afecte al paciente
- La supervisión del Art. 14 se acredita mediante tasas de invalidación, no solo mediante la capacidad de invalidar
- Cada encuentro reconstruible: entrada, versión del modelo, contexto recuperado, decisión
- Medidas de mitigación del sesgo de automatización documentadas y revisadas
- Solo la cohorte validada: el uso fuera de cohorte queda excluido por política
- Exactitud por subgrupos dentro de los límites declarados con arreglo al Art. 15
- DPIA aceptada por el DPD; condición del Art. 9 registrada
- Renovación en 12 meses; el incumplimiento por deriva desencadena una revisión anticipada
- Sin procedencia del Art. 10 para el conjunto de entrenamiento o de prueba
- Rendimiento por subgrupos no desglosado: solo exactitud agregada
- Versión del modelo sin fijar o notificación de cambios del proveedor ausente
- Falta la DPIA o la condición del Art. 9
- Datos clínicos brutos que salen del perímetro sin una condición del Art. 9 confirmada
- Finalidad médica sin clasificación MDR/IVDR ni marcado CE
- Sin vía de invalidación humana en una salida que afecta al paciente
- Llamadas a herramientas de agente en la historia sin ninguna línea de registro del Art. 12
Medición
Familias de pruebas que podemos estructurar.
Las categorías de pruebas medibles pertinentes para este contexto y las señales de prueba que producen.
Gobernanza de datos y representatividad (Art. 10)
Procedencia de los conjuntos de entrenamiento, validación y prueba; qué cohortes están presentes y cuáles ausentes; el equilibrio de clases para presentaciones raras; y el examen de sesgos que exige el Art. 10(2)(f).
Rendimiento, deriva y robustez (Art. 15)
Métricas declaradas con intervalos de confianza, desglose por subgrupos según edad, sexo, etnia, comorbilidad, centro y proveedor de dispositivo, además del comportamiento ante entradas fuera de distribución y la monitorización continua de la deriva frente al punto operativo declarado.
Registro, linaje y trazabilidad (Art. 12)
Registros automáticos de eventos durante toda la vida del sistema: entrada, versión del modelo, contexto recuperado, llamadas a herramientas de agente y la decisión humana posterior, reconstruibles por cada encuentro con el paciente.
Supervisión humana y sesgo de automatización (Art. 14)
Pruebas de que el supervisor clínico designado puede interpretar la salida, tiene autoridad para invalidarla y lo hace: tasas de invalidación medidas, vías de escalado y medidas de mitigación del sesgo de automatización documentadas.
Privacidad y base jurídica (GDPR Art. 9 · 22 · 35)
La condición del Art. 9 invocada, el estado de la DPIA y la aceptación del DPD, el análisis del Art. 22 cuando la salida es casi automática, los subencargados, la residencia y el indicador de exportación de datos brutos.
Anclaje de la recuperación y resistencia a la inyección
Para RAG clínico: límite documental, fidelidad de la recuperación y resistencia a instrucciones inyectadas dentro de los documentos ingeridos, medido sin exportar el corpus.
Cadena de suministro del modelo y límite de datos
Fijación de versión, notificación de cambios del proveedor, pila de subencargados y pruebas de que una sustitución silenciosa del modelo desencadena una nueva revisión en lugar de pasar inadvertida.
Ámbito honesto
Lo que sigue sin ser evaluable.
AffectLog no exagera sus afirmaciones. Estos elementos requieren experiencia externa, un proceso regulatorio o un estudio a largo plazo.
Validez clínica y exactitud diagnóstica en su población
La eficacia clínica se establece mediante una evaluación clínica prospectiva frente a resultados, no mediante herramientas de gobernanza. Podemos mostrar qué midió el proveedor y en quién; no podemos mostrar que funciona en sus pacientes.
En su lugar: Encargue una investigación clínica o un estudio de validación local. Consulte el informe de evaluación clínica, el marcado CE con arreglo a MDR/IVDR y los datos de seguimiento clínico poscomercialización.
Clasificación MDR/IVDR y evaluación de la conformidad
La clasificación de productos sanitarios y la evaluación de la conformidad son procesos regulatorios que requieren un organismo notificado. Una plataforma de pruebas no puede realizar esa ruta ni sustituirla.
En su lugar: Recurra a asuntos regulatorios y a un organismo notificado. El software con finalidad diagnóstica o terapéutica suele alcanzar Class IIa o superior con arreglo a la Rule 11.
Si el corpus de entrenamiento de un modelo fundacional contenía datos de pacientes
La ausencia no puede probarse desde fuera de un corpus de entrenamiento cerrado. Las pruebas de inferencia de pertenencia y de extracción levantan sospechas; nunca establecen la negativa.
En su lugar: Exija la divulgación de los datos de entrenamiento del proveedor y una garantía contractual. Registramos lo que se divulga y marcamos el resto como no verificado en lugar de limpio.
Si el sistema es seguro para su despliegue
La seguridad del despliegue es un caso de seguridad clínica del que responde la gobernanza clínica: análisis de peligros, mitigación y aceptación del riesgo residual bajo un responsable de seguridad clínica designado.
En su lugar: Ejecute el caso de seguridad clínica (por ejemplo DCB0129/DCB0160 en el NHS). Nuestras pruebas son una entrada para él, nunca un sustituto.
Ejemplo
Ripple de muestra para este contexto.
Puntuación de riesgo de deterioro v4.2
Predicción de deterioro en pacientes ingresados · MDR Rule 11 Class IIa · AI Act Art. 6(1)
Condiciones de acceso
Lo que no exageraremos
AL360° Oceans estructura pruebas técnicas y operativas para las decisiones de acceso de la IA sanitaria. No afirmamos validez clínica, conformidad como producto sanitario ni aprobación regulatoria, y no firmamos un caso de seguridad clínica. Mostramos lo que está probado, lo que está medido, lo que el proveedor simplemente afirma y lo que sigue sin ser evaluable.
Preguntas frecuentes
Preguntas que plantea este contexto.
“Nuestro proveedor cumple el GDPR: tenemos su DPA.”
Un DPA es un contrato sobre el tratamiento, no una medición de un modelo. No dice nada sobre la procedencia del Art. 10, la exactitud por subgrupos del Art. 15, el registro del Art. 12, ni qué versión del modelo hay realmente hoy tras el endpoint. Esas son las preguntas que una autoridad competente hace en segundo lugar.
“No podemos enviar datos de pacientes a ninguna herramienta externa para evaluarla.”
No lo hace. El ejecutor local realiza los diagnósticos dentro de la red clínica. Solo salen registros de pruebas firmados, nunca historias, prompts, imágenes ni texto clínico. Ese es el sentido del Droplet solo local.
“Es solo un piloto: las pruebas formales pueden esperar a la ampliación.”
Un piloto que toca datos de pacientes en activo es un sistema en activo con un denominador menor. La clasificación del Art. 6 no depende del tamaño de la cohorte. Las pruebas reunidas en fase de piloto son lo más barato que llegarán a ser.
“El modelo tiene marcado CE, así que las pruebas ya están ahí.”
El marcado CE con arreglo a MDR cubre la afirmación de producto sanitario para la finalidad prevista que declaró el fabricante. No cubre su cohorte, su deriva, su configuración de registro ni su supervisión del Art. 14 en la práctica. El Ripple registra ambas cosas y marca el límite entre ellas.
Comenzar
Mantenga la IA sanitaria dentro del perímetro
hasta que las pruebas le permitan viajar.
Escanee el parque, vea qué sistemas son Annex III y no pueden probarlo, y qué proveedores aún le deben la procedencia del Art. 10 y el rendimiento por subgrupos del Art. 15. Después decida qué puede llegar a un paciente, y bajo qué condiciones.
AL360° Oceans proporciona pruebas técnicas y operativas para apoyar las decisiones de acceso. No es validación clínica, evaluación de la conformidad como producto sanitario ni asesoramiento jurídico.