Utlösare: ett AI-system kan påverka utfall för kredit, prissättning, bedrägeri eller behörighet.
Finansiell AI · Annex III 5(b) · DORA
Gör finansiell AI granskningsbar
innan den prissätter en person.
AI för kreditvärdighet namnges som hög risk i Annex III. Modeller för bedrägeri, penningtvätt, skador och prissättning avgör tillgången till pengar. Currents skannar dem, Ripples registrerar drift, prestanda per undergrupp och härkomst, Droplets klarerar en affärsvolym i taget.
Evidence Records on file
Känsligt sammanhang
Varför finansiell AI klassas som hög risk, och vad det kostar i bevis.
Bedömning av kreditvärdighet och kreditscoring namnges i Annex III punkt 5(b) i EU:s AI-förordning. Klassificeringen följer Art. 6 och systemets funktion, inte leverantörens beskrivning av det. Det medför ett riskhanteringssystem (Art. 9), datastyrning inklusive granskning av bias (Art. 10), automatisk loggning (Art. 12), mänsklig tillsyn (Art. 14) samt träffsäkerhet och robusthet som måste gälla i produktion (Art. 15). GDPR Art. 22 begränsar beslut som enbart grundas på automatiserad behandling med rättsliga eller på liknande sätt betydande följder, och Art. 15(1)(h) ger den registrerade rätt till meningsfull information om logiken - en poäng är inte en förklaring. Det omarbetade konsumentkreditdirektivet kräver att kreditvärdighetsbedömningen förklaras och bevarar en rätt till mänskligt ingripande. DORA behandlar modellleverantören som en IKT-tredjepart: den hör hemma i informationsregistret, med utbytbarhet och en utträdesväg. Modeller för försäkring, bedrägeri och penningtvätt ärver de flesta av dessa förväntningar analogt och nästan ingen av dem som standard.
Datakategorier inom omfattningen
Berörda personer
Riskscenarier
Vad som vanligtvis går fel.
Specifika felmoder som ses i detta känsliga sammanhang - utan strukturerade bevis.
En kreditmodell utesluter skyddade egenskaper och förklaras rättvis på den grunden.
Proxydiskriminering är oprövad. Korrelat för postnummer, enhet och inkomst rekonstruerar den uteslutna egenskapen. Art. 10(2)(f) kräver granskning av bias, inte uteslutning av en kolumn. Ingen mätning av disparitet finns som kan visa tillsynsmyndigheten det ena eller det andra.
Ett negativt kreditbeslut förklaras för kunden med en poäng och en orsakskod.
GDPR Art. 15(1)(h) och konsumentkreditdirektivet förväntar sig meningsfull information om logiken och en väg till mänskligt ingripande. Ingen attribution per beslut behålls, så förklaringen kan inte rekonstrueras månader senare i klagomålsskedet.
En leverantör av ett bedrägeri-API uppgraderar modellen bakom samma slutpunkt utan avisering.
Drift förblir oupptäckt och förändringen är oregistrerad enligt DORA:s tredjepartsrisk. Andelen falska positiva skiftar för ett kundsegment. Bevisen som godkändes vid onboarding beskriver ett system som sedan dess bytts ut.
Härkomsten för ett kreditbeslut kan inte rekonstrueras för en tillsynsgranskning.
Ingen logg enligt Art. 12 som binder samman indata, egenskapsvärden, modellversion och tröskel med det registrerade utfallet. Tidigare beslut kan inte återskapas. Företaget kan inte visa vad den sökande faktiskt bedömdes mot.
En kundtjänstcopilot med verktygsåtkomst kan höja gränser och släppa spärrar.
Ingen grind för mänsklig tillsyn och ingen logg över verktygsanrop. Art. 22 aktualiseras av ett utdata som i praktiken är automatiserat, och människan i loopen kan inte se tillräckligt för att åsidosätta det. Tillsynen är nominell.
En skademodell tränas om kvartalsvis; rättviserevisionen är årlig.
Under tre kvartal av året beskriver disparitetsbevisen en modell som ersatts. Ingenting övervakas mellan revisionerna, så drift och disparitet uppstår och löses upp utan att någonsin synas i akten.
Gränskontroll, tillämpad här
Skanna systemet. Utfärda passet. Bevilja visumet.
Vad skanningen finner i detta sammanhang, vad passet registrerar och vilka villkor visumet fäster.
Currents
skanningenVilken AI körs, och vad vet vi inte om den?
Currents öppnar akten. Den finner varje modell som berör ett penningbeslut, testar om Annex III 5(b) faktiskt gäller, identifierar vilka slutpunkter som är tredjepart enligt DORA och vilka av dem som är olåsta, och listar de beslut som inte kan rekonstrueras idag eftersom ingen logg enligt Art. 12 binder indata, egenskapsvärden, modellversion och tröskel till det registrerade utfallet.
Ripples
passetVad är detta system, och vad är bevisat om det?
En Ripple är bevispasset. Den registrerar träningspopulationen och dess blinda fläck för avslagsinferens, granskningen av bias enligt Art. 10(2)(f) inklusive proxytestning, prestanda per undergrupp och drift mot den deklarerade driftpunkten enligt Art. 15, attribution per beslut som är tillräcklig för Art. 15(1)(h) och konsumentkreditdirektivet, analysen enligt Art. 22, samt DORA-tredjepartspositionen för varje modellleverantör i kedjan.
Droplets
visumetFår det köras HÄR, på DESSA data, under VILKA villkor?
En Droplet är kontextvisumet. Den klarerar modellen för en affärsvolym: detta segment, denna tröskel, denna låsta version, med en väg till mänskligt ingripande vid varje negativt utfall, trösklar för disparitet och drift som återkallar klareringen vid överträdelse, och ett förfallodatum som tvingar rättvisebevisen att förnyas i stället för att åldras.
Omfattning
Vad som behöver en Ripple.
Arbetsflöde för intressenter
Från utlösare till åtkomstbeslut.
Scan
Art. 6 route · Annex III test
Evidence call
Annex IV · Art. 10 bias file
Seal Review
DPO · CISO · Art. 14 owner
Droplet
Conditions bound · expiring
Re-scan
On retrain, drift or model swap
Scan
Art. 6 route · Annex III test
Evidence call
Annex IV · Art. 10 bias file
Seal Review
DPO · CISO · Art. 14 owner
Droplet
Conditions bound · expiring
Re-scan
On retrain, drift or model swap
Chief Risk Officer
“En kredit- eller bedrägerimodell är i produktion utan driftövervakning och utan proxytestning.”
Kräv en Ripple före nästa omträning: drift mot den deklarerade driftpunkten, granskning av bias enligt Art. 10(2)(f), och attribution per beslut.
DPO
“En modell producerar ett utfall med rättsliga eller på liknande sätt betydande följder för en kund.”
Kräv analysen enligt Art. 22, den rättsliga grunden per datakategori, och bevis på att den mänskliga granskaren faktiskt kan åsidosätta utdata.
Regelefterlevnadsansvarig
“Negativa beslut förklaras med en poäng och en orsakskod.”
Kräv attribution per beslut som behålls vid beslutstillfället, och en väg till mänskligt ingripande som kunden kan nå - Art. 15(1)(h) och konsumentkreditdirektivet.
Åtkomstbeslut
Villkor för kontext-Droplet.
De åtkomstbeslut som gäller i detta känsliga sammanhang - och de bevisvillkor som ger upphov till dem.
- Drift övervakas kontinuerligt mot den deklarerade driftpunkten
- Granskning av bias är aktuell, inklusive proxytestning enligt Art. 10(2)(f)
- Attribution per beslut behålls för varje negativt utfall
- Väg till mänskligt ingripande dokumenterad och nåbar för kunden
- Utdata har rättsliga eller på liknande sätt betydande följder - Art. 22 aktualiserad
- Granskaren ser attributionen, inte bara poängen, och kan åsidosätta
- Undergruppsdisparitet över tröskel i avvaktan på åtgärd
- Klagomål eller tillsynsförfrågan öppen mot modellen
- Modellen omtränad sedan de senaste rättvisebevisen togs fram
- Testning av proxydiskriminering saknas - uteslutning av egenskaper behandlas som tillräcklig
- Modellleverantören inte registrerad som en IKT-tredjepart enligt DORA
- Beslutshärkomst ofullständig - tidigare utfall kan inte återskapas
- Ingen förklaring tillgänglig för ett beslut som påverkar en enskild kund
- Uppmätt disparitet över tröskel utan åtgärdsplan
- Olåst tredjepartsslutpunkt avgör kundutfall
- Agentverktygsanrop som ändrar konton utan någon loggrad enligt Art. 12
Mätning
Bevisfamiljer vi kan strukturera.
De mätbara beviskategorier som är relevanta för detta sammanhang och de bevissignaler de ger upphov till.
Prestanda och drift (Art. 15)
Träffsäkerhet, precision, återkallande, AUC och kalibrering med konfidensintervall, spårade kontinuerligt mot den deklarerade driftpunkten - datadrift, konceptdrift och tröskelförflyttning efter varje omträning.
Rättvisa, proxy och negativ påverkan (Art. 10(2)(f))
Demografisk paritet, utjämnade odds och disparat påverkan över segment - plus proxytestning som visar vad korrelat för postnummer, enhet och inkomst rekonstruerar efter att skyddade egenskaper tagits bort.
Förklarbarhet och negativa beslut (GDPR Art. 15(1)(h))
Attribution per beslut som behålls vid beslutstillfället, tillräcklig för att ge kunden meningsfull information om logiken och för att stödja rätten till förklaring och mänskligt ingripande enligt konsumentkreditdirektivet.
Beslutshärkomst och loggning (Art. 12)
Indata, egenskapsvärden, modellversion, tröskel och registrerat utfall bundna samman och rekonstruerbara år senare - för tillsynsgranskning, ombudsmannaklagomål och rättstvist.
Mänsklig tillsyn och analys enligt Art. 22
Om beslutet är enbart automatiserat, om granskaren ser tillräckligt för att åsidosätta, och om de någonsin gör det - åsidosättningsfrekvenser, inte rätten att åsidosätta.
Integritet och datastyrning
Rättslig grund för varje datakategori, särskild kategori av data i skade- och sårbarhetsmodeller, DPIA-status, bevis på minimering, och underbiträden.
IKT-tredjepart och modellens leveranskedja (DORA)
Varje modellleverantör i beslutskedjan i informationsregistret, med versionslåsning, ändringsavisering, utbytbarhet och en testad utträdesväg.
Ärlig omfattning
Vad som fortfarande inte kan bedömas.
AffectLog överdriver inte. Dessa punkter kräver extern expertis, regulatorisk process eller långsiktig studie.
Huruvida en uppmätt disparitet är olaglig diskriminering
En disparitet är en mätning. Olaglighet är en rättslig slutsats som omfattar rättfärdigande, proportionalitet och prövning - något ingen bevisplattform kan nå.
I stället: Skicka den uppmätta dispariteten, proxyanalysen och den affärsmässiga motiveringen till juridik och regelefterlevnad för tolkning mot det tillämpliga regelverket.
Godkännande av modellrisk och tillsynsgodkännande
Intern modellvalidering, oberoende granskning och tillsynsgodkännande är styrningsprocesser med namngivna ansvariga ägare. Vi tar fram underlag till dem, inte godkännandet.
I stället: Involvera modellriskhantering och oberoende validering. Bifoga våra bevisposter till underlaget som det tekniska lagret.
Fel på de sökande ni avslog
Avslagsinferens är en strukturell blind fläck: produktionsdata innehåller endast utfall för godkända sökande. Ingen mängd övervakning återskapar det kontrafaktiska.
I stället: Genomför en holdout- eller randomiserad godkännandestudie, eller använd kreditupplysningsutfall för avslagna sökande där det är lagligt. Vi markerar denna lucka uttryckligen i stället för att rapportera träffsäkerhet som om den gällde hela populationen.
Efterlevnad av Consumer Duty eller uppföranderegler
Uppförandeefterlevnad bedöms mot utfall för kunder över hela produktlivscykeln, inte enbart mot modellmått.
I stället: Använd bevisen som ett underlag till uppförandegranskningen. De är inte, och presenteras aldrig som, en slutsats om efterlevnad.
Exempel
Exempel på Ripple för detta sammanhang.
Kreditvärdighetsmodell v2.1
Beslutsfattande om konsumentkredit · Annex III 5(b) hög risk
Åtkomstvillkor
Vad vi inte kommer att överdriva
AL360° Oceans strukturerar tekniska och operativa bevis för åtkomstbeslut om finansiell AI. Vi certifierar inte rättvisa, drar inga slutsatser om diskriminering, godkänner inte modellrisk och avgör inte regulatorisk efterlevnad. Vi visar uppmätta dispariteter, drift mot den deklarerade driftpunkten, de blinda fläckarna i data, och de granskningsvillkor som följer.
Vanliga frågor
Frågor som detta sammanhang väcker.
“Vi har intern modellvalidering - det borde räcka.”
Intern validering besvarar ert ramverk för modellrisk. Den tar sällan fram det som en tillsynsmyndighet, en DPO eller en ombudsman efterfrågar: attribution per beslut som behållits vid beslutstillfället, drift sedan senaste omträningen, proxytestning, och DORA-positionen för varje leverantör i kedjan. En Ripple bär dessa i en enda post.
“Vi uteslöt skyddade egenskaper, så modellen kan inte diskriminera.”
Att utesluta en egenskap utesluter inte informationen. Korrelat för postnummer, enhet, arbetsgivare och inkomst rekonstruerar den. Art. 10(2)(f) kräver granskning av bias, vilket innebär att mäta vad proxyerna bär - inte att hävda att kolumnen är borta.
“Modellen har körts i två år utan ett enda klagomål.”
Frånvaron av ett klagomål är inte bevis på korrekthet - det är bevis på att ingen ännu har frågat. Drift, avslagsinferens och disparitet ackumuleras alla i tysthet. Den första som frågar är oftast den som har lagstadgad makt att framtvinga ett svar.
Kom igång
Gör finansiell AI granskningsbar
innan nästa kund prissätts.
Skanna modellbeståndet, se vilka beslut som inte kan rekonstrueras, vilka leverantörer som är olåsta i beslutskedjan, och vilka rättvisebevis som åldrats förbi den senaste omträningen. Bestäm sedan villkoren som varje modell får verka under.
AL360° Oceans tillhandahåller tekniska och operativa bevis som stöd för åtkomstbeslut. Inte regulatorisk efterlevnad, juridisk rådgivning eller godkännande av modellrisk.