Modellgransking

Føremålet er å prøva om ein modell vert nytta innanfor det grunnlaget, føremålet og gyldigheitsområdet som kan dokumenterast. Granskinga kan nyttast på matematiske, statistiske, fysiske, økonomiske, juridiske, administrative, språklege og maskinlæringsbaserte modellar, men spørsmåla og evidenskrava må tilpassast det aktuelle fagfeltet.

Modellgranskinga rettar seg mot relasjonen mellom modell og granskingsemne. Ho avgjer ikkje på førehand om modellen er sann, falsk, realistisk, nyttig eller misvisande. Ein modell kan vera svært nyttig utan å vera ei fullstendig skildring av det han gjeld, og ein idealisert modell kan bera reell kunnskap når avgrensingane er synlege og samsvaret er prøvd.

Modellgransking vert upresis når modell, data, representasjon, utrekning, simulering og røynd vert brukte som om dei var det same. Skilja nedanfor er funksjonelle: det same artefaktet kan ha fleire roller, men rollene skal då dokumenterast kvar for seg.

At ein modell byggjer inn relasjonar, parameterar eller dynamiske reglar, tyder ikkje at han er innhaldslaus. Men det ontologiske innhaldet følgjer heller ikkje av symbola eller utrekninga åleine. Tilskriving til røynda krev eit synleg samsvarstilhøve, sporbar evidens og prøving mot relevante alternativ.

Mandatet skal peika ut den konkrete modellen, versjonen og bruken som skal prøvast. Det er ikkje tilstrekkeleg å skriva at ein skal 'granska modellen' eller 'avdekkja modellfangst'.

Ein og same modell kan vera forsvarleg for eitt føremål og uforsvarleg for eit anna. Mandatet skal difor avgrensa mål, målgruppe, tidsrom, avgjerdssituasjon og kva type konklusjon som faktisk vert vurdert.

Modellen skal kunna sporast frå granskingsemnet gjennom val av data, definisjonar, måling, filtrering, førehandsprosessering, føresetnader, struktur og parameterar til utdata og endeleg påstand. Sporbarheit krev ikkje at kvart ledd er enkelt, men at det er identifiserbart og kan prøvast.

Arva koordinatsystem, standardverdiar, treningsdata, kategoriseringar og programvarebibliotek kan bera med seg føresetnader som ikkje er synlege i sluttproduktet. Desse skal registrerast når dei er relevante for funnet.

• Før kjelda til observasjonar, målingar, treningsdata eller registerdata.
• Dokumenter definisjonar, einingar, koordinatsystem og utvalskriterium.
• Skil fastsette parameterar frå estimerte, kalibrerte og lærte parameterar.
• Før transformasjonar, filtrering, normalisering, aggregering og bortfall.
• Identifiser programvareversjon, avrunding, numeriske metodar og kjende implementasjonsavvik.
• Vis korleis utdata vert omsette til tekst, figur, kategori, avgjerd eller ontologisk påstand.
• Registrer kva ledd som ikkje er opne for innsyn, reproduksjon eller uavhengig prøving.

Spørsmåla skal opna modellen for prøving utan å byggja inn at han må vera falsk eller fangande. Svara skal knytast til dokumentasjon, testar og konkrete brukstilfelle.

Intern konsistens viser at modellen heng saman etter eigne reglar, men ikkje åleine at han svarar til røynda. Ytre samsvar vert styrkt når modellen møter materiale som ikkje berre vart brukt til å byggja eller kalibrera han.

Prediktiv styrke er relevant evidens, men skal vurderast saman med føremål, baseline, alternativ, feilmargin, datalekkasje og om prediksjonen var spesifisert før utfallet var kjent. Operasjonell vellukka bruk kan gje sterk støtte, men stadfestar ikkje automatisk kvar tolking av modellens delar.

Modellfangst er ikkje eit anna namn på modellbruk, matematikk, idealisering eller fagleg semje. Risikobiletet vert relevant når modellen får styrande prioritet over granskingsemnet, avgjer kva som kan telja som relevant grunnlag, og vernar denne prioriteten mot korrigerande observasjon eller prøving.

Eit F6-funn kan førast når fleire konkrete indikasjonar peikar i denne retninga, men avgjerande vilkår for F7 enno ikkje er dokumenterte. Eit F7-funn krev at heile relasjonen mellom modell, substitusjon, styring, motstand mot korrigering og konsekvens er dokumentert.

Modellgransking nyttar dei felles funnkategoriane F1–F7. Funnet skal seia kva modell, utdata, bruk og påstand som er vurdert, kva validering som ligg føre, og kva uvisse eller avgrensing som står att.

Eit funn skal skilja feil i data, implementasjon, modellstruktur, parameter, tolking og bruk. At ein modell er avgrensa eller idealisert er ikkje i seg sjølv eit feilfunn dersom avgrensinga er relevant, open og halden innanfor gyldigheitsområdet.

Korrigering skal svara til det avgrensa funnet. Føremålet er ikkje å fjerna modellar eller krevja modellfri praksis, men å gjenoppretta presis bruk, synleg uvisse, relevant motprøving og sporbar tilskriving til røynda.

Ein modell kan korrigerast gjennom data, definisjon, struktur, parameter, implementasjon, dokumentasjon, brukargrensesnitt, avgjerdsregel eller gyldigheitsavgrensing. Tiltaket skal retta seg mot det leddet som funnet faktisk gjeld.

• Rett feil i data, einingar, kode, parameterar eller omformingar og dokumenter verknaden.
• Skil tydeleg mellom modellutdata, fagleg tolking og endeleg avgjerd.
• Synleggjer føresetnader, feilmarginar, datadekning og gyldigheitsområde ved brukspunktet.
• Legg inn uavhengig validering, motmodell, sensitivitetsanalyse eller manuell overprøving der risikoen krev det.
• Avgrens eller stans ekstrapolasjon utan dokumentert grunnlag.
• Endra avgjerdsregelen dersom modellen får større verknad enn valideringa ber.
• Gje råka partar høve til å leggja fram relevant individ- eller saksgrunnlag som modellen ikkje fangar.
• Fastset ansvar, tidsfrist, etterprøving, tilbakeføring og kriterium for lukking.

Modellgransking kan sjølv verta modellfangande dersom granskarens eigne kategoriar, alternative modell eller føretrekte ontologi vert gjorde ukorrigerbare. Granskinga skal difor prøva sitt eige mandat, evidensutval og språk etter same krav.

Metoden kan synleggjera sporbarheit, logiske sprang og gyldigheitsproblem, men kan ikkje åleine avgjera alle faglege spørsmål. Påstandar om statistisk identifiserbarheit, fysisk mekanisme, programvaretryggleik eller regulatorisk samsvar kan krevja særskild kompetanse og eigne standardar.

Ei modellgransking skal dokumenterast i den felles arbeidsjournalen eller eit tilsvarande sporbar format. Journalen bør visa mandat, modellversjon, modellkjede, datakjelder, føresetnader, testar, alternativ, funn, kontradiksjon, korrigering og planlagd etterprøving.

Etterprøvinga skal undersøka om korrigeringa faktisk betra samsvar, robustheit, forståelegheit og avgjerdskvalitet, og om ho reduserte risiko utan å skapa ein ny modell eller manuell praksis med same ukorrigerbare funksjon.