Kompetencevurdering af tekniske færdigheder

Som pendant til Sara Andersens inspirerende indlæg om kompetencevurdering af ”soft skills”, kommer her et perspektiv på tekniske færdigheder, også kaldet ”hard skills”. Vi skal som sundhedsprofessionelle gerne kunne mestre begge aspekter, og i dette indlæg zoomer vi ind på, hvordan vi kompetencevurderer de tekniske færdigheder.

Af Martine Siw Nielsen, læge, ph.d.-studerende i anæstesi og medicinsk uddannelse, Sygehus Lillebælt, Kolding, og Forskningsenheden for Medicinsk Uddannelse, Syddansk Universitet.

Billede af Sharissa Johnson fra Unsplash

Hvad er tekniske færdigheder?

Når vi taler om tekniske færdigheder, handler det om de procedurer, hvor vi arbejder med hænderne. Det spænder fra simple indgreb som anlæggelse af perifert venekateter til avancerede procedurer som bronkoskopi eller nødtrakeotomi. Fælles for dem er, at de kræver, at vi kombinerer viden med præcise motoriske færdigheder - samtidig med, at vi træffer de rigtige beslutninger undervejs. Det handler altså ikke kun om at gennemføre en procedure, men om hvordan den udføres: præcision, timing, flow og evnen til at håndtere variation i patienter og kliniske situationer. Men allerede nu opstår det første helt grundlæggende spørgsmål: Hvordan vurderer vi kvaliteten af de tekniske færdigheder, vi udfører?

Når vi står i klinikken, har vi ofte en ret enkel målestok: Gik det eller gik det ikke? Kateteret kom ind. Spinalblokaden virkede. Ultralydsbilledet blev optaget. Så må det jo være fint?

Vi kender dog også den anden side af historien: den spinalblokade, der “gik”, men først efter fem forsøg. Den procedure, hvor supervisoren diskret måtte tage over halvvejs. Den ultralydsundersøgelse, hvor vi fik et billede, men faktisk ikke helt forstod, hvad vi kiggede på. Alligevel ender vi ofte med at godkende præstationen. Enten fordi resultatet var acceptabelt, fordi tiden var knap, eller fordi vi mangler et fælles sprog for kvaliteten af det, vi ser.

At “det lykkedes” er ikke det samme som at “det var godt nok”. Og det er præcis her, problemet opstår – og mit arbejde begynder.

Skills assessment 

Traditionelt set er vurderingen af tekniske færdigheder ofte blevet struktureret omkring tid og antallet af gentagelser.

De fleste af os har været udsat for ”time-based training”, hvor vi eksempelvis deltager i et kursus, træner en procedure i to timer, og får godkendt kurset, når vi går derfra. Tanken er, at tiden brugt på træning afspejler det niveau, vi har opnået. Men vi ved godt, at det sjældent er sådan i praksis. Selvom vi har siddet i samme lokale og trænet det samme i to timer, går vi ikke derfra med det samme udbytte.

En anden jævnlig brugt tilgang til kompetencevurdering er ”procedure-based training”, hvor fokus er på antallet af gentagelser. Her antager vi, at hvis vi bare har lavet en procedure “nok gange”, så er vi kompetente. Men også her ved vi, at virkeligheden er mere nuanceret. Vi lærer i forskelligt tempo, og vi bliver ikke nødvendigvis lige gode, bare fordi vi har prøvet det samme antal gange.

Jeg har ofte i klinikken mødt en (yderst irriterende) kollega, som “bare kunne det” efter få forsøg. Omvendt har vi ofte i vores studier set deltagere, der kæmpede med at udføre tekniske færdigheder korrekt – selv efter mange gentagelser. 

Det understreger en vigtig pointe, som vi arbejder med i forskning i tekniske færdigheder:

Læring er ikke lineær, og erfaring er ikke det samme som kompetence. Så selvom tid og antal kan give en vis struktur, rammer de ved siden af kernen.

Så, i stedet for at spørge hvor længe eller hvor mange gange, må vi begynde at spørge:
Har vi faktisk opnået den nødvendige kompetence?

Det er kernen i det, vi kalder competency-based training.1

I praksis betyder det, at vi arbejder med klare læringsmål, struktureret træning, målrettet feedback og tydelige kriterier for, hvad der udgør en god nok performance. Når træningen fortsætter, indtil et bestemt niveau er nået - og ikke bare til tiden er gået - bevæger vi os mod det, der ofte beskrives som proficiency-based training og herunder mastery learning, hvor træningen er struktureret med trinvis progression, gentagelser og kontinuerlig feedback, indtil mestring er opnået. 

Her accepterer vi, at vi lærer i forskelligt tempo, men at alle skal opnå en minimumskompetence.

Kompetencevurderings-værktøjer (Assessment tools)

For at kunne arbejde på den måde spiller assessment tools en central rolle. Vi har brug for redskaber, der kan hjælpe os med at vurdere, om kompetencen faktisk er opnået. Det kan være alt fra simple checklister til mere detaljerede rating scales, men uanset format er det afgørende, at vurderingerne er valide, altså at vi måler det, vi ønsker at måle, og pålidelige, det vil sige, at vurderingen er stabil og uafhængig af bedømmeren.2 Og at vi på forhånd har defineret, hvad der er “godt nok”.

Det er her, det bliver tydeligt, at assessment tools ikke bare er noget, vi “lige laver”. Hvis en vurdering skal bruges til mere end blot feedback, hvis den skal have konsekvenser, som for eksempel at godkende eller afvise kompetence, så skal den være gennemtænkt og evidensbaseret.

Fordi en test uden konsekvens er i virkeligheden ligegyldig. Men en test med konsekvens forpligter os.

Messicks framework

Inden for min forskningsgruppe benytter vi os af det såkaldte Messicks framework, når vi udvikler assessment tools.3 I stedet for at se validitet som en egenskab, ”beskriver” Messick det som en samlet argumentation baseret på flere forskellige typer evidens:

Content: Tester vi det, der faktisk er relevant? Vi involverer eksperter for at sikre relevant indhold af assessment tool’ets vurderingskriterier.

Response process: Foregår vurderingen på en ensartet og fair måde? Dette arbejder vi hen imod med standardiserede instruktioner for testdeltagere og trænede bedømmere. 

Internal structure: Hænger testresultaterne sammen, og er de pålidelige? Dette undersøger vi med statistiske mål som Cronbach’s α og ICC

Relationship to other variables: Opfører resultaterne sig, som vi forventer? Fx at erfarne scorer højere points ved brug af assessment tool’et end novicer.

Consequences: Hvad betyder det i praksis at bestå eller dumpe? Vi etablerer en bestået/ikke-bestået score, og undersøger konsekvenserne af denne score i form af falsk positive (dvs. nybegyndere, der bestod) og falsk negative (dvs. erfarne, der ikke bestod).

Pointen er, at validitet ikke er noget, en test har. Vi arbejder i stedet med valide evidenser som en form for argumentation for, at vi stoler på vores assessment tool.  Og jo større konsekvenser, vi knytter til vores vurderinger, desto stærkere skal den evidens være.

Hvordan omsætter vi det i klinisk praksis?

For det første kræver det, at vi bliver mere eksplicitte om, hvad vi vurderer. Hvad er egentlig kriterierne for en “god” spinalblokade eller en veludført ultralydsundersøgelse? Vi skal i højere grad koble vurdering til feedback. Ikke kun om det “lykkedes”, men hvordan det blev udført, og hvad næste skridt i læringen er. Samtidig er det vigtigt at understrege, at det ikke kun er et individuelt ansvar. Implementering af bedre kompetencevurdering kræver organisatorisk opbakning. Uddannelsesansvarlige læger og ledelser spiller en central rolle i at prioritere, implementere og understøtte brugen af evidensbaserede assessment tools i klinikken.

Endelig er det værd at huske, at udviklingen ikke kun kommer ovenfra. Som klinikere kan vi også selv bidrage - ved at engagere os i uddannelse, afprøve nye tilgange og deltage i udviklingen af bedre måder at træne og vurdere tekniske færdigheder på.

Fremtidsperspektiv

Hvad bringer fremtiden for kompetencevurdering af tekniske færdigheder?

En vigtig del af udviklingen bliver, hvem der tager ansvar for at udbrede bedre praksis. Her spiller både forskningsmiljøer og specialeselskaber en central rolle. Forskningen bidrager med evidens og udvikling af nye metoder, men for alvor at skabe forandring kræver det, at specialeselskaberne omsætter denne viden til konkrete anbefalinger og redskaber, for eksempel i form af kompetencekort og nationale standarder. Samtidig vil simulationstræning sandsynligvis få en endnu større rolle i implementeringen af competency-based training. Det giver mulighed for flere gentagelser og mere struktureret læring, end det ofte er muligt i klinikken, hvor både tid og patientflow sætter begrænsninger.

Opsummering

Kompetencevurdering uden evidens? Det er lidt som, når jeg spiller Matador med min niece, som endnu er for ung til at forstå alle reglerne. Hun bestemmer selv, hvordan man vinder (som hun naturligvis altid gør), og vi spiller efter hendes version af reglerne. Det er sjovt nok, men det siger ikke noget om, hvem der egentlig spiller bedst. På samme måde bør vi ikke bare antage, at en læge er “god nok”, fordi en senior kollega på afdelingen har bestemt nogle lokale instrukser, som sandsynligvis ser helt anderledes ud på nabohospitalet. I stedet bør vi holde os til standardiserede assessment tools med valide evidenser, så vi faktisk kan vide, om kompetencen er opnået, og så både lægen kan føle sig tryg og sikker i det, de laver, og vores patienter kan have tillid til, at vi kommer kvalificeret ind i opgaven.

Referencer