En introduktion til kompetencevurdering

Af Dawid Zawila fra Unsplash

Case 1: Jonas, KBU læge

Jonas er halvvejs gennem sin KBU, da han i forbindelse med en dagvagt aftaler med sin bagvagt, at han kan få udfyldt et kompetencekort. Jonas giver sin bagvagt det udprintede kompetencekort. Jonas synes bagvagten ser lidt forvirret ud, mens han skimmer det, men han rejser sig da og følger med ind til patienten, og svarer også på et par spørgsmål omkring behandlingen. Tilbage på kontoret sætter bagvagten en hurtig række krydser, og giver kompetencekortet tilbage til Jonas med en tilfreds mine. Alle krydserne er sat i “forventet niveau”. Jonas synes, det virker på bagvagten som om, at han har gjort Jonas en tjeneste ved at godkende kompetencen. Men Jonas spekulerer på, om han virkelig udførte alle punkter på forventet niveau, om der var noget, han burde have gjort bedre, eller hvad han kunne have gjort for at komme op i yderst tilfredsstillende.

Summativ og formativ feedback

Jonas’ historie er et godt eksempel på, hvordan kompetencekortene, i vores erfaring, bliver benyttet, når bedømmeren mangler erfaring og uddannelse i at lave kompetencevurdering. Kompetencevurderingen ses som en administrativ opgave, som skal overstås, og man gør den bedømte en tjeneste ved at godkende deres uddannelse, så de kan komme videre. Det har jeg selv været skyldig i som bedømmer. Hvis vi skal gøre det bedre, er der flere områder, vi skal være opmærksomme på.

Kompetencevurdering skal basalt set kunne to ting:

1. vurdere om lægens evner er acceptable
2. understøtte lægens videre læring, uanset niveau

Helt formelt skal det attesteres, at lægen har opnået de kompetencer som forventes på et givent uddannelsestrin. Det handler om kvalitet og patientsikkerhed, og kan ses som en “eksamen”. Derfor kan det også virke lidt kontraintuitivt, at kompetencevurdering også skal bruges som et læringsredskab. Men kompetencevurdering har faktisk stort potentiale som læringsredskab, hvis vi bruger det som struktureret feedback. Her kan det fortælle os, hvor vi har vores svage punkter, som vi kan og skal øve os på. 

Som udgangspunkt er den feedback, som kommer i form af en kompetencevurdering eller eksamen, summativ feedback. Det er slutresultatet eller den endelige bedømmelse af vores evner. Summativ feedback står i modsætning til formativ feedback, som er den feedback, der gives undervejs med det formål, at man skal præstere bedre i fremtidige situationer.

Hvis kompetencevurdering skal understøtte den løbende kompetenceudvikling hos uddannelseslægen kræver det at bedømmeren er opmærksom på, at en summativ vurdering bør følges af formativ feedback. I Jonas’ tilfælde kunne bedømmeren have brugt tid på at forklare, hvad Jonas gør, som er godt og hvad han gør, som er mindre hensigtsmæssigt, og derfor kan arbejdes på. 

Case 2: Signe, KBU læge

Signe har fået sin bagvagt til at lave kompetencevurdering. De går sammen ind til patienten, og bagefter udfylder bagvagten med et stort smil kompetencekortet med krydser kun i kolonnen længst mod højre: “over forventet niveau”. I bunden af kompetencekortet, hvor der står “hvad skal lægen forbedre…” skriver bagvagten PERFEKT med en lille smiley. Signe er glad for at få så meget ros. Til frokost snakker hun med en HU læge, der fortæller, at man skal passe på med at bede en bestemt overlæge fra ambulatoriet om at hjælpe med kompetencevurdering, for hun mener altid, at alting er helt galt. Signe synes det lyder underligt, at der er så stor forskel på hvem, der laver kompetencevurderingen. Hun tænker på, om hun virkelig var så god tidligere, eller om den bagvagt, der kompetencevurderede hende, altid synes alt er perfekt…

Skalaer

Både i Signes og Jonas historie har bedømmeren problemer med at benytte skalaen i KBU kompetencekortet. Grundlæggende benyttes to skalaer ved kompetencevurdering: 

1. Dikotome skalaer: ja/nej, godkendt/ikke godkendt  
2. Likertskalaer, typisk med 5-9 trin fra under forventet niveau til over forventet niveau. 

Begge har fordele og ulemper. Grundlæggende er den dikotome skala velegnet til tjeklister og kørekort, fx kompetencevurdering af en procedure, mens Likert-skalaen benyttes til at vurdere mere komplekse kompetencer, fx at gennemføre stuegang.

Hos både Jonas og Signe er der kun brugt en enkelt kolonne i Likertskalaen. Måske er de bare meget stabile i deres performance, eller også mestrer bedømmerne ikke at bruge hele skalaen, det kan nemlig være rigtig svært. Det kræver ret stor fortrolighed med, hvad niveauet for en KBU læge bør være at kunne bevæge sig smidigt på begge sider af midten. Noget andet som kan være på spil, er “halo-effekten”. 

Halo-effekten

Det er fænomenet, at en persons performance i et felt afsmitter vores vurdering af det næste. Hvis Jonas det meste af tiden har gjort det godt, så vil den vurdering smitte af på andre punkter, også der hvor Jonas måske gjorde det mindre godt. I Signes tilfælde kan det samme nok også gøre sig gældende, men der kan også være tale om det, man kalder “due og høg” effekten. Hun kan simpelthen være stødt ind i en rigtig flink bedømmer, som altid vurderer højt.

Due og Høg effekten

Du kender det måske godt. Der er nogle bedømmere som simpelthen ikke kan få sig til at indrømme at noget er skidt, i ren og skær venlighed, mens andre har særligt strenge standarder. Fænomenet kaldes “due og høg effekten”, og dækker over, at nogle bedømmere simpelthen er strengere eller flinkere end andre.

Case 3: Søren, afdelingslæge

Søren kigger lidt fortvivlet på det kompetencekort, som HU lægen har lagt foran ham. Det ser egentlig ret simpelt ud. Godkendt eller ikke godkendt. Problemet er snarere, at Søren ikke rigtig har fornemmelsen af, hvad der skal til for, at kompetencen kan godkendes. På kompetencekortet står der, at lægen skal kende årsager og differentialdiagnoser til tilstanden, det drejer sig om. Men på hvilket niveau? Skal vi have patologibogen frem som facitliste, eller skal man bare kunne det til husbehov? Lægen skal også kunne opstille en udrednings- og behandlingsplan. Men er Søren overhovedet dygtig nok til at vurdere det, eller er der nogen af kollegerne, som vil mene at man skal kende til nogle helt nye og avancerede behandlinger for at få det godkendt? Søren tænker tilbage på, hvordan han selv fik godkendt denne kompetence. Hans vejleder havde kigget på ham og sagt, “nåja, det kan du jo godt, du er jo så dygtig”. 

Forventet standard

Jeg har følt Sørens dilemma på egen krop. Man er ikke særligt “gammel” som læge, før man forventes at kunne kompetencevurdere andre, uden andre særlige kvalifikationer end, at man selv har været igennem kompetencevurdering på et tidspunkt. Hvis den kompetencevurdering ikke var særligt grundig, hvordan kan man så forvente, at de nye bedømmer skal gøre det bedre? Meget handler om at få etableret en “forventet standard” på sin afdeling eller i sit speciale, og den eneste måde at gøre det på, er ved at snakke om det. Man skal også vide, om man vurderer lægen ud fra deres nuværende uddannelsestrin eller op mod den standard, der forventes af en speciallæge. Her spiller vejlederfora en vigtig rolle, hvor nye og mere erfarne vejledere kan udveksle erfaringer. Afdelingen kan også overveje at bruge tid ved morgenundervisning eller ved temadage på at diskutere kompetencevurdering, og til sidst har enkelte specialer deres egne vejlederkurser, hvor man kan fokusere på specialets kompetencer.

Case 4: Carsten, HU læge

Carsten er forvirret. De seneste tre mini-CEX, han har fået lavet, har stukket i alle retninger. Én var overstrømmende positiv, én var det modsatte, og én havde punkter på begge sider af midten. Carsten beslutter sig for at få mest muligt ud af kompetencevurderingen, og forsøger at gennemskue, hvad de varierende krydser kan være udtryk for, og om han kan bruge informationen til at blive bedre.

Kompetencevurdering er et øjebliksbillede og skal udføres flere gange

Et område med øget opmærksomhed disse år er, at kompetencevurdering er et øjebliksbillede. Lægens præstation svinger afhængigt af patientens kompleksitet, diagnose og travlhed. Og bedømmerne har forskellig erfaring og forskelligt fokus. Derfor er det vigtigt, i hvert fald for de mange af vores kompetencevurderingsmetoder som er afhængige af direkte observation, at kompetencevurdering udføres flere gange, med forskellige bedømmere for at få et pålideligt billede af den enkelte læge. 

Case 5: Felicia, afdelingslæge

Felicia er nyansat afdelingslæge. På hendes tidligere afdeling var kompetencevurdering ikke rigtig noget, man gik så meget op i, men på den nye afdeling har hun følelsen af, at det fylder meget. Her til morgen er speciallægerne samlet til noget de kalder “Global Performance”, hvor de skal diskutere, hvordan det går med hoveduddannelseslægerne. I går udfyldte hun en 360 graders vurdering, og dagen før, var hun blevet bedt om at udfylde en mini-CEX. Hun havde også lavet journalaudit, kigget på epikriser og lavet casebaseret diskussion. På procedurestuen lå en bunke “kørekort” til diverse procedurer, som uddannelseslægerne skulle have udført, inden de blev vurderet “good to go”. I sit stille sind spekulerede Felicia lidt over om egentlig ikke det var lidt meget med alle de forskellige måder, der skulle kompetencevurderes på…

Hvorfor er der så mange metoder

Det er ikke lige til at være læge. Læger skal mestre alle 7 lægeroller, rumme utrolige mængder viden, beherske procedurer, kunne lede og fordele, kommunikere med patienter og pårørende, uddanne og give feedback. Alt det og meget mere er indeholdt i de kompetencer, som udgør den lægelige uddannelse, som vi skal teste og attestere på troværdig vis. Til det er der udviklet en række kompetencevurderingsmetoder, som skal belyse alle de små dele af lægers kunnen. En skriftlig eksamen som bruges i nogle lande, og på lægestudiet, er god til at teste den medicinske ekspertviden, men kommer til kort, når de andre lægeroller og mestring af selve arbejdssituationen skal testes.

Direkte observation, som findes i forskellige former med forskelligt fokus, er den mest alsidige form for vurdering af kompetencer og kan, afhængigt af fokus, bruges til at vurdere alle lægeroller. Mange specialer benytter efterhånden mini-CEX som er et redskab til vurdering af kliniske kompetencer indenfor anamnese, objektiv undersøgelse, patientrådgivning, empati og professionel adfærd og generel klinisk kompetence, det vil sige et meget bredt spænd af egenskaber. Mini-CEX har den styrke, at den kan bruges til et stort udvalg af kliniske situationer.

Kirurger vil kende OSATS til at teste kirurgiske færdigheder. De sociale og kognitive kompetencer som knyttes til kirurgien og anæstesien, også kaldet ikke-tekniske færdigheder, kan testes med NOTTS og ANTS. “Kørekort” og tjeklister kan benyttes til at vurdere om lægen behersker klart definerede procedurer.

Retrospektive metoder som casebaseret diskussion, journalaudit og refleksive rapporter kan benyttes som et effektivt redskab til både at teste lægens kognitive formåen, medicinske viden og til dels rollerne som professionel, akademiker og sundhedsfremmer, samt udvide lægens perspektiv ved at indbyde til refleksion.

Globale vurderinger som for eksempel 360 graders evaluering er en af de bedste metoder til at vurdere, hvordan lægen fungerer som leder, samarbejder og professionel, og fra vejlederens perspektiv, en vigtig kilde til feedback på, hvordan lægen virkelig fungerer i hverdagen.

Simulation kan både være en kilde til læring, og vurdere lægens evner og teamsamarbejde i sjældne og stressfulde situationer.

Pointen er, at alle metoderne har deres plads. Ingen kan stå alene, da de alle har deres styrker og svagheder i at danne den mosaik, som er en læges samlede kompetencer.

Case 6: Selma, HU læge

Selma er HU læge i fjerde år, og for nyligt rykket op i bagvagtslaget. Viktor, som er HU læge i første år, er mellemvagt, og har bedt om, at de kan gennemgå en kompetence med casebaseret diskussion. Viktor er i slutningen af sit første år i HU, og han er ved at blive lidt presset over at nå de mange kompetencekort, som han mangler. Selma synes egentlig ikke, at det går så godt, da Viktor gennemgår sin case. Der står på kompetencekortet, at han skal diskutere ud fra 2-3 cases, men han har kun en enkelt. Den case har han løst rimeligt godt, men Selma oplever, at Viktor har svært ved at diskutere afvigelser og undtagelser. Selma tænker tilbage på i morges inden morgenkonferencen, hvor hende og Viktor havde drukket en kop kaffe sammen, og Viktor havde fortalt, hvor hårdt det har været på det sidste med syge børn og en hustru med et krævende job i det private erhvervsliv. Selma tænker, at det nok bare er fordi, det er lidt svært for tiden, og så dårligt havde Viktor jo heller ikke gjort det. Og hvis der virkelig er problemer, så ved hans hovedvejleder det jo sikkert. Hun krydser af i godkendt.

Failing-to-fail

Failing-to-fail er det fænomen, at en bedømmer godkender eller undlader at dumpe en studerende eller uddannelseslæge på trods af, at deres præstation er dårligere end det, som er krævet. Det kan der være mange årsager til, men hensyn til uddannelseslægen, relationen mellem bedømmer og bedømte og usikkerhed på, hvad de formelle krav er, og konsekvenser ved ikke at nå dem, spiller ind. Failing-to-fail er et problem på flere punkter. Dels modvirker det, at vi identificerer svage punkter, der skulle være arbejdet med. Dels kan uddannelseslæger få lov at fortsætte med mangler i deres viden og kompetencer. Og ikke mindst kan fænomenet udhule tilliden til det kompetencebaserede uddannelsessystem.

Der findes næppe en enkelt løsning på problemet, men det er vigtigt at understrege, at det i denne case ikke er Selmas skyld, snarere er der behov for en organisatorisk opmærksomhed på problemet. På mange måder starter det i specialernes uddannelsesudvalg, når målbeskrivelser og kompetencekort skal udarbejdes. Hvis ikke de forventede standarder er meget klart defineret, så kan det være svært at identificere, hvornår noget er godt nok eller ikke godt nok. Et eksempel på et stykke arbejde, hvor dette er forsøgt imødekommet, er den nye målbeskrivelse og tilhørende kompetencekort for intern medicin. Her er man til flere kompetencekort kommet med udførlige beskrivelser af hensigtsmæssig og uhensigtsmæssig adfærd, sådan at bedømmeren ved, hvornår man er på den ene eller anden side af stregen. Afdelingens uddannelsesteams har også en stor opgave med at klæde de daglige kliniske vejledere på til at lave præcise kompetencevurderinger, og støtte op om, at man gerne må undlade at godkende kompetencer hos læger, som er under niveau. Optimalt set lærer alle at se kompetencevurderingerne som et læringsredskab, der skal understøtte uddannelseslæger i deres udvikling. Hvis vi går væk fra at tænke på kompetencevurdering som en enkeltstående eksamen, men accepterer at kompetencevurdering er et øjebliksbillede, og at uddannelseslægen optimalt set skal kompetencevurderes flere gange i samme kompetence og i forskellige situationer af forskellige bedømmere, så er en enkeltstående “ikke-godkendt” kompetencevurdering jo bare et skridt på vejen.

Opsummering

Kompetencevurdering er svært og kræver, at vi mestrer mange forskellige redskaber med forskellige skalaer. Som bedømmere må vi øve os i at bruge de mange forskellige metoder, blive fortrolige med deres styrker og svagheder og med skalaernes kompleksitet. Det kan vi gøre, hvis vi indenfor vores afdelinger og specialer aktivt arbejder med kompetencevurdering som en færdighed, og sammen definerer de forventede standarder, som gør det muligt at lave en god bedømmelse. Når kvaliteten af kompetencevurdering stiger, er det ikke kun patientsikkerheden som bedres, men også læringspotentialet.

Referencer