Expertbedömning och osäkerheter

Det är inte alltid lätt att bedöma åtgärders kostnader eller dess övriga effekter. Osäkerheter kring bedömningarna kan exempelvis bero på brist på bra bakgrundsunderlag men det kan också bero på att kostnaden/effekten kan variera på grund av oförutsedda händelser eller på att den exakta utformningen av en åtgärd inte kan definieras i detalj. Det kan då vara bra att känna till att det finns strukturerade arbetssätt för expertbedömningar (O'Hagan m.fl., 2006; Oakley och O'Hagan, 2016) som syftar till att väga samman kunskap, erfarenheter och bakgrundsunderlag för att möjliggöra en så bra uppskattning som möjligt av den specifika effekten (eller parametern) som ska bedömas. Sådana arbetssätt kan med fördel användas vid poängsättningen i WISER. Nedan ges en kort beskrivning av ett sådant arbetssätt anpassat till WISER-verktyget, baserat på SHELF-metoden av Oakley och O'Hagan (2016). 

Första steget inför en expertbedömning av poäng i WISER är att identifiera vilka som bör vara med vid bedömningstillfället (workshopen). Det är viktigt att de experter som medverkar har god kännedom om de åtgärdsalternativ som analyseras samt att de har möjlighet att bidra med kunskap och erfarenheter kring åtgärdernas potentiella effekter i relation till referensalternativet för de utvalda kriterierna. Det är även viktigt att så långt möjligt inkludera experter som kan bistå med olika erfarenheter för att uppnå önskad täckning av effekten. Exempel på experter kan vara konsulter som utfört utredningar kring åtgärderna, VA-tjänstemän som arbetat med att identifiera åtgärdsalternativen, och representanter för berörda samhällsgrupper/miljöeffekter. För att undvika utdragna diskussioner under workshopen bör antalet deltagare hållas nere. Som riktmärke bör inte fler än åtta experter delta vid varje tillfälle. Om det är olika experter som ska poängsätta olika kriterier är det generellt enklare att anordna flera olika workshopar, än att låta samtliga experter vara delaktiga vid bedömningen av alla kriterier. Vilka experter som involveras kan bland annat bero på vilket bakgrundsunderlag man besitter. Finns det mycket bakgrundsmaterial kring en viss effekt kan kanske workshopsdeltagarna göra bedömningen enbart baserat på bakgrundsmaterialet, men finns det ont om material behöver kanske workshopsdeltagarna kompletteras med någon ytterligare expert i frågan. När man har bestämt sig för vilka aktörer som ska vara med vid bedömningarna bör detta dokumenteras och motiveras. I det första steget inför expertbedömning ingår det även att identifiera en facilitator (dvs den person som ska hålla samman workshops-diskussionerna) samt en annan person som ska föra anteckningar. 

Inför workshopen bör tillgängligt bakgrundsunderlag för de kriterier som ska bedömas sammanställas och skickas ut i förväg till workshopdeltagarna. Bakgrundsunderlaget kan exempelvis utgöras av information från utredningar kopplade till de åtgärder som ska analyseras, men det kan också utgöras av information och erfarenheter från tidigare liknande projekt eller från nationell och internationell litteratur. De experter som ska delta vid workshopen bör ges tillfälle att bidra med information och synpunkter till sammanställningen. Om ny information kommer fram under workshopen bör sammanställningen uppdateras. Sammanställningen syftar till att säkerställa att alla deltagande experter har tillgång till samma underlag inför bedömningarna och att det inte finns några oklarheter kring vilken effekt det är som ska bedömas. Det får heller inte finnas några oklarheter kring vilken tidshorisont som bedömningen ska baseras på. 

Själva workshopen syftar sedan till att bedöma hur väl åtgärderna presterar på respektive kriterium, och ansätta en min-, max- och mest trolig poäng för varje åtgärd och kriterium på en skala mellan -10 och 10. Om valet görs att inte inkludera osäkerheter i analysen kan nedanstående arbetssätt ändå följas, men med den skillnaden att det enbart är den mest troliga poängen som bedöms. Varje bedömning utförs i tre steg: en individuell bedömning, en gruppdiskussion och en grupp-baserad bedömning.  

Den individuella bedömningen börjar med att varje expert individuellt (och utan diskussion) skriver ner sin uppskattade min- och max-poäng för det specifika kriteriet, vilket därmed definierar åtgärdens poängintervall. För att komma igång samt för att skapa en gemensam syn på vad ändpunkterna (dvs -10 och 10) betyder, kan det vara bra att börja med att bedöma prestandan av enbart en alternativ åtgärd, för att efter gruppdiskussionen gå tillbaka och bedöma även de andra åtgärderna individuellt. Här ska man komma ihåg att skalans ändpunkter (-10 och 10) definieras som den sämsta respektive bästa möjliga prestanda som en åtgärd teoretiskt skulle kunna uppvisa för det aktuella kriteriet givet ett sådant beslutsproblem som studeras. Varje kriteriums ändpunkter baseras därmed på experternas egna rimlighetsbedömningar och erfarenheter. Vid bedömningen bör experten alltså förhålla sig till vad som kan anses vara den bästa/sämsta prestandan som en teoretisk åtgärd skulle kunna uppvisa. Min- och maxpoäng definieras i sin tur som att det ska anses vara extremt osannolikt att den analyserade åtgärden presterar sämre respektive bättre än ansatt poäng för den tidshorisont som analysen utförs för. Den individuella bedömningen avslutas med att varje expert uppskattar den mest troliga poängen för den tidshorisont som analyseras. 

Efter den individuella bedömningen redovisar varje expert sin min-, max och mest troliga poäng, varpå gruppdiskussionen inleds. Diskussionen syftar till att samtliga deltagande ska förstå varje experts resonemang kring sina bedömningar och för att dela med sig av erfarenheter och tolkningar av bakgrundsunderlaget. Under diskussionen bör även respektive experts osäkerhet kring bedömningen tas upp. Det är viktigt att alla experter kommer till tals under diskussionen. Gruppdiskussionen avslutas med att expertgruppen tar fram en gemensam (konsensus-baserad) bedömning av min-, max- och mest troliga poäng för kriteriet. Här behöver inte nödvändigtvis alla vara överens, utan den gemensamma bedömningen ska baseras på de diskussioner som förts, samt de resonemang och de osäkerheter som lyfts. I SHELF-metoden rekommenderas att den gemensamma grupp-bedömningen ska baseras på vad en oberoende person som lyssnat in på gruppdiskussionen hade gjort för bedömning. Ovanstående förfarande upprepas sedan för varje utvalt kriterium. 

Referenser 
O'Hagan, A., Buck, C., E., Daneshkhah, A., Eiser, J., Richard, Garthwaite, P., H., Jenkinson, D., J., Oakley, J. E., & Rakow, T. (2006). Uncertain Judgements: Eliciting Experts' Probabilities. West Sussex, England: John Wiley & Sons. 

Oakley, J. E., & O'Hagan, A. (2016). Shelf: The Sheffield Elicitation Framework (Version 3.0).   http://tonyohagan.co.uk/shelff  

Sidansvarig Publicerad: on 14 apr 2021.