De studerendes forudsætninger

Studieguide
– MED FORBEHOLD FOR ÆNDRINGER
Master i offentlig kvalitet og ledelse
3. semester
Effektmåling
Outcome evaluation
Tidsmæssig placering af undervisning:
September – december 2015
Tidspunkt for prøve:
4. – 7. januar 2016
Opdateret den 7. juli 2015
1
Indhold
De studerendes forudsætninger ......................................................................................................3
Modulbeskrivelse .............................................................................................................................3
Læringsudbyttemål:..........................................................................................................................3
Undervisnings- og arbejdsformer .....................................................................................................4
Omfang .............................................................................................................................................4
Lektionsplan .....................................................................................................................................5
Prøveform og bedømmelse ........................................................................................................... 12
Evaluering af modulet ................................................................................................................... 12
Modultovholder............................................................................................................................. 13
Studiekoordinator ......................................................................................................................... 13
Studieleder .................................................................................................................................... 13
Undervisere ................................................................................................................................... 13
2
De studerendes forudsætninger
Opfylder optagelseskriterierne for masteruddannelserne på Det
sundhedsvidenskabelige fakultet, SDU
Modulbeskrivelse
Indenfor alle sektorer øges kravene til lederes viden om kvalitet og dokumentation, og
samtidig øges mængden af vurderingsstudier af offentlige ydelser. Begrebet
evidensbaseret beslutningstagen er højaktuel. Formålet med modulet er at give de
studerende indsigt i og øge deres forståelse af metoder til vurdering af offentlige ydelser
til efterfølgende anvendelse i ledelsesfunktioner og –opgaver.
De studerende lærer at identificere relevante vurderingsmetoder samt opnår en generel
forståelse af indhold, relevans, konsekvenser samt implementeringsmuligheder i den
offentlige sektor. Der fokuseres på evnen til at identificere og differentiere mellem
relevante vurderingsmetoder i konkrete situationer og på analyse og kritisk vurdering af
metoderne.
Læringsudbyttemål:
Modulet giver den studerende følgende kompetencer:
De studerende har viden om og forståelse for:







effektmålinger, deres forudsætninger, indhold og implikationer
kausalitetsbegrebet
intern og ekstern validitet
forskellige designtyper til anvendelse overfor offentlige ydelser
anvendelse af designelementer til optimering af designs
evidensbaseret praksis på social- og sundhedsområdet
hovedprincipper i økonomiske evalueringstyper
De studerende har færdigheder til at vurdere:




fordele og ulemper ved hyppigt forekommende designtyper
anvendeligheden ved forskellige effektmålinger og andre designs
overførbarheden af foreliggende effektmålinger på praksis
forskellige typer af økonomiske evalueringer og deres implikationer
De studerende har kompetencer til:

kritisk at vurdere foreliggende effektmålinger, evalueringer, herunder også
økonomiske evalueringer og andre former for evidensbaseret
beslutningsgrundlag
3


at udvikle arbejdet med evidensbaseret praksis
i samarbejde med andre at kunne medvirke til planlægning af effektmålinger og
økonomiske evalueringer.
Undervisnings- og arbejdsformer
Undervisningen afvikles almindeligvis med to lektioner á 3-4 konfrontationstimer per
weekend fordelt over hele semesteret og med maksimalt 30 KT. Modulet består af et
antal konfrontationstimer samt andre selvstændige eller gruppebaserede
læringsaktiviteter før, under og efter undervisningssessionerne, og der undervises
(overvejende) på dansk.
Omfang
Aktivitet
Konfrontationstimer
Forberedelse
Øvelser og gruppearbejde
Prøveforberedelse
Prøve
I alt
Arbejdstimer
30
77,5
0
30
137,5
4
Lektionsplan
Lektion 1
Tidspunkt: Fredag d. 11. september kl. 9.15-12.00
Lokale: 132
Underviser: Birgitte Nørgaard
Indhold: Evidensbegrebet og validitet
I denne lektion gives en bred indføring i evidensbegrebet som grundlag for
beslutningstagen. Der præsenteres forskellige tilgange og metoder til evaluering og
effektmåling.
Anbefalet litteratur:
 Nørgaard B, Draborg EU. Evalueringens best practice. Nordens velfærdscenter
(NVC), Velfærdsteknologi og økonomi. Maj. 2014.
http://www.nordicwelfare.org/PageFiles/18252/Velf%C3%A6rdsteknologi%20og
%20ekonomi.pdf

Hansen MB, Vedung E (2010). Theory-based Stakeholder Evaluation. American
Journal of Evaluation September 2010 vol. 31 no. 3 295-313doi:
10.1177/1098214010366174
http://aje.sagepub.com/content/31/3/295.full.pdf+html

Moore GF, Audrey S, Barker M, Bond L, Hardeman W, Moore L, O’Cathain A,
Tinati T, Wight D, Baird J. Process evaluation of complex interventions: Medical
Research Council guidance. BMJ 2015; 350 doi:
http://dx.doi.org/10.1136/bmj.h1258 (Published 19 March 2015).
http://www.bmj.com/content/350/bmj.h1258.full.pdf+html

Campbell M, Fitzpatrick R, Haines A et al. Framework for design and evaluation
of complex interventions to improve health. BMJ. 2000 Sep 16;321(7262):694-6
http://www.bmj.com/content/321/7262/694.full.pdf+html

Wüsthoff LE, Waal H, Gråwe RW. When research meets reality-lessons learned
from a pragmatic multisite group-randomized clinical trial on psychosocial
interventions in the psychiatric and addiction field. Subst Abuse. 2012;6:95-106.
doi: 10.4137/SART.S9245. Epub 2012 Aug 16.
http://www.ncbi.nlm.nih.gov/pmc/articles/PMC3427035/
5

Sundhedsstyrelsen. Evidensniveauer og styrkegraderinger af anbefalinger.
https://sundhedsstyrelsen.dk/~/media/3E5E326CD6E54D609575282C73F9F9F2.
ashx
Supplerende litteratur:
 KREVI. Den logiske model – et værktøj til at planlægge, gennemføre og evaluere
sociale indsatser. KREVI, Århus august 2008.
http://www.kora.dk/media/282484/den_logiske_model_290808_0.pdf

KREVI. Evaluability Assessment. Kan det altid betale sig at evaluere offentlige
indsatser? KREVI, Århus, september 2009.
http://www.kora.dk/media/275813/ea_endeligt_notat.pdf

KREVI: Målingsterminologi. En introduktion. KREVI, Århus juni 2010.
http://www.kora.dk/media/281625/Malingsterminologi_FINAL.pdf

Nielsen C, Dinesen PT, Benjaminsen L, Bonke J. Effektmåling.
Socialforskningsinstituttet, København 2007; Kap. 1, 2, 3, 4; side 11-37.
http://www.sfi.dk/resultater-4726.aspx?Action=1&NewsId=61&PID=9422

Rieper O, Hansen HF. Metodedebatten om evidens. AKF Forlaget København
2007; Kapitel 1, 2, 3 og 6; side 7-41; 68-77.
http://www.kora.dk/udgivelser/udgivelse/i3676/Metodedebatten-om-evidens

Rieper O (red.): Håndbog i evaluering. Metoder til at dokumentere og vurdere proces og
effekt af offentlige indsatser. AKF Forlaget, København 2004; Kap. 1, 2, 3, 4, 5; side 1-80.
http://www.kora.dk/udgivelser/udgivelse/i3683/Haandbog-i-evaluering
Lektion 2
Tidspunkt: Lørdag d. 12. september kl. 12.30-16.15
Lokale: 132
Underviser: Birgitte Nørgaard
Indhold: Kausalitet og designs
Der gives en systematisk introduktion til kausalitets-begrebet og hvordan man via
udformning (design) af undersøgelser kan påvirke muligheden for at drage
kausalslutninger.
Anbefalet litteratur:
6

Treweek S, Zwarenstein M. Making trials matter: pragmatic and explanatory
trials and the problem of applicability. Trials 2009, 10:37 doi:10.1186/17456215-10-37. http://www.trialsjournal.com/content/10/1/37

Patsopoulos NA. A pragmatic view on pragmatic trials (2011). Dialogues Clin
Neuroscience. 2011 Jun; 13(2): 217–224
http://www.ncbi.nlm.nih.gov/pmc/articles/PMC3181997/

Berger ML, Dreyer N, Anderson F et al. Prospective Observational Studies to
Assess Comparative Effectiveness: The ISPOR Good Research Practices Task
Force Report. Value in Health 2012:15;217-230.
http://www.ispor.org/TaskForces/documents/POS_AssessCompEffectivenessGR
PTFReport.pdf

Anglemyer A, Horvath HT, Bero L. Healthcare assessed with observational study
designs compared with those assessed in randomized trials (Review). Cochrane
Database Syst Rev. 2014 Apr 29;4:MR000034 (1-44). doi:
10.1002/14651858.MR000034.pub2
http://onlinelibrary.wiley.com/doi/10.1002/14651858.MR000034.pub2/abstract
;jsessionid=28F7B40C2E64851C19FE588FD5E83A69.f01t03
Supplerende litteratur:
 Nielsen C, Dinesen PT, Benjaminsen L, Bonke J. Effektmåling.
Socialforskningsinstituttet, København 2007; Kap 5, 6; side 39-60.
http://www.sfi.dk/resultater-4726.aspx?Action=1&NewsId=61&PID=9422

The GRACE Initiative. GRACE Principles. Good Research for Comparative
Effectiveness.
http://www.graceprinciples.org/doc/GRACE_Principles_10April2010.pdf

The GRACE Initiative. GRACE Principles. A Validated Checklist.
http://www.graceprinciples.org/doc/Dreyer_GRACE_Validation_Study_J_
Manag_Care_Specialty_Pharmacy_2014.pdf
Lektion 3
Tidspunkt: Fredag d. 25. september kl. 12.30-16.15
Lokale: 132
Underviser: Birgitte Nørgaard
Indhold: Intern og ekstern validitet
7
Der fokuseres på validitetsbegrebet, herunder intern og eksterne validitet, samt trusler
mod validiteten.
Anbefalet litteratur:
 Craig P, Diepppe P, Macintyre S et al. (Developing and evaluating complex
interventions: new guidance. The medical Research Council (p. 1-39).
www.mrc.ac.uk/complexinterventionsguidance

Pineault R, Lamarche P, Beaulieu M (2010). Conceptual and Methodological
Challenges in Producing Research Syntheses for Decision-and Policy-Making: An
Illustrative Case in Primary Healthcare. doi: 10.1177/1356389009360478
Evaluation April 2010 vol. 16 no. 2 137-152
http://evi.sagepub.com/content/16/2/137.short

Valengtas P, Mohr P, Messner DA (eds.). (2012) Making Informed Decisions:
Assessing the Strengths and Weaknesses of Study Designs and Analytic Methods
for Comparative Effectiveness Research (1-34).
http://www.npcnow.org/publication/making-informed-decisions-assessingstrengths-and-weaknesses-study-designs-and-analytic

Dekkers OM, Elm E, Algra A et al. How to assess the external validity of
therapeutic trials: a conceptual approach. Int. J. Epidemiol. (2009) doi:
10.1093/ije/dyp174.ttp://ije.oxfordjournals.org/content/early/2009/04/17/ije.dyp17
4

Trochim W, Kane C, Graham MJ et al. Evaluating translational research: a process
marker model. Clin Transl Sci. 2011 Jun;4(3):153-62. doi: 10.1111/j.17528062.2011.00291.x. http://onlinelibrary.wiley.com/doi/10.1111/j.17528062.2011.00291.x/abstract;jsessionid=9D32386F2A5BFB43E8A532EA9FCE74
A5.f04t04
Supplerende litteratur:
 Rieper O, Hansen HF. Metodedebatten om evidens. AKF Forlaget, København 2007; Kap.
3; 18-41 http://www.kora.dk/udgivelser/udgivelse/i3676/Metodedebatten-om-evidens
Lektion 4
Tidspunkt: Lørdag d. 26. september kl. 8.15-12.00
Lokale: 132
Underviser: Birgitte Nørgaard
Indhold: Evidensbaseret praksis
Lektionen tager udgangspunkt i evidensbegrebets forskellige forståelser og anvendelser
8
samt giver et indblik i metoder til summering og syntetisering af viden i relation til
evidensbaseret beslutningstagen.
Anbefalet litteratur:
 Guise J-M, Viswanathan M. Overview of Best Practices in Conducting
Comparative-Effectiveness Reviews. Clinical Pharmacology & Therapeutics 2011:
vol. 90;6:876-882. DOI: 10.1038/clpt.2011.239
http://onlinelibrary.wiley.com/doi/10.1038/clpt.2011.239/abstract

Godwin M, Ruhland L, Casson I et al. Pragmatic controlled clinical trials in
primary care: the struggle between external and internal validity. BMC Medical
Research Methodology 2003, 3:28 doi:10.1186/1471-2288-3-28.
http://www.biomedcentral.com/1471-2288/3/28

Loudon K, Treweek S, Sullivan F et al. The PRECIS-2 tool: designing trials that are
fit for purpose. BMJ 2015; 350 doi: http://dx.doi.org/10.1136/bmj.h2147
(Published 08 May 2015.
http://www.bmj.com/content/350/bmj.h2147.full.pdf+html

Methley AM, Campbell S, Chew-Graham C et al. PICO, PICOS and SPIDER: a
comparison study of specificity and sensitivity in three search tools for
qualitative systematic reviews. BMC Health Services Research 2014, 14:579
doi:10.1186/s12913-014-0579-0. http://www.biomedcentral.com/14726963/14/579

SFI Campbell. Vejledning i at læse & forstå Campbell forskningsoversigter. Side 115. http://www.sfi.dk/guides-8141.aspx
Supplerende litteratur
 Berlin JA, Cepeda MS. Some methodological points to consider when performing
systematic reviews in comparative effectiveness research. Clin Trials. 2012
Feb;9(1):27-34. doi: 10.1177/1740774511427062. Epub 2011 Nov 2.
http://www.ncbi.nlm.nih.gov/pubmed/22049086

Rieper O, Hansen HF. Metodedebatten om evidens. AKF Forlaget København
2007; Kap. 4-5; 42-67.
http://www.kora.dk/udgivelser/udgivelse/i3676/Metodedebatten-om-evidens
Lektion 5
9
Tidspunkt: Fredag d. 20. november kl. 9.15-12.00
Lokale: 132
Underviser: Peter Dahler-Larsen
Formål og indhold:
Lektionen tager udgangspunkt i projekter, hvor betingelserne for effektmåling er langt
fra optimale, for eksempel hvis et design med kontrolgruppe er udelukket. Vi ser på
evalueringsmodellen ”virkningsevaluering”, der giver et bud på en proces-baseret
kausalitetsforståelse, ligesom vi udsætter ideen om effektevaluering for de
udfordringer, der kommer fra komplicerede og komplekse interventioner i ditto
kontekster.
Anbefalet litteratur
 Dahler-Larsen P. : Evaluering af Projekter, Syddansk Universitetsforlag, kapitel 14.
Lektion 6
Tidspunkt: Lørdag d. 21. november kl. 12.30-16.15
Lokale: 132
Underviser: Peter Dahler-Larsen
Indhold: Vi sætter effektmåling i relation til andre evalueringsmodeller og i relation til
anvendelsen af evaluering som opfølgning på et projekt i en større organisatorisk
sammenhæng.
Anbefalet litteratur
 Dahler-Larsen P. Evaluering af Projekter, Kapitel 5-7.
Lektion 7 Økonomisk evaluering (I)
Tidspunkt: Fredag d. 4. december kl. 09.15-12.00
Lokale: 132
Underviser: Eskild Fredslund
Indhold: Formålet med lektionen er at give en introduktion til grundtænkningen i
forskellige økonomiske evalueringsmetoder samt at give redskaber til kritisk at kunne
vurdere allerede gennemførte økonomiske evalueringer.
Anbefalet litteratur:
10

Gyrd-Hansen D. Is it cost effective to introduce screening programmes for colorectal
cancer? Illustrating the principles of optimal resource allocation. Health Policy 1997;
41;198-199.

Gyrd-Hansen D. Økonomisk evaluering – hvad handler det om? Månedsskrift for Praktisk
lægegerning, april 2002 pp.529-543.

Gyrd-Hansen D, Hølund B, Andersen P. A cost-effectiveness analysis of cervical cancer
screening: health policy implications. Health Policy 1995; 34;35-51.

Olsen et al. Cost-effectiveness of surveillance programs for families at high
and moderate risk of hereditary non-polyposis colorectal cancer. International Journal of
Technology Assessment in Health Care 2007, 23:1;89–95

Olsen et al. Cost-effectiveness of the Danish smoking cessation interventions- Subgroup
analysis based on the Danish Smoking Cessation Database. Eur J Health Econ 2006.
7:255–264

Poulsen PB, Pedersen KM, Vestenbæk U. Økonomisk evaluering af tabletbaseret vaccine
mod høfeber i Danmark, Ugeskrift for Læger 2008; 170(3): 138-142.

Vallgårda S, Krasnik A (eds.). Kapitel 4. Sundhedsøkonomisk evaluering. Fra
Sundhedsvæsen og sundhedspolitik, Munksgaard Danmark, København 2010; 93-115
Lektion 8
Tidspunkt: Lørdag d. 5. december kl.12.30-16.15
Lokale: 132
Underviser: Eskild Fredslund
Indhold: Formålet med lektionen er at give en introduktion til grundtænkningen i
forskellige økonomiske evalueringsmetoder samt at give redskaber til kritisk at kunne
vurdere allerede gennemførte økonomiske evalueringer.
Anbefalet litteratur:

Gyrd-Hansen D. Is it cost effective to introduce screening programmes for colorectal
cancer? Illustrating the principles of optimal resource allocation. Health Policy 1997;
41;198-199.

Gyrd-Hansen D. Økonomisk evaluering – hvad handler det om? Månedsskrift for Praktisk
lægegerning, april 2002 pp.529-543.

Gyrd-Hansen D, Hølund B, Andersen P. A cost-effectiveness analysis of cervical cancer
screening: health policy implications. Health Policy 1995; 34;35-51.
11

Olsen et al. Cost-effectiveness of surveillance programs for families at high
and moderate risk of hereditary non-polyposis colorectal cancer. International Journal of
Technology Assessment in Health Care 2007, 23:1;89–95

Olsen et al. Cost-effectiveness of the Danish smoking cessation interventions- Subgroup
analysis based on the Danish Smoking Cessation Database. Eur J Health Econ 2006.
7:255–264

Poulsen PB, Pedersen KM, Vestenbæk U. Økonomisk evaluering af tabletbaseret vaccine
mod høfeber i Danmark, Ugeskrift for Læger 2008; 170(3): 138-142.

Vallgårda S, Krasnik A (eds.). Kapitel 4. Sundhedsøkonomisk evaluering. Fra
Sundhedsvæsen og sundhedspolitik, Munksgaard Danmark, København 2010; 93-115
Prøveform og bedømmelse
Prøveform og -betingelser
Modulet udprøves ved prøveform 2C; Skriftlig opgave med bundet emne med tre dages
besvarelsesfrist, indleveret på et nærmere fastlagt tidspunkt.
Internt bedømt.
7-trinsskalaen.
Supplerende information til prøveform:
Opgavebesvarelsen må maksimalt fylde 28.800 anslag med mellemrum; ekskl. forside,
indholdsfortegnelse, litteraturliste og bilag og skal i øvrigt følge "Generelle retningslinjer
for skriftligt arbejde ved MPQM". Bilag må max. fylde 19.200 anslag med mellemrum.
Bilag er ikke en del af opgaven, som skal kunne læses uafhængigt af bilag.
Ved ikke-bestået prøve i første forsøg gennemføres omprøve ved samme prøveform og
formalia, som ved ordinær prøve, og der bedømmes med intern bedømmelse ved 7trinsskalaen indenfor fire uger
Kriterier for udtømmende målopfyldelse
For at kunne opnå karakteren 12; den fremragende præstation, skal den studerende
udtømmende demonstrere de i modulet beskrevne kompetencemål med ingen eller få
uvæsentlige mangler.
Den studerende skal således ubesværet mestre terminologien omkring intern og ekstern
validitet, både i forhold til konkrete cases og i almindelighed og vise overbevisende
forståelse af kausalitetens betydning i forbindelse med intern validitet. Den studerende
skal kunne kritisk vurdere fordele og ulemper ved hyppigt forekommende designtyper
og designelementer, herunder pragmatic trials, og have indsigt i anvendelse af
effektmålinger og evalueringer i almindelighed i forbindelse med beslutningstagen.
Endvidere skal den studerende kunne forklare hovedprincipperne i evidensbaseret
praksis samt kunne forklare hovedprincipperne i økonomiske evalueringer.
12
Evaluering af modulet
Modulet evalueres både mundtligt i en af de afsluttende lektioner og skriftligt via SDUs
elektroniske evalueringssystem ved afslutning af semesteret.
Modultovholder
Eva Draborg, lektor, Institut for Sundhedstjenesteforskning – Sundhedsøkonomi &
COHERE, J.B. Winsløws Vej 9B, 5000 Odense C, Tlf. 65 50 30 65, e-mail:
edraborg@health.sdu.dk
Studiekoordinator
Elisabeth Bjørnson Marcussen, Mastersekretariatet, Campusvej 55, 5230 Odense M,
email: emarcussen@sam.sdu.dk, tlf. 65 50 43 47.
Studieleder
Eva Draborg, lektor, Institut for Sundhedstjenesteforskning – Sundhedsøkonomi &
COHERE, J.B. Winsløws Vej 9B, 5000 Odense C, Tlf. 65 50 30 65, e-mail:
edraborg@health.sdu.dk
Undervisere
Eva Draborg, lektor Institut for Sundhedstjenesteforskning, e-mail:
edraborg@health.sdu.dk
Birgitte Nørgaard , projektmedarbejder, Institut for Sundhedstjenesteforskning,
Brugerperspektiver, e-mail: binorgaard@cast.dk
Eskild Fredslund, Ph.d.-studerende, Institut for Sundhedstjenesteforskning, e-mail:
efredslund@health.sdu.dk
Peter Dahler-Larsen, professor, Københavns Universitet, Institut for Staskundskab, email: pdl@ifs.ku.dk
13