Høgskolen i Oslo og Akershus

Høgskolen i Oslo og
Akershus
Avdeling for Helsefag
Institutt for atferdsvitenskap
Postadresse: Pb. 4 St. Olavs plass, 0130
OSLO
Telefon: 67 23 50 00
postmottak@hioa.no, www.hioa.no
Evaluering av Mitt Valg
Børge Strømgren, Høgskolen i Oslo og Akershus
Utdanningsdirektoratet har tidligere utgitt en rapport om ulike forebyggende programmer og
innsatser som er i bruk i skolen (Nordahl, Gravrok, Knudsmoen, Larsen, & Rørnes, 2006). Rapporten
gir en god oversikt, men kan være noe forvirrende da den ikke skiller på enkeltstående programmer
og modeller. For eksempel beskrives modellen Positiv atferd, støttende læringsmiljø og samhandling i
skolen (PALS) på samme måte som for eksempel det mer enkeltstående programmet Steg for Steg,
selv om Steg for Steg ofte inngår som ett av flere programmer i modellen PALS. Steg for Steg
inngår i PALS fordi det har empirisk støtte (Grossmann et al., 1997; Holsen, Smith, & Frey, 2008;
Taub, 2001) og virker godt sammen med andre elementer som inngår i PALS (Sprague et al., 2001).
Det er prinsipielt ingen ting i veien for at andre programmer med samme formål og virkemåte som
Steg for Steg – for eksempel Mitt Valg – kan inngå som et program i modeller som PALS. For
modeller som PALS er det viktig at programmene er empirisk støttet, og et større tilfang av empirisk
støttede programmer kan gjøre det lettere å tilpasse modeller som PALS til lokale ønsker og behov.
Programserien Mitt Valg (MV) består av mange enkeltprogrammer, fra hel-klasse
programmer for sosial og emosjonell kompetanse og klassemiljø for trinnene 1–4 (MV 1), 5–7 (MV 2),
8–10 (MV 3), og videregående skole (MV 4). Også mer frittstående programmer som tar opp temaer
som vold og seksuelle overgrep, rus og mobbing inngår. Internasjonalt synes det som det kun er det
rusforebyggende programmet som er utsatt for en grundig evaluering (Eisen, Zellman, Massett, &
Murray, 2002; Eisen, Zellman, & Murray, 2003). Det har ikke lyktes å finne publiserte evalueringer
av programmene for sosial og emosjonell kompetanse (MV 1–4). Det er gjort noen evalueringer i
Norge som viser at MV kan være effektivt, men disse evalueringer er interne rapporter og er ikke
publisert i fagfellevurderte publiseringskanaler. Allikevel brukes programmet mye i norske skoler.
Det drives av stiftelsen Det er Mitt Valg (som igjen eies av Lions Norge), og lokale Lions-klubber
tilbyr programmet til skoler og står for kursingen av lære/skoleansatte som skal gjennomføre
programmet. I tråd med utviklingen av skoletiltak og vektlegging av evidensbasert praksis er det
derfor er det behov for en evaluering av programmet i Norge.
Et naturlig utgangspunkt for evalueringen kunne vært å ta sikte på å vurdere programmet
MV 2 (trinn 5–7) fordi det er viktig at forebyggende arbeid settes inn tidlig og det er her man også
kan få med elevene i evalueringen i tillegg til lærer og foreldre, noe som vil være vanskeligere med
MV 1 (Trinn 1–4). Det kan være noen praktiske problemer med dette, først og fremst at stiftelsen
Det er Mitt Valg har tradisjon for å lære opp alle lærerne på en skole samtidig. Dette betyr at det
kan være vanskelig å ”isolere” en effekt for MV 2 for elever på trinn 5–7 da de vil ha hatt MV 1 i
Saksbehandler:
Børge Strømgren
Mobil:
97 42 44 99
E-post:
Borge.Stromgren@hioa.no
Besøksadresse:
Pilestredet 38, 0166 Oslo
Børge Strømgren – HiOA – Evaluering av Mitt Valg
2
løpet av trinn 1–4 fordi hele skoler bruker MV. Dette vil ikke være noe problem med skoler som
starter med MV som en del av prosjektet. Det også være interessant å se på muligheten for å
inkludere trinn 8–10 med MV 3, da de i mindre systematisk grad vil ha mottatt MV eller andre
skolemiljøtiltak på barnetrinnet. Dette må man forsøksvis kontrollere for ved første datainnsamling.
Designmuligheter
Det er tre hovedtyper design man kan velge, et eksperimentelt (Cluster Randomized Control Trial,
eventuelt med Matching eller Strata (lagdeling)), eller to kvasi-eksperimentelle (Gruppedesign uten
randomisering (non-equivalent groups), eller Kohortdesign - muligens med Matching) (Shadish,
Cook, & Campbell, 2002). Alle er brukt i forskning på ulike programmer i skole og det er fordeler
og ulemper med alle tre. De skal kort beskrives. I tillegg vil det bli beskrevet noen fordeler og
ulemper med bruken av dem. Det presiseres at beskrivelsene av bruken og av fordeler og ulemper er
basert på skoleforskning der skoler og klasser er deltagerne.
Eksperimentelt – Cluster Randomisering/Matchet Cluster Randomisering
En Cluster Randomized Control Trial er en design der deltakerne–i dette tilfellet skoler–tildeles
tilfeldig til en eksperimentgruppe eller til en kontrollgruppe. Eksperimentgruppa får et tiltak mens
kontrollgruppa ikke får tiltaket, eller får vanlig tiltak, såkalt treatment as usual. Hvis det er få
deltakere, eller av andre grunner, kan man gjøre en Matched randomiseringsdesign. Da finner man
par av skoler som ligner hverandre, for eksempel med hensyn på størrelse, antall elever med
spesialpedagogiske tiltak, SES, eller andre variabler. Så trekker man lodd mellom skoleparene om
hvem som skal allokeres til eksperimentgruppa eller kontrollgruppa. Dette vil være en sterk design
for å evaluere effekt av MV, da vil MV implementeres på noen skoler og ikke på andre.
Man må unngå å gjøre MV i noen klasser på en skole og ikke i andre, fordi et program
gjennomført i en klasse på en skole lett smitter over (treatment diffusion) til en annen klasse på
samme skole (Shadish et al., 2002). Man kan gjerne ha flere skoler fra samme kommune, gitt at de
ikke er i samme bydel, skolekrets eller lokalmiljø. Da skulle faren for smitte være mindre.
Fordeler. Fordeler med denne designen er at gruppene er i prinsippet like, eller ekvivalente. Dermed
kan en observert forskjell mellom dem etter tiltaket med stor sannsynlighet tilskrives tiltaket og ikke
andre faktorer som modning, regresjon, historie og andre såkalte trusler mot konklusjonsvaliditeten.
Statistiske analyser er ofte basert på at grupper er ekvivalente og at dataene er uavhengige, så
designen letter også i prinsippet statistisk analyse og tolkning. Det er også laget analysemodeller for
cluster-data, for eksempel når hele skolen eller hele klasser er analysenivået.
Ulemper. Power, antall deltagere. For å øke sjansen for at studien kan konkludere bør det være
tilstrekkelig antall deltagere i hver gruppe eller ”cluster” (Bonell et al., 2014; Dray et al., 2014;
Børge Strømgren – HiOA – Evaluering av Mitt Valg
3
Grossmann et al., 1997; Humphrey, 2012; Stallard et al., 2012, 2014). Studien kan inkludere to eller
tre grupper/clustere (klynger). En studie (Bonell et al., 2014) beregnet at det var nødvendig med
3000 deltager i hver klynge for å kunne oppnå 90% Power for et signifikant utkommemål—
ratingskalaer—på 0.25–0.30 standardavvik (d). Andre har deltagerantall på 5250 (Humphrey, 2012),
1448 (Stallard et al., 2012)(tre klynger), 1200 til 1400 (Stallard et al., 2014)(tre klynger), 790
(Grossmann et al., 1997)(to klynger).
Deltagelse/frafall. Med en slik design må halvparten av skolene akseptere å være med på
studien uten å få tiltaket. Når studien/tiltaket går over tid med flere måletidspunkter kan det øke
risikoen for at færre og færre deltar ved hvert måletidspunkt, slik at gruppen blir mindre. Dette kan
redusere muligheten for å konkludere med hensyn på effekt. Det er heller ikke snakk om bare frafall,
man kan også risikere skjevhet i frafallet, slik at gruppene ikke lengre er ekvivalente.
Etikk. Skolebaserte programmer søker å forebygge eller redusere problemer av sosial
viktighet, dette vil sannsynligvis også være en motivasjon til å delta for de skolene som ”melder seg.”
Det kan derfor være etisk problematisk å holde tilbake et tiltak som det er behov for og som man
antar ville være til hjelp for å bedre situasjonen (Midthassel, Bru, & Idsoe, 2008).
Eksempler på bruk av designen i Norge. Midthassel, Bru og Idsoe (2008) brukte randomisering av
skoler i en studie av effekten av Zero. 170 skoler ble invitert, 77 ville være med i starten. De laget
tre grupper, to versjoner av Zero (A og B), og en kontrollgruppe. Skolene ble tilfeldig fordelt til de
tre betingelsene. Totalt bestod studien av 72 skoler og 13082 elever ved tidspunkt for første måling,
og samme antall skoler men 12695 elever ved andre gangs måling. De fant ingen endring i hverken
utførelse av eller utsatthet for mobbing.
Eksempler på bruk av designen utenfor Norge. Grossman (1997) bruke en randomisert design for å
evaluere effekten av Steg for Steg (Second Step). 12 barneskoler deltok, de ble matchet i par ut fra
skoledistrikt, antall elever som fikk gratis eller rabattert lunsj (et mål på SES), og andelen minoritetselver. Så ble hver skole i et par tilfeldig tilordnet til eksperimentgruppen eller kontrollgruppen. De
fant ingen forskjell mellom gruppene ut fra de vurderingsskalaene som ble bruk, men observasjonene
av elevatferd viste at elevene i de skolene som fikk Steg for Steg sjeldnere brukte fysisk aggresjon og
oftere brukte prososiale ferdigheter. Disse effektene hold seg ved 6 måneders oppfølging.
Harrington og kolleger (2001) brukte randomisert design i en studie av effekten av
programmet All Stars, som er et karakterdannelsesprogram med mål om å redusere rusbruk, seksuell
debut, og vold. Når det leveres i klasse brukes debatter, spill og diskusjoner om holdninger generelt.
12 skoler deltok, de ble matchet (eller parret) ut fra elevmassens kjønn og etnisitet i tillegg til andelen
som fikk gratis eller rabattert lunsj. En skole i hvert par ble tilfeldig allokert til eksperimentgruppa
og den andre da til kontrollgruppa. Først etter randomisering ble skolen kontaktet med spørsmål om
de ville bli med. Alle ble med, unntatt én i eksperimentgruppa. Antallet elever var 1655. De fant en
Børge Strømgren – HiOA – Evaluering av Mitt Valg
4
effekt rett etter programslutt (posttest), men den avtok til basislinjenivå ved oppfølging seks måneder
senere.
Rivers og kolleger (Rivers, Brackett, Reyes, Elbertson, & Salovey, 2013) brukte også
randomisering i evalueringen av skoleprogrammet RULER Approach. RULER Approach fokuserer på
klassemiljø og sosialt og emosjonelt klima. De har leksjoner som fokuserer på ferdigheter i å
gjenkjenne følelser hos seg selv og andre, forstå følelsers årsaker og konsekvenser, navnsetting av
følelser og å uttrykke og regulere følelser på en prososial måte. 62 skoler med 3824 elever deltok.
Skolene ble delt inn i par, og parene ble igjen tilfeldig allokert til eksperiment eller kontroll. De
oppgir ikke hvordan parringen ble gjort. Resultatene viste at eksperimentskolene skåret høyere på
varme og kontakt mellom elever og lærere, autonomi og lederskap blant elever, og mer fokus på
elevenes interesser og motivasjon fra lærernes side.
Riggs og kolleger (2006) evaluerte klasseprogrammet Positive Alternative Thinking Strategies
(PATHS), et program som tar sikte på å lære barn selvkontroll ved verbal impulskontroll – de lærer å
benevne og identifisere følelser og så finne gode løsninger. De brukte en en randomisert design, der
fire skoler med i alt 318 elever ble tilfeldig allokert til eksperimentgruppe som fikk PATHS og
kontrollgruppe. De fant at programmet var effektiv for eksperimentgruppa i betydningen bedret
impulskontroll og bedret evne til verbal identifisering og benevning av følelser og løsninger.
Kvasieksperimentelt – Gruppedesign uten randomisering
En gruppedesign uten randomisering betyr at deltagerne i eksperimentgruppa og
sammenligningsgruppa ikke er tilfeldig allokert til ”sin” gruppe. Dermed er de i utgangspunktet ikke
like. Det kan derfor være systematiske forskjeller som man ikke har oversikt over og som kan
påvirke muligheten til å si noe sikkert om resultatet. For å minske sjansen for systematiske
forskjeller finner man gjerne deltagere i sammenligningsgruppen som er mest mulig like deltagerne i
eksperimentgruppen. Det gjør man gjerne med matching, på samme måte som i eksperimentelle
design, men uten å bruke matching som grunnlag for tilfeldig tildeling. Man finner skoler som ligner
de som er i eksperimentgruppa. Også i en slik design må man unngå å gjøre MV i noen klasser på
en skole og ikke i andre, fordi et program gjennomført i en klasse på en skole lett smitter over
(treatment diffusion) til en annen klasse på samme skole (Shadish et al., 2002).
Fordeler. En fordel er at skoler som ønsker og er motivert for tiltaket—eks MV—kommer i
eksperimentgruppa og slipper å måtte utsette det slik de kunne har risikert om det hadde vært en
randomisert design (Dette er også en betydelig ulempe, se under). Likedan slipper skoler som
”heller” vil være i sammenligningsgruppa å innføre tiltaket slik de kunne har risikert om det hadde
vært en randomisert design. Dette kan lette implementeringen, eller gjennomføringen av, tiltaket og
også lette gjennomføring av tester med lite frafall fordi alle får det de har ”ønsket seg.” I og med at
effekten av et skolebasert tiltak er svært avhengig av kvaliteten av implementeringen og et positivt
Børge Strømgren – HiOA – Evaluering av Mitt Valg
5
syn på tiltaket blant de som skal gjennomføre det, kan en slik design være nyttig i en tidlig fase av
forskning på et skolebasert tiltak.
Ulemper. I gruppedesign uten randomisering det gjerne slik at eksperimentgruppa består av skoler
som ønsker å motta tiltaket—eks MV, og sammenligningsgruppa av skoler som av ulike grunner ikke
ønsker eller kan motta tiltaket. Dette vil bety at de skolene som ønsker tiltaket er selv-selekterte til
eksperimentgruppa, noe som i seg selv kan være en systematisk forskjell mellom gruppene, og
dermed redusere muligheten for å konkludere med hensyn på effekt.
Eksempler på bruk av designen i Norge. Sørlie og Ogden (2007) har gjort en ikke-randomisert
studie på effekten av PALS, der totalt 735 elever deltok. De hadde en eksperimentgruppe og en
sammenligningsgruppe og tok data én gang 2 år etter implementering av PALS.
Eksperimentgruppen bestod av 4 skoler og sammenligningsgruppen bestod av 4 skoler i samme
kommune som var like med hensyn på størrelse, antall elever med spesialpedagogiske tiltak osv. For
eksperimentskolene fant de små men signifikante effekter på sosiale ferdigheter ( d = 0.25), og store
effekter på lærervurdert forekomst av problematferd i klasserom (d = 1.04) og skolegård (d = 0.76).
De fant ikke tilsvarende effekter for skolene i sammenligningsgruppen.
Zero-programmet er også evaluert i Norge med en kvasi-eksperimentell gruppedesign
(Roland, Bru, Midthassel, & Vaaland, 2010). De hadde 20446 elever som deltagere fra 2.–7. trinn
som fikk Zero og sammenlignet de med nasjonale data samlet inn tidligere, henholdsvis 3973 og
2828 elever. De fant redusert forekomst av mobbing og utsatthet for mobbing i de skolene som
brukte Zero. Det var også en reduksjon for de skolene som inngikk i de nasjonale dataene, men ikke
så stor som for de skolene som brukte Zero.
Eksempler på bruk av designen utenfor Norge. Sprague og kolleger (2001) studerte effekten av
Second Step brukt i en helskolemodell kalt Effective Behavior Support (EBS) (en tidlig utgave av
modellen Schoolwide Positive Behaivor Intervertions and Support (SWPBIS) som blant annet PALS
bygger noe av sitt fundament på). Det var lokale skolemyndigheter som bestemtde om
deltagerskolen skulle innføre EBS og Second Step eller ikke, og forfatterne veiledet de skolene som
var i eksperimentgruppen (EBS og Second Step), men ikke de andre. De hadde ni eksperimentskoler
og seks sammenligningsskoler. De hadde 3699 elever i eksperimentskolene og 3432 i
sammenligningsskolene. De fant at eksperimentskolene hadde større reduksjon i registrerte
regelbrudd (Office Discipline Referrals) enn sammenligningskolene, og elevene i eksperimentskolen
viste større kunnskap om sosiale ferdigheter. Lærerne i eksperimentskolene var også mer fornøyde
med hvordan skolen fungerte generelt.
Taub (2001) undersøkte effekten av Second Step på en landsens skole med 54 elever fra trinn
4 til 6, og brukte en nærliggende skole som sammenligningsskole, 33 elever på trinn 4 til 6.
Halvparten av elevene i eksperimentskolen ble tilfeldig valgt ut til å motta Second Step, og halvparten
Børge Strømgren – HiOA – Evaluering av Mitt Valg
6
av elevene i sammenligningsskolen ble tilfeldig valgt ut til sammenligningsgruppa. Taub fant en
signifikant bedring i sosial kompetanse og antisosial atferd målt med lærervurderinger for
eksperimentskolen, men ikke sammenligningsskolen. Også atferds-observasjoner viste bedring i noen
prososiale ferdigheter i eksperimentskolene men ikke i sammenligningsskolene.
Endelig er Zippys venner undersøkt med kvasi-eksperiementell gruppedesign. Mishara og
Ystgaard (2006) hadde 314 barn i eksperimentgruppa (barnehager) og 104 barn i
sammenligningsgruppa (barnehager som var like med hensyn på barnas sosioøkonomiske status). I
Danmark bestod eksperimentgruppa av 322 barn og sammenligningsgruppa av 110 barn. De fant
signifikant forbedring i ratingskalaer (SSRS) for eksperimentgruppa. Denne studien ble senere fulgt
opp (Monkeviciené et al., 2006), igjen med en ikke-randomisert kontrollgruppe.
Kvasieksperimentelt – Kohortstudie
En kohortstudie er longitudinell og den følger en bestemt gruppe over tid. I skolesammenheng kan
man følge klassetrinn over tid, såkalt alders-kohort. For eksempel kan man se på elevene i trinn 5 og
så se på de også når de er i trinn 6 og 7. Så kan man sammenligne med trinnet under året etter,
altså også å se på det trinnet når de er i trinn 5 og 6. Så kan man sammenligne det ”første” trinn 5
med det ”andre” trinn 5, det ”første” trinn 6 med det ”andre” trinn 6, osv. (se Figur 1 under, hentet
fra (Holsen et al., 2008)).
På denne måten blir trinn 5 i år kontroll for trinn 5 i fjor, og likedan for trinn 6 i år og fjor.
Det er altså ikke de samme elevene som sammenlignes med seg selv, men med årskullet som er født
året etter. I en alderskohort kan man i tillegg også følge et årskull over tre år, og se på utviklingen i
enkelte variabler over år. De kan da sammenlignes med nasjonale normer, eller andre normer,
dersom slike finnes for de variablene man har som utkommemål. Dette kan utgjøre en ekstra støtte
for konklusjonsvaliditet, eller også som en vurdering av relativ effekt for tiltaket som er iverksatt.
Figur 1. Oversikt over en alders-kohort design, fra Holsen et al., 2008.
Fordeler. Mangel på kontrollgrupper. Denne designen er nyttig nå man ikke kan ha kontrollgrupper,
randomiserte eller ikke-randomiserte. Det kan for eksempel være at ingen vil være kontrollskole,
eller at alle skoler har et eller annet program, slik at rene kontrollgruppeskoler ikke er lett å finne.
Børge Strømgren – HiOA – Evaluering av Mitt Valg
7
Dette er gjerne situasjonen i Norge i dag, der det er stort fokus på at alle skoler skal ha iverksatt en
eller annen forebyggende innsats.
Modning. I og med at de gruppene som sammenlignes har samme alder har man kontrollert
for en vanlig trussel mot konklusjonsvaliditet, modning—at deltagerne gjør det bedre fordi de har
blitt ett år eldre og ikke på grunn av tiltaket. Dette er særlig viktig i forskning med barn og unge,
utviklingen går fort på mange områder, og på mange vurderingsskalaer vil de naturlig skåre bedre år
for år. På et område som mobbing er det dokumentert at forekomsten minker som funksjon av
alder.
Historie. En annen trussel mot konklusjonsvaliditet er Historie—at andre faktorer en tiltaket
er ansvarlig for endringen. Det kan være andre tiltak skolen har, endringer som har skjedd i
nærmiljø eller i samfunnet, eller sågar årstider. Når man måler effekt på samme tid hvert år,
kontrollerer man for årstidsvariasjoner. Lokal historie, som øvrige tiltak på skolen og hendelser i
lokalsamfunnet kan man kontrollere for ved å inkludere både små og store skoler i både små og store
samfunn i et stort geografisk område. Man kan også inkludere like skoler i samme geografiske
område som ikke mottar tiltaket, og bruke de som en parallell kohort-studie eller en slags
”sammenlignings-kohort.” Hvis denne viser samme endring som eksperiment-kohorten, så er de
sannsynlig at historie og ikke tiltaket er årsaken til endringen. Trusselen som samfunnsmessige
hendelser utgjør—som manifest mot mobbing, kan man ikke kontrollere for, men prøve å kartlegge
og ta høyde for i konklusjonen om effekt.
Utvalg. Dette handler om systematiske forskjeller i gruppene i utgangspunktet. Disse
forskjellene utjevnes ved randomisering, men kan være et problem i kvasi-eksperimentelle design. I
en alderskohort utgjør dette en mindre trussel. I skoleforskning har man i utgangspunktet naturlig
forekommende grupper som er nokså like, klassene er ikke så ulike fra år til år på samme skole, de
har ofte nokså lik sosioøkonomisk status fra år til år, de har vært i samme skolemiljø over år, osv.
Og – feilkilden fra utvalg minskes ytterligere hvis kohorten inkludere flere klassetrinn over flere år,
da blir det flere ”grupper” å sammenligne med.
Ulemper. Deltagelse/frafall. En kan risikere selektiv frafall ved de målingene som foretas etter første
måling. For eksempel kan elver som i basislinjen har skåret høy på ulike mål for problemer falle fra
ved senere målinger, slik at en ”nedgang” i problemer ved evalueringstidspunktet delvis kan skyldes at
de med høye problemskårer ikke deltok på den målingen. Det kan også hende eleven med mye
problemer har sluttet, altså fått et annet tilbud. Det kan videre hende at det har kommet elever til
etter baseline som ikke har problemer og dermed skårer lavt på evalueringstesten. For å kontrollere
for dette må man identifisere hver enkelt som har svart og ikke inkludere de som har falt fra eller
kommet til siden basislinjen.
Testing. Dett er en effekt av at svarene på ulike spørreskjemaer endrer seg hvor hver gang
man spør fordi man spør flere ganger og ikke fordi det i realiteten har skjedd en endring. Typiske
kunnskapstester er et godt eksempel på tester som er utsatt for denne feilkilden. I en alders-kohort
Børge Strømgren – HiOA – Evaluering av Mitt Valg
8
er det en viss beskyttelse hvis man tester en gang i året til samme tid på året, det er ikke sannsynlig
at en test-effekt ”holder seg” et år. En kan kontrollere videre for dette med å ha to basislinjetester,
altså før man iverksetter tiltak.
”Tap” av data. Noen av dataene kan ikke brukes i beregningen av tiltakseffekt. Man kan
derfor ikke gjøre en statistisk analyse av gjentatte målinger fullt ut. Man kan følge et årskull over de
årene studien varer for å se på utviklingen år for år, men det blir bare en indikasjon på effekt som
kun kan være en eventuell støtte til en hovedkonklusjon.
Eksempler på bruk av designen i Norge. Olweus (2005) har brukt designen i flere studier, publisert i
1991 og 1993, og i Bergensposjektet 1997-1998 (21000 deltagere), og han fant at Olweus-programmet
var effektiv i å redusere mobbing og utsatthet for å bli mobbet, samt noe økt trivsel på skolen.
Holsen og kolleger (2008) bukte en kohort-design for å evaluere effekten av Steg for Steg i
norske barneskoler. 11 skoler deltok med 1153 elever i trinn 5 og 6. De fant at programmet hadde
signifikante positive effekter med hensyn på sosial kompetanse, spesifikt for både jenter og gutter i
trinn 5, og for jenter alene i trinn 6. Gutter i trinn 6, Rapporterte derimot reduksjon i
eksternaliserte problemer. De fant ingen endring i internaliserte problemer.
Nordahl og kolleger har evaluert LP-modellen flere ganger med brukt av en kohortdesign,
eller et tidsserielt forskningsdesign som de kaller det (Knudsmoen, 2012; Nordahl, Sunnevåg, &
Ottosen, 2009; Sunnevåg & Aasen, 2010; Aasen & Kostøl, 2011; Aasen & Søby, 2011). LP-modellen er en
helskoleinnsats rettet mot å bedre skolens miljø. De har brukt spørreskjema for både elever og lærer
og spurt om mange funksjonsområder for både individuelle og konstekstuelle variabler. For
individvariabler er elever er spurt om atferd på skolen, sosial kompetanse, skolefaglige prestasjoner
og motivasjon og arbeidsinnsats, mens lærerne har vurdert elevenes sosiale kompetanse, skolefaglige
prestasjoner og motivasjons og arbeidsinnsats. For kontekstuelle variabler er elevene spurt
arbeidsmåter og innhold i undervisningen, relasjoner mellom elev og lærer, relasjoner mellom elevene
og miljøet i skolen. Lærerne har også svart på arbeidsmåter og innhold i undervisningen og på
miljøet i skolen.
Knutsmoen (2012) hadde henholdsvis 1300 og 1500 elever hvert år, og fant små effekter på de
ratingskalaene som ble brukt. Nordahl, Sunnevåg og Ottosen (2009) kartla elevers og læreres
vurderinger av skolemiljø blant 8802/8701 elever og 1389/1311 lærere i 2006/2088 (trinn 5–10), og
fant en liten men positiv effekt på læreres vurderinger av trivsel, og samarbeid, og en moderat positiv
effekt på syn på elevene (Skolekultur). For elevvurderingene fant de ingen forskjell med hensyn på
elev-lærer-relasjon eller elev-elev-relasjon. Elevene vurderte videre små bedringer i undervisning,
mens lærerne rapporterte medium bedring i ro og orden i undervisningen. Sunnevåg og Åsen (2010)
evaluerte LP-modellen 2007/2009, der 2105/2184 elever og 399/397 lærere deltok. De fant ingen
endring med hensyn på elevenes vurdering av problematferd eller sosiale ferdigheter med unntak for
en svak bedring i empati. Elevens skolefaglige prestasjoner viste ingen endring, ei heller elevens
vurdering av undervisningen. Lærerne rapporterte ingen endringer på noen av skalaene med unntak
Børge Strømgren – HiOA – Evaluering av Mitt Valg
9
for en moderat bedring av elev-lærer-relasjonen og lærernes trivsel. Åsen og Kostøl (2011) evaluerte
LP-modellen i videregående skole i 2008/2010, der 1661/1719 elever og 31/275 lærere deltok. De fant
gjennomgående ingen eller små/moderate positive resultater med hensyn på læringsmiljøet både fra
elever og lærere. Endelig gjorde Aasen og Søby (2011) en evaluering 2008/2010 med 4100/4019 elever
og 683/666 lærere på trinn 5-10. De får stort sett samme resultater som de som er nevnt over,
ingen eller små til moderate effekter på de vurderingsskalaene som er brukt.
Eksempler på bruk av designen utenfor Norge. Fraser og kolleger (Fraser et al., 2005; Fraser, Lee,
Kupper, & Day, 2011) brukte en alders-kohort for å evaluere effekten av klasseromprogrammet the
Making Choices Program (MC), et program som fokuserer på sosiale kognitive prosesser og sosialkognitiv ferdighetstrening. 2 skoler deltok med totalt 606 elever, og de hadde tre grupper, MCgruppe, MC Plus-gruppe (foreldresamarbeid i tillegg til klasseundervisning), og
sammenligningsgruppe. Det første året var alle i sammenligningsgruppen, de fikk altså vanlig
undervisning og det ble kun tatt data. Det andre året fikk de MC, og det tredje året MC Plus. Den
fant en lærervurdert økning i prososial atferd og reduksjon i problematferd for elevene etter at de
fikk MC og MC Plus sammenlignet med basislinjen.
Anbefalt design
Evalueringen av MV vil møte de samme utfordringene som andre evalueringer av skolebaserte
programmer i Norge (Eriksen, Hegna, Bakken, & Lyng, 2014). Utfordringene er krevende fordi alle
skoler er pålagt å arbeide aktivt med skolemiljøet, og slike programmer anvendes av åtte av ti skoler.
Derfor er det sannsynligvis svært vanskelig å finne skoler som kan fungere som
sammenligningsgruppe. Dette gjør at en design med ulike skoler der en eksperimentskole matches
med en sammenligningsskole også blir vanskelig, det kan være store forskjeller mellom skolene som
man ikke får kontrollert for i tillegg til at sammenligningsskolene også mest sannsynlig har tiltak for
skolemiljøet. Derfor ser det ut til at en alderskohort med flere kohorter– eller årskull–samtidig er
den designen som vil være mest praktisk å gjøre samtidig som den gir en tilfredsstillende kontroll
over de viktigste truslene mot slutningsvaliditet.
Dette gitt at en tar hensyn til mulige trusler som kan ligge innbakt i selve designen som (1)
at utvalget–antall deltagere–er stort nok for å utjevne eventuelle forskjeller mellom kohorter, (2)
analysere data med tanke på at der er klyngedata, at klassetrinn/skole er nivåene man sammenligner
mellom og ikke enkeltelever, (3) at data innhentes på samme tid av året hver gang for å unngå
årstidsvariasjoner, (4) en kontroll for seleksjon på skolenivå ved at for eksempel a) skoler som enten
sliter med eller er godt fornøyd med skolemiljøet systematisk er mer tilbøyelige til å delta, eller b)
skoler med høyt eller lavt nivå av problemer i forkant er systematisk mer tilbøyelige til å delta.
I tillegg kan nivåene for hver enkelt kohort følges i perioden og sammenlignes med for
eksempel like indikatorer fra et større eller nasjonalt utvalg, for eksempel elevundersøkelsen. På
Børge Strømgren – HiOA – Evaluering av Mitt Valg
10
denne måten kan man se om en endring i MV-skolene sammenfaller med større historiske hendelser
som samfunnsendringer/-trender og for eksempel fornyet krafttak mot mobbing fra sentralt hold
(Roland et al., 2010).
Det anbefales å gjøre fire runder med kartlegging, med start våren 2015. Dette er vist i
øverste panel i figur 2. En multippel kohort bestående av trinnene 5–7 på barneskoler og 8–10 på
ungdomsskoler vil kunne gi to kontroll og sammenligningsgrupper fra T1 til T2, to fra T2 til T3 og to
fra T3 til T4 for barneskoler og ungdomsskoler hver seg. Videre kan man få to ”langtidskontroller”
hver for barneskoler og ungdomsskoler; henholdsvis T3 til T2 til T1 og T4 til T3 til T2 for trinn 7 og
trinn 10. For trinn 5 og 8 er det også mulig å legge inn en ekstra runde med kartlegging hver høst
(T1b høsten 2015, T2b høsten 2016, og T3b høsten 2017). Da kan man få en dobbel basislinje og
eventuelt kontrollere for effekter av repetert testing og eventuelle erfaringer med MV eller andre
programmer fra trinn 4 og 7.
Designoppsett for barneskoler (øverst) og ungdomskoler (nederst)
Trinn 5
Trinn 6
Trinn 7
Trinn 8
Trinn 9
Trinn 10
Vår 2015 Vår 2016 Vår 2017 Vår 2018
T1
T2
T3
T4
T1
T2
T3
T4
T1
T2
T3
T4
T1
T2
T3
T4
T1
T2
T3
T4
T1
T2
T3
T4
Designoppsett for kombinerte barne- og ungdomskoler
Trinn 5
Trinn 6
Trinn 7
Trinn 8
Trinn 9
Trinn 10
Vår 2015 Vår 2016 Vår 2017 Vår 2018
T1
T2
T3
T4
T1
T2
T3
T4
T1
T2
T3
T4
T1
T2
T3
T4
T1
T2
T3
T4
T1
T2
T3
T4
Figur 2. Skisse over designoppsett for Barneskoler og ungdomsskoler, og for kombinerte barne- og ungdomsskoler.
Hvis man har en kombinert barne- og ungdomsskole kan man ta data for perioden tinn 5 til
og med trinn 10. Slik vil man få flere kontroll og sammenligningsgrupper og også flere
langtidskontroller, se stiplede piler i nedre panel på figur 2.
Det kunne teknisk sett også gått an å gjør dette hvis ungdomsskolekretsen har faste
”rekrutteringsbarneskoler” som bruker MV (eller andre programmer eller ingen), og invitert de
barneskolene til å delta også. Det kan imidlertid bli for komplisert rent praktisk, og det ville kreve at
det ikke er fritt ungdomsskolevalg eller andre endringer i skolestruktur gjennom perioden.
Anbefalt plan for gjennomføring
Ideelt sett bør første datainnsamling være våren/forsommeren 2015 (Mai/Juni), eventuelt høsten 2015
(før høstferien). Da må følgende være klarlagt:
Børge Strømgren – HiOA – Evaluering av Mitt Valg

11
Skoler må være invitert og ha sagt ja/forpliktet seg, se inkluderingskriterier under
”Inkludering”

Foreldre må være informert skriftlig om prosjektet, kartleggingen som skal være anonym, og
muligheten til å frita sitt barn/sin ungdom fra kartlegging

Ferdige sett med elektroniske spørreskjema for kontaktlærere og elever, samt rektor/inspektør
og øvrige lærere/pedagogisk personell
o Blant annet oversikt over antall klasser på hvert trinn og antall elever på hvert trinn

Prosjektet er anbefalt av personvernombudet, det må meldes inn våren 2015.
Inkluderingskriterier
Deltagende skoler må

ikke ha MV eller andre programmer implementert siste to år før oppstart (siden skoleåret
2012-2013)

være villig til å implementere i tråd med MV sine standarder

kun implementere MV 2 og ikke MV 1 i prosjektperioden

ikke implementere andre programmer i prosjektperioden

forplikte seg til å delta i hele studien selv om de ikke får MV
o eventuelt implementere et annet program i samme periode som MV implementeres

implementere MV i minst 80% av klassene (de som får MV)
o samme implementeringsgrad for de som eventuelt gjør et annet program

legge til rette for ulike kartlegginger av utkommevariablene i implementeringsperioden
Prosjektperiode
Prosjektperioden bør vare i to til tre år, tre år er foretrukket fordi det kan gå en tid før program som
MV ”setter seg” og man får den effekten man er ute etter. MV er laget for å hjelpe barn og unge til
å utvikle en positiv sosial atferd og til personlig vekst og utvikling med evne til å ta selvstendige valg.
Dette er verdibaserte mål som man aldri kan si man har nådd full ut, det er snakk om å arbeide i en
slik retning, og det er et langsiktig systematisk arbeid.
Forskningsspørsmål og utkommemål
Forskningsspørsmål
Programmet MV har som formål å styrke elevene ved å bidra til at de kan ”utvikle en positiv sosial
atferd,” ”oppnå personlig vekst og utvikling”, og ”ta selvstendige valg.” Derfor blir et primærspørsmål
om slik elevstyrking har forekommet etter ett, to eller tre år med MV. Mer spesifikt vil vi se om
elevene skårer høyere på selv-regulering, sosial kompetanse, empati, og ansvarlighet etter
Børge Strømgren – HiOA – Evaluering av Mitt Valg
12
ivrksettelsen av MV sammenlignet med ført. Vil vil også se om forekomsten av problematferd
generelt avtar i klasserommet og skolemiljøet etter iverksettelsen av MV sammenlignet med før. Og
vil vil se om forekomsten av mobbing og bruk av rusmidler avtar etter MV sammenlignet med før.
Som sekundæreffekter vil vi også se på om elevene oppfatter at klassemiljø og relasjon til lærer
endrer seg med innføringen av MV.
Måling av utkomme og øvrige faktorer hver vår i prosjektperioden
Det er tre nivåer som faktorer bør måles på; skolenivå, klassenivå og elevnivå/lærernivå (Ozer, 2006).
I tillegg bør implementeringskvaliteten måles (Payne, Gottfredson, & Gottfredson, 2006). De ulike
nivåene med faktorer vil bli kort beskrevet her. Det legges opp til å bruke skaler som er brukt før i
norske evalueringer av PALS ("Massiv rektorstøtte til PALS," 2013; Mari-Anne Sørlie & Ogden, 2007;
Mari-Anne Sørlie & Ogden, 2014; Mari-Anne Sørlie, Ogden, Arnesen, Olseth, & Meek-Hansen, 2014)
og LP-modellen (Knudsmoen, 2012; Nordahl, 2005; Nordahl et al., 2006; Nordahl & Hansen, 2012;
Nordahl et al., 2009), samt evalueringer av flere programmer (Eriksen et al., 2014). På denne måten
kan evalueringen av MV sammenlignes med evalueringer av disse programmene. Det anbefales også
bruke skalaer som er brukt i andre norske undersøkelser av for eksempel rus (Skretting, Lund, & Bye,
2014) og mobbing (Wendelborg, 2014) for å kunne sammenligne med nasjonale data fra et større
utvalg.
Skolefaktorer
For skolefaktorer er det en fordel å kartlegge faktorer som skolestørrelse, beliggenhet
(bykommune/landkommune, kommunestørrelse), elevgrunnlag (andel med spesialundervisning, andel
minoritetsspråklige), miljøet på skolen generelt (skalaen ”Miljøet i skolen” fra Knudsmoen),
nåværende bruk av programelementer, oppslutning om skolemiljøarbeidet og initiativtagere (skalaene
”Likhetstrekk i bruk av programelementer”, ”Oppslutning om skolens arbeid med skolemiljøet”, og
”Initiativtagere til valg av program” fra Eriksen et al.), og Involvering i valg av program (skalaene fra
spørsmål 21 og 22 fra Sørlie et al.).
Disse skalaene brukes med rektor/skoleleder og lærere/skoleansatte og vil være nyttige for å
kontrollere for forskjeller mellom skoler–utenom MV–i starten av prosjektet, og eventuelle forskjeller
som måtte oppstå underveis, igjen utenom MV. Dette kan være hjelpsomt for å vurdere
validitetstrusler fra historie og utvalg. Noen av skalaene vil også være relevante for å vurdere
programintegritet (M-A Sørlie, Ogden, Solholm, & Olseth, 2010).
Utkommemål
Kontaktlærerfaktorer. Kontaktlærere bør også fylle ut et skjema som kartlegger hver elevs sosiale
kompetanse, motivasjon og ferdigheter i regning og lesing. Dette kan gjøres med skalaen
Performance Screening Guide (Elliott & Gresham, 2007). Videre vil det være interessant å se på
Børge Strømgren – HiOA – Evaluering av Mitt Valg
13
lærernes kollektive mestringstro som en utkommefaktor, dette kan gjøres med Collective Self-
Efficacy-Short Form (Goddard, 2002).
Elevfaktorer. Det legges opp til anonym besvarelse, det vil si at vi bare spør om kjønn og klassetrinn
i tillegg til skole. Det foreslås å brukes skalaen ”Hva jeg synes om å gå på skolen” (Knudsmoen) for å
tappe generell info om trivsel, motivasjon og trygghet, dette vil være en viktig utkommevariabel i
prosjektet. Videre er de primære utkommevariablene–formålet med MV–viktige å kartlegge; “utvikle
en positiv sosial atferd, personlig vekst og utvikling, og ta selvstendige valg”. Disse variablene kan
kartlegges ved bruk av Social Emotional Assets and Resilience Scales (SEARS)(Merrell, 2011). SEARS
fins for elever (8-12år og 13-18 år), foreldre og lærere, den bygger på styrker–resiliens–og har gode
psykometriske egenskaper (Romer & Merrell, 2013). Elevene bør også bli spurt om miljøfaktorer som
lærerelasjon (Skalaen ”Lærerne” fra Knudsmoen), elevrelasjon (skalaen ”Basisgruppen/klassen og
klassekameratene mine” fra Knudsmoen), opplevelse av undervisning (Skalaen ”Undervisningen” fra
Knudsmoen), generelle miljøfaktorer (Skalaene ”Regler på skolen” og ”Trygt miljø”, og ”Mobbing” fra
Wendelborg). For ungdomsskoleelever bør det i tillegg spørres om bruk av rusmidler (Skalaen ”Rus”
fra Skretting, Lund og By) fordi MV har fokus på utsatt rusdebut i sitt ungdomsskoleprogram MV3.
Disse faktorene vil også være viktige utkommefaktorer da man vet at de er beskyttelsesfaktorer mot
atferdsproblemer, eller alternativt formulert: faktorer som bidrar til resiliens (Ogden, 2009).
Foreldrefaktorer. Dersom foreldre skal inviteres til å delta bør de bidra til data på Social Emotional
Assets and Resilience Scales (SEARS)(Merrell, 2011).
Observasjoner i skolen: Det er mulig å foretas observasjoner i skolegården og i timene i
vårsemesteret hvert år. Slike observasjoner vil ikke se på enkeltelever, men vurdere det sosiale klimaet
i skolegård og eventuelt klasserom. For observasjoner i skolegård kan omkring 5 timer effektiv
observasjon på hver skole være tilstrekkelig til å kunne si noe om det sosiale klimaet. Eksempler på
instrumenter for observasjon i skolegård er Student Interaction in Specific Settings (SISS) (Cushing,
Horner, & Barrier, 2003) og School-Wide Observation System (SW-OBS) (Smith, 2006, 2007). Det
er også mulig å gjøre observasjoner i klasserommet.
Opplæring og Implementering
Implementering av programmet MV vil være en kritisk faktor for en eventuell effekt, dårlig
implementering kan medføre dårligere effekt enn en ellers kunne fått (M-A Sørlie et al., 2010). Det
er to hoveddimensjoner i implementering, Programintegritet og Tiltaksintegritet.
Programintegritet. Dette går på om tiltaket–MV–faktisk blir iverksatt, og det er faktorer på
organisasjonsnivå som det er viktig å kartlegge her, så som ressurser og rammebetingelser, i tillegg til
støttestrukturer i organisasjonen. Noen av disse elementene er dekket av spørsmål til rektor og
lærere vedT1, eksempelvis oppslutning om skolemiljøarbeidet og initiativtagere. Elementer som
Børge Strømgren – HiOA – Evaluering av Mitt Valg
14
ressurser og støttestrukturer (eksempelvis veiledning, effektvurdering og kvalitetssikring etter
opplæring) vil det være naturlig å spørre om ved T2, T3 og T4.
Behandlingsitegritet. Opplæring. Stiftelsen Det er Mitt Valg vil stå for opplæring og eventuell
veiledning gjennom det programmet de allerede har for dette. Det anbefales å bruke kartlegging som
allerede er brukt, for eksempel evaluering av Kurskvalitet og Oppfatning av programmet.
Treatment fidelity. Det må avklares hva som allerede fins i MV-manaualene eller andre
systemer. En kvalitetssikring av tiltakslevering bør inngå som en del av opplæringen og kan måles
ved at deltagende lærere fyller ut en sjekkliste eller loggbok, der hver økt de har gjennomført merkes
av når den er gjennomført og hvordan mottagelsen vurderes av lærer og nytten ble vurderes av
elevene. Loggboken bør gjøres tilgjengelig for prosjektet. Det bør også vurderes å bruke lokale
kursholdere i en todelt funksjon på enkelte tidspunkter i prosjektet: 1) som veiledere til lærerne og
hjelp til lokal tilpasning (programintegritet) 2) for å vurdere treatment fidelity sammen med lærer
(observatørenighet) i tillegg til å vurdere elevenes oppfatning av relevans (behandlingsintegritet).
Oppfatning av programmet. Rektor, lærere og elever kan i tillegg gjøre en vurdering av MV
på ulike tidspunkter i prosjektperioden.
Børge Strømgren – HiOA – Evaluering av Mitt Valg
15
Referanser
Bonell, C., Allen, E., Christie, D., Elbourne, D., Fletcher, A., Grieve, R., . . . Viner, R. (2014). Initiating
change locally in bullying and aggression through the school environment (INCLUSIVE):
study protocol for a cluster randomised controlled trial. Trials, 15(1), 381. doi: 10.1186/17456215-15-381
Cushing, L. S., Horner, R. H., & Barrier, H. (2003). Validation and congruent validity of a direct
observation tool to assess student school climate. Journal of Positive Behavior Interventions,
5(4), 225-237. doi: 10.1177/10983007030050040601
Dray, J., Bowman, J., Freund, M., Campbell, E., Wolfenden, L., Hodder, R., & Wiggers, J. (2014).
Improving adolescent mental health and resilience through a resilience-based intervention in
schools: study protocol for a randomised controlled trial. Trials, 15(1), 289. doi: 10.1186/17456215-15-289
Eisen, M., Zellman, G. L., Massett, H. A., & Murray, D. M. (2002). Evaluating the Lions-Quest “Skills
for Adolescence” drug education program: First-year behavior outcomes. Addictive Behaviors,
27, 619-632. doi: 10.1016/S0306-4603(01)00197-6
Eisen, M., Zellman, G. L., & Murray, D. M. (2003). Evaluating the Lions–Quest “Skills for
Adolescence” drug education program: Second-year behavior outcomes. Addictive Behaviors,
28, 883-897. doi: 10.1016/S0306-4603(01)00292-1
Elliott, S. N., & Gresham, F. M. (2007). SSIS. Classwide intervention program teacher's guide.
Minneapolis, MN: NCS Pearson, Inc.
Eriksen, I. M., Hegna, K., Bakken, A., & Lyng, S. T. (2014). Felles fokus. En studie av
skolemiljøprogrammer i norsk skole. Oslo: Velferdsforskningsinstituttet NOVA.
Fraser, M. W., Galinsky, M. J., Smokowski, P. R., Day, S. H., Terzian, M. A., Rose, R. A., & Guo, S.
(2005). Social Information-Processing Skills Training to Promote Social Competence and
Prevent Aggressive Behavior in the Third Grades. Journal of Consulting and Clinical
Psychology, 73(6), 1045-1055. doi: 10.1037/0022-006X.73.6.1045
Fraser, M. W., Lee, J.-S., Kupper, L. L., & Day, S. H. (2011). A Controlled Trial of the Making Choices
Program: Six-Month Follow-Up. Research on Social Work Practice, 21(2), 165-176. doi:
10.1177/1049731510386626
Goddard, R. (2002). A Theoretical and Empirical Analysis of the Measurement of Collective Efficacy:
The Development of a Short Form. Educational and Psychological Measurement, 62(1), 97-110.
doi: 10.1177/0013164402062001007
Grossmann, D. C., Neckerman, H. J., Koepsell, T. D., Liu, P.-Y., Asher, K., Beland, K., . . . Rivara, F. P.
(1997). Effectiveness of a Violence Prevention Curriculum Among Children in Elementary
School. A Randomized Controlled Trial. The Journal of the American Medical Association,
277(20), 1605-1611. doi: 10.1001/jama.1997.03540440039030
Børge Strømgren – HiOA – Evaluering av Mitt Valg
16
Harrington, N. G., Giles, S. M., Hoyle, R. H., Feeney, G. J., & Yungbluth, S. C. (2001). Evaluation of the
All Stars Character Education and Problem Behavior Prevention Program: Effects on
Mediator and Outcome Variables for Middle School Students. Health Education & Behavior,
28(5), 533-546. doi: 10.1177/109019810102800502
Holsen, I., Smith, B. H., & Frey, K. S. (2008). Outcomes of the Social Competence Program Second
Step in Norwegian Elementary Schools. School Psychology International, 29(1), 71-88. doi:
10.1177/0143034307088504
Humphrey, N. (2012). Evaluating the efficacy of the Promoting Alternative Thinking Strategies
(PATHS) curriculum in promoting social and emotional wellbeing among children in primary
school: a cluster randomised controlled trial. from http://www.controlledtrials.com/ISRCTN85087674
Knudsmoen, H. (2012). Utvikling av skolens miljø. En kvantitativ undersøkelse om arbeid med
læringsmiljøet ved bruk av LP-modsellen 2009-2011. Foratterne: Høgskolen i Hedmark.
Massiv rektorstøtte til PALS. (2013). Retrieved 10 Desember, 2014, from
http://www.atferdssenteret.no/aktuelt/massiv-rektorstotte-til-pals-article1717-119.html
Merrell, K. W. (2011). SEARS. Social Emotional Assets and Resillience Scales. Professional Manual.
Lutz, FL: PAR.
Midthassel, U. V., Bru, E., & Idsoe, T. (2008). Is the sustainability of reduction in bullying related to
follow‐up procedures? Educational Psychology, 28(1), 83-95. doi: 10.1080/01443410701449278
Monkeviciené, O., Mishara, B., & Dufour, S. (2006). Effects of the Zippy’s Friends Programme on
Children’s Coping Abilities During the Transition from Kindergarten to Elementary School.
Early Childhood Education Journal, 34(1), 53-60. doi: 10.1007/s10643-006-0104-0
Nordahl, T. (2005). Læringsmiljø og pedagogisk analyse. En beskrivelse og evaluering av LP modellen.
Oslo: Norsk institutt for forskning om oppvekst, velferd og aldring.
Nordahl, T., Gravrok, Ø., Knudsmoen, H., Larsen, T. M. B., & Rørnes, K. (Eds.). (2006). Forebyggende
innsatser i skolen. Oslo: Utdanningsdirektoratet.
Nordahl, T., & Hansen, O. (2012). Klasseledelse. Oslo: Gylendal Akademisk.
Nordahl, T., Sunnevåg, A.-K., & Ottosen, A. L. (2009). LP-modellen. Evaluering av LP-modellen 2006–
2008. Elverum: Høgskolen i Hedmark.
Ogden, T. (2009). Sosial Kompetanse og Problematferd i Skolen (2. ed.). Oslo: Gyldendal Akademisk.
Olweus, D. (2005). A useful evaluation design, and effects of the Olweus Bullying Prevention
Program. Psychology, Crime & Law, 11(4), 389-402. doi: 10.1080/10683160500255471
Ozer, E. J. (2006). Contextual Effects in School-Based Violence Prevention Programs: A Conceptual
Framework
and Empirical Review. The Journal of Primary Prevention, 27(3), 315-340. doi: 10.1007/s10935-0060036-x
Børge Strømgren – HiOA – Evaluering av Mitt Valg
17
Payne, A. A., Gottfredson, D. C., & Gottfredson, G. D. (2006). School predictors of the Intensity of
implementation of school-based prevention programs: Results from a national study.
Prevention Science, 7(2), 225-237. doi: 10.1007/s11121-006-0029-2
Riggs, N., Greenberg, M., Kusché, C., & Pentz, M. (2006). The Mediational Role of Neurocognition in
the Behavioral Outcomes of a Social-Emotional Prevention Program in Elementary School
Students: Effects of the PATHS Curriculum. Prevention Science, 7(1), 91-102. doi:
10.1007/s11121-005-0022-1
Rivers, S., Brackett, M., Reyes, M., Elbertson, N., & Salovey, P. (2013). Improving the Social and
Emotional Climate of Classrooms: A Clustered Randomized Controlled Trial Testing the
RULER Approach. Prevention Science, 14(1), 77-87. doi: 10.1007/s11121-012-0305-2
Roland, E., Bru, E., Midthassel, U., & Vaaland, G. (2010). The Zero programme against bullying: effects
of the programme in the context of the Norwegian manifesto against bullying. Social
Psychology of Education, 13(1), 41-55. doi: 10.1007/s11218-009-9096-0
Romer, N., & Merrell, K. W. (2013). Temporal Stability of Strength-Based Assessments: Test–Retest
Reliability of Student and Teacher Reports. Assessment for Effective Intervention, 38(3), 185191. doi: 10.1177/1534508412444955
Shadish, W. R., Cook, T. D., & Campbell, D. T. (2002). Experimental and Quasi-Experimental Designs
for Generalized Causal Inference. New York: Houghton Mifflin Company.
Skretting, A., Lund, K. E., & Bye, E. K. (2014). Rusmidler i Norge 2013. Alkohol, tobakk, vanedannende
legemidler, narkotika, sniffing og doping. Oslo: Statens institutt for rusmiddelforskning.
Smith, B. W. (2006). SW-OBS Manual & Tool. University of North Carolina - Greensboro.
Greensboro.
Smith, B. W. (2007). School-Wide Observation System (SW-OBS): A Direct Observation Assessment
of Changes in Student-Teacher Interaction Patterns. Paper presented at the ABAI 33rd
Annual Convention, San Diego, CA.
Sprague, J., Walker, H., Golly, A., White, K., Myers, D. R., & Shannon, T. (2001). Translating research
into effective practice: The effects of a universal staff and student intervention on indicators
of discipline and school safety. Education & Treatment of Children, 24(4), 495-511.
Stallard, P., Taylor, G., Anderson, R., Daniels, H., Simpson, N., Phillips, R., & Skryabina, E. (2012).
School-based intervention to reduce anxiety in children: study protocol for a randomized
controlled trial (PACES). Trials, 13(1), 227. doi: 10.1186/1745-6215-13-227
Stallard, P., Taylor, G., Anderson, R., Daniels, H., Simpson, N., Phillips, R., & Skryabina, E. (2014). The
prevention of anxiety in children through school-based interventions: study protocol for a 24month follow-up of the PACES project. Trials, 15(77). doi: 10.1186/1745-6215-15-77
Sunnevåg, A.-K., & Aasen, A. M. (2010). Implementering av LP-modellen. Evaluering av arbeidet med
LP-modellen 2007–2009 (LP-2). Elverum: Høgskolen i Hedmark.
Børge Strømgren – HiOA – Evaluering av Mitt Valg
18
Sørlie, M.-A., & Ogden, T. (2007). Immediate Impacts of PALS: A school‐wide multi‐level programme
targeting behaviour problems in elementary school. Scandinavian Journal of Educational
Research, 51(5), 471-492. doi: 10.1080/00313830701576581
Sørlie, M.-A., & Ogden, T. (2014). Mindre problematferd i grunnskolen? - Lærervurderinger i et 10-års
perspektiv. Norsk pedagogisk tidsskrift, 98 E(03).
Sørlie, M.-A., Ogden, T., Arnesen, A., Olseth, A. R., & Meek-Hansen, W. (2014). Skoleledere om PALS.
Spesialpedagogikk(1), 17–29.
Sørlie, M.-A., Ogden, T., Solholm, R., & Olseth, A. R. (2010). Implementeringskvalitet - om å få tiltak
til å virke: En oversikt. Tidsskrift for Norsk Psykologforening, 47, 315–321.
Taub, J. (2001). Evaluation of the second step violence prevention program at a rural elementary
school. School Psychology Review., 31(2).
Wendelborg, C. (2014). Mobbing, krenkelser og arbeidsro i skolen. Analyse av Elevundersøkelsen 2013
Retrieved from http://www.udir.no/PageFiles/80366/Mobbing krenkelser og arbeidsro i
skolen.pdf?epslanguage=no
Aasen, A. M., & Kostøl, A. (2011). «Det gjelder å holde ut». En kvalitativ og kvantitativ evaluering av
pilotprosjektet LP-modellen i videregående opplæring 2008–2010 (LPVGO). Elverum:
Høgskolen i Hedmark.
Aasen, A. M., & Søby, K. (2011). «Vi ser at det funker». En kvalitativ og kvantitativ evaluering av
arbeidet med LP-modellen 2008–2010 (LP3). Elverum: Høgskolen i Hedmark.