Innovativ utvärdering

Innovativ utvärdering
Paper till HSS 15 i Klamar 2015-05-29
Mats Holmquist
Samordningsförbunden i Sverige har till uppgift att samordna myndigheterna inom välfärden för
att medborgare ska få stöd och rehabilitering som ger dem möjlighet att försörja sig själva. Man
finansierar insatser som syftar till att samlokalisera, utveckla gemensamma metoder och
individanpassa insatser efter vars och ens förutsättningar och behov. Ett centralt syfte är att få
samarbetet mellan parterna att fungera bättre och använda samhällets resurser för rehabilitering
mer kostnadseffektivt.
Samverkan kräver organisering, vilket är skälet till att samordningsförbund bildats. De är juridiskt
självständiga myndigheter och har funnits sedan Lagen om finansiell samordning av
rehabiliteringsinsatser trädde i kraft den 1 januari 2004.
Det finns 80 samordningsförbund som omfattar 240 av Sveriges 290 kommuner. Under 2014
finansierades 960 insatser med sammanlagt 38 000 deltagare där parterna bidrog med 560
miljoner kronor till samverkan.
Inom ett samordningsförbund samverkar Arbetsförmedlingen, Försäkringskassan, kommun och
landsting/region inom välfärds- och rehabiliteringsområdet. Samordningsförbundet Halland är
ett av dem och omfattar fem kommuner i regionen. Verksamheten ska möjliggöra en snabbare
återgång till arbete och etablering på arbetsmarknaden genom att finansiera en
gränsöverskridande samverkan.
Syfte
Samordningsförbundet Halland har ett samverkansavtal med Högskolan i Halmstad (HH) som
omfattar utvärdering av fem insatser, projekt, i fyra kommuner under tre år 2014-16 samt
strategiskt stöd i styrelsen. Syftet är att utvärderingarna ska stödja implementeringen av värdefulla
resultat och bidra till hållbara effekter.
På HH har vi därför bildat ett utvärderingsteam med fyra forskare och lärare som följeforskar i
projekten. Vi organiserar lärande utvärderingsprocesser med i första hand styrgrupperna som är
ansvariga för implementeringen.
Metodiken i utvärderingsmodellen baseras på teori och erfarenhet inom bland annat lärande
utvärdering (Svensson m.fl., 2009), organisatoriskt lärande (Granberg & Ohlsson, 2009),
förändringsledning (Jacobsen, 2013), projektarbete (Svensson, Aronsson, Randle & Eklund
2007).
Metod
Vi organiserar lärloopar i varje projekt. Första loopen börjar med två workshops. En med
styrgruppen och en med projektteamet där vi ringar in problemen i de permanenta
verksamheterna och lösningsidén i insatsen. Vi fokuserar på samarbetsformer och arbetssätt som
kan tänkas implementeras.
2
Lösningsidé
Experiment
Temporära
projekt
Permanenta
verksamheter
Problem
Behov
Lära
Utveckla
Figur 1: Syfte med följeforskning i projekt
Därefter gör vi intervjuer med styrgruppsdeltagarna och teammedlemmarna om
samarbetsformerna, arbetssätten och implementeringen. Workshopdokumentationen och
intervjuerna sammanställer vi till ett underlag som vi skickar ut till styrgruppen inför ett första
gemensamt analysseminarium.
Under analysseminariet tar vi upp värdefulla resultat och diskuterar vilka som är realistiska att
implementera. Hinder och problem tas upp till analys, möjligheter och lösningar föreslås.
Dokumentationen från analysseminariet blir till en första delrapport som lämnas över till
styrgruppen för åtgärder. Delrapporten utgör avslutningen på första lärloopen.
I utvärderingsprocessen får styrgruppen återkoppling på syfte och mål med projektet, vad som
fungerar och vad som är problematiskt. Fokus är på nya samarbetsformer och arbetssätt som kan
implementeras i de permanenta verksamheterna hos Socialförvaltningen, Arbetslivsförvaltningen,
Försäkringskassan, Arbetsförmedlingen och Regionen (vården).
I andra lärloopen samlar vi in deltagarnas synpunkter med en enkät som vi har tagit fram i
samarbete med projektet. Projektgruppen delar ut den och deltagarna skickar in den till oss med
post. Vi sammanställer resultaten och gör korstabeller på intressanta variabler.Teamet gör några
deltagarintervjuer som de skriver rent och skickar till oss.
Utifrån enkäten och intervjuerna med deltagarna sätter vi ihop ett nytt underlag till ett andra
analysseminarium med styrgruppen. Här sker en liknande kollektiv kunskapsprocess som vid
första analysseminariet. Allt dokumenteras i en andra delrapport som ges till styrgruppen för
åtgärder. Rapporten avslutar den andra lärloopen.
3
Figur 2: Lärloopar
Till hösten planerar vi en tredje loop där vi ska göra fokusintervjuer med mellanchefer och en
enkät till handläggarna i myndigheterna. Denna mottagarbild ska sedan analyseras tillsammans
med styrgruppen utifrån ett implementeringsperspektiv. Dokumentationen läggs ihop med
delrapport ett och två till en avslutande utvärderingsrapport.
Förutom dessa loopar organiserar vi två analyskonferenser med alla samordningsförbundsprojekt i
regionen. Hit samlar vi representanter från alla styr- och projektgrupper samt ansvariga chefer,
ledare och politiker i myndigheterna, för att utbyta erfarenheter, dra gemensamma lärdomar och
sprida dessa för att påverka makthavarna.
Vi kommer även att göra en egen loop med Samordningsförbundets styrelse kring hur de
strategiskt kan leda sin projektverksamhet för att generera mer nytta med sina medel.
Analys och diskussion
Den erfarenhetsbaserade kunskapssynen lyfts fram av Toulmin (1995) som menar att alla
teoretiska krav måste belägga sitt värde genom att visa att de har rötterna i människors handlande
och praktiska erfarenheter. Principen om stabilitet och enhetlighet står mot mångfald och
ömsesidig anpassning till olika omständigheter. Mångfald och kreativa processer kan främjas
genom att återgå till det muntliga, det enskilda, det lokala och det tidsbundna hävdar Toulmin.
Följeforskningen och ett interaktivt förhållningssätt kan ses som ett uttryck för denna syn. Här
finns även en demokratisk aspekt. Att göra praktikerna delaktiga i forskningsprocessen ger dem
påverkansmöjligheter och gör dem till aktiva medproducenter av kunskap.
Just samverkan mellan teori och praktik menar Delanty (1997) är avgörande för vetenskapens roll
i samhället. Formulerandet av forskningsproblem sker alltid i en viss social kontext där det gäller
att förstå aktörerna men även se dem inbäddade i sitt sociala sammanhang. Delanty efterfrågar ett
större samspråk mellan vetenskap och samhälle och ser samhällsvetenskapen som ett praktiskt
samtal format av definitionen av problem.
Interaktiviteten i följeforskningen ger konsekvenser för oss forskare. Vi är både ledare av och
ledda av följeforskningen (Burton & Mickan, 1993). Vi skapar en stödjande kontext för att
möjliggöra följeforskning om frågor som är viktiga för praktikerna. Vi organiserar och leder
4
gemensamma analysseminarier vilka ger konsekvenser som påverkar både projekten och vår
följeforskning. En analys av ett bristande målfokus ledde till avhopp i projektgruppen och
förändrade vår utvärderingsdesign.
Relationen mellan oss forskare och styrgruppen blir mer subjekt – subjekt lik. En fördel är då att
tyst kunskap kan lyftas upp med hjälp av oss. Vi lyfter även in teori i analyserna som stöd för mer
generella slutsatser. Kombinationen av teoretiska och praktiska frågor bidrar bägge till bygget av
en lokal teori i just detta projekt och till en teori i handling (Hansson, 2003). Här spelar de lokala
kontextuella förutsättningar en aktiv roll. Exempelvis hur de sociala relationerna ser ut i
styrgruppen och vilken roll organisationskulturen spelar i olika myndigheter och hur
samarbetsklimatet är olika kommuner.
Eriksson & Holmer (1991) anger tre sätt att förhålla sig till aktionsforskningsprocessen som
bygger på praktikernas behov att ta del av forskarnas kunskap, för att bättre kunna förändra sin
egen verklighet.
1. Praktikerna får ta del av den akademiska kunskapen som finns via forskarna
(inhämtande av kunskap)
2. Forskarna hjälper till med att utveckla kunskaper hos praktikerna som är mer eller
mindre latenta (utvecklande av egen kunskap)
3. Praktiker och forskare medverkar tillsammans i den sociala produktionen av kunskap
(gemensam kunskapsproduktion)
I vårt fall dominerar det sista. Inom lärlooparna utvecklas gemensam kunskap som sedan
utvecklas ytterligare mellan looparna.
Forskarens roll
När följeforskningen är en del av ett praktiskt projekt och forskaren är interaktiv i
utvärderingsprocessen, kan forskarrollen vara svår att definiera. Forskaren kan bli medproducent
av sina egna data. Ett sätt att förhålla sig till denna roll är att växla mellan närhet och distans,
handling och reflektion (Jonsson, 2001). Att vi alltid är minst två forskare gör att vi både kan leda
och dokumentera workshops och seminarier.
Vår interaktiva rörelse mellan den akademiska världen och den andra världen kan liknas vid
abduktion (Alvesson & Sköldberg, 1992). Forskaren växlar mellan världarna och låter de
akademiska teorierna ”impregneras” av praktiken. Sedan rör sig forskaren tillbaka till akademin,
tar då med sig de nya praktiska kunskaperna och låter dem ”impregneras” av teorier.
Mötet mellan världarna sker genom dialog och interaktion. I början sker oftast en diskussion om
och definiering av problemet följt av data insamlingar, tolkningar och analyser. När dessa nya
kunskaper återförs till praktiken sker i bästa fall en tillämpning och intervention. Följeforskarens
abduktiva rörelse mellan teori och praktik kan beskrivas enligt figur 3 nedan.
5
Artiklar, rapporter
Akademi
Teorier
Utvecklad teori
Datainsamling
Interaktion
Probleminventering
Tolkning, analyser
Interventioner
Praktik
Verklighet
Tillämpad
kunskap
Utvecklad praktik
Beslut, förändring
Figur 3: Abduktiv interaktivitet
Den abduktiva logiken bygger på kreativitet, att se nya sammanhang, att tolka innebörder, att
uppfatta nya relationer, att förklara samband – att ge ny innebörd åt det som redan är känt
(Svensson, 1992)
Denna växelverkan mellan forskning och praktik kan innebära att planera en workshop,
genomföra den, observera vad som sker, reflektera över resultatet och därmed identifiera nya
problem. Det blir en spiral med återkommande loopar.
Jonsson (2001) menar att vid interaktiv kunskapsbildning kommer forskare och praktiker från två
olika sammanhang och möts i ett tredje där de för dialog med varandra. Detta tredje system utgör
ett socialt rum där relationen mellan teori och praktik hanteras och där kunskap genereras. När
du befinner dig i ditt forskningssystem har du rollen av primär aktör. Du är ansvarig för att
teoretisk kunskap utvecklas och sprids. I det interaktiva dialogsystemet är du och praktikerna
gemensamt ansvariga för att interaktionen fungerar och att innehållet är relevant.
Jon Ohlsson (2002) kallar denna forskarroll för ”kritisk reflektör” för att sträva efter att precisera
och upprätthålla en distinktion mellan kunskapande och utvecklingsbidragande. Rollen tar sig
yttryck i tre aktiviteter som påminner om hur vi arbetar i våra loopar:
1. Forskaren och praktikerna försöker gemensamt upptäcka problem och viktiga frågor
2. Forskaren reflekterar kontinuerligt över iakttagelser och relaterar dessa till en mer abstrakt
förståelse
3. Forskaren återkommer till praktikerna med tolkningar för att få till stånd en gemensam
reflektion.
6
Interaktiv följeforskning blir intressant genom att den kan bidra med ett utvecklingsinriktat och
kreativt lärande (Ellström 1992). Problemet med den traditionella utvärderingen är att den för
lite sysslar med innovationer och för mycket med kartläggningar. Det gör det svårt att överskrida
det befintliga och undersöka de möjligheter som finns för utveckling, både av praktiken och av
teorin. Agneta Hansson (2003) visar på tre typer av resultat från aktionsforskning:
1. Resultat som bidrar till produktionen av teorier och till ackumulerad akademisk
kunskap (teoretiskt resultat)
2. Utveckling av teoretisk kunskap och praktisk kompetens kopplad till organisationen
som en effekt av dialog baserad interaktion mellan forskare och praktiker (praktisk
kunskapsutveckling)
3. Konkreta praktiska resultat av utvecklingsprocessen i form av interventioner i den
berörda organisationen (praktisk intervention)
Fram träder tre olika forskarroller som i text kan beskrivas som åtskilda men som i verkligheten
troligen samspelar med varandra beroende på situation och fas i forskningsprocessen. Tabell 1 är
ett sätt att särskilja forskarrollerna.
Tabell 1: Forskarroller
ROLL
Traditionell forskare
Interaktiv forskare
Aktionsforskare
Fokus
Kunskapsbildning
Lärande
Förändring
Avstånd
Distans
Växlande
Närhet
Position
Observerar
Deltar
Driver
Bidrag
Sakkunskap
Processkunskap
Metodkunskap
Resultat
Teoretisk kunskap
Praktisk kunskap
Praktisk intervention
En traditionell forskare samlar in och analyserar data. En interaktiv forskare deltar och bidrar
aktivt till lärande. En aktionsforskare organiserar och driver fram handlingar för förändring.
Jonsson (2001) menar att den interaktiva rollen ofta är komplex och mångfacetterad, kan bli
splittrad och att fokuseringar kan förloras eller blandas ihop. Styrkan är dock att det ger möjlighet
till djup förståelse och direkt omsättning av utvunna kunskaper genom kontinuerliga
återkopplingar och gemensamma analyser. Forsberg & Starrin (1997) instämmer och anser att
deltagarbaserad forskning skapar goda förutsättningar för att mer relevanta frågor kan ställas,
rimligare fokuseringar kan göras och mer realistiska och acceptabla interventionsstrategier kan
utvecklas.
Beskrivningar, tolkningar och analyser som vi gör i akademin kan stämmas av i dialog med
praktikerna på analysseminarierna. En tankemässig återvändsgränd kan snabbt upptäckas och
ersättas av mer meningsfulla och relevanta tankespår. Den interaktiva kunskapsprocessen skapar
på detta sätt förutsättningar för ett giltigt lärande. Winther Jörgensen (2008) menar också att
kunskaperna som den interaktiva forskningen bidrar med blir socialt robusta genom sin
kommunikativa validitet. En hypotes kan testas i dialog och sedan prövas i praktik för att se om
den håller.
7
Utvärderingens roll
Traditionell utvärdering är ofta summativ. Den görs i slutet, sammanfattar ett projekt och
kontrollerar om resultatet stämmer med syftet och målen. Lärande utvärdering är istället formativ
(Svensson m.fl., 2009). Den görs under tiden och tar fram underlag som kan användas till att
leda och förbättra projektprocessen. Men i bägge dessa former är sambandet mellan temporär och
permanent organisation svagt. Kopplingen mellan projektlärande och organisationslärande
saknas. Det blir lätt ett fokus på aktiviteter, projektprocess och tillfälliga resultat.
I vårt följeforskningsarbete fokuserar vi istället på organisationsnivån. På implementering av
värdefulla resultat i de ordinarie verksamheterna. På långsiktiga effekter. Denna utvärderingsform
kan kallas innovativ då den vill bidra till att ta det nya till världen, till att nyttiggöra
projektresultat och utveckla ordinarie verksamhet. Då krävs en utvärderingskompetens som även
kan organisera och leda lärprocesser, som kan sätta in utvärderingsarbetet i ett
förändringssammanhang och bidra till en hållbar arbetslivsutveckling. Tabell 2 är ett sätt att
särskilja de olika utvärderingsformerna.
Tabell 2: Utvärderingsformer
Summativ
Formativ
Innovativ
Varför?
Kunskap att
bedöma projektet
Kunskap att
utveckla projektet
Kunskap att utveckla
organisationen
För
vem?
Projektägare,
finansiärer
Projektgrupp,
deltagare
Styrgrupp, mottagare
Av vem?
Extern
Närstående
Mångkompetent
När?
I slutet, efteråt
Under tiden
Under tiden och
efteråt
Vad?
Resultat
Process
Effekter
Några saker vi kunnat observera i det innovativa utvärderingsarbetet så här långt är att
− En teoribaserad grund för utvärderingsdesignen som förankras i styrgruppen, ger stöd för
riktning och prioritet i arbetet
− Involverandet av styrgruppen i utvärderingsprocessen skapar både relevans i forskningen
och delaktighet i lärprocesserna
− Analysseminarierna blir ett tillfälle till mellanorganisatoriskt lärande och integrerad
spridning
− Erfarenhetsbaserat kollektivt lärande rymmer innovativa möjligheter
− Förankring och delaktighet i organisationerna är avgörande för implementeringsprocessen
8
Referenser
Alvesson & Sköldberg (1992) Tolkning och reflektion, Studentlitteratur, Lund
Axelsson H. (1997) Våga lära. Doktorsavhandling. Institutionen för pedagogik, Göteborgs
Universitet
Burton J. & Mickan P. (1993) Managing Action Research, ur Ghaye T. & Wakefield P. (1993)
The role of self in action research, C.A.R.N. Hyde Publication, Bournemouth
Delanty, G. (1997). Social Science Buckingham: Open University Press.
Ellström, P-E. (1992). Kompetens, utbildning och lärande i arbetslivet – problem, begrepp och
teoretiska perspektiv. Fritzes. Stockholm
Eriksson K. & Holmer J. (1991) Studiecirklar som stöd för förändring av arbetslivet, Rapport nr
1991:09. Institutionen för pedagogik, Göteborgs Universitet
Forsberg, E. & Starrin, B. (1997). Frigörande kraft – empowerment som modell i skola, omsorg och
arbetsliv. Stockholm: Gothia.
Granberg, O. & Ohlsson, J. (2009). Från lärandets loopar till lärande organisationer. Lund:
Studentlitteratur.
Hansson A. (2003) Praktiskt taget. Doktorsavhandling. Institutionen för sociologi, Göteborgs
Universitet
Hansson T. (2000) The heart of learning organizations, Doktorsavhandling. Institutionen för
lärarutbildning, Luleå Tekniska Universitet
Holmquist, M. (2008). Samverkan och lärande - reflexioner om interaktiva möjligheter och
hinder. I Gunnarsson, E., Johannisson, B. & Stjernberg, T. (red) Gemensamt kunskapande – den
interaktiva forskningens praktik. Acta Wexionensia, Växjö, sid 155-169.
Jacobsen, D. I. (2013). Organisationsförändringar och förändringsledarskap. Lund:
Studentlitteratur.
Jonsson L. (2001) Kunskapsbildning i samverkan mellan forskning och praktik, Doktorsavhandling,
Ekonomiska Institutionen, Linköpings Universitet
Maxwell J. (1996) Qualitative research design. An interactive approach, Applied social research
methods series, vol 41, SAGE, London.
Ohlsson J. (2002) Forskaren som kritisk reflektör. Pedagogisk forskning med dialog i praktiken. Ur
Svensson L., Brulin G., Ellström P.-E. & Widegren Ö. (2002) Interaktiv forskning – för utveckling
av teori och praktik, Arbetsliv i omvandling 2002:7, Arbetslivsinstitutet, Stockholm
Svensson L. (2002) En analys och blick framåt. Ur Svensson L., Brulin G., Ellström P.-E. &
Widegren Ö. (2002) Interaktiv forskning – för utveckling av teori och praktik, Arbetsliv i
omvandling 2002:7, Arbetslivsinstitutet, Stockholm.
Svensson L., Aronsson G., Randle H. & Eklund J. (2007). Hållbart arbetsliv. Projekt som gästspel
eller strategi i hållbar utveckling. Malmö: Gleerup.
Svensson L. m.fl. (red) (2009). Lärande utvärdering genom följeforskning. Lund: Studentlitteratur.
Toulmin, S. (1995). Kosmopolis. Stockholm: Ordfront.
9
Winther Jörgensen, M. (2008). På framkant: Interaktiv forskning och vetenskapens plats i
samhället. I Johannisson, B., Gunnarsson, E. & Stjernberg, T. (red) Gemensamt kunskapande –
den interaktiva forskningens praktik, sid 349-379. Växjö: Växjö University Press.
10