Formativ utvärdering av humanistiska projekt medelst fokusgrupper.

I många projekt som genomförs i arbetslivet i dag har människors kunnighet och kreativa handlande stor betydelse. För att utvärdera sådana projekt krävs en utvärdering med en annan vetenskapsteoretisk ansats än den vanliga. Om man håller sig till den konventionella ansatsen är det inte möjligt att rättvisande belysa och förklara olika svårigheter och hinder som kan uppstå.

Framväxten av nya utvärderingsmetoder är således en direkt följd av den utveckling mot ”professionella aktörer” som pågår i arbetslivet. Vi har valt att kalla projekt som tar hänsyn till denna aspekt för ”humanistiska”. Denna beteckning syftar inte på att projekten skulle vara mer människovänliga eller byggda på kunskaper från humaniora. Den syftar på att de i högre grad än andra arbetssätt tar hänsyn till kunskaper om människan som en aktiv, meningsskapande och social aktör. I detta avseende knyter utvärderingen an till teoribildningar man finner inom den så kallade kritiska teorin och metoder som är vedertagna inom området kvalitativ forskning.

Syftet med denna text är inte att fördjupa resonemangen kring den forskningsmässiga relevansen utan att så klargörande som möjligt beskriva bakgrunden till och sättet att arbeta med en formativ utvärdering med fokusgrupper.

Bakgrund

Det som skiljer vårt arbetssätt mot många andra kvalitativa och kvantitativa metoder är själva användningen av de samtal som genereras i fokusgrupperna. Vår uppfattning är att många utvärderingar av konventionellt slag missar avgörande faktorer och ger en missvisande bild av de projekt som utvärderas.

Det är exempelvis mycket vanligt att både projektansatser och utvärderingar bygger på en linjär tanke – nämligen att en viss procedur eller en viss metod – skapar den uppslutning och den kompetens som krävs för framgång. Man använder sig av ett ”koncept” eller en förutbestämd modell och vill veta om just denna är framgångsrik eller inte. Man utvärderar då denna genom att jämföra resultatet ”före och efter”. Skulle man följa en så kallad positivistisk forskningstradition borde man också ha neutrala jämförelsegrupper. Detta är förstås inte möjligt i den typ av projekt vi här talar om.

Man kommer emellertid inte ifrån att de koncept och de modeller som används bygger på mer eller mindre outtalade föreställningar och antaganden om hur människor agerar och varför de gör som de gör. Eftersom verksamheter såväl som människor är olika och ställs inför unika problem är alla sådana antaganden mycket grova generaliseringar.

Det blir lätt ett cirkelbevis. Bakgrundsresonemangen motiveras genom att modellen fått framgång och framgången sägs bero av modellen. Närmare studium av sakförhållandena visar emellertid i allmänhet att det är ett mycket stort antal variabler inblandade. Det skulle mycket väl kunna vara så att det är en tillfällighet att just de variabler som var viktiga just i detta fall händelsevis var gynnsamma samtidigt. Förhållandena är svåra att klargöra eftersom det vanligen saknas mer djupgående analyser av annan natur än sådana som bygger på rent statistiska och kvantitativa data.

Som utomstående bedömare får man därför sällan grepp på vad det egentligen är som medfört projektets framgång. Den som själv skall engagera sig i sådana koncept inser därför snabbt att de beskrivningar man fått tillgång till bygger på ofullständiga föreställningar om de sakförhållanden som man själv kan komma att möta. De är principförklaringar och påståenden som inte ger så mycket ledning kring vad som behöver bli gjort.

Duktiga projektledare lagar efter läge. De hanterar problemen när de uppkommer och löser dem löpande tillsammans med dem som är berörda. De ansatser och de föreställningar man hade innan projektet blir också vanligen alltmer ointressanta allteftersom projektet framskrider. Man lär sig under gång.

Utvärderar man projektet enbart före och efter och ser enbart på resultatet missar man därför att dokumentera den erfarenhet och den kunskap som alla inblandade vunnit genom att genomföra projektet. Dessa glöms vanligen bort när resultatet väl har vunnits. Beskrivningen av projektet kommer då att sakna viktiga ingredienser och lärdomar.

Om man begränsar sig till att läsa dessa ”framgångshistorier” måste alla andra som vill göra detsamma ”börja från början” med risk för att inte kunna hantera just sina speciella problem och förutsättningar. Vanan att begränsa utvärderingen av insatser och projekt till att mäta före och efter leder därför till att de koncept och modeller som konstrueras på detta sätt blir ointressanta. De blir alltför förenklade och ytliga för att vara av värde för en kompetent yrkesman. Vad som skulle vara värt för denna att ta del av är kunnigheten och den praktiska erfarenheten hos dem som engagerat sig i att göra projektet framgångsrikt. Därför har det blivit viktigt med det som kommit att kallas praktikerdriven forskning.

Koncepts kan till och med vara farliga. De väcker förhoppningar som inte kan infrias och tär på förtroendet mellan ledning och personal. Många går in i dem med stor entusiasm men lyckas inte övervinna svårigheterna. Trots att man agerar efter läroboken och sin bästa erfarenhet inträffar motstånd och svårigheter som gör att man ställer sig frågande inför vad som händer.

Ofta förklaras detta av omvärlden – och kanske även av projektledaren – med resonemang som förstärker olika och olämpliga förutfattade meningar – exempelvis klander mot ledning och personal. Istället för att fördjupa sin kunskap om verksamheten har man istället medverkat till en förtroendekris som gör det än svårare att förstå vad som sker. En formativ utvärdering med fokusgrupper kan då erbjuda den information man saknar och göra att det pågående projektet tar sig ur problemen och blir mer framgångsrikt. Men även om så inte skulle vara fallet har man ändå vunnit ny kunskap och stärkt förtroendet.

En formativ utvärdering med fokusgrupper har således förutsättningar att ge information om fenomen, problem, svårigheter och möjligheter som man lätt kan förbise eller ”förklara bort” om man enbart arbetar med ”konventionella” uppföljningsmetoder och principer. En formativ utvärdering med fokusgrupper är särskilt angelägen att initiera i projekt som har till syfte att förändra arbetssättet i integrerade sociala system.

Hur kan fokusgrupper hjälpa?

Varje utvärderingsmetod har sina styrkor och sina begränsningar. Varje metod och arbetssätt utgår från vissa förutfattade meningar och grundantaganden. Den metodik, som vår användning av fokusgrupper bygger på, har en helt annorlunda vetenskapsteoretisk grund än många andra av de metoder som vanligen tillämpas – exempelvis intervjuer, enkäter och statistik. Denna text syftar till att översiktligt redogöra för hur arbetssättet med fokusgrupper tar hänsyn till denna skillnad (Wennberg, Hane och Rydén 2006; Wennberg och Hane 2005; Hane och Wennberg 2004).

Fokusgrupper bygger på samtal mellan kunniga och erfarna personer. Med erfarenhet menar vi då att man aktivt själv har mött olika situationer, handlat i dem och reflekterat över vad som hänt och vad som åstadkommits genom vad man gjort. Erfarenhet är således en följd av något man varit med och gjort – inte bara något som man ”tänkt”. Fokusgrupper utgår från att det som skall belysas genom samtalet är processer i ett integrerat sociotekniskt system inom vilket man är beroende av varandra och där vars och ens handlande påverkar hela systemets funktion. Syftet med samtalet i fokusgruppen är att de som deltar i den skall hjälpas åt att beskriva sina erfarenheter på ett utifrån allas perspektiv så belysande och rättvisande sätt som möjligt.

Begreppet ”komplexitet” har visat sig vara viktigt för att belysa skillnaden mellan de olika vetenskapsteoretiska synsätten. När arbetsförhållanden och samhällsklimat kräver en ökad autonomi – till skillnad mot den begränsade autonomi man ansåg sig behöva tidigare – så kommer handlingsutrymmet för varje enskild medlem i systemet att behöva öka. Därmed ökar också antalet möjliga utfall av agerandet. Dessa alternativ är ofta så många att de inte på förhand kan förutses, styras eller kontrolleras. Stabiliteten i systemet uppstår istället genom att medlemmarna har lärt sig agera i det på ett sätt som gör det stabilt. Endast om man engagerar sig i sådana handlingar kan systemet stabiliseras och bli pålitligt. Vägen dit kallas ofta socialiseringsprocessen.

När det vanemässiga mönstret utmanas och handlingsutrymmet måste utökas kommer det sociala systemet att behäftas med en inbyggd osäkerhet. Man möter en ovisshet om utfallet. Det är förhållandet att det existerar ett oändligt antal tänkbara möjliga utfall som vi kallar ”komplexitet”.

Komplexitet skiljer sig från komplikation på det sättet att komplicerade förhållanden i princip är möjliga att beräkna och beskriva och därmed att förutse. Processen går då att kontrollera och utfallet går i princip att styra fram. För de tidigare organisationsformerna fanns för detta ändamål stabiliserande och vanemässigt inarbetade mönster. Det är dessa mönster som skapar den förutsägbarhet och därmed också den tröghet som industrisamhällets arbetsformer präglas av.

Komplexa förhållanden kännetecknas av ett överskott av möjligheter där emellertid bara vissa kan och kommer att kunna realiseras. Det är också bara vissa som är önskvärda och som kommer att vinna gehör. Detta gör att kvantitativa förutsägelser, beräkningsmodeller och prognoser inte längre får samma tyngd i bedömningarna som tidigare. Därför luckras stelheten i systemen upp. När detta sker – så som är fallet i dagens arbetsliv – uppstår nya och tidigare obeaktade sociala fenomen som i varje enskilt fall måste förstås, belysas och klarläggas. Dessa sociala fenomen styrs av individernas egna och självständiga val och är därför i princip oåtkomliga genom yttre observation. De kan bara förstås genom samtal med och information från dem som berörs. De förändras också löpande genom människors lärande.

Det nya med användning av fokusgrupper i ett utvärderingsarbete är att man betraktar deltagarna i fokusgrupperna som aktiva medforskare. De tillfrågas om att medverka inte främst för att delge synpunkter, attityder eller åsikter. De engageras för att de har en för den aktuella uppföljningen särskilt relevant erfarenhet. Denna erfarenhet är en direkt följd av deras delaktighet i det sociala system i vilket de medverkar.

I utvärdering med fokusgrupper bjuds medarbetarna in som medförfattare till en text som syftar till att belysa deras erfarenheter av de fenomen som är fokus för utvärderingen. De åtar sig därmed också ett gemensamt ansvar för den slutliga berättelsen om dessa fenomen. De tar ansvar för vad de vill berätta för omvärlden om vad de varit med om.

Utöver att själva syftet med samtalet – dess fokus – innebär en avgränsning av vad som blir relevant att lyfta upp så finns inga begränsningar vad gäller de modeller, resonemang, begrepp eller språkbruk som kan användas av deltagarna för att beskriva sina erfarenheter. Använda resonemang, ord och uttryck preciseras när det behövs under samtalet genom frågor och motfrågor från fokusgruppsledarna och övriga deltagare i fokusgruppen.

Vad kan man vinna för kunskap genom fokusgrupper?

Utvärdering utgår normalt från någon typ av insats som skall studeras över tid. Man vill veta något om denna insats. Man kan exempelvis vilja veta om den utfaller så som man hoppats på, om dess inriktning varit relevant, om genomförandet gjorts på ett lämpligt sätt etc. Utvärdering genom fokusgrupper ersätter inte insamlandet av ”konventionella” data och uppgifter. Poängen med utvärdering genom fokusgrupper är att den ger andra och kompletterande informationer.

I den konventionella utvärderingsmetodiken försöker man vanligen finna jämförelseobjekt så att man från en sådan jämförelse kan få reda på om ett visst förfarande har större förutsättningar att lyckas än ett annat. Man söker bekräftelse på att den teori eller modell som man föreslår är relevant och trovärdig. Detta är bara möjligt om förhållandena i princip är beräkningsbara.

När det gäller den typ av integrerade sociala system som nu växer fram är förhållandena komplexa. Medarbetare har ett större handlingsutrymme än tidigare. De är aktiva medskapare av arbetssättet. Därmed kommer utfallet och de sociala systemens sätt att fungera att skilja sig allt mer från varandra även om koncept och planer är desamma. De blir mer unika ju större handlingsutrymme som medarbetarna får.

Direkta jämförelser mellan olika projekt och förfaringssätt blir därmed allt svårare att göra. Man kan därför vanligen inte som förr okritiskt använda ett förfaringssätt eller en enstaka modell som visat sig fungera på ett ställe och införa samma förfaringssätt eller modell på samma sätt i ett annat system. Det krävs istället att man kan få en överblick av de många olika variabler som tycks ha betydelse och deras inverkan. Det är en sådan inventering man kan göra med hjälp av fokusgrupper. Ges man en sådan överblick kan var och en som har ambitioner att nå ett liknande resultat sedan själv ta ställning till sin situation och göra de överväganden och bedömningar som krävs.

Detta betyder inte att man skall arbeta teorilöst och utan modeller. Självklart måste varje projektarbete ta utgångspunkt i någon relevant modell eller teori om systemet som sådant, vad man vill åstadkomma och hur insatserna kommer att påverka detta. Varje sådan modell är emellertid en förenkling av verkligheten. Både den uttalade och underförstådda formuleringen innebär att vissa aspekter lyfts fram och andra osynliggörs. Ju mer insiktsfull och rättvisande modell man arbetar efter desto bättre och säkrare resultat kan man naturligtvis uppnå.

Ingen modell kan emellertid sägas representera hela sanningen. Hur väl man än förbereder sig finns det alltid luckor, oklarheter och ovissheter. Man måste alltid arbeta med en ”strimma av tvivel”. Utvärdering med fokusgrupper utgår därför från följande devis:

Vad man inte kan upptäcka med en konventionell metodik, där utvärderingen utgår från samma modell och antaganden som projektet i sig självt, är de luckor och ofullkomligheter som kan ligga inbäddade i själva ansatsen.

Poängen med utvärdering genom fokusgrupper är därför att man vid utvärderingen inte behöver utgå från samma grundantaganden som styrt projektarbetet. Man undviker därmed att skapa självuppfyllande profetior. Utvärdering med fokusgrupper gör det möjligt att fritt pröva olika antaganden om hur det kommer sig att medverkande gör som de gör när det är som det är. Man kan då också pröva om de förväntningar som genom projektet ställs på medarbetarna är rimliga och om de utfall man förespeglat olika intressenter uppfattas som positiva och önskvärda.

Tillvägagångssättet

Fokusgrupper tillhör en tradition som kan kallas iscensättande forskning. Fokusgruppen bildar en arena för samtal som normalt inte finns i verksamheten. Det som gör arbetssättet intressant är att ta del av hur denna arena utnyttjas och hur samtalet i den utvecklar sig. Fokusgrupper är således framåtblickande snarare än bakåtblickande. De erbjuder en ökad förståelse för de fenomen som deltagarna brottas med i sin vardag.

Startar i praktiken
Utvärderingar med fokusgrupper startar därför i deltagarnas egen praktik. De bygger på de berördas eget språkbruk och egna tankefigurer istället för att utgå från en förutbestämd teori eller modell. De försöker genom samtal med de i projektet engagerade allt bättre spegla den kvalitativa mångfalden av uppfattningar och perspektiv som finns om de mekanismer, processer och fenomen som kan vara aktuella att belysa för framtiden och i samband med projektet.

Deltagarna blir medförfattare
Den slutgiltiga berättelsen dokumenteras av fokusgruppsledarna men läses och kommenteras av deltagarna. Dokumentet bearbetas till dess det kan godkännas av alla deltagarna. Deltagarna blir därmed medförfattare. Berättelsen är en unik bild av hur man kan resonera om de frågor som tagits upp. Den får sin logik genom samtalet och deltagarnas egna erfarenheter. Den är därför representativ för det tankemönster och de grundresonemang som präglar projektet. Det faktum att man hör kolleger berätta ger dessutom var och en nya insikter om den problematik som finns och precisare ord även på den egna erfarenheten.

Sammanhanget avgör vad som är relevant att berätta
Genom att alla deltagare vet i vilket sammanhang som berättelsen kommer att användas – det vill säga för vilka och varför man berättar – kan man självständigt i samtalet och i den efterföljande dokumentationen ta ställning till vad man själv anser vara relevant och vad som är värt att lyfta fram.

Dokumentationen är ett översättningsarbete
Varje fokusgrupp har en ”fokusgruppsledare”. Denne tillhör inte projektet eller gruppen. Fokusledarens funktion är att representera alla dem man skall berätta för och vara den som återberättar samtalet. Fokusgruppsledaren – forskaren – ”översätter” således samtalet och dess undertexter till något som omvärlden kan finna relevant och som kan beskrivas med tillgängliga teorier. Denna ”översättning” och dess relevans verifieras av deltagarna och andra initierade personer i påföljande fokusgrupper.

Ett urval av personer som tillsammans kan ge en rättvisande bild
Urvalet av personer sker strategiskt – det vill säga en i frågeställningen insatt person väljer ut de personer som denne tror tillsammans kan ge en perspektivrik och tillräckligt rättvisande bild av det som hänt och det som var ambitionen med projektet. Självfallet deltar bara de personer som finner syftet med studien angeläget och som genom sina erfarenheter kan bidra till belysningen. Kvaliteten garanteras genom att deltagarna i fokusgruppen öppet ställer sig bakom den berättelse som de skapat.

Hela berättelsen är tillgängig för läsaren
Utvärderingen består således av ett antal berättelser som bearbetas efter speciella principer så att de kan kondenseras och så att relevanta erfarenheter kan lyftas fram. Grundmaterialet, det vill säga berättelserna som sådana, är i sin helhet tillgängligt för läsaren. De systematiseras inte efter en på förhand fastställd modell. Materialet kan istället i efterhand diskuteras i relation till alla de olika teorier och modeller som finns och som man tycker har relevans för området.

Öppet gjorda tolkningar kan ifrågasättas
Fokusgruppledarnas bidrag och insatser påverkar berättelsen. Detta är fördelaktigt eftersom man då kan dra nytta av deras kunnighet. Genom att flera kan engageras i uttolkandet kan emellertid effekten av en ensidig tolkning av materialet minimeras. Genom att berättelserna sedan bearbetas i olika samtal och analyser med allt flera intressenter kan ytterligare djup och nyanser träda fram som kanske annars inte hade blivit synliga. Utvärderingen kan därför komma att belysa nya faktorer och aspekter som i senare projektansatser bör tas med i de modeller och uppföljningar man då gör och som behöver integreras i modellerna för att säkra arbetets framgång.

Kvalitetssäkring genom deltagarna
Kvalitetssäkring av utvärderingsarbetet åstadkommes genom att hela det empiriska materialet är verifierat av deltagarna och också är inspekterbart för läsaren. Alla de slutsatser som författarna drar kan därigenom ifrågasättas, prövas och kompletteras. Om det under arbetets gång skulle uppstå tveksamheter om huruvida de valda fokusgrupperna av något skäl inte berört förmodat viktiga aspekter av projektet kan det ursprungliga underlaget alltid kompletteras med ytterligare fokusgrupper. Detta kan pågå till dess nya samtal och grupper inte tillför materialet något nytt.

Litteraturreferenser

Hane M, Wennberg B-Å (2004): Vi vet att vi gör ett bra jobb. En studie om tillgänglighet, arbetsmiljö och resursutnyttjande i hälso- och sjukvård. Stockholm: Landstingsförbundet.

Kamberelis G, Dimitriadis G (2005): Focus Groups. Strategic articulations of pedagogy, politics and inquiry. I: Denzin N, Lincoln Y (red): Sage Handbook of Qualitative Research.

Wennberg B-Å, Hane M (2005): Metodologisk plattform för vår användning av fokusgrupper och fokusberättelser. Abonnemangsrapport 106. Degerfors: Samarbetsdynamik AB.

Wennberg B-Å, Hane M och Rydén L (2006): Välgrundade samtal och väl underbyggda resonemang i en globaliserad värld. Abonnemangsrapport 121. Degerfors: Samarbetsdynamik AB.

Denna artikel kan laddas ner som pdf här

Utvärdering med fokusgrupper
Senaste texter

Formativ utvärdering av humanistiska projekt medelst fokusgrupper.

Vad är det man vill veta egentligen?