Vetenskapen är mindre entydig än många tror

En av Stefan Ekecrantz slutsatser är att flera viktiga metaanalyser bygger på feedbackstudier som inte ens handlar om elevers lärande i skolan. Han gör en liknelse med stora studier om samarbetslärande.

– Det finns förstås mycket allmän forskning som visar att samarbete kan vara väldigt bra jämfört med enbart enskilt arbete, men all den forskningen går inte att överföra till skolan hur som helst. En studie kanske handlar om att team är bra när man ska ta fram en ny Iphone. Lisa bidrar med designen och Stina med det bästa chipet. Den typen av forskning är bara delvis relevant för en lärare som ska designa sin undervisning.

Metastudier fyller en viktig funktion, men min poäng är att alla som konsumerar en metastudie bör ha en grundläggande förståelse för vad som ligger bakom metodiken.

På senare år har Stefan Ekecrantz fått mycket uppmärksamhet för att han har granskat några av de stora metastudierna inom feedbackforskningen. I artikeln ”Feedback and Student Learning? – A Critical Review of Research” undersöker han flera metastudier som är flitigt förekommande i litteraturgenomgångar av formativ bedömning.

– De som förespråkar metastudier menar att svensk utbildningsvetenskap berikas av mer kvantitativ kompetens. Metastudier fyller en viktig funktion, men min poäng är att alla som konsumerar en metastudie bör ha en grundläggande förståelse för vad som ligger bakom metodiken.

Ekecrantz tror att många forskare som hänvisar till metastudierna inte alltid har tillräcklig kunskap om de underliggande studiernas design för att kunna avgöra hur relevant resultatet är för dem. Han understryker att det är viktigt att återkommande analysera även originalforskningen som metastudierna bygger på. I sin artikel granskar han metodologi, relevans och validitet – att man faktiskt mäter det man säger sig mäta – i ett antal studier. Han kommer fram till att i de fallen är beläggen för feedbackens betydelse i skolsammanhang inte så entydiga som ibland görs gällande.

Stefan Ekecrantz har bland annat kritiskt granskat en av de metastudier som många forskare refererar till – Avraham Klugers och Angelo DeNisis undersökning ”The Effects of Feedback Interventions on Performance” från 1996. I litteratur om formativ bedömning hänvisas ofta till just den här studien. Den anses vara ett empiriskt stöd för att feedback har stor effekt på elevers lärande i skolan.

I metastudien ingår 131 studier om feedback. Stefan Ekecrantz poängterar att många inte alls är gjorda i skolmiljö. Flera handlar om fabriksarbetares uthållighet för monotona uppgifter och liknande. Om man bortser från alla studier som inte handlar om elevers och studenters lärande så krymper underlaget till 55 studier. Ännu en begränsning är att studierna är gamla och var det redan när metastudien gjordes. Många studier gjordes på 60- och 70-talen, flera så tidigt som på 30-talet. Ser man bara till de som handlar om lärande som har en direkt relevans för något skolämne så kvarstår elva tämligen gamla studier.

Vad betyder det att en viktig metastudie inte alls handlar om det som efterföljande forskare har tagit för givet? Att vi bör överge feedback och formativ bedömning? Inte alls, menar Stefan Ekecrantz.

– Jag påstår givetvis inte att det är dåligt att ge feedback till eleverna. Det jag vänder mig mot är en vanligt förekommande okritisk föreställning om att ju mer individåterkoppling desto bättre. Punkt slut. Vi behöver föra mer nyanserade resonemang när det gäller rekommendationer om avvägningar och prioriteringar.

Stefan Ekecrantz efterfrågar undersökningar där man tar större hänsyn till begreppet pedagogisk effektivitet när det talas om bedömning och feedback, särskilt när det gäller lärares skriftliga återkoppling till individuella elever. Även om man lägger en begränsad tid på den enskilda återkopplingen så blir den sammantagna tidsåtgången för en hel klass snabbt väldigt omfattande.

Hur vet man att eleverna inte hade lärt sig ännu mer om läraren hade lagt alla de timmarna på att utveckla nya pedagogiska klassrumsaktiviteter i stället? I feedbackforskningen jämförs i princip aldrig den typen av alternativ. Det behövs mer forskning som jämför faktiska handlingsalternativ inom en och samma tidsram, enligt Stefan Ekecrantz.

– Bland lärare och skolledare finns en törst efter konkreta kunskaper. Det finns ett sug efter råd om hur man ska gå tillväga och då är tydliga siffror i till exempel John Hatties synteser väldigt attraktiva. Risken är då att man okritiskt tittar på ett isolerat fenomens effektstorlek, när det man egentligen behövde veta mer om var jämförelser mellan olika fenomen och dessas pedagogiska effektivitet.

Den senaste tiden har de svenska resultaten i Pisaundersökningen varit uppe till diskussion. Pisa är världens största elevstudie som genomförs vart tredje år. Syftet är bland annat att jämföra prestationer, både över tid och mellan länder. Resultatet anses viktigt, det visade sig inte minst 2013, när det blev offentligt att svenska 15-åringar placerade sig under OECD-snittet i alla undersökta ämnen. Förra årets Pisaundersökning visade däremot att svenska 15-åringar hade förbättrat sina prestationer och låg över OECD-snittet när det kom till läsförmåga, matematik och naturvetenskap.

Samtidigt riktades kritik mot att elva procent av alla 15-åringar på de svenska skolorna inte fått delta eftersom de inte ansågs representativa för det svenska skolsystemet. Resultatet gav en förskönande bild menade kritikerna. Senare visade ännu en granskning att ännu fler utrikesfödda, men också svenskfödda elever, kan ha plockats bort på felaktiga grunder och att de svenska resultaten kan vara missvisande. Utbildningsminister Anna Ekström har sagt att regeringen ska inleda en granskning av resultaten.

Stefan Ekecrantz poängterar att han inte är någon expert på Pisa, men menar att – precis som med metastudierna – så måste man förstå en del grundläggande principer bakom Pisaundersökningarna och vad de faktiskt utger sig för att undersöka.

– Det blir förstås särskilt tydligt när Pisaundersökningarna används som ett slagträ i debatten. Det politiska parti som – av ideologiska skäl – tycker att de har användning av det senaste Pisaresultatet lyfter gärna fram en viss förändring under ett visst år, och vice versa. Sällan diskuteras det grundläggande i just rangordning. Om svagare länder gör bättre ifrån sig så sjunker Sverige i rankingen och om starkare länder gör sämre ifrån sig så kan det bli tvärtom – utan att det måste bero på förändringar i den svenska skolan. Men, det största problemet är när debattörer och politiker plockar enskilda smådelar ur ett komplext och sammansatt sammanhang. Det liknar hur en del metastudier om feedback och formativ bedömning har använts.

Stefan Ekecrantz efterfrågar nya, relevanta metastudier inom bedömningsforskning att luta sig emot. För metastudier behövs – de måste bara användas på rätt sätt.

– Graden av osäkerhet är något som man hela tiden måste ha i bakhuvudet. Metastudierna kan nämligen säga flera saker på en gång. Ska jag gå till höger eller vänster? Det går oftast att hitta belägg för båda synsätten invävda i resultaten. Det man kan säga säkert är i alla fall att med det stora uppsving som formativ bedömning har fått i stora delar av världen finns det goda förutsättningar för nya stora metastudier som uteslutande kan bygga på forskning om just elevers lärande i skolan och ingenting annat, säger Stefan Ekecrantz.