Friday 20 December 2013

Är en jämlik skola en bra skola?


VARNING: GRAFERNA I DENNA BLOGGPOST VISAR KORRELATIONER. DE ANVÄNDS ENDAST FÖR ATT DISKUTERA SAMBAND SOM I DEBATTEN HÄVDAS EXISTERA, INTE FÖR ATT PÅVISA ORSAKSSAMBAND.

I en twitterkonversation med Jonas Vlachos igår diskuterade jag hur skollagens idéer om likvärdighet – att vilken skola man går på inte ska spela roll för ens resultat – möjligtvis endast kan tillgodoses av att genomsnittsresultaten faller.  Jonas menade att ”[h]ög genomsnittskvalitet o små skillnader mellan skolor förefaller dock gå hand i hand även om mekanismen är oklar. Så empirin talar emot att likvärdigheten kräver kvalitetssänkning.”

Detta är något som ofta upprepas i debatten: en jämlik skola är en bra skola.  DN Debatt för ett par veckor sedan påstod Stefan Löfven och Ibrahim Baylan exempelvis att ”OECD har tydligt visat att de skolsystem i världen som presterar bäst också är de mest jämlika.”

Men stämmer detta? Jag ignorerar helt och hållet problemet med vad som orsakar vad utan inriktar mig endast på huruvida argumentet ”en jämlik skola samvarierar med en bra skola” stämmer.

Vi tar en titt på de senaste resultaten från PISA 2012, som i debatten verkar anses vara det viktigaste måttet för om ett skolsystem är bra (även om jag inte håller med om det). I den första grafen finner vi en positiv korrelation mellan relativt hög skolvarians och resultaten. Måttet är här variansen mellan skolor som en procent av total varians i landet (uttryckt i procent av genomsnittsvariansen i alla länder). Här ges inget stöd för påståendet att små skillnader mellan skolor och höga resultat går hand i hand.




I nedanstående graf håller jag även variansen inom skolor konstant men ändå finner vi ingen positiv relation mellan låg skolvarians och höga resultat. Tvärtom är högre skolvarians fortfarande positivt relaterat till genomsnittsresultaten.




Men vad händer om vi fokuserar på skillnader mellan elever, vilket jag själv anser vara ett mer rimligt mått på likvärdighet? Det ger inte heller något stöd för att en jämlik skola går hand i hand med en bra skola. Istället ser vi en positiv korrelation mellan hög ojämlikhet och höga prestationer. Den första grafen visar relationen mellan resultat och hur stora skillnaderna är mellan hög- och lågpresterande elever (skillnaden mellan elever i 95:e och 5:e percentilern). Ju större skillnader mellan elever, desto högre resultat. Samma analys återfinns för övrigt i PISA-rapporten men där definieras skillnaden mellan hög- och lågpresterande elever som skillnader mellan elever i 90:e och 10:e percentilerna. Resultaten är snarlika.




Nedanstående graf visar istället sambandet mellan hur stark effekten av elevernas bakgrund är och resultaten. Inte heller där finns det en positiv korrelation mellan likvärdighet och resultat. Faktum är att det inte finns någon relation alls mellan effekten av bakgrund och genomsnittsresultat (det är inte ett statistiskt signifikant samband). 




Jag vill återigen starkt betona att ovanstående inte har någonting med orsakssamband att göra. Men jag ifrågasätter argumentet som vi ofta hör i den svenska debatten om att det finns ett samband mellan likvärdighet/jämlikhet och resultat. 

UPPDATERING: Jag kollade även om variationskoefficienten (standardavvikelsen/medelvärdet) är lägre i länder med höga genomsnittliga resultat. Högre skillnader när man tar hänsyn till ländernas resultat är negativt korrelerade med genomsnittsresultaten (medan den absoluta standardavvikelsen istället är positivt korrelerad med resultaten). Jag menar dock att den relativa spridningen inte är det mest relevanta måttet på jämlikhet. Istället bör vi fokusera på den absoluta spridningen. Varför? Därför att om vi är intresserade av jämlikhet inom länderna är det inte säkert att vi är bör ta hänsyn till medelvärdet eftersom som vi då premierar länder som har höga resultat - och då studerar vi en annan fråga än den om jämlikhet. (Se exempelvis Jonas Vlachos som diskuterar förändringar i likvärdigheten i TIMSS och PISA baserat skillnaderna mellan hög- och lågpresterande elever som jag gör ovan.)


Tuesday 10 December 2013

Pasi Sahlberg is talking out of his hat


Over at the Spectator, I write about Pasi Sahlberg and his relentless attacks on school choice policies, now in relation to what he believes the results in PISA 2012 display. Rather than looking at the PISA report’s fireworks of correlations, which wouldn’t be accepted as a BA dissertation in economics, he might be interested in the academic research on the subject. This shows that private-schooling raises achievement in international tests. Shortly, Sahlberg is talking out of his hat.

Tuesday 3 December 2013

PISA results are out - and Finland is down


Today, the PISA 2012 results were released. Finland fell out of the top ten countries, thereby confirming the slide that was found in TIMSS earlier. Several publications referred to my writing in discussing the problems with just looking at PISA results when judging countries’ performance (including Business Insider and the Guardian).

In terms of Finland, I’ve been arguing that other measures have displayed a significant fall in educational achievement for more than a year. But everyone just cares about PISA. Now, when the fall also shows up in PISA, people start to listen. It’s nice to be right.