Utdanningsdirektoratet kan ha regnet feil. Det har skjult store endringer blant norske elever, mener forskere.
Forskerne er sikre: Det er gjort regnefeil på nasjonale prøver siden 2014. Men direktoratet kan ikke dele sine egne regnestykker. Årsaken? De finnes ikke lenger. Han oppdaget det ved en tilfeldighet. Forsker Simen Markussen hadde fått i oppgave å sjekke hvordan det gikk med norske skoleelever under pandemien. Han gikk til de nasjonale prøvene for å få svar. Det han fant, overrasket ham. Nedstengningene og hjemmeskolen hadde ikke endret noen ting. Elevene svarte nesten nøyaktig like riktig. Faktisk hadde norske elever samlet sett gjort det nesten nøyaktig like godt på de nasjonale prøvene i alle årene siden 2014.  Markussen ble forbløffet. – Jeg har jobbet med statistikk i hele karrieren min. Jeg har aldri sett tall som ser slik ut. Tallene var så oppsiktsvekkende at Markussen og kollegaen Oddbjørn Raaum ba om å få alle dataene fra alle nasjonale prøver som norske elever har tatt siden 2014.  I vinter tok Markussen med datamaskinen på hytta. Etter noen dager reiste han hjem igjen med det han mente var et klart svar: De offisielle tallene stemmer ikke.  Bedre i engelsk, dårligere i norsk og matte Markussen er direktør for Frischsenteret, et samfunnsøkonomisk institutt i Oslo. Han ba forskeren Ole Røgeberg om å regne over alt på nytt. De gikk gjennom dataene på tre forskjellige måter. Og fikk samme svar hver gang. Det har skjedd mye med norske skoleelever. Men de nasjonale prøvene har bare vist små endringer. I 2021 konkluderte Utdanningsdirektoratet slik: «Nasjonalt er det ingen endring i gjennomsnittlig skalapoeng i lesing, regning og engelsk fra vi startet å måle utvikling». Det stemmer ikke, mener forskerne. Tvert imot. Analysen fra Frischsenteret viser at norske elever er blitt mye bedre i engelsk på få år. Men elevene er også blitt dårligere i matte og norsk. Ikke nok med det: Norske elever ble fortsatt bedre i engelsk selv under pandemien. Mens det mest markante fallet i matematikk skjedde det første året med nedstengninger. «Våre resultater viser at nasjonale prøver er mer verdifulle enn vi har trodd», skriver forskerne i konklusjonen.  Forskerne har skrevet om funnene i en artikkel som ennå ikke er publisert. Aftenposten har fått tilgang til artikkelen. Der står det forskerne mener er nye og riktige tall for de nasjonale prøvene. Analysen viser at norske elever blir dårligere i lesing. Det gjelder spesielt i 8. klasse. Fallet tilsvarer omtrent et halvt skoleår, slik Utdanningsdirektoratet regner det: Det samme skjer i matematikk. Der har regneferdighetene falt: Samtidig har elevene blitt mye flinkere i engelsk: – Først ble vi avfeid Analysen viser noe helt annet enn den offisielle statistikken. Forskerne på Frischsenteret forsøkte i flere måneder å finne ut hvorfor.  – Først ble vi avfeid. De viste ingen interesse for tanken om at tallene var gale. Vi fikk beskjed om å snakke med noen andre, sier Raaum. Aftenposten har fått innsyn i en lang rekke e-poster mellom forskerne og Utdanningsdirektoratet. I e-postene kommer det frem at forskerne gjentatte ganger forsøkte å finne ut hvordan direktoratet egentlig har regnet.  «For oss fremstår dette forvirrende og det er mangel på logisk sammenheng», skriver Markussen som svar på en av e-postene der direktoratet forsøker å forklare metoden. – Det er noe galt Utdanningsdirektoratet kunne ikke dele hele metoden. Men direktoratet delte en kildekode med forskerne. Koden var ny, og skulle brukes for å beregne prøveresultatene fra og med 2023. Koden bidrar «åpenbart til feil», skriver Markussen i en e-post til direktoratet. «Når denne blir formidlet til oss som metoden dere i dag jobber med å utvikle for 2023-prøven, er det naturlig å tenke at noe lignende ble gjort i perioden 2014-2021», skriver Markussen videre. Men det kom han aldri helt til bunns i. Etter flere møter og en e-post-korrespondanse over et halvt år, er det ennå ikke klart for forskerne hvordan direktoratet har jobbet.  – Det er veldig uklart for oss hva som egentlig har skjedd her. Det vi kan si sikkert, er at det er noe galt. Og det har pågått lenge, uten at noen har oppdaget det, sier Raaum. Avviser at målingene er feil Avdelingsdirektør Frode Nyhamn mener direktoratet ikke har avfeid forskerne. Direktoratet har delt både data og informasjon om egne analyser, sier han. Men direktoratet kan ikke dele hele regnestykket.  Analysen er gjort i et kommersielt tilgjengelig dataprogram. Programmet fungerer slik at det ikke er mulig å se hele analysen i ettertid. Avdelingslederen mener likevel ikke at direktoratet har regnet feil. Det dreier seg om ulike metoder, ifølge Nyhamn. Direktoratet regner nå på en annen måte enn før. Endringen har vært planlagt lenge. «Det betyr ikke at målingene vi gjorde fra 2014, er feil», skriver Nyhamn i en e-post.  Den nye analysen skal gjøres i programmeringsspråket R og blir åpent tilgjengelig, opplyser han. «Analysen fra Frisch viser mye sterkere endringer enn metoden vi har brukt før. Vi kan pr. nå ikke utelukke at den forsterker forskjellene for mye», skriver Nyhamn. Han opplyser at direktoratet undersøker saken. Direktoratets nye metode blir likevel «betraktelig likere Frisch sin metode», skriver Nyhamn. Den nye metoden skal også brukes for å regne over årene fra 2014 på nytt. Departementet orientert Kunnskapsdepartementet (KD) fikk beskjed om den mulige feilen i februar. Det var forskerne ved Frischsenteret som ga beskjed.  Departementet ba 28. august om en redegjørelse fra Utdanningsdirektoratet «om hva som er riktig», skriver statssekretær Kjetil Vevle (Ap) i en e-post.
Forskere ved Frischsenteret i Oslo slår fast at det er regnet feil på nasjonale prøver siden 2014.  Ifølge forskernes analyse har norske elever blitt dårligere i lesing og matematikk, men bedre i engelsk de siste årene. Dette avviker fra offisielle tall, som viser marginal endring.  Utdanningsdirektoratet avviser at det er feil i målingene, og hevder det er ulike metoder som er årsaken til forskjellene. Direktoratet planlegger imidlertid en endring i metode for beregning av prøveresultater fra 2023. 