Az Országos Kompetenciamérés (OKM) rendszerét 2001-től indították el, elsősorban azzal a céllal, hogy az intézményeknek és pedagógusaiknak visszajelzést adjanak a fiatalok szövegértéséről és matematikai kompetenciáikról, ezzel is segítve a pedagógiai munkát. A rendszer hamar kiteljesedett, 2004-től már három évfolyamon (6. 8. és 10.) mérték a tanulók alapkompetenciáit, valamint számos érdekes adatot (pl. osztályzat, motiváció, családi háttér) is felvettek az ún. háttérkérdőívekben. Minden évben megjelent az eredményeket bemutató országos jelentés, valamint az intézmények telephelyi jelentései, amelyek többek között olyan adatokat is tartalmaztak, mint a hozzáadott pedagógiai érték, vagy az adott referenciacsoporthoz (településméret vagy iskolatípus szerint) viszonyított intézményi eredmények. Miután 2008 óta a tanulók mérési azonosítót is kapnak, ezért nyomon lehet követni a fejlődésüket is hatodik és tizedik között.

Az OKM eredeti céljai, miszerint majd az intézmények és pedagógusok maguk elemzik munkájuk eredményét, és ez alapján próbálnak fejleszteni, kevésbé teljesültek. Ennek egyik oka, hogy az ehhez szükséges adatelemzési kompetencia fejlesztése hiányzik a pedagógusképzésből, másik oka pedig az, hogy nem épült ki egy hatékony, az iskolákat ezen adatok alapján támogató szakmai intézményhálózat. Ugyanakkor kiépült egy olyan, a világon is unikális adatbázis az oktatási rendszerről, amely gazdag tárháza lett az ehhez értő kutatóknak, és az országos jelentéseken át a közvélemény is megbízható információkat kapott a magyar oktatási rendszer teljesítményéről. Nem véletlen, hogy 2012-ben az OKM elnyerte a Magyar Termék Nagydíjat. 

A kompetenciamérés adatai járultak hozzá az olyan felismeréshez, hogy akik jobb eredményt értek el a kompetenciateszten, azok később könnyebben kapnak munkát és többet is keresnek.De a kompetenciamérés adatai segítettek bemutatni a pedagógiai irodalomban jól ismert Pygmalion hatást is, miszerint azok a tanulók, akik rosszabb osztályzatot kaptak, mint amit a teszteredményük indokolt volna matematikából, két és négy év után szignifikánsan már rosszabbul teljesítettek a teszten is. 

Ezt a nagyon jól működő és nemzetközi értelemben is elismerésre méltó rendszert sikerült néhány év alatt lerombolni. Mi is történt? A 2021/2022-es tanévtől kezdve egyrészt digitális platformra ment át a mérés, másrészt új területeket és évfolyamokat vontak be. Ez elsőre akár pozitív fejleménynek is számíthat, hiszen a PISA mérések is folyamatosan bővülnek a kompetenciaterületeket illetően, illetve ott is áttértek a digitális mérésre. Nálunk valahogy mégis félrement valami. Egyrészt a digitális átállás nem ment zökkenésmentesen, és még most is számos helyen fagynak le a gépek, és kerülnek a tanulók kényelmetlen helyzetbe a mérés napján. Hab a tortán az a legfrissebb hír, hogy az országos kompetenciamérés oldalát hackerek törték fel, akik közzétették az adatbázisban található több ezer e-mail-címet. 

Ennél is nagyobb probléma viszont a mérések elinflálása azáltal, hogy egyre többször és egyre inkább olyan céllal akarnak mérni, hogy annak a tanuló és pedagógus számára majd konzekvenciája legyen, akár osztályzat, akár bércsökkentés útján.  A három eddig is mért évfolyam mellett ugyanis most már a negyedik, ötödik, hetedik, kilencedik és tizenegyedik évfolyamon is mérnek. Ez a fajta mérési cunami az iskolákban nagyon gyakran olyan fokú kiégéshez vezetett pedagógusi és tanulói szinten is, ami minden bizonnyal hatással van az adatok minőségére. Az egyik legárulkodóbb jel a romlásra, hogy a családi háttérkérdőív kitöltöttsége drámai mértékben romlott. Korábban se volt ez teljes körű, de a gyerekek hetven százaléka kitöltötte, ami lehetővé teszi a statisztikai elemzést, most viszont már a fele se tölti ki, ezzel egy újabb értékes információforrás tűnik el a rendszerből. Habár ez az információ nem található az infografikákban, de ha a kíváncsi olvasó belenéz az intézményi jelentésekbe, láthatja, hogy sokszor 100 mért tanulóból csak 10 töltötte ki a háttérkérdőívet.

Ráadásul az intenzívebb mérésekről a korábbinál sokkal kevesebb és gyengébb információ jut el az iskolákhoz és a nagyközönséghez. 2023 őszén például a negyedik és ötödik évfolyamokon a tanév elején és a végén is mérték a gyerekeket, de ezek az adatok a mai napig sem lettek kielemezve és publikussá téve. Képzeljük el, milyen lehet az, amikor szinte havonta mérnek minket, tudjuk, hogy esetleg lehet következménye, viszont semmilyen információ nem jön vissza. Jobban szólva bizonyos információk igen, de abban sincs köszönet. A legfrissebb 2024-es adatokról már nem készült országos jelentés, a telephelyi jelentések pedig csak a kompetenciaterületi eredményeket közlik, ráadásul olyan referenciacsoportokkal (pl. négy évfolyamos gimnázium mellett szerepel a nagy négy évfolyamos gimnázium?), ami értelmezhetetlen. Viszont számtalan izgalmas adat eltűnt a rendszerből. 

Mindennek a teteje viszont az az audiovizuális oldal, amit súlyos milliárdokért fejlesztettek, és amiből született hét infografika, egyik értelmezhetetlenebb, mint a másik. Teljesen hiányoznak az olyan nagyon izgalmas összevetésekre lehetőséget adó adatok, mint a településtípus vagy iskolatípus szerinti adatok. Nincsenek összehasonlítható adatok a nagyvárosi és községi iskolák közt, vagy az általános és szakképzés között. Ehelyett vannak teljességgel semmitmondó regionális infografikák, illetve ellátási helyek és intézmények szerinti kibogozhatatlan és bármilyen következtetés levonására alkalmatlan infografikák. Ami adat pedig fent van, az sem felhasználóbarát módon, ha szeretnénk vele valamit kezdeni, egyesével szedegethetjük ki a saját kis excel táblánkba.

És akkor térjünk rá arra, hogy vajon hogyan és mivel mérik a kompetenciákat ma Magyarországon. Nem akarom untatni az olvasót, de jómagam felmentem arra az oldalra, ahol néhány példafeladatot ki lehet tölteni, és megnéztem a szövegértési és történelem feladatokat. Szövegértés területen Tízemeletes címmel látható egy feladat az alsóbb évfolyamosoknak, ami egy meglehetősen hosszú és bugyuta szöveg. Ezt szkippeltem, és megpróbáltam a Notre Dame-ról szóló feladatot kitölteni, ami a 8-11-es évfolyamosoknak szól. Jelentem, 14 pontból nyolcat sikerült elérnem! Megnéztem a történelem feladatokat is. Minden feladat olyan, ahol előre megjelölik, hogy hány helyes válasz van, és azt kell megtalálnia a tanulónak. De a történelem éppen nem olyan, ahol a helyes válaszok kőbe lennének vésve. Gondoljunk csak arra, hogy éppen most szembesülhettünk vele, hogy Petőfi nem a szabadságért, hanem a békéért harcolt, vagy hogy 1956-ban jobb lett volna beengedni az oroszokat. Már várom a következő történelem teszten majd ezeket a kérdéseket, hogy pl. Petőfi miért harcolt 1848-ban? A szabadságért, a békéért, Magyarországért, vagy a boldogságért? Karikázd be a két jó választ! Vagy mondjuk: Szerinted helyesen döntöttek-e az 1956-os felkelők, mikor szembeszálltak az oroszokkal? Igen, mert védték a hazájukat. Nem, mert eleve tudni lehetett volna, hogy elbuknak, ezért felesleges volt. Karikázd be az egyetlen helyes választ! Nem lennék a gyerekek helyében.

Ahogy a nemrég megjelent Kreatív tanulás című könyvünkben is hosszan ecseteljük, kreativitás nincs nyitott és kritikai gondolkodás nélkül, aminek az egyik leghatékonyabb fejlesztése az, ha a tanulókat saját véleményük kifejtésére ösztökéljük és megmutatjuk, hogy gyakran többféle megoldás is létezik. Ezek a feladatok viszont lezárnak és semmilyen lehetőséget nem adnak a tanulói kreativitásnak és értelmezésnek. Vajon ezzel mit akarunk mérni? Mit mér ez egyáltalán? És itt felmerül a kormányzat és az Oktatási Hivatal felelőssége is. A digitális átállást nagyon kevés idő alatt kellett megcsinálni és az új tesztekre is kevés idő maradt (a történelem tudást és a szövegértést mérő tesztek közötti ellentmondásról lásd a második részt). De ez nem menti fel őket a felelősség alól.

A sajtóban elsősorban az jelent meg, hogy milyen rosszak az eredmények, és milyen nagy a romlás. De senki vagy csak kevesen teszik fel a kérdést, hogy vajon mi az amit látunk valójában? 

Térjünk vissza a tizenegyedikes évfolyamon látható nagy fokú romlásra (1715 pontról  1672 pontra). Fontos tudni, hogy az új mérések már csak a köznevelés alá tartozó intézményekre vonatkoznak, ami miatt a kilencedik és tizenegyedik évfolyamon csak a gimnáziumokat és szakgimnáziumokat találjuk. Ez is magyarázza, hogy bár itt látható a tavalyihoz mérten a legnagyobb romlás, de maguk a teljesítmények jóval magasabbak, pl. a kilencedik évfolyamon jóval magasabb az eredmény, mint a nyolcadikban és a tizedikben. 

1. táblázat

Szövegértési pontszám és létszám a kompetenciamérésen 2022 és 2024 között évfolyamonként

Forrás: OKM

Vajon milyen okai lehetnek ennek a romlásnak?

• Egyrészt lehet, hogy nem sikerült jól belőni a feladatokat, hogy ugyanazt mérjék mindkét évben és ezért nem igazán összehasonlíthatók. Ez egy frissen (tavaly és egy szűkebb csoportban) induló mérésnél elő szokott fordulni. Elég csak a központi gimnáziumi felvételikre utalni, ahol évenként nagyon eltérő nehézségű tesztsorokat sikerül összeállítani. Amikor nehezebb a teszt, sokkal rosszabb eredmények születnek. A tanulók önbizalmát ez meglehetősen megtépázza, de mivel mindenkire vonatkozik ez, alapvetően a felvételiket ez kevésbé zavarja meg, ugyanolyan arányban kerülnek be a tanulók az intézményekbe, csak átlagosan alacsonyabb pontokkal. Viszont az országos kompetenciamérés esetén egy ilyen malőr végzetes, azt a képet adja, mintha romlottak volna az eredmények, holott csak a mérőeszköz lett rosszul kalibrálva.
   
• Nem tudjuk, hogy az eredmények azért romlottak, mert nem jó válaszokat adtak a tanulók, vagy azért, mert nőtt a ki nem töltött kérdések aránya. A kompetenciamérési tesztek kódolása esetén általános tapasztalat, hogy a szakképzésben tanulók sem feltétlenül azért teljesítenek rosszul, mert nem tudják a megoldást, hanem egyszerűen üresen adják be a teszteket. Az egyik probléma kompetenciaprobléma, a másik viszont motivációs probléma. Azt, hogy ez utóbbiról lehet szó, megerősíti a BM erős indíttatása arra, hogy osztályzatot adjanak a tesztekre, mert  ahogy elhangzott – akkor a tanulók végre komolyan fogják venni. Az az erős nyomás, ami jelenleg a kormányzat részéről a gimnáziumokra nehezedik akár növelhette is az ellenállást a tanulókban.
   
• És persze nem zárható ki az sem, hogy valóban van romlás (hiszen ezt látjuk a PISA adatok esetén is), ami a minőségi és mennyiségi pedagógushiánynak tudható be.

A helyzet nem rózsás, az adatok egészen biztosan nem mutatják azt, hogy itt fejlődés lenne. Nagyon fontos lenne, hogy ezek az adatok megbízhatók legyenek és az értelmezésük megalapozottan történjen.Erre az lenne a megnyugtató megoldás, ha ezeket az adatokat hozzáértő, hiteles és független kutatók transzparens módon elemeznék és ez alapján vonnánk le következtetéseket.  Ehhez képest azt látjuk, hogy:

• a kompetenciamérés adatbázisa egyre elérhetetlenebb a kutatók számára
   
• az adatokat nem értelmezik, vagy rosszul interpretálják, mint pl. a PISA adatok esetén, ahol az adatokat úgy értelmezte a kormány, hogy javult a helyzet, holott nem javult, csak sajnos a nemzetközi átlag hozzánk romlott.
   
• láthatóan a kompetenciamérési adatok terén sem sikerült javulást elérni, ezért olyan szakmaiatlan ötlettel állt elő a minisztérium, hogy teszteket osztályozni kellene, holott ez a csalásnak fog megágyazni, erre nemzetközi példák is vannak
   
• akkora a bizalmatlanság és a tudatlanság az oktatásirányítók körében, hogy ezt azzal próbálják ellensúlyozni, hogy agyonkontrollálják és mérik a rendszert, ezáltal teljesen demotiválva a szereplőket és elinflálva a mérési rendszert. A terepen járva mi is azt tapasztaljuk, mennyire megutáltak mindenféle mérést az iskolákban. Ma már ott tartunk, hogy a háttérkérdőívet szinte senki nem tölti ki, a teszteket meg nem veszik komolyan. Egy nemzetközileg is elismert mérési rendszert sikerült így teljesen  gallyra tenni.
   
• de a legaljasabb talán az, hogy olyan tesztekkel állnak elő, amelyek nem feltétlen mérnek jól, legalábbis a mintafeladatok ezt mutatják. Az Oktatási Hivatalban már nincs senki, aki annak idején részt vett a kompetenciamérés fejlesztésében, viszont tudtalevő, hogy mind a digitális átállásra, mind az új tesztek kidolgozására nagyon rövid idő állt rendelkezésre. Ezek után rendkívül visszatetsző, hogy ezeknek a siralmas eredményeit mindenféle interpretáció és magyarázat nélkül ráontják az emberekre, akik megdöbbennek és elhiszik, hogy ez a helyzet, mint ahogy a pedagógusok s tanulók is. Ez leginkább George Cukor hitchcocki hangulatú Gázláng című filmjét juttatja eszembe, ahol az ördögi férfi a nőt úgy kergeti az őrületbe, hogy elhiteti vele, hogy megőrült, azzal, hogy manipulálja körülötte a valóságot. (Érdekes, hogy a gázláng effektus (gas-lighting) volt a legnépszerűbb keresett szó az online felületen 2022-ben.) 

Az oktatás nincs jó helyzetben és a pedagógusok valóban eszköztelenek. De ne felejtsük el, hogy jóval kevesebbet kötünk az oktatásra, mint az európai országok többsége, és még így is elmondható, hogy ilyen kevésből ilyen „sokat” kevesen hoznak ki, köszönhetően a pedagógusoknak. A pedagógusok bérét csak azért emelte a kormány, mert ehhez a sokat szidott „Brüsszel” biztosította az erőforrások egy részét. A tananyagot olyan emberek állítják össze, akik számára a gyerek csak egy doboz, viszont ők meg akarják valósítani a teljességet, így teljesen életidegen és zsúfolt tantervek jönnek létre. Az oktatást a miniszterelnök a rendőrminisztérium egy sarkába száműzte, a rendőrminiszter pedig minden problémát faék egyszerűséggel rendészeti eszközökkel próbál megoldani. Ilyenek az iskolai rendőrök megjelenése, a kompetenciamérés osztályzása, a tesztek eredménye alapján direkt értékelése a tanároknak, mint ahogy a pedagógusképzés megújítását is a rendőröket, katonákat és köztisztviselőket képző Nemzeti Közszolgálati Egyetemen képzelik el. A rendszerből így kikopott a szakértelem, az oktatásért legrégebb óta felelős illető leginkább azzal tudta jól pozicionálni magát, hogy az egyre gyarapodó problémakupacot fáradhatatlanul sepri a szőnyeg alá. 

Mit kellene csinálni? Jól látható, hogy a sok új mérés kontraproduktív, a tanulókat és pedagógusokat kiégeti, az adatokat elinflálja. Bár látható az igyekezet, hogy minél kevesebbet tudjon meg a halandó az oktatás helyzetéről, de mintha öngólt lőttek volna, mert most már ők sem fognak sokat megtudni ezekből a „zajos” adatokból. Ezért vissza kellene állni a 2021 előtti jól működő rendszerhez, az alapkompetenciákat kellene a három évfolyamon teljeskörűen mérni és az adatfelvétel és az eredmények digitalizálását valóban hatékonnyá és felhasználóbaráttá kellene tenni. Ehhez valószínűleg jóval több kompetenciára és erőforrásra  lenne szükség az Oktatási hivatalban is, bár én azért a következő uniós értékelési szakaszban megvizsgálnám a digitális fejlesztésre elszórt milliárdok felhasználását. Vissza kell hozni az éves országos jelentéseket és az információ gazdagabb telephelyi jelentéseket, valamint a kutatói adatbázis rendszerét. Az iskolák számára pedig biztosítani kellene egy olyan szakmai támogató környezetet, ahova segítségért fordulhatnak az adatok elemzéséhez és az osztálytermi munka ez alapján történő fejlesztéséhez. 

A cikk második része, ahol az elérhető infografikákat elemzem, itt olvasható.

Nyitókép: 123RF