PISA 2012 – Helyünk a nemzetközi mezőnyben
Előző írásunkban azzal foglalkoztunk, hogy – rövidebb és hosszabb távon – miért van szükség a PISA felmérések által alkotott átfogó képre, valamint végigvettük, miként épül fel a feladatrendszer struktúrája. Most azt nézzük meg, hogyan alakultak a PISA 2012 problémamegoldás vizsgálat eredményei.
Az átalakulóban lévő munkaerőpiac kihívásainak rövidesen a mostani – illetve a 2012-ben ilyen korú – 15 éveseknek kell megfelelniük. A kutatókat a PISA felmérések során az a kérdés foglalkoztatta, hogy rendelkezik-e ez a korosztály azokkal a képességekkel, amelyek lehetővé teszik, hogy megvessék lábukat a megváltozott világban. Magyarországra nézve nem túl bíztatóak az eredmények, melyeket cikkünkben részletesen ismertetünk.
az érintett országok
A PISA 2012-es problémamegoldás vizsgálatban összesen 44 oktatási rendszer tanulói vettek részt 28 OECD tagállamból (Ausztrália, Ausztria, Belgium, Chile, Csehország, Dánia, Egyesült Államok, Egyesült Királyság, Észtország, Finnország, Franciaország, Hollandia, Írország, Izrael, Japán, Kanada, Korea, Lengyelország, Magyarország, Németország, Norvégia, Olaszország, Portugália, Spanyolország, Svédország, Szlovákia, Szlovénia, Törökország) és további16 partner oktatási rendszerből (Ciprus, Brazilia, Bulgária, Egyesült Arab Emirátusok, Hong Kong-Kína, Horvátország, Kolumbia, Makaó-Kína, Malajzia, Montenegro, Orosz Föderáció, Sanghaj-Kína, Szingapúr, Szerbia, Tajvan és Uruguay).
A problémamegoldás felmérésben résztvevő tanulók ugyanazok voltak, akik a PISA 2012-es vizsgálat többi tesztjét: a matematika és a szövegértés, valamint a természettudomány feladatokat is megoldották. Emellett a matematika és a szövegértés készségét digitális méréssel is mérték. Így lehetőség volt arra, hogy a problémamegoldás feladatok eredményeit összehasonlítsák a papíralapú és a digitális matematika teszt eredményeivel.
Szeretnénk hangsúlyozni, hogy a problémamegoldás feladatok semmiféle tantervhez nem kötődnek.
Olyan feladatok voltak, amelyekkel a mindennapi életben találkoznak mindazok, akik a civilizációs szint szempontjából ahhoz a térséghez tartoznak, amelyhez Magyarország magát sorolja. Ez a civilizációs szint azonban nem tartható fenn anélkül, hogy a térségben élők túlnyomó többsége képes lenne a technikai fejlődéssel legalább a mindennapi használati eszközök vonatkozásában lépést tartani. Ez ma nem azt jelenti, hogy tudniuk kell zárat vagy vízcsapot szerelni, esetleg megvarrni a ruhájukat, hanem azt, hogy képesnek kell lenniük a mérnöki munkával előállított automaták és robotok kezelésére, és alkalmasnak kell lenniük arra, hogy megtalálják a legmegfelelőbb szolgáltatásokat és eszközöket céljaik eléréséhez.
A problémamegoldás teszt átlageredményeit tekintve Magyarország az OECD tagállamok közül a leggyengébbek között szerepel: Törökország, Izrael és Ciprus társaságában.
Ha csak az Európai Unió tagállamait tekintjük, Magyarország a legutolsó helyen szerepel közvetlenül Horvátország után. Az OECD átlag alatti teljesítményt mutat még az OECD tagállamok közül Svédország, Szlovákia, Lengyelország, Spanyolország és Szlovénia. A környező országok közül az említetteken kívül Ausztria tanulói az OECD átlag körül, Csehország, Németország és Észtország tanulói az OECD átlag felett teljesítettek. Az élen ismét az ázsiai országok állnak (II.1. táblázat).
nem tudott mit kezdeni vele...
Ha a feladatokat művelettípusonként, illetve a problémahelyzet jellemzői szerint vizsgáljuk, azt látjuk, hogy a magyar tanulók kétharmada nem tudott mit kezdeni a tesztben felkínált problémákkal . Ezen belül a megismerés/információ gyűjtés típusú feladatokon a helyes megoldások aránya 35,2%, az alkalmazás típusú feladatokon 37,6%. A statikus problémahelyzetek feladatait a hazai tanulók 38,2%-a, az interaktív helyzetek feladatait 33,9 % tudta megoldani. Az OECD átlag körül, illetve e felett teljesítő országok megoldási szintjei a 45-60 % közötti tartományban mozognak (II.2. táblázat).
A számítógépes környezet hatása a teljesítményre
Amint azt előző cikkünkben, a problémamegoldás tesztek bemutatásánál jeleztük, a tanulók a feladatokat számítógép segítségével oldották meg. A feladatoknak több mint a fele olyan volt, hogy a megoldáshoz szükséges információk egy részét az eszköz manipulálásával kellett önállóan megszerezni. A tanulók között világszerte jelentős különbségek lehetnek a számítógép használatában való jártasság tekintetében, számos országban igen fejletlen az iskolai informatika, és számos olyan tanuló van, akinek a billentyűzet vagy az egér kezelése is probléma. Az is problémát okozhat, hogy a tanulók a számonkérésnek ezzel a módjával sohasem találkoztak. Mindezek miatt megvizsgálták, hogy e két tényező – ti. a számítógép-kezelési készség és a számítógépes vizsgáztatás – idegensége mennyire befolyásolhatta az eredményeket.
Két feltételezés alapján elemezték az adatokat.
Az egyik feltételezés szerint maga a számítógépes környezet befolyásolhatta (ronthatta vagy javíthatta) a tanulók egyéni eredményeit.
A másik feltételezés szerint a számítógépes környezet maga is a problémamegoldó tevékenység részévé válik azzal, hogy fel kell ismerni a vele való kommunikáció szabályait, meg kell érteni, hogy miként használjuk a megadott cél elérésére. Más szóval:
az általános problémamegoldó képességet is minősíti az, hogy a tanuló mennyire tud élni a számítógép adta lehetőségekkel a problémamegoldásban.
Mennyire számít a jártasság a számítógép használatában?
Az első feltételezés szerint, ha a tanulót ténylegesen maga a számítógépes környezet bénította meg (például fokozta szorongását vagy nem tudott eléggé bánni a billentyűzettel és az egérrel, ezért időt veszített, és nem tudta befejezni a feladatsort), akkor ez a hátrány mind a számítógépes matematika teszten, mind a problémamegoldás teszten elért eredményét rontotta – a papír alapú teszten mért matematika eredménye alapján várható teljesítményhez viszonyítva.
Ezt a feltételezést a tanulók közötti különbségek (variancia) specifikusan a számítógépes környezet által magyarázható hányadának megállapításával vizsgálták. Azt nézték, hogy az egyes országokban a teljes varianciának hány százalékát magyarázza – más tényezőket kizárva – maga a számítógépes tesztelési mód.
Japán, az Orosz Föderáció, Norvégia, Franciaország és Lengyelország esetében 5% felett, Magyarországon, Ausztriában, Németországban 2 % alatt van a kizárólag a számítógépes tesztelési mód rovására írható különbség.
II.1. ábra: A számítógépes készségek befolyása a tanulók ranghelyére a teljesítmény rangsorban
Forrás: OECD (2014), PISA 2012 Results: Creative Problem Solving: Skills in Tackling Real-Life Problems (Volume V), PISA, OECD Publishing. V.2.18
Megjegyzés: Az ábra csak azoknak az országoknak az adatait tartalmazza, amelyek a számítógépes matematika felmérésben is részt vettek.
A második feltevés vizsgálatára megnézték, hogy a problémamegoldás teszten elért eredmény mennyiben hasonlít a papír alapú, illetve a számítógép alapú matematika teszten elért eredményhez. A tanulóknak a két matematika teszten és a problémamegoldás teszten elért eredményei közötti pontszámkülönbségek átlagait hasonlították össze azokban az országokban, amelyekben a tanulók mindhárom mérésben részt vettek[1].
II.2. ábra: A problémamegoldó képesség szintje és a számítógép alapú illetve papír alapú teszten mért matematikai teljesítmény közötti különbségek
[1] A pontszámok közötti összehasonlítást az teszi lehetővé, hogy minden pontszámot azonos módon standardizált skálán mérnek, amelyen az adott teszten az OECD átlag 500 pont, a szórás 100 pont.
Megjegyzés: A 0 tengely felett látjuk azokat az országokat, amelyekben a problémamegoldás teszteredmények és a számítógépes matematika teszteredmények (kék hasáb), illetve a papír alapú matematika teszteredmények között a problémamegoldás teszteredmények javára van különbség. A 0 vonal alatt azok az országok vannak, amelyekben a különbség a problémamegoldás hátrányát jelzi. A fekete nyíl iránya jelzi, hogy a papíralapú teszten elért eredmény különbsége a számítógépes teszteredmény különbségéhez hozzáadandó, vagy annál kisebb. A halványított nyomás az OECD átlagtól statisztikai szempontból nem szignifikáns különbséget jelez.
A pontszámok közötti összehasonlítást az teszi lehetővé, hogy minden pontszámot azonos módon standardizált skálán mérnek, amelyen az adott teszten az OECD átlag 500 pont, a szórás 100 pont.
Akár jobb, akár gyengébb a problémamegoldás teszt eredménye, mint a két matematika teszté, az országok nagyobb részében nincs nagy különbség aközött, hogy a papír alapú, vagy a számítógép alapú matematikateszt eredményével hasonlítjuk össze a tanuló problémamegoldás teljesítményét. Azonban van néhány ország, ahol a problémamegoldás teszt eredménye is rosszabb, mint a számítógép alapú matematika teszt eredménye, és sokkal rosszabb, mint a papíralapú matematika teszt eredménye. Ezek közé az országok közé tartozik Izrael, Lengyelország, Szlovénia, Magyarország, Sanghaj és az Egyesült Arab Emirátusok.
Nincs egyértelmű magyarázat arra, hogy mi ennek az oka. Ugyanakkor felmerül a gyanú, hogy a tesztelés módja (ti. a számítógépes mérés) csak részben felelős a problémamegoldás teljesítmény alacsony szintjéért. Érvek szólnak amellett, hogy maga a digitális eszköz célszerű használata – leszámítva a rutin eljárásokat – maga is kihívás: problémahelyzet, amelyben a problémamegoldó kompetencia elemeinek megléte (pl. kíváncsiság, hajlandóság a probléma megértéséhez szükséges elmélyülésre és kitartás az ismeretlen eszközzel való kommunikációban) a sikeres feladatmegoldás feltétele.
Persze nem zárható ki, hogy egyes országokban bizonyos digitális eszközök elterjedtsége miatt a tanulók rutinból meg tudtak oldani olyan feladatokat, amelyek más országokban valódi problémamegoldást igényeltek. De például a robotporszívó feladatait csak kísérletező–elemző technikával lehetett megoldani, ehhez elég jó problémamegoldó kompetenciára volt szükség.
MIK LEHETNEK A GYENGE MAGYAR TELJESÍTMÉNY OKAI?
A gyenge teljesítmény vélhető okai között megemlítendő, hogy – friss magyar kutatási adatok szerint – a PISA korosztály diákjai
főként szórakozásra, játékra és kommunikációra használják az internetet.
Úgy tűnik, az elmélyülést igénylő tanulásnak, keresésnek, kutatásnak jellemzően nem eszköze a számítógép[1]. Ezért úgy gondoljuk, hogy a feladott problémahelyzet „lekezelése” és a kitartás hiánya is közrejátszott abban, hogy a tanulók gyengén teljesítettek a számítógép alapú problémamegoldás teszteken, amelyek még csak nem is hasonlítottak az iskolában megkövetelt feladatokhoz.
A problémamegoldás vizsgálat megerősítette azt a tényállást, hogy az iskola csak annyiban szolgálja a tanulók fejlődését, amennyiben a szülők kellő elhivatottsággal és leleményességgel nevelik és tanítják gyermekeiket – és ennek eredményeként sikerül gyermeküknek bekerülniük egy viszonylag jó iskolába. A rendszer azonban csekély lehetőséget kínál azoknak a fiataloknak, akik az iskolázottságot nem becsülő, vagy túlságosan elfoglalt, kenyérkeresésben megfáradt szülők mellett nőnek fel. E szerencsétlenebb ifjúsági csoport sorsa megpecsételődik a nyolcadik osztály végére, amikor is a deklaráltan „teljesítményelvű”, ámde valójában társadalmi alapú szelekció révén a tanulóknak csak olyan iskola jut, ahol sem a kortárscsoport húzóereje, sem az iskola motiváló képessége és szakmai színvonala nem tudja már korrigálni az általános iskolában elmulasztottakat.
A PISA 2012-es felmérésben tanulók 75,4%-a állította, hogy az iskolában használnak számítógépet. A problémamegoldás teszten elért teljesítményben azonban nincs értékelhető különbség azok között, akik az erre vonatkozó kérdésre igennel, illetve nemmel válaszoltak – függetlenül a család szociokulturális hátterétől.
Bár keveset tudunk arról, hogy a magyar diákok hogyan és milyen mértékben használják tanulásra az internetet, a PISA vizsgálat egyes adatai arra utalnak, hogy
az iskolában vajmi kevés történik annak érdekében, hogy az informatikai eszközök hatékonyan beépüljenek a tanulási környezetbe.
Az iskolákban a legtöbb helyen – a lopás megelőzése érdekében – a gépek lezárt gépteremben vannak, ahhoz csak a számítástechnikai órán férnek hozzá a tanulók, s ezen az órán elsősorban a számítástechnikai alapismeretek elsajátíttatása a cél.
Ezzel szemben a tanulók 94,7 %-a állította, hogy használ otthon számítógépet, laptopot vagy tabletet. Igen jelentős a teljesítménybeli különbség – átlag 100 pont – azoknak a tanulóknak az eredménye között, akik otthon használnak számítógépet, és azok között, akik nem. A különbség viszont 40 pontra mérséklődik (!), ha figyelembe vesszük a családi háttér kulturális különbségeit is.
Arról lehet szó, hogy az otthoni számítógép vitathatatlan előnye minden esetben a szabad hozzáférés, ami lehetővé teszi, hogy a tanuló saját maga kísérletezzen azzal, hogy miként tudja ezt a titokzatos gépet különféle céljaira felhasználni. Ám nem mindegy, hogy milyen céljai vannak. Egyes célok eléréséhez nagyon is sok kreativitás, erős motiváció és kitartás, valamint problémamegoldó gondolkodás szükséges.
Ez az, amiben az egész életen át tartó tanulás iránt elkötelezett családokban felnövekvő fiatalok előnyt élveznek.
Ilyen lehet egy bonyolultabb számítógépes játék szabályainak megfejtése is, vagy, hogy egyszerűbb példát mondjunk, egy szöveg megformázása, táblázatok, grafikonok készítése, internetes piackutatás vagy szakirodalmi információ gyűjtése egy adott témában. Ebben a tekintetben valószínűleg nem is az számít, hogy milyen iskolai feladatokat adnak, amelynek a megoldásához számítógépes segítség szükséges. Sokkal nagyobb szerepet játszik az a szellemi fegyelem, amelyet a tanulás iránt elkötelezett fiatal elsajátít – jobbára a szülők és a tanárok nevelése eredményeként – és a saját továbbtanulási céljainak elérése érdekében.
[1] Ld. pl. M.Fazekas Ágnes, Cs.Czachesz Erzsébet (2011) Középiskolás tanulók számítógép és internethasználati szokásai. Iskolakultúra, 21. 8-9. sz. 120-134. old.
Függelék
II. 1. táblázat A PISA 2012 problémamegoldást teszt átlagai a résztvevő 44 országban
OECD átlag=500, szórás=100 | ||||
Országátlag | Gyengén teljesí-tők %-os aránya (2-es szint alatt) | Kiválóak %-os aránya (5-6-os szint) | Fiúk és lányok átlaga közötti különbség (F-L) | |
OECD országok átlaga | 500 | 21,4 | 11,4 | 7 |
Szingapúr | 562 | 8,0 | 29,3 | 9 |
Korea | 561 | 6,9 | 27,6 | 13 |
Japán | 552 | 7,1 | 22,3 | 19 |
Makaó-Kína | 540 | 7,5 | 16,6 | 10 |
Hong Kong-Kína | 540 | 10,4 | 19,3 | 13 |
Sangháj-Kína | 536 | 10,6 | 18,3 | 25 |
Tajvan (Kínai Tajpej) | 534 | 11,6 | 18,3 | 12 |
Kanada | 526 | 14,7 | 17,5 | 5 |
Ausztrália | 523 | 15,5 | 16,7 | 2 |
Finnország | 523 | 14,3 | 15,0 | -6 |
Anglia (Egyesült Királyság) | 517 | 16,4 | 14,3 | 6 |
Észtország | 515 | 15,1 | 11,8 | 5 |
Franciaország | 511 | 16,5 | 12,0 | 5 |
Hollandia | 511 | 18,5 | 13,6 | 5 |
Olaszország | 510 | 16,4 | 10,8 | 18 |
Csehország | 509 | 18,4 | 11,9 | 8 |
Németország | 509 | 19,2 | 12,8 | 7 |
Amerikai Egyesült Államok | 508 | 18,2 | 11,6 | 3 |
Belgium | 508 | 20,8 | 14,4 | 8 |
Ausztria | 506 | 18,4 | 10,9 | 12 |
Norvégia | 503 | 21,3 | 13,1 | -3 |
Írország | 498 | 20,3 | 9,4 | 5 |
Dánia | 497 | 20,4 | 8,7 | 10 |
Portugália | 494 | 20,6 | 7,4 | 16 |
Svédország | 491 | 23,5 | 8,8 | -4 |
Orosz Föderáció | 489 | 22,1 | 7,3 | 8 |
Szlovákia | 483 | 26,1 | 7,8 | 22 |
Lengyelország | 481 | 25,7 | 6,9 | 0 |
Spanyolország | 477 | 28,5 | 7,8 | 2 |
Szlovénia | 476 | 28,5 | 6,6 | -4 |
Szerbia | 473 | 28,5 | 4,7 | 15 |
Horvátország | 466 | 32,3 | 4,7 | 15 |
Magyarország | 459 | 35,0 | 5,6 | 3 |
Törökország | 454 | 35,8 | 2,2 | 15 |
Izrael | 454 | 38,9 | 8,8 | 6 |
Chile | 448 | 38,3 | 2,1 | 13 |
Ciprus | 445 | 40,4 | 3,6 | -9 |
Brazilia | 428 | 47,3 | 1,8 | 22 |
Malajzia | 422 | 50,5 | 0,9 | 8 |
Egyesült Arab Emirátusok | 411 | 54,8 | 2,5 | -26 |
Montenegro | 407 | 56,8 | 0,8 | -6 |
Uruguay | 403 | 57,9 | 1,2 | 11 |
Bulgária | 402 | 56,7 | 1,6 | -17 |
Kolumbia | 399 | 61,5 | 1,2 | 31 |
Forrás: OECD (2014), PISA 2012 Results: Creative Problem Solving: Skills in Tackling Real-Life Problems (Volume V), PISA, OECD Publishing. V.A tábla
Megjegyzések: A dőltbetűvel szedett országok OECD tagállamok. A kék cellák OECD átlag feletti értéket, a színezetlen cellák az OECD átlag körüli, a szürke cellák az OECD átlag alatti értéket jelölnek. A vastagon szedett értékek statisztikailag szignifikáns különbséget jeleznek a fiúk és a lányok átlaga között. A pozitív értékek a fiúk, a negatív értékek a lányok fölényét mutatják.
II.2. táblázat A problémamegoldás feladatok megoldási szintjei művelettípusok és a problémahelyzet jellege szerint
A helyes válaszok százalékos aránya | |||||
a feladatok műveleti jellemzői szerint | a problémahelyzetek jellege szerint | ||||
Megismerés, információszerzés típusú feladatok | Alkalmazás típusú feladatok | A statikus problémahelyzetek feladatai | Az interaktív problémahelyzetek feladatai | ||
OECD országok átlaga | 45,5 | 46,4 | 47,1 | 43,8 | |
Szingapúr | 62,0 | 55,4 | 59,8 | 57,5 | |
Korea | 62,8 | 54,5 | 58,9 | 57,7 | |
Japán | 59,1 | 56,3 | 58,7 | 55,9 | |
Makaó-Kína | 58,3 | 51,3 | 57,0 | 51,7 | |
Hong Kong-Kína | 57,7 | 51,1 | 56,1 | 52,2 | |
Sangháj-Kína | 56,9 | 49,8 | 56,7 | 50,3 | |
Tajvan (Kínai Tajpej) | 56,9 | 50,1 | 56,3 | 50,1 | |
Kanada | 52,6 | 52,1 | 52,7 | 50,5 | |
Ausztrália | 52,3 | 51,5 | 52,8 | 49,9 | |
Finnország | 50,2 | 51,0 | 52,1 | 47,7 | |
Anglia (Egyesült Királyság) | 49,6 | 49,1 | 49,5 | 47,9 | |
Észtország | 46,8 | 49,5 | 49,7 | 45,6 | |
Franciaország | 49,6 | 49,4 | 50,3 | 47,6 | |
Hollandia | 48,2 | 49,7 | 50,4 | 46,5 | |
Olaszország | 49,5 | 48,0 | 49,5 | 46,8 | |
Csehország | 45,0 | 46,9 | 46,2 | 44,4 | |
Németország | 47,5 | 49,5 | 49,4 | 46,3 | |
Amerikai Egyesült Államok | 46,5 | 47,1 | 46,6 | 45,9 | |
Belgium | 47,0 | 47,5 | 48,3 | 45,4 | |
Ausztria | 45,7 | 47,4 | 48,3 | 43,0 | |
Norvégia | 47,7 | 48,1 | 49,4 | 44,5 | |
Írország | 44,6 | 45,5 | 44,4 | 44,6 | |
Dánia | 44,2 | 48,1 | 47,9 | 42,3 | |
Portugália | 41,6 | 45,7 | 44,0 | 42,0 | |
Svédország | 45,2 | 44,6 | 47,7 | 41,6 | |
Orosz Föderáció | 40,4 | 43,8 | 43,8 | 39,7 | |
Szlovákia | 40,5 | 43,2 | 44,2 | 38,8 | |
Lengyelország | 41,3 | 43,7 | 44,1 | 39,7 | |
Spanyolország | 40,0 | 42,3 | 42,3 | 39,8 | |
Szlovénia | 37,8 | 42,3 | 42,9 | 36,7 | |
Szerbia | 37,7 | 40,7 | 40,3 | 36,8 | |
Horvátország | 35,2 | 40,5 | 39,3 | 35,6 | |
Magyarország | 35,2 | 37,6 | 38,2 | 33,9 | |
Törökország | 32,8 | 36,0 | 35,8 | 32,7 | |
Izrael | 38,7 | 37,0 | 39,7 | 35,6 | |
Chile | 30,9 | 35,2 | 34,9 | 31,8 | |
Ciprus | 33,6 | 34,8 | 37,0 | 31,4 | |
Brazília | 28,0 | 32,0 | 29,8 | 29,1 | |
Malajzia | 29,1 | 29,3 | 30,1 | 27,4 | |
Egyesült Arab Emirátusok | 28,4 | 29,0 | 29,9 | 27,1 | |
Montenegro | 25,6 | 30,0 | 30,3 | 25,1 | |
Uruguay | 24,8 | 27,9 | 27,5 | 24,8 | |
Bulgária | 23,7 | 26,7 | 28,4 | 22,3 | |
Kolumbia | 21,8 | 27,7 | 26,3 | 23,7 | |