Čína je číslo 1 v PISA – ale tady je důvod, proč je těžké uvěřit jejím výsledkům v testech

Pevninská Čína byla velkým vítězem v nově zveřejněném hodnocení Programu pro mezinárodní hodnocení studentů, který každé tři roky testuje 15leté studenty v desítkách zemí v matematice, čtení a přírodních vědách. S 600 000 studenty ze 79 zemí a školských systémů, které v roce 2018 složily zkoušku, byly čtyři provincie v Číně – což pro PISA představuje pevninskou Čínu – souhrnně na prvním místě ve všech třech předmětech.

Existuje však dobrý důvod, proč se na výsledky z pevninské Číny dívat skepticky, a to je předmětem tohoto příspěvku Toma Lovelesse, odborníka na výsledky studentů, testování, vzdělávací politiku a školskou reformu K-12.

Loveless, bývalý učitel šesté třídy a profesor politiky na Harvardu, byl vedoucím pracovníkem ve studiích správy věcí veřejných a ředitelem Brown Center on Education Policy ve washingtonské neziskové organizaci Brookings Institution. Napsal 16 svazků „The Brown Center Report on American Education“, výroční zprávy analyzující důležité trendy ve vzdělávání.

Příběh reklamy pokračuje pod inzerátem

Není to poprvé, co Loveless komentoval výsledky PISA z Číny. V roce 2013 jsem napsal příspěvek, který zpochybňoval umístění č. 1 Šanghaje v roce 2012 PISA. V této administraci testů si američtí studenti nevedli lépe, než je průměr mezi 65 zeměmi a vzdělávacími systémy (jako obvykle).

Když byly koncem roku 2013 zveřejněny výsledky za rok 2012, Organizace pro hospodářskou spolupráci a rozvoj, která PISA sponzoruje, uvedla, že školy použité v šanghajském vzorku představují 15letou populaci města. Loveless z Brookings Institution a někteří odborníci z Číny uvedli, že děti migrantů byly běžně vyloučeny ze škol v Šanghaji, která je bohatší než zbytek Číny. OECD si za výsledky stojí.

Mimochodem, ve výsledcích PISA 2018 byl Singapur druhý ve všech třech předmětech. Američtí studenti se umístili na osmém místě ve čtení, na 11. místě v přírodních vědách a na 30. místě v matematice, přičemž skóre se výrazně nezměnilo od začátku PISA před několika desítkami let.

Příběh reklamy pokračuje pod inzerátem

Autor: Tom Loveless

Výsledky PISA za rok 2018 jsou k dispozici. Obecně platí, že země skórovaly v očekávaném rozmezí vzhledem k jejich minulým rekordům. Kromě jednoho. Výsledky jsou úžasné pro B-S-J-Z, což je zkratka pro čtyři čínské provincie, které se zúčastnily: Peking, Šanghaj, Jiangsu a Zhejiang. Ze 77 mezinárodních systémů dosáhl B-S-J-Z č. 1 ve všech třech předmětech: čtení, matematika a přírodní vědy.

Čtyři čínské provincie, které provádějí PISA, se od roku 2015 do roku 2018 změnily, přičemž místo Guangdong nastoupil Zhejiang. Skóre skupiny 2018 je dramaticky vyšší než skóre skupiny 2015 (která se vhodně nazývá B-S-J-G). Ve skutečnosti jsou rozdíly tak velké, že musí pozvednout obočí.

Příběh pokračuje pod inzerátem

Skóre B-S-J-Z je o 61 bodů vyšší (494 oproti 555) ve čtení, o 60 bodů vyšší (531 oproti 591) v matematice a o neuvěřitelných 72 bodů vyšší (518 oproti 590) ve vědě. Jak neobvyklé jsou takové rozdíly? Abych na tuto otázku odpověděl, zkoumal jsem data PISA z let 2006–2015.

Pro každý tříletý testovací interval jsem pro každou zemi vypočítal změny ve třech testech PISA a převedl je na absolutní hodnoty. Výsledkem bylo 497 pozorování s průměrem 9,5 bodu a standardní odchylkou 8,6.

Typická změna ve skóre národa je tedy asi 10 bodů. Rozdíly mezi čínskými účastníky z let 2015 a 2018 jsou minimálně šestinásobné. Rozdíly jsou také nejméně sedminásobkem standardní odchylky všech změn intervalů. Velmi neobvyklé.

Příběh pokračuje pod inzerátem

Rozumnou hypotézou je, že změna provincií účastnících se PISA, i když to byla jen jedna ze čtyř skupin, ovlivnila výsledky testů. Když jsem původně skládal vlákno pro Twitter na toto téma, přehlédl jsem změnu a zacházel s rozdíly ve skóre 2015–2018, jako by zúčastněné provincie byly stejné. omlouvám se za chybu. Moje chyba však podtrhuje větší problém: že na výsledky PISA z Číny je třeba pohlížet skepticky.

Proč byla Guangdong, nejlidnatější provincie Číny, vyřazena z účasti a přidán Zhejiang? Je to jen náhoda, že skóre po změně vyletělo nahoru?

Minulé výsledky PISA čínských provincií byly zpochybněny (já a další) kvůli vylučovacímu účinku hukou na populaci 15letých – a kvůli tomu, že OECD umožňuje Číně schvalovat, které provincie lze testovat. V roce 2009 proběhly testy PISA ve 12 čínských provinciích, včetně několika venkovských oblastí, ale zveřejněny byly pouze výsledky ze Šanghaje.

Příběh pokračuje pod inzerátem

O tři roky později BBC uvedla: „Čínská vláda dosud nepovolila OECD zveřejnit skutečná data. Do dnešního dne nebyla data zveřejněna.

OECD reagovala na minulou kritiku útoky na kritiky a prováděním revizí dat za zavřenými dveřmi. Nad výsledky PISA z čínských provincií se vznáší mrak. Vyzývám OECD, aby co nejdříve zveřejnila výsledky veškerých kontrol kvality údajů za rok 2018, které byly provedeny, spolu se skóre, rozčleněným podle provincií, od účastníků z roku 2015 i 2018.

Důvěryhodnost mezinárodních hodnocení spočívá na transparentnosti testovacích postupů, včetně způsobu výběru účastníků a pravidel pro oznamování výsledků testů. OECD riskuje, že podkope důvěryhodnost PISA tím, že nebude otevřená při provádění hodnocení v Číně.