Oś Świata/Kolokolo Bird

PISA 2012 – próba analizy krytycznej

03.01
2014

By nie spamować u Danusi technikaliami analizy danych, podkradam temat…

Włożyłem trochę wysiłku w odczytanie źle zdokumentowanych surowych danych PISA z ostatniego badania. No i, oczywiście, włożyłem też troszkę pracy w niezależną analizę tych danych. Jak dotąd — nie znalazłem w tym żadnych rewelacji merytorycznych. Choć parę ciekawostek metodologicznych już tak. Przede wszystkim można mieć sporo zastrzeżeń (uzasadnionych wątpliwości) co do „surowości” owych „surowych danych”.

Uspokoję Waldemara — według tych danych każde z zadań rozwiązywane jest przez około 30% uczniów, są drobne (rzędu 3%) różnice pomiędzy krajami, jednak nie widać żadnej korelacji pomiędzy krajami, a użyciem specyficznych zadań. Wyjątkiem jest tu grupa krajów uczestniczących w PISA po raz pierwszy, która „na zachętę” dostała inne (łatwiejsze) zestawy. To ułatwienie nie dotyczy jednak ani czołówki rankingu PISA, ani Polski, ani Kanady. W Europie korzysta z tego tylko Bułgaria, reszta to głównie kraje arabskie i Ameryki Południowej. Wśród większości krajów nie ma różnic skorelowanych z trudnością. Polska w żadnym wypadku nie jest tu uprzywilejowana w jakikolwiek sposób. Najsilniejszą rozbieżność w przydziale zadań w stosunku do większości krajów mają Włochy, ale nadal nie przekracza to 3%.

Chodzą wprawdzie plotki, że w różnych krajach (w tym Polsce — ponoć uczniowie nie odpowiadali na pytania z rachunku prawdopodobieństwa) część zadań nie była oceniana, a ich wyniki byłý ekstrapolowane z wyników innych zadań. O ile to podejrzenie wydaje się być całkiem realne w kontekście (patrz niżej) innych ewidentnych manipulacji danymi, o tyle nie udało mi się potwierdzić go wyłącznie na podstawie analizy opublikowanych danych — co, oczywiście, nie wyklucza prawdziwości tego podejrzenia, a znaczy tylko, że dane są niewystarczające ani do jego potwierdzenia ani zaprzeczenia.


Odsetek dobrych odpowiedzi

Odsetek dobrych odpowiedzi

Ciekawostka merytoryczna

Nie znając punktacji ani przydziału do „skali trudności” poszczególnych zadań, postanowiłem sprawdzić jaki odsetek uczniów odpowiedział na każde z nich.
Zadania uszeregowałem w kolejności „trudności” — czyli tym „trudniejsze” im mniej uczniów na całym świecie na nie odpowiedziało. Wykres pokazuje odsetek uczniów (a raczej opublikowanych przez PISA przesianych ankiet), którzy poprawnie odpowiedzieli na to pytanie.
Widać skalę trudności, wybraną przzez PISA: połowa pytań jest tak łatwa, że odpowiada na nie ponad 75% uczniów. Dominują zadania bardzo łatwe, a jedynie 30% zadań jest na tyle „trudne”, że ponad połowa uczniów od nich odpada.
Patrząc na te liczby weźmy poprawkę na manipulację danymi (patrz niżej) — magiczne zniknięcie ankiet z bardzo złymi wynikami. Zauważmy, że na tym obrazku nie są przedstawione wyniki polskich uczniów, ani ich losowej czy reprezentatywnej próby: sa to uczniowie-aniołowie, spośród których ponad 98% odpowiada na najprostsze zadania! To tak, jakbyśmy w 30-osobowej klasie gimnazjalnej nie mieli ani jednego matoła, oddającego pustą kartkę, albo pokazującego nam gest Kozakiewicza na prośbę o wypełnienie testu. Albo jak 98% głosów oddawanych na PZPR w wyborach w latach 1970′.

Odsetek poprawnych odpowiedzi

Odsetek poprawnych odpowiedzi


Na tym wykresie pokazuję liczbę poprawnych odpowiedzi (a raczej odsetek poprawnych odpowiedzi w odniesieniu do liczby zadanych pytań) dla polskich uczniów (znów, pamiętajmy o całkiem uprawdopodobnionej niereprezentatywności danych PISA).
Jak widać, większość uczniów ujętych w publikowanych danych poprawnie odpowiedziała na mniej więcej dwie trzecie pytań.
Zastanówmy się jednak nad realnością sytuacji, że na 30% najłatwiejszych pytań potrafiło odpowiedzieć (i odpowiedziało) ponad 98% uczniów. Mamy tylko 2% matołów i olewaczy? To jest dopiero sukces polskiej szkoły!
Z drugiej strony popatrzmy na prawą stronę tego wykresu: tylko 5% uczniów (i to już tych przeselekcjonowanych manipulacją PISA…) umie odpowiedzieć na co najmniej 90% pytań — z tego, co można wnioskować po przeczytaniu tych kilku ujawnionych — pytań trywialnych i oczywistych dla każdego, kto uzyskał maturę za czasów minionego ustroju.


Zmanipulowane „surowe” dane PISA

Błędna dokumentacja

PISA opublikowała „surowe dane” jako plik tekstowy wraz z opisem jego składni (jak zapisane są informacje). Ten opis jest ewidentnie fałszywy, w szczególności według opisu każda linijka tych danych powinna zawierać 545 znaków, natomiast plik składa się z linijek o długości 541 znaków. Korzystając z tego opisu nie dałoby się w ogóle odczytać tych ujawnionych „surowych danych”: bo niby skąd miałbym wziąć tę informację, która według opisu zapisana jest na pozycjach 542 i dalszych? Na szczęście PISA opublikowała poza oficjalnym opisem w „ludzkim języku” również pomocnicze definicje składni dla dwóch, używanych przez nich programów do analizy (nadal te opisy są niespójne), z których sporym nakładem pracy udaje się odtworzyć, jak te dane są zapisane i dowiedzieć się, że to ze środka linijki wyleciały jakieś mało istotne dane, a resztę trzeba przesunąć o 4 znaki…
Przynajmniej udaje się w ten sposób uzyskać dane nie będące wewnętrznie sprzecznymi 😉

Brak informacji o zadaniach

W publikowanych danych nie ma treści zadań. Nie ma też o nich tak ważnych informacji, jak to, to jakiej grupy trudności były zaliczone i jaka była ich punktacja. Jedyne, co można się dowiedzieć, to:
— Nazwa pytania, np. „MATH – P2003 Cash Withdrawal Q1 – original responses”
— To, czy dany uczeń w ogóle dostał to zadanie, jeśli tak, to czy w ogóle udzielił jakiejkolwiek odpowiedzi, jeśli tak, to czy została oceniona na „no/partial/full credit”

Z nazwy (zaczynającej się na MATH/READ/SCIE/CBAM/CBAPS/DRA) można jedynie domyśleć się, czy jest to zadanie z matematyki, czytania, przyrody.
CPAM i CBAPS to matematyka i przyroda badane nie na papierowych testach, ale na tablecie (co było prowadzone tylko w kilku krajach), a czym jest „DRA” nie mam pojęcia).

Brakujące pytania

Na liście znajdujemy pytania o nazwach: „MATH – P2012 Chocolate Q2”, „MATH – P2012 Chocolate Q3” i „… – Q5”. Ale o pytaniach Q1 i Q4 do tego tekstu ani widu, ani słychu. Podobnych brakujących pytań jest bardzo dużo, dotyczy to niemal połowy zadań. W najgorszym przypadku (najtrudniejsze z zadań z serii ‚Reading’: „Narcissus”) mamy Q1, Q6 i Q7, ale Q2-5 nie istnieją. Uczniowie na te pytania odpowiadali, ale oceny odpowiedzi na nie zniknęły przed opublikowaniem zbioru „surowych” danych.

Nie mam możliwości sprawdzić, czy jakieś zadania nie wypadły w całości (z wszystkimi pytaniami do danego tekstu).

Jedno z zadań, które PISA ujawniła (o Helen jeżdżącej na rowerze) w ogóle nie znalazło się w wynikach uczniów z większości krajów — odpowiedzi są wyłącznie w rekordach ułatwionych zestawów (uczniowie z Bułgarii, Urugwaju, etc.)

Brakujące ankiety

Z ogromnym zaskoczeniem zauważyłem, że w Polsce nie zdarzył się ani jeden przypadek ucznia, który oddałby pusty formularz: nie próbując nawet odpowiedzieć na żadne z pytań. Cóż za budująca masowość zaangażowania gimnazjalistów w badania naukowe! 😉
W wielu krajach sytuacja jest podobna, w niektórych innych takie formularze zdarzają się, ale ich liczba jest nierealistycznie niska (poniżej 1%)

Nie potrafię znaleźć innego wytłumaczenia dla tego braku pustych odpowiedzi, niż usunięcie ich z pliku „surowych” danych.

Brak bardzo złych odpowiedzi

W całym Polskim badaniu (na 4607 formularzy uczniowskich opublikowanych w zbiorze) jest aż jeden (tak, dokładnie jeden na 4607 opublikowanych formularzy) uczeń, który nie odpowiedział poprawnie na żadne z pytań. W innych krajach jest niewiele lepiej. W Kanadzie na 21,544 opublikowanych wyników jest tylko 48 takich „zupełnych analfabetów”.

Duplikaty pytań

Kilka zadań występuje w dwóch wersjach, np. „MATH – P2000 Pop Pyramids Q4 – original responses” i „MATH – P2000 Pop Pyramids Q4”. Takich par „pytanie / pytanie-original responses” jest kilkanaście. Odpowiedzi na nie są identyczne.

Przydział pytań

Spośród normalnych pytań (spoza specjalnego bułgarsko-urugwajskiego zestawu) każde zostało zadane ok. 30% badanych uczniów. Różnice między krajami są tu niewielkie (poniżej 3%) i wytłumaczalne jako fluktuacja statystyczna losowego przydzielania zestawów pytań uczniom.

Zaskakujące jednak jest przyjrzenie się liczbie pytań, na które odpowiadali poszczególni uczniowie. Drobne różnice byłyby zrozumiałe — do jednego zestawu weszło zadanie z 4 pytaniami Q1-Q4, a do drugiego takie z Q1-Q5. Tymczasem obserwowane różnice liczby pytań, za jakie oceniany był uczeń, są dramatycznie różne: od 13 do 45. Taka rozpiętość sugeruja raczej nie bałagan w tworzeniu zestawów pytań o niespójnej objętości, ale raczej usunięcie części odpowiedzi z publikowanych danych.

Trzeba jednak zauważyć, że nie widać korelacji pomiędzy liczbą pytań, na jaką odpowiadał jakiś uczeń, a ich trudnością.

Zniekształcona grupa odniesienia

PISA deklaruje, że stara się z każdego kraju badać próbę uczniów tej samej wielkości (ok. 5000). Już to podejście tworzy zafałszowany obraz odniesienia populacji wszystkich badanych krajów (w domyśle całego świata) — Estonia wnosi do tej puli tyle samo co Francja, czyli estoński uczeń ponad 50 razy więcej, niż francuski. Te proporcje zotały jednak dodatkowo zniekształcone: z większości krajów próby sa wprawdzie około 5000, to kilka krajów jest bardzo silnie nadreprezentowana, nawet do liczności ponad 20,000, czyli ponad czterokrotnie. Takimi nadreprezentowanymi w tworzeniu obrazu odniesienia krajami są m.in. Emiraty Arabskie, Kanada i Finlandia.

Identyczne odpowiedzi

Około 10% polskich formularzy (419 na 4607) odpowiedzi jest w 100% zgodne z jakimś innym formularzem. Nie jest to ani efekt typu „obaj uczniowie odpowiedzieli dobrze na wszystkie pytania”, ani „obaj nie odpowiedzieli na żadne” — dotyczy to również formularzy, gdzie poprawnie odpowiedziano na połowę czy 2/3 pytań. Przypadkowa zbiezność jest nieprawdopodobna.
O dziwo, tylko niewielka część „rozmnożonych” zestawów odpowiedzi pochodzi z jednej szkoły — trudno więc uznać to za efekt ściągania.
Przyznam, że nie mam pomysłu na to, kto i po co miałby tworzyć takie duplikaty, ani jaki inny mógłby być mechanizm ich powstawania.

Uzupełnienie:
Muszę się wycofać z tych niesłusznych podejrzeń, że duplikaty są wynikiem jakiejś machlojki. W innych krajach liczba duplikatów jest podobna, a w krajach o większej liczbie ankiet nawet większa. Wygląda na to, że podsuwający mi to tłumaczenie pan Przemysław Biecek miał rację i jest to jednak jakiś efekt statystyczny z rodziny „birthday paradox”. Szacując jego prawdopodobieństwo niedoceniłem, że nawet słabe korelacje pomiędzy zadaniami wystarczają żeby znacznie podnieść prawdopodobieństwo jego wystąpienia i wygenerować sporo duplikatów.




Mam te dane przekonwertowane do systemu analizy danych CERN-Root-Framework. Jeśli ktoś jest zainteresowany ich użyciem, albo procedurami, jakich użyłem do analizy, to na życzenie udostępnię zarówno dane w postaci pliku w formacie Root Tree, zawierające kompletne ustandaryzowane rekordy odpowiedzi poszczególnych uczniów, jak i programy analizy.
Dane w formacie Root zajmują dziesięciokrotnie mniej miejsca (15 MB) od publikowanych przez PISA i najprostsza ich analiza zajmuje tylko kilkanaście sekund typowego domowego peceta.

Jeśli ktoś ma pomysły, co warto byłoby przeliczyć/sprawdzić/zweryfikować, używając tych danych, a sam nie ma wprawy w programowaniu, to też niech śmiało pisze, a przeliczę jego pomysł.

CERN Root jest darmowym, otwartym, dobrze zdokumentowanym środowiskiem analizy danych eksperymentalnych, opracowanym przez CERN i powszechnie stosowanym w fizyce i pokrewnych naukach. Wymagającym od użytkownika, by rozumiał co liczy — Root nie podtyka magicznych recept, a jedynie ułatwia mechaniczną część pracy, od przechowywania danych po rysowanie wykresów.



Wykres do komentarza nr.3:

poprawne odpowiedzi

poprawne odpowiedzi

Zobaczcie jeszcze jeden wykres: porównanie odsetka poprawnych odpowiedzi na pytania PISA w gimazjach publicznych i niepublicznych.

Oczywiście, nie jest to dowód, że szkoły prywatne uczą lepiej od państwowych. Równie dobrze może to być (a zapewne jest) efekt „cherry picking”.

Proszę jednak popatrzeć na ten wykres i zastanowić się, czy sądzicie, że:
1. PISA mierzy jakość edukacji, a szkoły prywatne są o klasę lepsze od państwowych?
2. jest to efekt „cherry picking”, a PISA nie mierzy „jakości edukacji”, tylko jakieś umiejętności/cechy uczniów, wynikające z zupełnie niezależnych od szkoły przyczyn — choćby ich wyniesionego z domu kapitału kulturowego?

Ale w jedno i drugie (że PISA jest obiektywnym miernikiem jakości systemu edukacji i że edukacja państwowa nie ustępuje prywatnej) jednocześnie wierzyć nie można nie popadając w samosprzeczność…




Kolejne uzupełnienie — wykresy do kolejnego komentarza.
Uwaga: klikając na wykresie można go powiększyć na cały ekran — wtedy jest dużo czytelniejszy.
PISA - matematyka. Polska i Świat

PISA – matematyka. Porównanie odsetka dobrych odpowiedzi dla Polski i Świata

Przyjrzyjmy się jeszcze raz wykresowi liczby uczniów w zależności od odsetka poprawnych odpowiedzi, jakie udzielili.

Nie znamy zasad punktacji zadań, ale dla tego rozumowania nie są one specjalnie istotne — przyjmijmy dla prostoty, że ta punktacja jest po prostu 1 punkt za dobrą odpowiedź, 0 punktów za złą lub jej brak. Przyjmijmy też dla uproszczenia, żeby nie bawić się w procenty, że każdy uczeń odpowiadał na taką samą liczbę pytań: 40 (zakładam, że ankiety z bardzo niską liczbą pytań, jak 13, to efekt zniknięcia części zadań z publikowanego zbioru). Te upraszczające założenia nie mają wpływu na wynik tego rozumowania. Uczniowie średnio odpowiedzieli na 60% pytań, czyli na 24 pytania. Szerokość tego rozkładu liczby odpowiedzi (RMS, $\sigma$, odchylenie standardowe z próby — jak wolicie to zwać) to 18%, czyli 7 pytań.

PISA przekształca punkty za zadania w ostateczny wynik poprzez zaaplikowanie pewnych niejasnych poprawek, a następnie przez przesunięcie i rozciągnięcie skali tak, żeby średnia w badaniu 2000 wypadała na 500, a RMS na 100. Wynik rankingu Polski: 518 tak przeskalowanych punktów oznacza, że średnia wyniku polskich uczniów jest wyższa od ówczesnej średniej światowej o 0.18 (ok. 1/5) szerokości rozkładu wyników uczniowskich.
W przeliczeniu na liczbę poprawnych odpowiedzi, odpowiada to sytuacji, że na całym świecie uczniowie średnio odpowiadali na 24 pytania z 40 im zadanych, a polscy odpowiadają na 25 — o mniej więcej jedno więcej. Tak jest dla matematyki, ale w pozostałych „konkurencjach” (czytanie i rozumowanie w naukach ścisłych) liczba pytań jest dwukrotnie niższa. Tu wspaniały polski wynik oznacza już, że średnio polski uczeń odpowiada na pół pytania więcej, niż średnia światowa.

Gdyby uczniom spoza Polski dodać po jednym zadaniu...

Gdyby uczniom spoza Polski dodać po jednym dobrze rozwiązanym zadaniu…

Zobaczmy, jak wyglądałoby to samo porównanie, gdyby wszystkim uczniom na całym świecie zaliczyć po jedną prawidłową odpowiedź więcej — teraz już Polska nie odstawałaby od przeciętnej.

Nie zapominajmy też, że tę liczbę dobrych odpowiedzi w przeważającej części tworzą odpowiedzi na najtrywialniejsze pytania, na które (według publikowanych danych) odpowiada bez problemu 98% uczniów. Ten wynik średniej do rankingu tworzony jest właśnie przez to, czy na najłatwiejsze pytania odpowie 96% czy 98% uczniów. I ten obszar jest też ewidentnie zmanipulowany — przez zniknięcie pustych i większości bardzo złych ankiet, prowadzące do zupełnie nierealistycznej (ponad 98%) liczby poprawnych odpowiedzi na najłatwiejsze pytania. Dużo wyższy odsetek błednych odpowiedzi musiałby powstać choćby przez najzwyklejsze pomyłki w zakreślaniu na formularzu literki do wyboru przy właściwej odpowiedzi. Zniknięcie pustych i bardzo złych formularzy dotyczy danych z całego świata, jednak w Polsce to zafałszowanie jest silniejsze, niż gdzie indziej.

Wyniki PISA i egzaminu gimnazjalnego

Liczba uczniów w zależności od odsetka poprawnych odpowiedzi – PISA i egzamin gimnazjalny

Nie znamy wprawdzie treści zadań PISA, nie możemy więc od tej ich merytorycznej strony ocenić stopnia ich trudności czy zaawansowania. Możemy jednak z opublikowanych danych odtworzyć ich „trudność egzaminacyjną” — czyli zobaczyć, jaki odsetek uczniów sobie z nimi radzi. Jak widać te zadania są jeszcze bardziej banalne, niż egzamin gimnazjalny. Popatrzmy jeszcze raz na ten wykres rozkładu odsetka uczniów, w zależności od liczby pytań, na które odpowiedzieli. I porównajmy go z analogicznym wykresem dla egzaminu gimnazjalnego. PISA okazuje się bez porównania łatwiejsza! Gros polskich uczniów odpowiada poprawnie tylko na około 30% pytań na egzaminie gimnazjalnym (umówmy się, że też nie będących wielkim wyzwaniem intelektualnym), ale już na ponad 60% w teście PISA. Najwięcej grupa spośród polskich gimnazjalistów rozwiązuje poprawnie około 30% zadań z egzaminu gimnazjalnego. Tymczasem z taką samą częścią (30%) zadań PISA radzi sobie aż 98% badanych uczniów

Nawet przyjmując za dobrą monetę rzetelność badania, należy właściwie interpretować ten „niesamowity polski sukces” — oznacza on, że jeśli uczniom dajemy 40 pytań, w większości banalnych i skrajnie oczywistych, to na całym świecie w roku 2000 średnio uczniowie odpowiadali poprawnie na 24 z nich, a w Polsce dziś aż na 25.
Po raz kolejny okazuje się, że odnosimy sukces i sprostamy wspaniale globalnym wyzwaniom dzięki globalnemu obniżeniu wymagań do poziomu jeszcze denniejszego, niż stawia polska szkoła. W umiejętności kolorowania drwala jesteśmy świetni i będziemy coraz lepsi.



I jeszcze jedno uzupełnienie…

Odsetek bardzo złych odpowiedzi

Odsetek formularzy zawierających mniej niż 5% poprawnych odpowiedzi.

Chyba mamy wyjaśnienie fenomenu „sukcesu” Polski i Estonii. Popatrzcie na wykres (kliknięcie go powiększy) — zależność liczby bardzo złych odpowiedzi (to znaczy, takich formularzy, w których poprawnie odpowiedziano na mniej niż 5% pytań — czyli najwyżej jedno) od kraju. Symbole krajów według prywatnej konwencji PISA (kto im bronił stosować konwencję ISO?), ale daje się domyśleć, że POL to Polska, EST – Estonia, a SWE – Szwecja. QCN to Szanghaj.

„Sukces” w tegorocznym badaniu odniosły właśnie Polska i Estonia — kraje, w których odsetek tak złych odpowiedzi był poniżej 0.1%. Wierzycie, że mniej, niż jeden uczeń na 1000 oddał pusta pracę albo nie odpowiedział na żadne z pytań? Średnia światowa takich najgorszych odpowiedzi to 0.6%. W krajach o dużej tradycji uczciwości, jak Szwecja — nawet troszkę więcej: 0.75%. To i tak wydaje się zaniżone. Ale w Polsce to tylko 0.02% — ponad 30 razy mniej, niż we Szwecji! I jest to też mniej więcej 30 razy mniej, niż w polskim egzaminie gimnazjalnym.

Przypominam, że ostateczna punktacja PISA jest wyjątkowo wyczulona na odsetek bardzo słabych prac. Liczą się one kilkukrotnie bardziej, niż prace o najwyższym odsetku poprawnych odpowiedzi.
Polska odniosła sukces w eliminacji analfabetyzmu poprzez niedopuszczenie złych prac do dalszego przetworzenia? W tej metodzie zwalczania analfabetyzmu jesteśmy światowym liderem. Świętujmy sukces na światową miarę!

Polecam rozważeniu kwestię uczciwości sprawdzających i prowadzących badanie.

Moja protestancka z pochodzenia dusza czuje się zawiedziona, że luterańscy Estończycy oszukują tak samo jak Polacy…



Jeszcze jedna ciekawostka: w zbiorze „surowych” danych z całego świata są dane z tylko 43 krajów. A w PISA uczestniczy 65. Dane z pozostałych wyparowały. Według publikacji PISA badanie dotyczyło „around 510 000 students”, a w udostępnionym pliku są tylko 271,323 rekordy.

W całości zniknęły:
Albania, Argentyna, Kostaryka, Grecja, Islandia, Indonezja, Irlandia, Jordania, Kazachstan, Łotwa, Liechtenstein, Litwa, Luksemburg, Meksyk, Nowa Zelandia, Peru, Qatar, Rumunia, Szwajcaria, Tailandia, Tunezja, Wietnam.



Na stronie PISA pojawił się obok dotychczas przeze mnie analizowanego pliku surowych danych „Cognitive item response data file” drugi: „Scored cognitive item response data file”, który wydaje się zawierać także trochę informacji, brakujących w tym pierwsyzm. Pewnie nie ja jeden zauważyłem, że w tym CIRDF brakuje mnóstwa rzeczy, które PISA zobowiązała się opublikować…

Oczywiście, PISA musiała utrudnić, czyli zapisać oba pliki w trochę różnych formatach. Eeeechhhh… biorę się za odcyfrowywanie tego „scored…”



Po ciężkich bojach udało mi się przeczytać ten „Scored cognitive item response data file”. Nawet pochwalę PISA, że jego dokumentacja jest trochę lepsza, niż dla pierwszego z opublikowanych plików danych.
Nowy plik jest też trochę kompletniejszy: zawiera dane z uprzednio pominiętych krajów (znalazł się nawet mój ukochany Fürstentum Liechtenstein z aż 294 przebadanymi uczniami!), ale nadal brakuje części rekordów: jest ich tylko 485,490, podczas gdy według broszury PISA przebadano 510,000 uczniów. Mimo, że plik zawiera dane ze wszystkich krajów, nadal brakuje ok. 5% rekordów.

Wydaje się, że te nowoopublikowane dane w zasadzie pokrywają się z poprzednimi, choć sa odrobinę mniej szczegółowe: teraz zadania mają ocenę 2,1,0,NA — utożsamia pytania, na które w ogóle nie udzielono żadnej odpowiedzi z tymi, na które odpowiedziano błędnie. Zniknęło też trochę z mniej istotnych informacji uzupełniających.

Z listy pytań zniknęły też te dziwacznie zdublowane „pytanie – original responses”.

Moje wcześniejsze analizy pozostają w zasadzie bez zmian (drobne zmiany wykresów pochodzą od wyrzucenia tych zdublowanych pytań „original responses” i uwzględnienia w odniesieniu światowym większej liczby krajów.

Wracam do babrania się w meritum badania, czyli próby odtworzenia punktacji w modelu Rascha…



Rozkład liczby poprawnych odpowiedzi

Rozkład liczby poprawnych odpowiedzi

Zobaczcie, proszę, rozkład liczby poprawnych odpowiedzi uczniów z jednej szkoły, jednego kraju, całego świata. Wziąłem pierwszą lepszą polską szkołę (o identyfikatorze „POL-41” — nie mam pojęcia, gdzie jest to gimnazjum, ale chyba nie jest najlepsze…) i narysowałem na czerwono, dane z Polski — na granatowo i dane z całego świata na błękitno.
Obrazek pokazuje rozkład liczby uczniów, czyli jaki procent odpowiada poprawnie na ileś pytań: od 0 do 10%, od 10% do 20% itd.
Zobaczcie, jak niewiele różnią się szerokości tych rozkładów, czyli jak niewiele silniejsze są różnice pomiędzy uczniami z całego świata w porównaniu ze zróżnicowaniem uczniów w jednej szkole. Miarą różnic w danej grupie jest $\sigma$ (inaczej RMS) — odpowiadająca mniej więcej takiej wartości, że 2/3 uczniów w danej grupie nie odstaje od średniej o więcej niż $\sigma$.
Na całym świecie ta rozpiętość liczby poprawnych odpowiedzi wynosi 23.4%. Polscy uczniowie różnią się między sobą o 21.9%. Wyniki Polaków są między sobą podobni tylko o 1/15 bardziej, niż wyniki uczniów z różnych końców świata. Trochę tylko większą spójność mają wyniki uczniów z jednej szkoły. Ta (wybrana na chybił-trafił) szkoła ma rozpiętość wyników $\sigma=17.6$ To już jest zauważalnie bardziej spójna grupa, choć nadal różnice pomiędzy wynikami uczniów tej szkoły są dużo większe, niż różnica między polską średnią, a średnią światową.

PS. Starałem się napisać to tak, żeby nawet „zwykły rodzic” zrozumiał. Całki będą dopiero następnym razem 😉




Rozkład liczby pytań

Rozkład liczby pytań

W odpowiedzi dla Przemysława Biecka — rozkład liczby pytań, na jakie odpowiadali polscy uczniowie.

 
 
 
 
 
 
 
 
 
 
 




Rozkład odpowiedzi według szkół

Rozkład odpowiedzi według szkół

Zobaczcie (jak zwykle kliknięcie powiększy wykres), jak wygląda liczba (odsetek) poprawnych odpowiedzi, policzona niezależnie dla każdej ze 184 szkół, biorących udział w badaniu. Dla czytelności ułożyłem szkoły nie według numerów identyfikacyjnych, nadanych im przez PISA, ale w kolejności coraz to wyższej średniej uczniów z danej szkoły. Każda kreska oznacza dane dla innej szkoły.
O szkołach nie wiem nic (małomiasteczkowe-wielkomiejskie, noname-renomowane, nic takiego), a jedyne, co zaznaczyłem kolorem, to czy to jest szkoła publiczna, czy niepubliczna (ta druga grupa to worek, w którym mieszczą się zarówno ekskluzywne prywatne gimnazja, jak i małe wiejskie szkoły, przekształcone w „fundacyjne” pod groźbą likwidacji). Zaznaczyłem też szerokim czerwonym pasem rozkład odpowiedzi wszystkich uczniów z całej Polski.
Punkty środkowe pokazują średnią dla danej szkoły, a linie rozrzut (RMS) wyników jej uczniów. Z grubsza można to interpretować tak, że 2/3 uczniów danej szkoły daje odpowiedzi mieszczące się w zaznaczonym linią obszarze, a 2/3 uczniów z całej Polski dało odpowiedzi w pokolorowanym przedziale.
Pokolorowanie publiczne-niepubliczne tym razem nie wynika z mojej (nieskrywanej) atencji dla szkolnictwa prywatnego, ale z tego, że jest to jedyne kryterium dostępne w danych, którymi dysponuję już teraz, bez konieczności mozolnego przekopywania się przez odkodowywanie dodatkowych źle zdokumentowanych plików…

Wbrew pozorom (że większość szkół przekrywa się z wynikami ogólnokrajowymi), te różnice między poszczególnymi szkołami są bardzo znaczące — kilkukrotnie większe, niż różnice pomiędzy krajami, uczestniczącymi w badaniu PISA. Nie będę spekulował nad możliwymi tego przyczynami, ale intuicja podpowiada mi, że jest to w znacznie większym stopniu efekt selekcji uczniów (to, co sprawdza Paweł: różnice pomiędzy miastem a wsią), niż „jakości nauczania” w danej szkole.

Patrząc na ten i inne wykresy, tudzież różne interpretacje, wnioski i przekazy medialne osnute wokół badań PISA, miejcie, proszę, w pamięci skalę rozrzutu odpowiedzi indywidualnych uczniów — zarówno rozrzutu w całej Polsce (na całym świecie), jak i w jakiejś wybranej grupie (np. pojedynczej szkole). Te różnice pomiędzy uczniami, nawet w ramach jednej grupy/szkoły są zazwyczaj większe, niż różnice pomiędzy średnimi szkół czy krajów. Nawet przy tej dużej rozpiętości pomiędzy szkołami, jaką tu widać, poza marginesem dwóch najbardziej dennych i kilku najbardziej elitarnych, mamy ciągle w złych szkołach znaczną część uczniów, odpowiadających na więcej pytań, niż słabi uczniowie ze szkół dobrych.

Co ciekawe, skala rozrzutu wyników uczniów z pojedynczej szkoły jest bardzo podobna dla wszystkich szkół (za wyjątkiem tych z najwyższej półki, gdzie jest trochę mniejszy) i zblizona do rzorzutu wyników całej ogólnopolskiej populacji.



Analizy ciąg dalszy w oddzielnym wątku.

77
Dodaj komentarz

30 Comment threads
47 Thread replies
0 Followers
 
Most reacted comment
Hottest comment thread
9 Comment authors
avataravataravataravataravatar Recent comment authors
  Subscribe  
najnowszy najstarszy oceniany
Powiadom o
avatar
Gość
Paweł Kasprzak

Rozmnożone pytania, to na pewno jakiś efekt ekstrapolacji wyników na uczniów… Nie wiem – nieobecnych w dniu testu? Już we wszystko byłbym w stanie uwierzyć. Najbardziej nieprawdopodobne jest dla mnie to, że nikt o to nie pyta. Bendyk rozmawia z Marciniakiem, który w wynikach PISA widzi własny sukces, a dokładniej – sukces programu, w którego przycinaniu do PISA standardu uczestniczył. Marciniak był równocześnie członkiem komitetu PISA w Polsce – ciekawe, czy przycinał pytania i dane, skoro test potwierdzał jego rzekomy sukces. Przenikliwość red. Bendyka mnie osłabia. Na blogu napisał, że polskie wyniki niektórzy komentują tak, jak jest najłatwiej: że PISA… Czytaj więcej »

avatar
Gość

W sprawie PISA jestem totalnym ignorantem, więc poproszę o dokształcenie mnie:
1. Jaki zakres wiedzy szkolnej badały te testy ? Czy tylko matematykę, czy także inne „przedmioty” ?
2. Jaki są cele badań PISA ?
3. Jakie wnioski płyną z wyników tych badań ?

Martwi mnie jedno: telewizja trąbi o sukcesie polskiej oświaty, a my – zwykli rodzice – nic o tym nie wiemy. Nie rozumiemy na czym polega ten sukces i skąd się wziął – czy to jest sukces władz, nauczycieli czy naszych dzieci ? Na co przełoży się ten sukces, jakich profitów możemy się spodziewać ?

avatar
Gość
Waldemar Zabielski

Ksawery, Twoja analiza potwierdza moje przypuszczenia, które nasunęły mi się już po lekturze analiz brytyjskich komentatorów i częściowo potwierdzone w samych dokumentach PISA, mianowicie, że metody jakie PISA stosuje przy konstrukcji pakietów i ekstrapolacji wyników pozwalają na bardzo łatwe manipulowanie wynikami. Wydawało mi się, że na tych testach można polegać właśnie dlatego, że manipulowanie wynikami jest wykluczone lub niezwykle trudne. Okazuje się, że tak nie jest. Zważywszy, jak się okazuje, niezwykle silną obecność aspektu politycznego w PISA, nie ma się czemu dziwić. Żeby nie było wątpliwości, nie twierdzę, że polskie wyniki zostały zmanipulowane. Po pierwsze, wynik 518, przy średniej OECD… Czytaj więcej »

avatar
Gość
belfer

Przecież PISA to element działania instytucji bynajmniej nie edukacyjnej ani naukowej tylko OECD. Tej samej, która reklamuje (swoje!) badanie(nikt go nie widział!), z którego rzekomo ma wynikać absurdalna teza o niezależności efektów edukacji od liczby uczniów w klasie. Oczywiście chodzi o to by dać argumenty propagandowe tym, którzy chcą by w III świecie(a do niego ekspresowo zmierza Polska) oświata była przede wszystkim (dla państwa!) tania, tania i jeszcze raz tania!!! 😉

avatar
Gość
Paweł Kasprzak

Ja widziałem takie badanie, choć chyba nie to, bo to nie była PISA. Nie widziałem zresztą, żeby PISA się tym chwaliła, choć niejaki Hanushek, autor tych badań dot. USA jest obecnie związany z OECD, jak wszyscy. Hanushek przejrzał dane, z których wynikało, że w ciągu kilkudziesięciu lat wielkość klasy zmnmiejszyła się dwukrotnie, a wyniki uczniów w rozmaitych badaniach (to była metaanaliza danych) nieznacznie, ale wyraźnie się pogorszyły. W PISA natomiast, co łatwo sprawdzić, wielkość klasy koreluje z wynikami w sposób, którego należałoby oczekiwać. Co jednak wcale nie znaczy, że działa tu prostu związek przyczynowo-skutkowy, bo wyjaśnień da się sformułować wiele… Czytaj więcej »

avatar
Gość
Paweł Kasprzak

Spróbuję się w przyszłym tygodniu dołożyć z analizą, która do tego doda dane z „metryczek” uczniów i szkół. Da się z tego wnioskować o „kapitale kulturowym” badanych uczniów (choć nie ma pewności, czy go się na pewno da stwierdzić, ponieważ wygląda na to, że ok. 10% rekordów bazy danych Ksawerego pochodzi z ekstrapolacji). Policzę korelacje. Z doświadczenia wszystkich innych badań wynika, że one się okażą najsilniejsze i że ranking PISA okaże się odtworzeniem rozmaicie ujmowanych rankingów zróżnicowania społecznego, a nie rankingiem szkół i ich efektywności. To i wiele innych istotnych rzeczy dałoby się powiedzieć o wynikach – już to zresztą… Czytaj więcej »

avatar
Gość
Waldemar Zabielski

Myślę, że Ksawery trafnie zidentyfikował jako problematyczny niezwykle niski procent polskich uczniów na najniższym poziomie 1 i poniżej. (PISA w części matematycznej stosuje 6 poziomów, od 1 do 6, a w rzeczywistości 7 poziomów, gdyż uwzględnia też osobną kategorię odpowiedzi “poniżej poziomu 1”). Według PISA, Polska znalazła się w ścisłej czołówce światowej krajów o najniższym procencie uczniów znajdujących się na najniższym poziomie 1 i poniżej tego poziomu, dokładnie na 14 pozycji. Polskę wyprzedziła pod względem niskiej ilości najsłabszych uczniów tylko czołówka ze wschodniej Azji, Finlandia, Estonia, Holandia i Kanada i to bardzo nieznacznie. Dla porównania, w badaniach z 2009 roku… Czytaj więcej »

avatar
Gość

Xawery, dziękuję za odpowiedź wskazującą źródło prawdy. Zaintrygował mnie ten fragment: „czytanie i rozumowanie w naukach humanistycznych (reading literacy), matematyka (mathematical literacy) oraz rozumowanie w naukach przyrodniczych (scientific literacy). Te trzy dziedziny uważa się za decydujące o możliwościach dalszego rozwoju, zarówno indywidualnego jak i społecznego i gospodarczego.” Nasuwają mi się dwa określenia: mistyfikacja i arogancja. Nic nowego – historia naszej cywilizacji jest przepełniona takimi zjawiskami, działaniami opartymi ma mitach, przekonaniach i złudzeniach elit rządzących. Znamienne jest w przytoczonym tekście następujące sformułowanie: „uważa się”. Kto uważa ? Na jakiej podstawie ? Z jakim stopniem pewności ? Czy istnieją inne poglądy na… Czytaj więcej »

avatar
Gość
Waldemar Zabielski

@ Ksawery
Czy mógłbyś podać źródła liczbowe (np. w postaci tabeli) do Twojego ostatniego wykresu odpowiedzi poprawnych poniżej 5%?

Twoje porównanie rozkładu egzaminu gimnazjalnego z PISA jest ciekawe i wiele mówiące, boję się jednak, że nie nadaje się jako argument naukowy, ponieważ zadania mogły być nieprównywalne.
Natomiast gdyby ktoś zechciał spróbować zrobić test na naukowej próbce z zadaniami zbliżonymi do PISA, to takie porównanie miałoby sens i byłoby interesujące.

avatar
Gość
Waldemar Zabielski

To, co zrobiłeś to jest też jakaś wartościowa informacja. Ja z kolei znalazłem w raporcie rezulatatów “Key Findings Volume 1 (oficjalny raport wyników po angielsku) tabelę dystrybucji ilu uczniów (w %) znalazło na każdym z poziomów trudności: poniżej poziomu 1, i poziomy 1 do 6. Jest to o tyle istotna tabela, że klasyfikuje zadania według poziomu trudności i oblicza % uczniów dla każdego poziomu, a także PISA robi w tym samym formacie dla wszystkich testów od roku 2000, więc łatwo jest porównać trend. Polska systematycznie redukowała % uczniów najsłabszych sklasyfikowanych na poziomie 1 i poniżej (dokładnie PISA używa przedziału “poniżej… Czytaj więcej »

avatar
Gość
Waldemar Zabielski

A oto dokładna klasyfikacja PISA, według najmniejszej ilości uczniów uczniw najsabszych (poniżej poziomu 2), źródło raport PISA po angielsku:

Shanghai-China
Singapore
Korea
Hong Kong-China
Japan
Switzerland
Macao-China
Chinese Taipei
Liechtenstein
Estonia
Finland
Netherlands
Canada
Poland
Denmark
Iceland
Germany
Belgium
Viet Nam
Ireland
Latvia
Czech Republic
Austria
Norway
Australia
Slovenia
New Zealand
OECD average
United Kingdom
Russian Federation
France

avatar
Gość

Xawery, Waldemar, Paweł – jestem pełen uznania i podziwu dla waszej dociekliwości i kompetencji. Zwykli rodzice, zatem i ja, nie przeczytamy Waszych analiz. Natomiast powinniśmy wiedzieć o co w tych badaniach chodzi, jaki jest ich sens i pożytek. Ze strony mediów i władców oświatowych płyną do obywateli sygnały, że te badania mają charakter strategiczny, że ich wyniki dobrze odzwierciedlają skuteczność edukacji. Badania PISA badają szkoły właściwie kształtują „możliwości dalszego rozwoju, zarówno indywidualnego jak i społecznego i gospodarczego.” My, zwykli rodzice i obywatele mamy w to uwierzyć. Role są ustalone odgórnie: aktywni stwórcy i wykonawcy badań + bierne przedmioty badań, czyli… Czytaj więcej »

avatar
Gość
Paweł Kasprzak

Wiesław, Dociekliwość Ksawerego da się podziwiać nie od dzisiaj. Ja się tym razem nie wykazałem (poprawię się wkrótce) natomiast nie powoduje mną ciekawość (to umiarkowanie zajmujące rzeczy są jednak), co wkurzenie. Kiedyś przeczytałem o takim strategicznym planie MEN, że w roku 2013 75% Polaków w pewnym przedziale wiekowym ma mieć maturę. Nie mam skłonności Ksawerego do sprawdzania cudzych wyliczeń i na ogół ograniczam się do sprawdzania zawartości prac cytowanych w przypisach (nadużycia są tu niezwykle częste, kłopoty z czytaniem mają również utytułowani naukowcy, a częste są też przypadki zapętlających się wzajemnych cytowań, w których każda wyssana z palca bzdura ma… Czytaj więcej »

avatar
Gość
Waldemar Zabielski

@ Wiesław Z Twoich wielu ważkich pytań pozwoliłem sobie wybrać dwa, żeby uniknąć rozwodzenia się o wszystkim i niczym: 1. Na czym polega sukces ostatnich wyników badań PISA ? 2. Czy to jest na pewno sukces? Odpowiedź na pytanie 1: Sukces PISA polega głównie na tym, że polski system edukacyjny wypadł dobrze w tym międzynarodowym rankingu na tle innych krajów świata. Na skali od 400 do 600 (średnia 500), Polska uzyskała 518 punktów, wyprzedzając większość krajów europejskich. Istotny jest też fakt, że dobry wynik jest poprawą wyniku z poprzednich badań a zatem kontynuacją zwyżkowego trendu. Generalnie, zaletą PISA jest to,… Czytaj więcej »

avatar
Gość
Paweł Kasprzak

Ja nad tymi danymi siedzę już jakiś czas i w ciągu paru dni opiszę wnioski. Są dość jednoznaczne, jeśli chodzi o przydatność wyników PISA w realnej ocenie szkoły i momentami interesujące. Jeśli chodzi o wiarygodność, to widzę rzeczy przedziwne. Jeśli do bazy PISA (nie zaimportowałem jej, a tylko ściągam przekroje z podanego przez PISA adresu) zażyczysz sobie wyników np. polskich uczniów, których matki mają wyższe wykształcenie, to otrzymujesz niecałkowitą liczbę uczniów. Albo jeśli ta grupa jest nieliczna i obejmuje np. 15 osób, to wtedy nie zobaczysz ich wyników. Oba te fakty dodatkowo potwierdzają hipotezę, że baza danych PISA zawiera w… Czytaj więcej »

avatar
Gość
Paweł Kasprzak

Ach i jeszcze jedno. Porównanie podobnych przekrojów z poprzednich i ostatnich badań pokazuje rzecz najważniejszą i wyjaśnia zmianę wyników. Np. udział dzieci wiejskich (punktujących słabiej) obniża całość wyników. Średnia punktacja dzieci wiejskich nie zmienia się z badania na badanie, natomiast zmienia się ich liczebność w próbie. Takich informacji da się wynaleźć mnóstwo – a one dużo znaczą nawet jeśli uwierzyć, że dane PISA są prawdziwe.

avatar
Gość
Waldemar Zabielski

@ Paweł A propos wpływu wielkości klas na wyniki: według PISA, mniej uczniów w klasie nie oznacza lepszych wyników. Ta sytuacja nie wynika stąd, że wiejskie klasy mają mniej uczniów i jednocześnie niski poziom, więc statystycznie zaniżają poziom dla małych klas. Jeśli ma to wpływ, to niewielki, zresztą nie jest to reguła, bo na wsiach niektóre klasy są bardzo liczne. Trend dla większych liczbowo klasom jest zawyżony przez czołówkę światową (Chiny, Singapur, Tajwan, Korea, Japonia). W Chinach regułą jest 50 uczniów w klasie. Zważywszy, że są na pierwszym miejscu w PISA, siłą rzeczy zniekształcają statystykę, a jednocześnie poddają w wątpliwość… Czytaj więcej »

avatar
Gość
Paweł Kasprzak

Nie – dla Polski ta zależność jest dokładnie ta sama. Na świecie niemal 40% klas 15-osobowych i mniejszych znajduje się w wiejskich szkołach, w ośrodkach wielkomiejskich jest ich niewiele ponad 5%. W danych PISA oczywiście – trudno orzec, czy próbę dobierano tak, by była reprezentantywna pod tym względem. Nie sądzę, żeby tak było, bo tego się raczej nie da zrobić, żeby wszystkie tego typu przekroje pokazywały statystyczne reprezentacje dla każdego kraju. W każdym razie w danych PISA tak właśnie jest. Azjatyckie kraje tym się różnią od innych, że liczne klasy są tam normą i tym, że nawet skrajnie duża liczebność… Czytaj więcej »

avatar
Gość
Waldemar Zabielski

Interesujące byłoby zbadanie dla każdego kraju korelacji liczebności klas z wynikami, we wszystkich przedziałach liczebności, np. 1. poniżej 15 2. od 15 do 18 3. od 18 do 21 4. od 21 do 25 5. od 25 do 35 6. powyżej 35 Prawdopodobnie wyszłoby, że każdy kraj ma swój optymalny przedział liczebności klas, który może sie różnić od innych krajów, ponieważ wyniki zależą od bardzo wielu czynników i niektóre z czynników mogą być też związane z liczebnością klas. W Kanadzie średnia liczebność klas jest ściśle regulowana, tzn. ilość uczniów podzielona przez ilość klas musi się mniej więcej zgadzać. W liceach… Czytaj więcej »

avatar
Gość
Paweł Kasprzak

Odstępstwa od rozkładu im liczniejsza klasa tym lepiej, owszem, zdarzają się w poszczególnych krajach, ale wydają się mieć „kulturowo-urbanizacyjny” charakter. W Albanii najgorzej wypadli uczniowie z klas o przedziale 21-25, ci z klas najmniej licznych wypadli lepiej, a najlepsi byli ci z klas od 31 do 35 uczniów. W Austrii uczniowie klas 16 – 20 byli lepsi od tych do 15, ale to dlatego, że w tamtejszych wioskach częściej się zdarzają jednak te liczniejsze klasy i jakaś większa część klas małych przypadła rzeczywiście na dobre szkoły (na ile da się sądzić po lokalizacji – nie mam dostępu do identyfikatorów szkół… Czytaj więcej »

avatar
Gość
Waldemar Zabielski

@ Paweł
Ciekawe informacje, ale mam te same wątpliwości co Ty, że liczebność aktualnej klasy ucznia nic nie mówi w jakich klasach obracał się wcześniej.

Na dodatek, nie wiem jak w Polsce, ale w Kanadzie mniejsze klasy (poniżej 15) są zarezerwowane wyłącznie dla uczniów specjalnych wymagających dodatkowej pomocy. Jeśli np. w jednym kraju mniejsze liczebnie klasy organizowane są dla wybitnych, a w innych krajach dla najsłabszych, to jest oczywiste, że średnia PISA według liczebności klasy nie ma żadnego sensu.

avatar
Gość

Za manipulację można uznać nadużywanie przez Pana słowa ,,manipulacja” w artykule.

Część zarzutów dotyczących jakości danych bierze się z nieznajomości konstrukcji badania PISA. Starałem się wyjaśnić część z tych problemów na moim blogu
http://smarterpoland.pl/index.php/2014/01/mity-dotyczace-pisa-2012/

Życzę ciekawych (i bardziej wyważonych) opisów wyników/odkryć z analizy danych z badania PISA.

W razie problemów z odczytaniem lub interpretacją danych służę też pomocą (jeżeli będę mógł jej udzielić).

avatar
Gość
Paweł Kasprzak

Sam dotąd przyjmowałem metodologię PISA za poprawną, usiłując dla poprzednich sprawdzić, ile tylko zdołałem, co proste nie jest. Dialog niezależnych badaczy z Konsorcjum PISA bywa wszakże burzliwy i dość jednostronny, jeśli zajrzeć np. tu: http://www.univie.ac.at/pisaaccordingtopisa/pisazufolgepisa.pdf Plotki, o których wspomniał Ksawery i o których Pan wspomina, rzeczywiście krążą. Nie wiem, czy akurat rachunku prawdopodobieństwa one dotyczą, czy ew. innej grupy zadań, niemniej takie są. Mówią, że w ramach rozmaitych zabiegów służących porównywaniu danych, uczniowie w kraju X rozwiązują inne zadania, niż w kraju Y i nie jest to wynik losowania pakietów, tylko świadoma decyzja badaczy. Następnie w bazie danych wyników kraju… Czytaj więcej »

avatar
Gość

Pozwolę sobie odpowiedzieć tylko na dwie kwestie. 1. Badanie PISA nie mierzy bezpośrednio jakości szkół. Mierzona jest sprawność indywidualnych uczniów po to by później porównywać różne przekroje uczniów [zamożni-biedniejsi, chłopcy-dziewczęta itp]. Oczywiście takim przekrojem może być szkoła, ale wtedy należy brać pod uwagę inne środowiskowe czynniki (rodzice, miasto, zamożność). Ponieważ OECD działa na poziomie polityki edukacyjnej jednym z podstawowych zastosowań jest wykorzystanie danych do dyskusji na temat systemów edukacji (np. efekt decentralizacji podejmowania decyzji). Moim zdaniem nieszczęśliwie się złożyło, że dyskusja na temat tych efektów została przesłonięta przez przyglądanie się rankingowi krajów. 2. Przy raportowaniu wyników przez zespół PISA jest… Czytaj więcej »

avatar
Gość
Paweł Kasprzak

Ja sądzę, że nawet ekstrapolacja polskich odpowiedzi na zadania z rachunku prawdopodobieństwa odpowiedziami np. duńskimi byłaby usprawiedliwiona i statystycznie poprawna, natomiast zupełnie mnie nie przekonują pozamatematyczne wyjaśnienia Pana Przemysława. Nie wiem oczywiście, czy rzeczywiście aż takich zabiegów dokonano w ostatnich badaniach (raczej sądzę, że polski „sukces” jest efektem zmiany składu próby, co zresztą niekoniecznie jest manipulacją, ale może być skutkiem zmian demograficznych). Ksawery ma jednak przede wszystkim rację punktując sens sportowych analogii. O efekcie decentralizacji podejmowanych decyzji nikt w Polsce jakoś specjalnie nie dyskutuje. On jest treścią raportu McKinseya i propaguje to tutaj Jacek Strzemieczny. Nie mam siły sprawdzać, czy… Czytaj więcej »

avatar
Gość

Nie mam niestety tyle czasu aby śledzić całą ciekawą dyskusję, ale zauważyłem dodany wykres z liczbą pytań w booklecie, który warto skomentować. Na wykresie nie pokazuje Pan liczby pytań w booklecie, ale liczbę pytań z matematyki w booklecie. A to już coś zupełnie innego. W zależności od bookletu jest w nim więcej lub mniej matematyki, czasem są to trzy grupy z czterech, czasem dwie z czterech a czasem jedna z czterech. Wyskalowanie wyników dla matematyki to nie problem. To co u niektórych komentatorów budzi zdziwienie to jak policzono wynik PV z czytania lub przyrody u osób które nie odpowiadały ani… Czytaj więcej »

avatar
Gość
Waldemar Zabielski

Ciekawe, że w Polsce połowa pakietów miała ponad 40 zadań, a tylko jedna czwarta pakietów miała około 14 zadań, reszta, czyli pozostała jedna czwarta miała około 29 zadań. Gdyby założyć, co sugeruje p. Przemysław, że duża liczba zadań w pakiecie oznacza zadania łatwe, a mała liczba zdania trudniejsze, oznaczałoby to, że w Polsce 50% uczniów otrzymało zadania łatwiejsze, 25% zadanie średnie i pozostałe 25% zadania trudniejsze. Nie wyglądałoby to na zrównoważony rozkład pakietów. Dlatego uważam, że takiego założenia, im więcej zadań, tym łatwiejsze, nie da się utrzymać bez konkretnych danych. Nie widzę z kolei powodów, żeby PISA utajniała informację, ile… Czytaj więcej »

avatar
Gość
Waldemar Zabielski

@ Wyjaśnienie konstrukcji testów PISA Tabela wyników dla poszczególnych zadań zbudowana przez Ksawerego dowodzi, że PISA nie bada umiejętności poszczególnych uczniów. Poszczególny uczeń nie odpowiada na wszystkie pytania i nie jest oceniany według wszystkich pytań (ponieważ nie jest oceniany w ogóle), natomiast jest regułą, że na każde poszczególne pytanie testu odpowiada około 1200-1400 uczniów w danym kraju, co jest wystarczającą próbką, żeby ocenić jak uczniowie w danym kraju radzą sobie z tym zadaniem. Ponieważ PISA rozdziela 3 razy więcej pytań niż można odpowiedzieć w ciągu 2 godzin, w ten sposób może przetestować więcej zadań. Dlatego PISA testuje około 5000 uczniów,… Czytaj więcej »