Oś Świata/Moja oś świata

PISA?

04.12
2013

?????

67
Dodaj komentarz

avatar
najnowszy najstarszy
avatar

Już się biorę za lekturę części metodologicznej raportu. To, co trzeba od razu zauważyć, to zmiana pojęcia „mathematical literacy”, czyli zapewne inna konstrukcja zakresu zadań w porównaniu do poprzednich badań. Spróbuję się temu przyjrzeć. Gołym okiem widać, że takie zachwycające dla Polski rezultaty mogą być (i podejrzewam, że są) artefaktem, związanym ze zmianą zakresu pytań i sposobem normowania wyników. Mam kilka hipotez do sprawdzenia (przeliczę to na danych z PISA 2009 — czy zmiana rankingu byłaby podobna po odrzuceniu części zadań), z których pierwsza, to zniknięcie zadań najambitniejszych (kl. 5-6) i rozciągnięcie dotychczasowej skali trudności 1-4 na cały nowy zakres… Czytaj więcej »

avatar
Danusia

Ksawery
Byłabym wdzięczna za wyjaśnienia.
Zadania PISA nie są dostępne nawet po fakcie, a to dlatego, że czasami są używane powtórnie.
Ja nie rozumiem.
Obawiam się, abyśmy teraz nie stwierdzili, że już nic nie trzeba robić.
Słyszałam już głosy, że szkoła jest świetna, tylko uczelnie byle jakie.
Jednak myślę, że warto starć się pracować lepiej, nie tylko dla uczniów, ale też dla siebie.
Przyjemniej i sensowniej jest pracować z uczniami zaangażowanymi, którzy uczą się razem z nami i z przyjemnością. A w tym jeszcze mistrzami nie jesteśmy.
Danusia

avatar

Zadania są dostępne tylko z niektórych lat. A z pozostałych wyłącznie pojedyncze, przykładowe. To stwarza poważny problem z krytyczną analizą tych zadań, bo w bardzo istotnej kwestii „jakiemu typowi zadań przypisana jest jaka klasa zaawansowania” i w ocenie stopnia ich trudności trzeba się zdać na oświadczenie PISA. A te ich deklaracje niosą wewnętrzną sprzeczność: z jednej strony deklarują stałość wymagań, z drugiej sami twierdzą, że zmienili swoje rozumienie (przedefiniowali) pojęcia „mathematical literacy”. Śmierdzi mi tu jakąś manipulacją i ściemą na całego, ale bez znajomości zadań nie sposób sprawdzić. Nie doczytałem jeszcze, ale podejrzewam, że podobnych redefinicji dokonali i w innych,… Czytaj więcej »

avatar

Tym razem PISA podała tylko 6 przykładowych zadań, po jednym z każdej klasy zaawansowania. http://www.oecd.org/pisa/test/form/ Najtrudniejsze zadanie (6., najwyższy poziom zaawansowania) to: Helena pojechała na rowerze nad rzekę odległą o 4km, co zajęło jej 9 minut. Wróciła do domu krótszą trasą: długości 3km, co zajęło jej 6 minut. Jaka była średnia prędkość w km/h podczas tej wycieczki w tę i z powrotem? (moje tłumaczenie: XS) To rzeczywiście pasuje do mojej hipotezy, że PISA po prostu wyrzuciła zadania, wymagające jakiegokolwiek myślenia, a podstawienie do wzoru „prędkość-droga-czas” i przeliczenie między minutami a godzinami uznaje się za wybitną i głęboką znajomość matematyki! Z… Czytaj więcej »

avatar

Polecam wszystkim artykuł z wczorajszego internetowego wydania Guardiana, komentujący badanie PISA:
http://www.theguardian.com/news/2013/dec/03/pisa-methodology-education-oecd-student-performance

Warto poczytać też teksty, do których on odsyła, w szczególności ten o „cudzie fińskiej edukacji”, polegającym na podpasowaniu programu szkolnego pod zakres pytań PISA.

Oczywiście, można powiedzieć, że Polska słusznie świętuje zasłużoną wygraną, a urażony w brytyjskim patriotyzmie Guardian szuka dziury w całym…

avatar
Waldemar Zabielski

@ Ksawery PISA opublikowała więcej pytań na stronie http://www.oecd.org/pisa/pisaproducts/pisa2012-2006-rel-items-maths-ENG.pdf (nazywa się to PISA products, Released Items) PISA bada umiejętności potrzebne w przyszłości do życie w społeczeństwie i uczestnictwa na rynku pracy. Test jest robiony według wieku ucznia, 14-15 lat (nie klasy), co się zbiega wiekowo w Polsce z egzaminem gimnazjalnym. @ test TIMSS Test TIMSS, którego ostatnie wyniki z 2011 były opublikowane na wiosnę tego roku (2013) robiony jest według klas (klasa czwarta, po trzech latach nauki szkolnej). Dla przypomnienia, polscy trzecioklasiści uplasowali się na ostatnim miejscu w Europie (tuż za Rumunią), 481 punktów, grubo poniżej średniej OECD 500 punktów.… Czytaj więcej »

avatar

Panie Xawery
za:
„Po pierwsze, to MEN popada w grzech szowinizmu i rasizmu: Polska młodzież jest bardziej uzdolniona od młodzieży z Niemiec, a zwłaszcza z Ghany? Nie wspominając już nawet o młodzieży z Izraela — każdy prawdziwy polski patriota przecież doskonale wie, że Żydzi i Murzyni są mniej uzdolnieni od Polaków.”

kocham pana, panie (Sułku)Xawery.

Podoba mi się, że ktoś tak wgłębia się w temat i ma podobne wrażenia odnośnie powyżej omawianych badań. Nie czuję się inna 🙂
pozdrawiam

avatar

Magdalenki wyszły troszkę przepieczone, ale dały się zjeść 😉 Zachwyt medialny nad PISA chyba mija: zachwycił się Premier, MEN, ZNP, IBE, a nawet ex-minister Hall, ale poza tym tego zachwytu już nie słychać. Kto by się pojawił w Tok-FM, od prof.Czapińskiego po prof.Mankiewicza, to komentuje te wyniki dość chłodno. ” Ale trochę nie rozumiem, czy w Finlandii dzieci nie lubią szkoły i uczenia się przedmiotów ścisłych? ” Szkołę lubią, ale nie interesują się przedmiotami ścisłymi. Zarówno deklarują ten brak zainteresowania, jak i wykazują go w mierzalny sposób, np. w porównaniu z Holendrami w bibliotece pożyczają częściej powieści niż książki popularnonaukowe,… Czytaj więcej »

avatar
Waldemar Zabielski

@ Pytanie matematyczne Statystyka przyjęć na uniwersytet pokazuje, że procent przyjęć kobiet jest wyższy na każdym z dwóch wydziałów, a jednocześnie jest niższy dla obydwu wydziałów razem. Czy poniższe obliczenia są poprawne, czy zawierają błąd? A. Wydział nauk społecznych. Kobiety: przyjęto 30% (100 podań, przyjęto 30) Meżczyźni: Przyjęto 20% (50 podań, przyjęto 10) B. Wydział nauk ścisłych. Kobiety: przyjęto 80% (50 podań, przyjęto 40) Meżczyźni: Przyjęto 70% (100 podań, przyjęto 70) C. Obydwa wydziały razem. Kobiety: przyjęto 47% (150 podań, przyjęto 70) Meżczyźni: Przyjęto 53% (150 podań, przyjęto 80) Procent przyjęć w obu wydziałach jest wyższy dla kobiet (30% i… Czytaj więcej »

avatar

To jest pytanie językowo-logiczne.
Obliczenia są OK.

problem-nieporozumienie tego paradoksu tkwi w definicji pojęcia „procent przyjęć kobiet”, które jest tu użyte nizgodnie z jego intuicyjnym językowym znaczeniem.

(Nieprecyzyjna) fraza „przyjęto 30% kobiet” jest rozumiana, zgodnie z powszechnym rozumieniem języka, jako „30% spośród przyjętych to kobiety, a reszta, czyli 70% przyjętych, to mężczyźni”.
A Twoja zagadka używa go w innym znaczeniu: „30% kandydatów płci żeńskiej został przyjęty a o odsetku przyjętych mężczyzn nie wiemy nic”.

Jeśli przeformułujesz narrację zagadki tak, by nie myliła tych pojęć, to przestanie być ona paradoksem.

avatar
Waldemar Zabielski

Wszystkie procenty w tym zadaniu są rozumiane w ten sam sposób: “30% kobiet przyjęto” oznacza “30% kobiet z tych które złożyły podania zostało przyjętych”. Liczby w nawiasie (100 podań, 30 przyjętych) są podane aby uniknąć jakichkolwiek dwuznaczności o jaki procent chodzi. To samo dotyczy mężczyzn. Mimo tej precyzji języka, jednak procent przyjętych kobiet (z tych kobiet które złożyły podania) jest niższy dla obydwu wydziałów policzonych razem, a wyższy dla obydwu wydziałów osobno. Pytanie, czy to ma sens i jaki?

avatar

„edukacja dzieci i młodzieży jest podstawą tego co będzie naszym potencjałem w przyszłości a przede wszystkim kształtowaniem ich mentalności ”

Czy autorzy i zwolennicy badań PISA potrafią zmierzyć ów „potencjał” i ową „mentalność” ? Bo jeśli nie potrafią, to nie rozumiem co, a przede wszystkim po co, mierzą swoimi testami ?

Testowanie PISA kojarzy mi się z pomysłem, żeby jedna i ta sama firma produkowała słodycze oraz pasty do zębów, i do tego jeszcze utrzymywała sieć gabinetów dentystycznych. Chciałbym mieć taką firmę.

avatar
Danusia

Masz rację, zapomniałam o kryptologii, a to kawał matematyki. Myślałam o takich zwyczajnych twierdzeniach z geometrii algebraicznej, czy topologii.
W matematyce liczy się tylko – kto pierwszy. W historii (geometria nieeuklidesowa) notujemy wstrząsające historie walki o pierwszeństwo. Ale potem, to tylko splendor, że ktoś posługuje się moim twierdzeniem.
W sumie jest tak, ze to państwo sponsoruje matematyka, więc w naturalny sposób jego dzieło jest własnością Państwa.
Jakby na to nie patrzeć, to badania nad lekami w dużym zakresie też sponsoruje państwo, czyli obywatele, dlaczego więc zyski czerpie firma?
D

avatar

„Jeśli powstanie obywatelska inicjatywa na rzecz zniesienia testów w gimnazjum, z chęcią się podpiszę.”

No to już ! Zacznijmy. Ja podpisuję: Wiesław Mariański.

avatar

Jest bardzo dogodny moment do stworzenia takiej petycji: nowy minister oświaty.
Taka petycja na pewno ucieszyła by panią minister, byłaby dla niej doskonałym wsparciem.

avatar
Paweł Kasprzak

PISA, wbrew niemal wszystkim, którzy tak ochoczo cytują i dyskutują wyniki tego testu – nie mówi o „obiektywnych faktach” i jest wyłącznie oceną dokonaną w sposób silnie znaczony specyficzną perspektywą aksjologiczną. Przez polityków natomiast wyniki te cytowane są oczywiście z perspektywy zarówno prezentowanej przez nich zwykłej głupoty nadętych urzędasów, jak i z propagandowej perspektywy ich resortów i partii. Doprawdy przeraża w tych cytatach rozmiar bezmyślności z jednej strony i złej woli oraz propagandy z drugiej. I powszechna niemoc intelektualna w zderzeniu z twardymi rzekomo lub rzeczywiście danymi. Próbka faktów z PISA: Jeśli w 2000r. w PISA stwierdzono, że 24% polskich… Czytaj więcej »

avatar
Waldemar Zabielski

Oprócz wszystkich innych zastrzeżeń do testów PISA, trzeba też dodać, że PISA nie polega na tym, że wszyscy uczniowie uczestniczący w teście (średnio 5000-10000 w każdym kraju) dostają ten sam zestaw pytań. Każdy kraj dostaje zadania w 13-u różnych pakietach. Jeden pakiet zawiera zadania na 30 minut testu. Każdy uczeń dostaje 4 pakiety (test trwa 120 minut). Niektóre pakiety zawierają wyącznie łatwe pytanie, niektóre tylko trudne, a zatem część uczniów otrzymuje same łatwe pytania, część same trudne, a część otrzymuje zrównoważony zestaw. Wyniki dla każdego ucznia są ekstrapolowane na resztę pytań, których uczeń w rzeczywistości nie rozwiązuje. Dokument PISA (Assessment… Czytaj więcej »

avatar
Paweł Kasprzak

Z opóźnieniem dowiedziałem się czegoś, o czym nie wiedziałem wcześniej o badaniach PISA. Obawiam się, że to może wyjaśniać po pierwsze wzrosty zaobserwowane w ostanim badaniu zwłaszcza przy matematyce, ale po drugie również tezy min. Hall, że to jej podstawa programowa przyniosła tak fantastyczne owoce – zwłaszcza, że wśród autorów polskich badań PISA (finansowanych w całości przez MEN, żeby było jasne) dumnie zasiadł prof. Marciniak, który się uważa (prawdopodobnie słusznie niestety) za współautora tego sukcesu. Otóż PISA stosuje różne pakiety pytań testowych. Nie jest tak, że uczniowie odpowiadają na całym świecie na te same pytania. One są zróżnicowane. Opis metodologii… Czytaj więcej »

avatar

” Nie jest tak, że uczniowie odpowiadają na całym świecie na te same pytania. ” Na ile ja rozumiem (mogę ją źle rozumieć — nie zapieram się, że bardzo dokładnie przeanalizowałem metodologię) metodologię PISA, to na całym świecie stosują te same pakiety. Po prostu w każdym kraju 1/13 uczniów dostaje pakiet no.1, 1/13 pakiet no.2… 1/13 pakiet no.13. Przy tak dużych (wielotysięcznych) próbach to nie powinno prowadzić do zauważalnych efektów. Losowe przydzielanie pakietów nie może generować przekłamania systematycznego. „The items were presented to students in thirteen standard test booklets […] Each sampled student was randomly assigned one of the thirteen… Czytaj więcej »

avatar
Paweł Kasprzak

No, właśnie w tym rzecz, że choć w PISA faza badań pilotowych istnieje, to jednak te zestawy, które opisywano w tych PISA Frameworks przy okazji wykluczania cultural biases polegały na eliminowaniu ich już z badań właściwych, a nie pilotowych. Czytałem tę procedurę — nie pamiętam już przy którym badaniu ją opisywali — i ona moich zastrzeżeń nie wzbudziła mimo tego, że manipulacji dokonywano na danych uzyskanych we właściwym badaniu. Proces „filtrowania zniekształceń” wyglądał mi prawidłowo. O dopasowywaniu pakietów do programu słyszałem plotki z „poinformowanych źródeł” zbiżonych do IBE. Weryfikacja plotek trwa i będzie trudna, bo opracowania technicznego nie ma. Dokładniej… Czytaj więcej »

avatar

Dopasowanie pakietów do programu — tak, ale wydaje mi się, że jest to globalny proces, a nie lokalny dla kraju. Tu widzę największe nieszczęście PISA — samozapętlenie się w tym dostosowaniu. PISA dostosowuje się do programów większości krajów, a większość krajów dostosowuje swoje programy do PISA. Samouzasadniający się i samoutrwalający ogólnoświatowy program szkolny. Okrąg opisany na trójkącie — tak, elipsy — nie. Kategorie trudnościowe PISA — tu widzę największą zmianę. Nie wyczytasz jej z „Assesment Frmawork” (to jest wyłącznie pustosłowie), ale trzeba by przeanalizować zadania. Te są tajne. A deklaratywne ich przypisanie (jak sam widzisz po tym z drzwiami obrotowymi)… Czytaj więcej »

avatar
Danusia

Jednak zachwycające jest, że nie wszyscy wpadli w oszałamiający zachwyt wynikami badań PISA i może nadal będziemy myśleć – jak zrobić lepiej?
Czego wszystkim w 2014 roku życzę.
Danusia

avatar

Dopiero teraz to zauważyłem:
Niezależnie od rzetelności (mocno wątpliwej) badania, cała ta piana o sukcesie jest bita o różnicę polegającą na tym , czy średnio w jakimś kraju uczeń rozwiązuje 24 czy 25 wyjątkowo prostych zadań z 40 jakie dostał.
Szerszy komentarz na moim blogu.