avataravataravataravataravataravataravataravataravataravataravataravataravataravataravataravataravataravataravataravataravataravataravataravataravataravataravataravataravatar
Oś Świata/Moja oś świata

PISA?

04.12
2013

?????

Podziel się ze znajomymi

67 komentarze do “PISA?

  1. Już się biorę za lekturę części metodologicznej raportu.

    To, co trzeba od razu zauważyć, to zmiana pojęcia „mathematical literacy”, czyli zapewne inna konstrukcja zakresu zadań w porównaniu do poprzednich badań.

    Spróbuję się temu przyjrzeć.
    Gołym okiem widać, że takie zachwycające dla Polski rezultaty mogą być (i podejrzewam, że są) artefaktem, związanym ze zmianą zakresu pytań i sposobem normowania wyników.
    Mam kilka hipotez do sprawdzenia (przeliczę to na danych z PISA 2009 — czy zmiana rankingu byłaby podobna po odrzuceniu części zadań), z których pierwsza, to zniknięcie zadań najambitniejszych (kl. 5-6) i rozciągnięcie dotychczasowej skali trudności 1-4 na cały nowy zakres 1-6.

    Niestety nie znalazłem kompletu zadań testowych, żeby porównać ich zakres i styl z tymi z poprzednich lat.

    Przeliczę tę sprawę normalizacji wyników — ale to już nie dziś.
    To trochę więcej i bardziej złożonych rachunków, niż się wymaga od uczniów piszących test PISA, a i trzeba dokopać się do możliwie najmniej przetworzonych danych ;)

  2. Ksawery
    Byłabym wdzięczna za wyjaśnienia.
    Zadania PISA nie są dostępne nawet po fakcie, a to dlatego, że czasami są używane powtórnie.
    Ja nie rozumiem.
    Obawiam się, abyśmy teraz nie stwierdzili, że już nic nie trzeba robić.
    Słyszałam już głosy, że szkoła jest świetna, tylko uczelnie byle jakie.
    Jednak myślę, że warto starć się pracować lepiej, nie tylko dla uczniów, ale też dla siebie.
    Przyjemniej i sensowniej jest pracować z uczniami zaangażowanymi, którzy uczą się razem z nami i z przyjemnością. A w tym jeszcze mistrzami nie jesteśmy.
    Danusia

  3. Zadania są dostępne tylko z niektórych lat. A z pozostałych wyłącznie pojedyncze, przykładowe. To stwarza poważny problem z krytyczną analizą tych zadań, bo w bardzo istotnej kwestii „jakiemu typowi zadań przypisana jest jaka klasa zaawansowania” i w ocenie stopnia ich trudności trzeba się zdać na oświadczenie PISA. A te ich deklaracje niosą wewnętrzną sprzeczność: z jednej strony deklarują stałość wymagań, z drugiej sami twierdzą, że zmienili swoje rozumienie (przedefiniowali) pojęcia „mathematical literacy”. Śmierdzi mi tu jakąś manipulacją i ściemą na całego, ale bez znajomości zadań nie sposób sprawdzić.
    Nie doczytałem jeszcze, ale podejrzewam, że podobnych redefinicji dokonali i w innych, poza matematyką działach (czytanie, przyroda)

    Będzie tak, jak się obawiasz: jest świetnie, a będzie jeszcze lepiej, kroczymy drogą do raju i w na tej drodze wyprzedzamy innych.
    MEN już wydało pełne samozachwytu oświadczenie (http://www.men.gov.pl/index.php?option=com_content&view=article&id=5783%3Asukces-polskich-gimnazjalistow-ogoszono-wiatowe-wyniki-badania-pisa-2012&catid=314%3Abadania-i-analizy-default&Itemid=408), a nawet Gazeta wykazuje dumę z osiągnięć polskiej oświaty…

    Moje podejrzenie (przeliczę to później, muszę wyszukać dane, a potem je odkodować, to chwilę zajmie) jest takie, że PISA po prostu obniżyło wymagania, czyli zrezygnowało z zadań najbardziej wymagających i w efekcie uczniowie o umiejętnościach, klasyfikujących ich dawniej w poziomach umiejętności 1-6 zostali przetasowani tak, że dotychczasowe 1-3 i część 4 trafiają w nowy zakres 1-5, a na nowe 6 składa się dawniejsze część 4 oraz 5 i 6.

    Podejrzenie to jest spójne z ideologicznym przesłaniem raportu PISA: o wpływie równości na edukację. Fetyszem jest równość (equity), więc trzeba tak przekonstruować badanie, żeby dobre wyniki osiągały kraje jednolite, a zróżnicowanie jest złe, więc trzeba tak liczyć punkty, żeby kraje o dużym zróżnicowaniu wypadły najgorzej…

    Efekt takiej zmiany byłby właśnie premiujący Polskę, która do tej pory miała bardzo niski odsetek tych z najwyższymi ocenami i bazowała na masowości średniaków i stosunkowo niewielkiemu odsetkowi zupełnych analfabetów. Teraz część z tych średniaków została uznana za geniuszy, a jednocześnie część z gamoni na dwóję awansowała na tróję.
    No i Polska nie tylko ma zachwycające rezultaty, ale też jeden z najlepszych wskaźników „equity” w tym badaniu — co dowodzi założonej tezy, że „equity” jest fundamentem dobrej edukacji ;)

    Ten mechanizm „poprawy” dotyczy niemal wszystkich krajów, ale najsilniej premiuje takie jak Polska: gdzie było mało zupełnych analfabetów (1 i poniżej) i mało dobrych (na 6). Kraje takie jak Singapur, których dotąd średnią podbijała duża liczba uczniów na 5. i 6. poziomie nic nie zyskują na tej zmianie, podobnie nie zyskują kraje takie, jak Rumunia, gdzie jest duży odsetek zupełnych analfabetów (nawet obniżenie wymagań nie wyciągnie ich z 1 na 3). Za to bardzo tracą kraje o dużym zróżnicowaniu, jak Szwajcaria, Austria czy Izrael, które stracą premię za dużą liczbę bardzo dobrych uczniów, a zauważalny odsetek zupełnych gamoni będzie je ciągnął tym bardziej w dół.

    Na razie to jest tylko moje przypuszczenie — hipoteza. Ale ściągnę dane z 2009 i spróbuję je przeliczyć na ranking liczony w tak zdeformowanej skali. Spodziewam się, że dostanę wyniki zbliżone do PISA-2012, ale muszę to sprawdzić.

    Potrzebuję na to jednak chwili czasu — muszę ściągnąć wyniki 2009 i napisać odpowiedni program do analizy, gdzie zwłaszcza część czytająca dane (PISA zapisuje je w dość egzotycznym formacie) wymaga odrobiny pracy — chwilę mi to zajmie…

    „Przyjemniej i sensowniej jest pracować z uczniami zaangażowanymi”
    – zobacz w tym raporcie, jak Polska wypada w kategoriach „lubię szkołę”, „solidna praca skutkuje sukcesem”, „lubię matematykę”, itp…

    • Przyznaję się do porażki. Nie zdałem egzaminu z umiejętności „wyszukiwanie informacji”. Odpadłem od znalezienia potrzebnych do przeliczenia danych: zarówno wyników na wstępnym etapie przetworzenia, jak i dokładnego sposobu normalizacji wyników, czyli przeliczania punktacji za zadania na punkty w rankingu PISA.

      Swoją drogą utajnienie sposobu przetwarzania danych jest doskonałym sposobem na zabezpieczenie się przed merytoryczną krytyką.

      Opierając się na bardzo słabych przesłankach typu „złożenie funkcji monotonicznych jest funkcją monotoniczną” i porównaniu pojedynczych ujawnionych zadań pozostaje mi tylko podtrzymać twierdzenie, że:

      1. Zapewne obniżono wymagania: najbardziej zaawansowane przykładowe zadanie z tego roku (6. poziom) było na podobnym stopniu rzeczywistej trudności, co zadania lev.4 w badaniach 2003 i 2006. Tak skonstruowane badanie jest bardzo czułe na odsetek uczniów, którzy nie radzą sobie nawet z najprostszymi pytaniami (analfabetów), nie będąc czułym na różnice pomiędzy uczniami ledwo umiejącymi (ale jednak umiejącymi) czytać, a uczniami umiejącymi dużo.

      2. Taka modyfikacja skali podnosi punktację krajów, które dotąd miały przeciętne wyniki przy małym ich rozrzucie (niemal sami średniacy) — Polska należy do tej klasy, jest obojętne dla punktacji krajów, które miały strukturę typu „średniacy+geniusze” (e.g. Singapur), a obniża punktację krajów o dużej rozpiętości wyników indywidualnych ze strukturą typu „głupki+średniacy+geniusze” (e.g. Izrael).

      • Bardzo dziękuję za postawienie hipotezy. Mało kto patrzy tak głęboko na tę sprawę.
        Bardzo jestem ciekawa wszystkich czynników wpływających na te wyniki. Jakoś mi się to nie składa w kontekście ostatnich wiadomości o wiedzy młodych ludzi na temat np historii (patrz – kto to był Mazowiecki)i umiejętności obliczenia rat kredytu.
        Bardzo to wszystko ciekawe.
        Abstrahując od wyników wiedzowych PISA, chętnie bym rozpatrzyła niechęć naszych młodych do szkoły. A jeszcze bardziej niechęć naszych nauczycieli do nauczania w szkole.
        Ciekawe jak wypadłyby badania na temat zadowolenia nauczycieli z pracy, nie z pensji ale z pracy.
        D

        • Trochę frustrujące to Twoje „mało kto patrzy tak głęboko”. O testach różnego rodzaju pisaliśmy tu wielokrotnie. „Wiedzowe” wyniki w PISA nie istnieją z tych powodów, że PISA z założenia nie bada wiedzy. Testy umiejętności czytelnicznych i te z nauk przyrodniczych polegają na odnalezieniu w załączonym tekście (czasem to jest wykres lub coś podobnego) odpowiedzi na pytanie z zadania. Test z matematyki wymaga jakiejś wiedzy, jednak ona powinna być trywialna dla ucznia podstawówki – a jak widać nie jest.

          Pisaliśmy tu wiele z Ksawerym, że PISA i ogromna większość podobnych badań (tych rzetelnych, bo zdarzają się badania nierzetelne) nie pokazują i nie mogą pokazać skuteczności szkoły, a tylko dają obraz zróżnicowania kulturowego badanych krajów. W surowych danych PISA na ogół warto było grzabać, bo tak były właśnie informacje o tym, jak często uczniowie uznają szkołę za stratę czasu, czy istneresują przedmiotową wiedzą itd. – coś, o co pytasz zbadano i jakoś da się te wyniki obejrzeć.

          Każde badanie dotyczące umiejętności i wiedzy i posługujące się w jakiś sposób porównywalnymi wynikami i średnimi, musi stosować bardzo arbitralnie wybrane miary. Trzeba mianowicie umieć ocenić, czy różnica między kimś, kto nie umie czytać, a kimś, kto składa literki jest większa, czy mniejsza, niż między tym, kto ze zrozumieniem przeczyta wywiad w „Gali”, a tym, kto czyta Prousta. W PISA taką miarą wybrano, ale o tym, jak ona działa nie wspominają już nawet twórcy badań, nie tylko propagandyści z MEN, którzy świętują swój wyjątkowy sukces.

          Poziom samozadowolenia nauczycieli zbadano na kilka sposobów i zwłaszcza w odniesieniu do matematyki znajdziesz dane w raporcie IBE „Społeczeństwo w drodze do wiedzy”. Raport tytuł ma głupkowaty i dość niespójny w swym otymizmie z wymową danych, które tam zawarto. Nie daj się zwieść wstępom Federowicza i przeczytaj rozdział „Matematyka pod lupą”. Obraz tam zawarty jest przerażająco prawdziwy, a wszystkim, co bym tam sam dodał, byłaby analiza szkolnych programów i tego, jak one charakterystycznie ewoluują – bo to moim zdaniem właśnie treść szkolnych programów najwięcej się dokłada do stanu rzeczy.

          • Pawle
            Doceniłam Ksawerego, bo okropnie frustrujący jest ten zachwyt w mediach nad naszą pozycją w PISA. Obawiam się, że taka postawa zachwytu może bardzo zahamować zmiany. Dlatego też myślę, że nie warto mieć szkoły, która skutecznie uczy do jakiegoś celu, ale warto mieć szkołę, gdzie uczeń uczy się z przyjemnością, a nauczyciel się spełnia w pracy.
            Może to jest mój bzik, ale moja szkoła to była tragedia i nie chciałabym takiej szkoły dla młodych. A w sumie jednak mnie czegoś nauczyli, tylko jakim kosztem, ze teraz na starość jeszcze mi to bokiem wychodzi.
            Pamiętam te badania IBE o nauczycielach matematyki, grzmieliście o nich na naszym blogowisku. Ja się boję tylko wniosków z tych badań obciążających tylko nauczycieli.
            Dla mnie – każdy nauczyciel chce dobrze uczyć i mieć przyjemność z tej pracy. Inaczej byłby idiotą!
            Danusia

      • „Bardzo jestem ciekawa wszystkich czynników wpływających na te wyniki”

        Dość staranną analizę czynników, wpływających an wyniki PISA przeprowadził Svein Sjøberg (rok temu, przed ogłoszeniem wyników PISA-2012, więc nie ma co go posądzać o rozpaczliwą obronę norweskiej racji stanu):
        http://www.uhr.no/documents/6b_Sjoberg_PISA_English_La_Revue_no_20.03..pdf

        Bardzo polecam pouczającą lekturę!

        ” chętnie bym rozpatrzyła niechęć naszych młodych do szkoły. A jeszcze bardziej niechęć naszych nauczycieli do nauczania w szkole. ”

        O chęci (czy tez niechęci) uczniów do szkoły, a raczej do uczenia się przedmiotów scisłych mówia badania (znów norweskie) ROSE: the Relevance Of Science Education: roseproject . no (sklej sobie, nie chcę wpaść w spam za więcej niż jeden link w komentarzu…)
        Polska nie wypada tam najlepiej. Co łatwo zauważyć (pisze też o tym Sjoberg) chęć dzieci doi uczenia się nauk ścisłych ANTYKORELUJE z wynikami PISA — Finlandia jest na szarym końcu zainteresowania uczniów tematami naukowymi…

        Chęci i kompetencje polskich nauczycieli były do pewnego stopnia przeanalizowane w badaniach IBE „Matematyka pod lupą” (na stronie IBE). Też trudno uznać wyniki tego badania za budujące…

        PISA-2012 – umiejętność myślenia

        Trzeba być świadomym proporcji…

        14.4% polskich piętnastolatków nie radzi sobie z zadaniami polegającymi na porównaniu dwóch słupków na wykresie i udzieleniu odpowiedzi który jest wyższy (postęp, bo poprzednio odsetek nie radzących sobie z najtrywialniejszymi zadaniami był większy!)

        Aż 5% potrafi sprostać najambitniejszemu wyzwaniu intelektualnemu, polegającemu na policzeniu średniej prędkości, mając dane długości dwóch fragmentów trasy i czasy ich przejazdu.
        PISA w ogóle nie próbuje nawet badać kompetencji na wyższym poziomie niż to podstawienie do równania prędkość-droga-czas. Ktoś, kto umie coś poważniejszego w ogóle nie ma okazji się wykazać.

        Bądźmy dumni z tak zdolnej młodzieży i szkoły uczącej ich tak wiele!

        • Zaraz nawybrzydzam webmasterce tego blogowiska za jego narowistość…

          A póki co sami musicie dopisać w swoich przeglądarkach te dwie kropki i „pdf” na końcu linku do artykułu Sjoberga ;)

        • „chęć dzieci do uczenia się nauk ścisłych ANTYKORELUJE z wynikami PISA” – bardzo ciekawe! Ale trochę nie rozumiem, czy w Finlandii dzieci nie lubią szkoły i uczenia się przedmiotów ścisłych?
          Rozmawiałam kiedyś z jednym mądrym człowiekiem, który sugerował, że najlepsze badania to badania losów absolwentów. Kto jak sobie radzi z uwzględnieniem poziomu startu. Nie wiem, czy to byłoby możliwe, bo bardzo wiele jest czynników do uwzględnienia i nie tylko szkoła ma wpływ na losy.

          Ja mam kontakt z moimi uczniami, którzy teraz już są bardzo dorosłymi ludźmi. Często mi mówią: Ja nic nie pamiętam z tej matematyki. Przykro mi trochę. Czy ja ich źle uczyłam? Jedno jest pocieszające, moi uczniowie nie narzekają na moje lekcje i chcą mnie spotykać po latach. Ale jak myślisz, o co w tej szkole i nauczaniu chodzi?
          D

  4. Tym razem PISA podała tylko 6 przykładowych zadań, po jednym z każdej klasy zaawansowania. http://www.oecd.org/pisa/test/form/

    Najtrudniejsze zadanie (6., najwyższy poziom zaawansowania) to:
    Helena pojechała na rowerze nad rzekę odległą o 4km, co zajęło jej 9 minut. Wróciła do domu krótszą trasą: długości 3km, co zajęło jej 6 minut. Jaka była średnia prędkość w km/h podczas tej wycieczki w tę i z powrotem? (moje tłumaczenie: XS)

    To rzeczywiście pasuje do mojej hipotezy, że PISA po prostu wyrzuciła zadania, wymagające jakiegokolwiek myślenia, a podstawienie do wzoru „prędkość-droga-czas” i przeliczenie między minutami a godzinami uznaje się za wybitną i głęboką znajomość matematyki!

    Z drugiej strony na to, by nie zostać zakwalifikowanym do grupy matematycznych analfabetów (Polska zredukowała ich liczbę poniżej 15% — sukces odtrąbiony) wystarczy umieć odpowiedzieć na pytania sprowadzające się do „który z dwóch słupków na wykresie jest wyższy” (zad. lev.1 z przykładowego testu) Jesteśmy dumni, że jedynie 14.4% polskich piętnastolatków nie potrafi sobie z tym poradzić.

    Wnioski już mamy:
    Po pierwsze — nasza młodzież jest najbardziej uzdolniona i najlepiej przygotowana w Europie i na świecie. Po drugie — oznacza to, że mamy naprawdę świetnych nauczycieli. Po trzecie – system edukacji, tak często krytykowany, przynosi dobre efekty.
    Po pierwsze, to MEN popada w grzech szowinizmu i rasizmu: Polska młodzież jest bardziej uzdolniona od młodzieży z Niemiec, a zwłaszcza z Ghany? Nie wspominając już nawet o młodzieży z Izraela — każdy prawdziwy polski patriota przecież doskonale wie, że Żydzi i Murzyni są mniej uzdolnieni od Polaków.

    PISA nie ustrzegła się też błędnych zadań.
    Przykładowe zadanie (lev.4, Zad.3 w polskojęzycznym raporcie) o obracających się drzwiach nie daje do wyboru prawidłowej odpowiedzi. To, co PISA uznaje za prawidłową odpowiedź takową nie jest — poprawnej nie da się wyliczyć bez dodatkowych założeń, ale z pewnością jest mniejsza (o od 2 do 4 osób).
    Konkurs dla Czytelników: dlaczego odpowiedź PISY jest błędna?

    • Rzuciłam okiem (tak, jak można rzucić już po północy;-)
      Pierwsze co przychodzi mi do głowy, to że odpowiedź PISY zapewne zakłada że m.in.: w chwili rozpoczęcia odliczania 30 minut, przestrzenie między drzwiami obrotowymi są już zapełnione parami…
      Pytanie jeszcze w jakim ustawieniu są drzwi w momencie rozpoczęcia odliczania… Jeśli tak jak przedstawia rys. 3, to aż dwa skrzydła pierwszego obrotu dostarczą nam jedynie powietrze, a pierwsze osoby przejdą przy obrocie trzeciego skrzydła…

      • Dokładnie!
        Pani zauważyła problem na końcu okresu, ja go osadziłem na końcu, co oczywiście na jedno wychodzi: w momencie zakończenia odliczania ostatnie osoby tkwią jeszcze w drzwiach, a nie weszły do budynku.
        A można to też ująć w ten sposób, że każdy musi w drzwiach albo czekając na otwarcie się sektora spędzić trochę czasu: około pół obrotu (od 1/3 do 2/3 obrotu) i ten czas trzeba odliczyć.

          • Wygląda na to, że miałabym kłopot z tym testem. ;-)

            Dopóki mój syn uczył się w szkole, bywało że trafialiśmy na zadania które były niejednoznaczne, niedookreślone. Wówczas zwykle rozmowa na temat rozwiązania kończyła się stwierdzeniem „aby rozwiązać należałoby (…) ale w szkole oczekują, że najzwyklej podasz odpowiedź (…)”

  5. Polecam wszystkim artykuł z wczorajszego internetowego wydania Guardiana, komentujący badanie PISA:
    http://www.theguardian.com/news/2013/dec/03/pisa-methodology-education-oecd-student-performance

    Warto poczytać też teksty, do których on odsyła, w szczególności ten o „cudzie fińskiej edukacji”, polegającym na podpasowaniu programu szkolnego pod zakres pytań PISA.

    Oczywiście, można powiedzieć, że Polska słusznie świętuje zasłużoną wygraną, a urażony w brytyjskim patriotyzmie Guardian szuka dziury w całym…

    • Ksawery
      Czy mogłabym Cię prosić o bezpośredni link do tego kontrowersyjnego zadania. Widać jakaś gapa jestem, gratuluję Karolinie, że znalazła.

      Nadal nie wiem, o co chodzi w tych wynikach PISA. Nawet, jeśli Twoja teza się potwierdzi, to jednak świadczy to o bezsensie wszelkich badań.
      Ja to już podejrzewałam, bo jestem w stanie ułożyć zadania maturalne na każdy stopień, to znaczy aby wyniki były dokładnie przewidywalne. No teraz, jak nie uczę na bieżąco, to może byłoby trudniej, ale kilka lat temu, gdy znałam zbiory zadań i arkusze egzaminacyjne, to na pewno by mi się udało.
      Dziś profesor Czapiński w TOK FM mówił, o braku umiejętności współpracy, a tej żaden test nie sprawdzi.
      Ja chciałabym znać odpowiedź na pytania:
      1. W czym jesteśmy dobrzy, a nawet najlepsi w Europie?
      2. Co z tego wynika dla pracodawcy i przyszłości absolwenta?
      3. Dlaczego uczelnie tak się skarżą na studentów I roku?
      4. Dlaczego nasze uczelnie są na tak dalekich miejscach w ocenie światowych uczelni?
      i ostatnie:
      5. Czy istnieje zadanie testowe sprawdzające myślenie?
      Chyba już umrę w niewiedzy.
      Danusia

      • Bezpośredniego linku do zadania się nie da zrobić.
        Trzeba wejść na stronę http://www.oecd.org/pisa/test/form/, odpowiedzieć (choćby błędnie) na pytanie Lev.1, klikając A,B,C lub D, wtedy wybrać „next question” — dostaniemy pytanie Lev.2. I tak dalej, aż dojdziemy do Level.4 (zadanie o drzwiach) i dalej aż do Lev.6 to będzie to o Helen na rowerze.

        Ja bym nie uogólniał tego bezsensu na wszelkie badania, a ograniczył się do uznania PISA za bezsensowne.
        PISA jest bardziej szkodliwe niż inne badania, głównie przez to, że zostało uznane za miernik jakości edukacji i władze oświatowe różnych krajów modyfikują programy szkolne tak, żeby dobrze wypaść w PISA. Celem naczelnym systemu edukacyjnego staje się dobry wynik kraju w PISA.
        Jeśli badania nie mają znaczenia politycznego (choćby TIMSS/PIRLS), to nikomu nie szkodzą, a mogą być wartościowe poznawczo.

        ” W czym jesteśmy dobrzy, a nawet najlepsi w Europie? ”
        W dopasowaniu programu szkolnego do zakresu PISA i w wytrenowaniu uczniów w zaliczaniu testów.

        ” Co z tego wynika dla pracodawcy i przyszłości absolwenta? ”
        Nic. PISA ocenia systemy edukacyjne, a nie pojedynczych absolwentów. Uczniowie nawet nie są informowani o swoich indywidualnych wynikach.

  6. @ Ksawery
    PISA opublikowała więcej pytań na stronie
    http://www.oecd.org/pisa/pisaproducts/pisa2012-2006-rel-items-maths-ENG.pdf
    (nazywa się to PISA products, Released Items)
    PISA bada umiejętności potrzebne w przyszłości do życie w społeczeństwie i uczestnictwa na rynku pracy. Test jest robiony według wieku ucznia, 14-15 lat (nie klasy), co się zbiega wiekowo w Polsce z egzaminem gimnazjalnym.

    @ test TIMSS
    Test TIMSS, którego ostatnie wyniki z 2011 były opublikowane na wiosnę tego roku (2013) robiony jest według klas (klasa czwarta, po trzech latach nauki szkolnej). Dla przypomnienia, polscy trzecioklasiści uplasowali się na ostatnim miejscu w Europie (tuż za Rumunią), 481 punktów, grubo poniżej średniej OECD 500 punktów. Te wyniki zostały przez MEN szybko zamiecione pod dywan i zapomniane.

    Zagadką jest, że takie kraje jak USA i Anglia wypadły wysoko w TIMSS, a żenująco nisko w PISA. TIMSS jest testem starszym, opartym na bardziej solidnej, przez nikogo nie kwestionowanej metodologi, nie jest organizowany przez OECD tylko przez Instytut międzynarodowy z siedzibą w Bostonie i Holandii. Polska wystartowała w TIMSS po raz pierwszy w 2011.

    Wyniki TIMSS z roku 2011 (polskie trzeciolatki według starej Podstawy)

    Singapore 606 (3.2) h
    Korea, Rep. of 605 (1.9) h
    Hong Kong SAR 602 (3.4) h
    Chinese Taipei 591 (2.0) h
    Japan 585 (1.7) h
    Northern Ireland 562 (2.9) h
    Belgium (Flemish) 549 (1.9) h
    Finland 545 (2.3) h
    England 542 (3.5) h
    Russian Federation 542 (3.7) h
    United States 541 (1.8) h
    Netherlands 540 (1.7) h
    Denmark 537 (2.6) h
    Lithuania 534 (2.4) h
    Portugal 532 (3.4) h
    Germany 528 (2.2) h
    Ireland 527 (2.6) h
    Serbia 516 (3.0) h
    Australia 516 (2.9) h
    Hungary 515 (3.4) h
    Slovenia 513 (2.2) h
    Czech Republic 511 (2.4) h
    Austria 508 (2.6) h
    Italy 508 (2.6) h
    Slovak Republic 507 (3.8)
    Sweden 504 (2.0)
    Kazakhstan 501 (4.5)TIMSS Scale Centerpoint 500
    Malta 496 (1.3) i
    Norway 495 (2.8)
    Croatia 490 (1.9) i
    New Zealand 486 (2.6) i
    Spain 482 (2.9) i
    Romania 482 (5.8) i
    Poland 481 (2.2) i
    Turkey 469 (4.7) i
    Azerbaijan 463 (5.8) i
    Chile 462 (2.3) i
    Thailand 458 (4.8) i
    Armenia 452 (3.5) i
    Georgia 450 (3.7) i
    Bahrain 436 (3.3) i
    United Arab Emirates 434 (2.0) i
    Iran, Islamic Rep. of 431 (3.5) i
    Qatar 413 (3.5) i
    Saudi Arabia 410 (5.3) i
    Oman 385 (2.9) i
    Tunisia 359 (3.9) i
    Kuwait 342 (3.4) i
    Morocco 335 (4.0) i
    Yemen 248 (6.0)

  7. Panie Xawery
    za:
    „Po pierwsze, to MEN popada w grzech szowinizmu i rasizmu: Polska młodzież jest bardziej uzdolniona od młodzieży z Niemiec, a zwłaszcza z Ghany? Nie wspominając już nawet o młodzieży z Izraela — każdy prawdziwy polski patriota przecież doskonale wie, że Żydzi i Murzyni są mniej uzdolnieni od Polaków.”

    kocham pana, panie (Sułku)Xawery.

    Podoba mi się, że ktoś tak wgłębia się w temat i ma podobne wrażenia odnośnie powyżej omawianych badań. Nie czuję się inna :)
    pozdrawiam

    • O ten grzech szowinizmu to nawet nie MEN, ale sam Premier Donald Tusk się otarł…
      Coś zresztą w tym jest, bo wynik PISA jest bardzo silnie zależny od „inteligencji językowej” — zdolności do językowej analizy tekstu zadania. Dotyczy to nie tylko testu na czytanie, ale też i przyrody i matematyki.
      Podkreśla to Sjoberg: raz, że wyniki indywidualnych uczniów we wszystkich trzech testach są bardzo silnie skorelowane, dwa, że dziewczynki osiągają statystycznie lepsze wyniki od chłopców nawet w teście z matematyki, trzy, że w w krajach o licznej mniejszości, nie mającej jednak szkolnictwa w swoim języku, te mniejszości (odpowiadające w urzędowym języku) wypadają znacznie gorzej od większości, posługującej się na co dzień głównym językiem.
      W tym kontekście zaskoczeniem jest dla mnie tak wysoka pozycja Estonii — czyżby pokazywało to, że powiódł im się ostatecznie program asymilacji Rosjan?

      • I znowuż się zgodzę, (choć w innych wpisach kilka lat temu obraziłam się na pana). Testy są jednokierunkowe, jeśli chodzi o rodzaj wymaganej inteligencji. Jak się to ma w takim razie do coraz bardziej rozpowszechnianej wśród instytucji edukacyjnych, a więc i OKE, teorii inteligencji wielorakiej? Nijak.

        Według mnie, zaoszczędzono by w Polsce pieniądze, gdyby zamiast trzech dni testów (druk tysięcy kartek) zrobiono każdemu w trzeciej klasie we wrześniu Wechslera test na inteligencję. Wyszłoby na to samo.

        Jeśli powstanie obywatelska inicjatywa na rzecz zniesienia testów w gimnazjum, z chęcią się podpiszę.
        A w tym tygodniu mam w nosie „przygotowanie do testów” i plan, który dwa tygodnie sobie z rozpaczą ułożyłam, by zapanować nad uciekającym czasem do kwietnia. Robię sobie i uczniom przyjemność i przez tydzień popracujemy nad różnego rodzaju reportażami, by mogli zrobić swój. Najwyżej po tym tygodniu będę miała kaca moralnego, że jeszcze tyle rzeczy nie zrobiłam do egzaminu…

        • Agnieszko
          Te różne teorie przemijają jak spadające gwiazdy. Howard Gardner wycofuje się z inteligencji wielorakich (był w Polsce niedawno i mówił na ten temat).
          Jeśli chodzi o test Wechslera, to jak byłam dyrektorem, to robiliśmy to go szkole. Wyniki były odwrotnie proporcjonalne do stopni i do wyników matur.
          Najwięcej to ufam zadaniu subiektywnemu nauczyciela, który solidnie pracuje z uczniem przez kilka lat.
          Na tym blogu na pewno rozgrzeszamy Panią za pisanie reportaży.
          Ja z mojego dawnego dzieciństwa pamiętam tylko te lekcje polskiego, na których sama coś tworzyłam, dyskutowałam i było brane pod uwagę moje zdanie.
          Pozdrawiam
          Danusia

          • Danusiu….

            Jestem po testach próbnych. Mam dwie klasy. Jedna to bardzo zadbane dzieci rodziców zamożnych, wykształconych, inwestujących w dzieci i w ich wychowanie, rozwijających je we wszelkie możliwe strony. Wyniki wyszły bardzo dobre. ale wyniki w drugiej klasie… Mogę użyć obecnie wszędzie nadużywanego wyrazu? Masakra. Na 28 – 10 nie napisało rozprawki, bo nie zrozumiało tematu albo położyło się na ławce i stwierdziło, że pisać nie będzie. 6 osób w swoim przekonaniu coś napisało – czyli kilka linijek tekstu, które czytam i nijak nie mogę zrozumieć. Reszta, czyli 12 osób – zredagowało rozprawki na bardzo dobrym poziomie.
            Zadania zamknięte… o tych na myślenie – czyli skojarzenie faktów, nie wspomnę nawet. O reszcie, wymagającej na przykład policzenia sylab w kilku wersach bajki, chyba też nie, ze zrozumiałych względów. Z jednego zadania przez nich zrobionego jestem dumna, bo po trzech latach wałkowania potrafią wskazać przyporządkować do danego cytatu środki stylistyczne…, ale już odróżnić wiersz od prozy niekoniecznie…
            Jaka to klasa? Połowa z nich trafiła do niej w tym roku szkolnym, po niezdaniu w drugiej tylu osób, że OP nie zgodził się na utrzymanie dwóch mało licznych klas. Z tą właśnie połową pracowaliśmy przez całą pierwszą klasę nad nauczeniem ich zasad życia w społeczeństwie oraz staraliśmy się przetrwać z powodu obecności kilku uczniów o wysokim stopniu demoralizacji. Dzieci pochodzą z rodzin ubogich, bez szansy na cokolwiek, o szkole muzycznej, dodatkowym basenie, czy 10 złotych na przedstawienie mogą tylko pomarzyć. Ich motywacja do nauki (a czasami do życia) jest niska. chociaż lubimy się wzajemnie i szanujemy, nijak nie mogę wpłynąć na uczenie się w domu, na zdolność kojarzenia faktów, na przeczytanie lektury czy zrobienie czegokolwiek po wyjściu ze szkoły, z nią związaną. Połączono ich z dzieciakami z klasy troszkę spokojniejszymi, bardziej rozwiniętymi, z podobnymi życiowymi problemami… Przez miesiąc przecież wszyscyśmy się oswajali z tą sytuacją. Na szczęście uczyłam obie klasy, więc łatwiej było mi z nimi razem pracować, bo znam każdego z nich.
            Co mam robić? Co o tym myśleć? Jak sobie z tym poradzić? I jak zaplanować pracę na najbliższe miesiące? Chyba nie muszę mówić, że ułożony dwa tygodnie temu plan wziął w łeb…
            A może po prostu nie jestem w stanie przeskoczyć pewnych rzeczy?

            • Agnieszko
              Skąd w nas (nauczycielach) taka odpowiedzialność za innych. Starasz się i robisz co można i to na pewno jest dobrze. Znasz uczniów, wiesz o nich wiele, to też bardzo dobrze.
              Zaufaj sobie. Tak trzymaj.
              Jest duża szansa, że cię w końcu zaskoczą.
              Pozostaje ci cieszyć się ich drobnymi sukcesami. Bo łatwo cieszyć się, gdy uczniowie są wybitnie zdolni, a trudniej, gdy maja mniejsze możliwości.
              Zapewniam cię, że będą dobrze wspominać lekcje z Tobą, a to w sumie jest najważniejsze – NIE KRZYWDZIĆ.
              Pozdrawiam i napisz, jak się sytuacja rozwija
              Danusia

  8. Magdalenki wyszły troszkę przepieczone, ale dały się zjeść ;)

    Zachwyt medialny nad PISA chyba mija: zachwycił się Premier, MEN, ZNP, IBE, a nawet ex-minister Hall, ale poza tym tego zachwytu już nie słychać. Kto by się pojawił w Tok-FM, od prof.Czapińskiego po prof.Mankiewicza, to komentuje te wyniki dość chłodno.

    ” Ale trochę nie rozumiem, czy w Finlandii dzieci nie lubią szkoły i uczenia się przedmiotów ścisłych? ”
    Szkołę lubią, ale nie interesują się przedmiotami ścisłymi. Zarówno deklarują ten brak zainteresowania, jak i wykazują go w mierzalny sposób, np. w porównaniu z Holendrami w bibliotece pożyczają częściej powieści niż książki popularnonaukowe, rzadziej też widzą swoją przyszłość w zawodach bazujących na naukach ścisłych — efekt widać po tym, że Finlandia ma zbyt mało absolwentów politechnik i musi ściągać inżynierów z innych krajów.

    ” nie warto mieć szkoły, która skutecznie uczy do jakiegoś celu, ale warto mieć szkołę, gdzie uczeń uczy się z przyjemnością, a nauczyciel się spełnia w pracy ”
    Tu się nie zgodzę. Uczenie się z przyjemnością i spełnianie w pracy są środkami do osiągnięcia podstawowego celu edukacji, czy porządne wykształcenie dziecka. I to „porządne wykształcenie” szkoła musi określić. Na dziś jest nim podstawa programowa.
    Jak na osiągnięcie takiego celu nawet w uprzyjemniony dla ucznia sposób i ze spełnianiem się zawodowym nauczycieli, to trochę szkoda poświęcać 13 lat życia (jakkolwiek byłoby przyjemnie) i około 200,000zł z kieszeni podatników.

    ” jak myślisz, o co w tej szkole i nauczaniu chodzi? ”
    Żeby dzieciaki rozwijały się intelektualnie, interesowały światem i miały okazję to zainteresowanie zaspokajać. Z pewnością nie chodzi o to, żeby po 10 latach nauki umiały porównać wysokość słupków na wykresie — takie umiejętności są wyłącznie efektem ubocznym uczenia się tego, co je interesuje.

    @ Paweł
    PISA jako obraz zróżnicowania kulturowego.
    Bardzo to ładnie widać po Finlandii, gdzie są dwa języki: większość robi ten test po fińsku, około 1/4 po szwedzku. Ci szwedzkojęzyczni mieszkańcy Finlandii chodzą do takiej samej szkoły, jak fińskojęzyczni, uczą się według tych samych programów. Ale wyniki PISA dla tych dwóch grup są dość różne, a wyniki mniejszości szwedzkiej są dużo bliższe wynikom Szwedów ze Szwecji, niż Finów — choć system edukacyjny w Szwecji jest mocno różny od fińskiego. A żeby było śmieszniej, to fińscy Szwedzi wypadają w PISA trochę gorzej od Finów, choć w całości społeczeństwa Finlandii ta szwedzkojęzyczna mniejszość ma ponadprzeciętny status materialny i społeczny i jest silnie nadreprezentowana w elitach Finlandii.

    @ Waldek
    Dzięki za te zadania! Zaraz je przejrzę.

    ” Zagadką jest, że takie kraje jak USA i Anglia wypadły wysoko w TIMSS, a żenująco nisko w PISA. ”
    Podobnie jak Polska, Finlandia też ma doskonałe wyniki PISA a słabiutkie w TIMSS. Do porównania z PISA lepiej nadają się wyniki TIMSS dla 8 klasy.
    Widzę dwie przyczyny takich różnic:
    1. TIMSS pokrywa znacznie szerszy zakres — wyniki uwzględniają w zbalansowany sposób również udział uczniów umiejących dużo ponad średnią, podczas gdy wynik PISA zdominowany jest przez wpływ uczniów najgorszych. PISA dyskryminuje kraje o dużej rozpiętości umiejętności uczniów.
    2. PISA stała się w wielu krajach (od Finlandii i Polski zaczynając) elementem sprzężenia zwrotnego systemu edukacji, która „uczy w stylu PISA”: na przykład wzoruje na PISA krajowe testy, dostosowała programy do wymagań PISA (wyszukiwanie prostej informacji explicite podanej w treści zadania), etc. Amerykańskie, angielskie, szwajcarskie, etc. szkoły się nie dostosowały do tego stylu. Austria do tej pory nie wprowadziła zewnętrznych egzaminów testowych.

    Warto przejrzeć raporty TIMSS i PIRLS: http://timss.bc.edu/ — w szczególności raport z 2008 z poszerzonego badania.

  9. @ Pytanie matematyczne

    Statystyka przyjęć na uniwersytet pokazuje, że procent przyjęć kobiet jest wyższy na każdym z dwóch wydziałów, a jednocześnie jest niższy dla obydwu wydziałów razem. Czy poniższe obliczenia są poprawne, czy zawierają błąd?
    A. Wydział nauk społecznych.

    Kobiety: przyjęto 30% (100 podań, przyjęto 30)
    Meżczyźni: Przyjęto 20% (50 podań, przyjęto 10)

    B. Wydział nauk ścisłych.

    Kobiety: przyjęto 80% (50 podań, przyjęto 40)
    Meżczyźni: Przyjęto 70% (100 podań, przyjęto 70)

    C. Obydwa wydziały razem.

    Kobiety: przyjęto 47% (150 podań, przyjęto 70)
    Meżczyźni: Przyjęto 53% (150 podań, przyjęto 80)

    Procent przyjęć w obu wydziałach jest wyższy dla kobiet (30% i 80%) niż dla meżczyzn (odpowiednio 20% i 70%). Czy zatem procenty dla obu wydziałów razem, odpowiednio 47% dla kobiet i 53% dla mężczyzn, są poprawnie obliczone, czy nie?

  10. To jest pytanie językowo-logiczne.
    Obliczenia są OK.

    problem-nieporozumienie tego paradoksu tkwi w definicji pojęcia „procent przyjęć kobiet”, które jest tu użyte nizgodnie z jego intuicyjnym językowym znaczeniem.

    (Nieprecyzyjna) fraza „przyjęto 30% kobiet” jest rozumiana, zgodnie z powszechnym rozumieniem języka, jako „30% spośród przyjętych to kobiety, a reszta, czyli 70% przyjętych, to mężczyźni”.
    A Twoja zagadka używa go w innym znaczeniu: „30% kandydatów płci żeńskiej został przyjęty a o odsetku przyjętych mężczyzn nie wiemy nic”.

    Jeśli przeformułujesz narrację zagadki tak, by nie myliła tych pojęć, to przestanie być ona paradoksem.

  11. Wszystkie procenty w tym zadaniu są rozumiane w ten sam sposób: “30% kobiet przyjęto” oznacza “30% kobiet z tych które złożyły podania zostało przyjętych”. Liczby w nawiasie (100 podań, 30 przyjętych) są podane aby uniknąć jakichkolwiek dwuznaczności o jaki procent chodzi. To samo dotyczy mężczyzn. Mimo tej precyzji języka, jednak procent przyjętych kobiet (z tych kobiet które złożyły podania) jest niższy dla obydwu wydziałów policzonych razem, a wyższy dla obydwu wydziałów osobno. Pytanie, czy to ma sens i jaki?

    • Ma sens i jest poprawne rachunkowo. Nie ma w tym nic dziwnego.
      Powtarzam: paradoks pochodzi nie z obliczeń, tylko z przeniesienia intuicyjnego rozumienia pojęcia na termin, któremu przypisano myląca nazwę.
      Mylące jest właśnie używanie terminu niezgodnie z jego powszechnym znaczeniem.

      A jeśli pozbędziesz się tego PSYCHOLOGICZNEGO biasu, zawieszonego na przedefiniowaniu znaczenia, to chyba nie muszę Ci robić wykładu z dodawania ułamków?

      • Nie wiem dokładnie, co masz na myśli przez “intuicyjne rozumienie pojęcia”, zakładam, że chodzi Ci tu o pojęcie procentu i moje “mylące” rozumienie, niezgodne z jego powszechnym znaczeniem?

        “47% kobiet przyjęto” = “70 kobiet przyjęto na 150 złożonych przez nie podań”

        Co tu jest niezgodne z powszechnym użyciem?
        Innego rodzaju procent byłby “47% ze wszystkich przyjętych to kobiety”, ale w zadaniu nie chodzi o ten procent, tylko o to, że “47% kobiet zostało przyjętych”, podając jednocześnie liczby w nawiasie, na podstawie których ten procent jest obliczony.
        Krótko mówiąc, nie rozumiem dlaczego twierdzisz, że zadanie polega na mylącym użyciu terminów?

    • ” Nie wiem dokładnie, co masz na myśli przez “intuicyjne rozumienie pojęcia ”
      Chyba napisałem wyraźnie, ale powtórzę — naturalnym rozumienienm pojęcia „przyjęto 30% kobiet” jest to, że 30% z osób przyjętych na studia to kobiety. I ta intuicja burzy się w Twoim umyśle przewciwko oczywistemu skądinąd wynikowi.
      Wpadłeś pułapkę w tego, że choć wiesz na świadomym poziomie, że w zadaniu użyto słów niezgodnie z ich codziennym znaczeniem, to Twoja podświadomość (intuicja) interpretuje je tak, jakby były użyte w powszechnym znaczeniu.

      Jeśli odrzucisz ten bagaż intuicyjnego skojarzenia, to nie ma niczego dziwnego ani niepokojacego: preferowany przez mężczyzn wydział jest znacznie liczniejszy.

      Wytłumaczę jak gimnazjaliście, czyli wyostrzając liczby:

      Na maleńki, jednoosobowy wydział Gender Studies aplikowało sto kobiet i jeden mężczyzna, przyjęto kobietę. 1% przyjmowalności kobiet, 0% przyjmowalności mężczyzn, kobiety górą.

      Na 99-osobowy wydział inżynieryjny aplikowała tylko jedna kobieta i 100 mężczyzn. Dwóch chłopców odpadło. Zdawalność kobiet to 100%, a mężczyzn tylko 98%. Znów kobiety górą.

      Ale na całych studiach mamy 98 chłopców i 2 kobiety, Niech wydział Gender Studies napisze doktorat z tego, że recruitment policy tej uczelni jest dyskryminacyjna!

      Co jest błędnego w tym, że wydział, cieszący się zainteresowaniem chłopców jest większy od wydziału, cieszącego się zainteresowaniem dziewcząt? Oczywiście — jest to politycznie niepoprawne, domagajmy się, by każda politechnika otwierała wydziały gender studies co najmniej równie liczne, jak budowa maszyn…
      Ale matematycznie nie możesz temu nic zarzucić.

      • Jeśli chcesz gimnazjalistom zwracać uwagę, to musisz się poprawić w konstrukcji swoich przykładów. Twój przykład, 1% zdawalności dla kobiet na Gender Studies, 100% zdawalności na Inżynierię i 2% zdawalności na obydwu kierunkach razem, nie ilustruje w żaden sposób postawionego przeze mnie pytania (miało być, wyższy procent dla obydwu kierunków osobno, a niższy dla obydwu kierunków policzonych razem). Zresztą wycofuję to zadanie, ponieważ widać, że nie ma ono tutaj sensu.

      • No to mój drogi gimnazjalisto, przelicz sobie, że na tym uniwersytecie przyjęto na Gender-studies 1% kobiet i 0% mężczyzn, na inżynierię 100% kobiet i 98% mężczyzn (za każdym razem większy odsetek kobiet), ale w skali całej uczelni przyjęto 2% kandydujących kobiet (2 ze 100) i 98% kandydujących mężczyzn (98 ze 100), czyli wyższy odsetek mężczyzn.

        Cóż niezrozumiałego jest w tym, że duży męski wydział (na który przyjęto wszystkie spośród nielicznych kandydatek i niemal wszystkich kandydujących mężczyzn) w skali całej uczelni dominuje nad małym żeńskim (na który nie przyjęto w ogóle mężczyzn, ale zostawił po sobie mnóstwo odrzuconych kandydatek)?

        • No cóż, pomyliłem się, źle zrozumiałem Twój przykład. Nie każdy może być takim nieomylnym, wielkim autorytetem jak Ty.

          • Omylnym. Mnie też trzeba pilnować w rachunkach, zwłaszcza późnym wieczorem i wcześnie rano :)

            W tym przykładzie przyjęto niecałe 2% kobiet (2 za 101, a nie ze 100) i ciut ponad 97% mężczyzn (98 ze 101). Ale nadal odsetek przyjętych mężczyzn jest istotnie wyższy…

    • To ja Panu wyjaśnię:

      Mamy jeden mały babski wydział, na który dostaje się tylko część kandydatek, ale żadni chłopcy.
      Mamy drugi duży męski wydział, na który dostaje się większość facetów, ale wszystkie spośród nielicznych dziewczyn też się dostają.

      W sumie większość dziewczyn (niemal wszystkie startują do małego wydziału) odpada, a większość chłopców się dostaje na swoje wymarzone studia.
      Po prostu spośród równej liczby chłopców i kobiet większość chłopców znajdzie miejsce na dużym wydziale dla facetów, a spośród tylu samu dziewczyn tylko niektóre znajdą miejsce na babskim wydziale.

      Pozdrawiam Pana Xawra!

  12. „edukacja dzieci i młodzieży jest podstawą tego co będzie naszym potencjałem w przyszłości a przede wszystkim kształtowaniem ich mentalności ”

    Czy autorzy i zwolennicy badań PISA potrafią zmierzyć ów „potencjał” i ową „mentalność” ? Bo jeśli nie potrafią, to nie rozumiem co, a przede wszystkim po co, mierzą swoimi testami ?

    Testowanie PISA kojarzy mi się z pomysłem, żeby jedna i ta sama firma produkowała słodycze oraz pasty do zębów, i do tego jeszcze utrzymywała sieć gabinetów dentystycznych. Chciałbym mieć taką firmę.

    • Byłam na festiwalu Watch Docs na filmie – Ogień we krwi.Tam jest o firmach farmaceutycznych, które jeszcze dodatkowo zbijają kasę za patenty leków.
      To jest dopiero interes.

      Ale z drugiej strony doceniłam matematyków pracujących naukowo i udowadniających różne twierdzenia, ci chociaż nie patentują swoich dowodów.
      Danusia

    • Matematycy nie patentują — oj! Przypomnij sobie historię „wojny o kryptografię klucza publicznego”.

      Clifford Cocks wymyślił algorytm (dziś zwany RSA) w 1973, ale brytyjskie służby specjalne położyły na tym łapę i nawet nie opatentowały, ale obłożyły klauzulą tajemnicy państwowej te twierdzenia.

      Kilka lat później (1977) w USA, Rivest, Shamir i Adleman opracowali ten algorytm kryptograficzny na nowo (stąd nazwa: RSA), opublikowali i opatentowali. A algorytm sprowadza się do sprytnego zastosowania Małego Twierdzenia Fermata.
      Aż do 2000 algorytm RSA był chroniony amerykańskim patentem.
      Do tej pory mam stary t-shirt z wydrukowanymi na nim wzorami RSA — w którym to t-shircie w ramach protestu przeciwko takim praktykom bezczelnie przeszedłem przez kontrolę celną w Nowym Jorku, nie niepokojony jednak przez celników za przemyt własności intelektualnej…

      Phil Zimmermann, który w oparciu między innymi o RSA stworzył w 1991 standard kryptografii komputerowej i realizujący go darmowy program na użytek zwykłych ludzi (Pretty Good Privacy — PGP) był latami ciągany po sądach pod pretekstem naruszenia patentu, a nawet wylądował w areszcie.

      Jeśli jakieś odkrycie matematyczne ma dające się zidentyfikować znaczenie praktyczne, jak RSA, na którym do dziś bazuje niemal całość weryfikacji kart płatniczych, przelewów elektronicznych, telefonii komórkowej, podpisu elektronicznego, a nawet spora część rządowej i militarnej szyfrowanej łączności, to niestety jest patentowane i utajniane.

      A Pierre de Fermat — nawet nie wyobrażał sobie, że tak abstrakcyjne i oderwane od realności twierdzenie może mieć tak wielkie praktyczne zastosowania…

  13. Masz rację, zapomniałam o kryptologii, a to kawał matematyki. Myślałam o takich zwyczajnych twierdzeniach z geometrii algebraicznej, czy topologii.
    W matematyce liczy się tylko – kto pierwszy. W historii (geometria nieeuklidesowa) notujemy wstrząsające historie walki o pierwszeństwo. Ale potem, to tylko splendor, że ktoś posługuje się moim twierdzeniem.
    W sumie jest tak, ze to państwo sponsoruje matematyka, więc w naturalny sposób jego dzieło jest własnością Państwa.
    Jakby na to nie patrzeć, to badania nad lekami w dużym zakresie też sponsoruje państwo, czyli obywatele, dlaczego więc zyski czerpie firma?
    D

  14. PISA, wbrew niemal wszystkim, którzy tak ochoczo cytują i dyskutują wyniki tego testu – nie mówi o „obiektywnych faktach” i jest wyłącznie oceną dokonaną w sposób silnie znaczony specyficzną perspektywą aksjologiczną. Przez polityków natomiast wyniki te cytowane są oczywiście z perspektywy zarówno prezentowanej przez nich zwykłej głupoty nadętych urzędasów, jak i z propagandowej perspektywy ich resortów i partii. Doprawdy przeraża w tych cytatach rozmiar bezmyślności z jednej strony i złej woli oraz propagandy z drugiej. I powszechna niemoc intelektualna w zderzeniu z twardymi rzekomo lub rzeczywiście danymi.

    Próbka faktów z PISA:

    Jeśli w 2000r. w PISA stwierdzono, że 24% polskich uczniów demonstrowało poważne kłopoty w czytaniu (co oznacza funkcjonalny lub literalny analfabetyzm) i że ten odstek spadł w Polsce do 15% w roku 2009 i nieco ponad 10% w roku 2012, to niewątpliwie jest to jakiś fakt i jakaś poprawa w Polsce nastąpiła. Może nawet rzeczywiście jest to poprawa tak znaczna, jak to sugerują cytowane liczby. Nie jest jednak w najmniejszym stopniu jasne, czy da się tę poprawę wiązać w jakimkolwiek stopniu ze zmianami polskiej szkoły, a już zwłaszcza w gimnazjach, które – sądzę – nie uczą już dzieci czytania. Ale fakt wzrostu pozostaje rzeczywiście faktem. Moim zdaniem jakoś to pokazuje awans cywilizacyjny grup dotąd najbardziej upośledzonych i niewiele więcej, ale to byłby przedmiot dyskusji, która mogłaby się odbywać i byłaby ważna – gdyby ją w ogóle podejmowano.

    Jest w wynikach PISA jednakże również inny fakt. Otóż w owym fatalnym roku 2000 mieliśmy w Polsce 25% uczniów, którzy w testach PISA osiągnęli wyniki z najwyższego przedziału. A ten akurat wskaźnik w 2009 roku spadł do poziomu nieco ponad 7%, a w 2012 zanotowaliśmy tu nieco ponad 10%. Ten spadek był więc zdecydowanie bardziej dramatyczny w górnym końcu skali niż wzrost w dolnym, gdyby rzecz mierzyć w 2009 roku, a mniej więcej podobny, jeśli się rozważa przedział 2000 – 2012. Ten spadek jest w każdym razie również faktem. Podobnie, jak w pierwszym przypadku niewiele wskazuje, że szkoła ma z nim cokolwiek wspólnego. Tak, czy inaczej zarówno wzrosty, jak i spadki tak definiowane są faktami, które większych wątpliwości nie budzą, choć da się podnieść wiele zastrzeżeń, co do ich rzeczywistego znaczenia. To jednak zostawmy, bo dyskusji o tych danych, jak powiedziałem, nie ma.

    Nawet w przedziale 2000 – 2009 ogólna punktacja umiejętności czytelniczych wzrosła w Polsce wyraźnie. Pomimo nieporównanie głębszych spadków w górnej niż wzrostów w dolnej części skali. Ten ogólny wzrost zatem nie jest faktem, a wyłącznie oceną. Oceną jest rownież miejsce Polski w rankingach.

    W skali PISA wzrosty w dolnej części skali po prostu więcej ważą niż spadki w górnej. Wolno autorom tych badań taką miarę przyjąć. Błędu w metodzie tu nie ma. Jest tylko specyficzny wybór. Kiedy jednak dyskutujemy wyniki, powinniśmy sobie zdawać sprawę z charakterystycznej symetrii skali PISA. Dla każdego, kto umie myśleć samodzielnie, powinno być jasne, że nie istnieje i nie może tu istnieć żadna miara obiektywna umożliwiająca ilościowe porównania wiedzy na różnych poziomach, z różnych obszarów itd. Powinno być jasne, że chodzić może wyłącznie o oceny – a najwyraźniej wszyscy daliśmy sobie skutecznie wmówić, że wielkie, międzynarodowe badanie szacownej instytucji dostarcza nam wiedzy obiektywnej.

    Kiedy więc prof. Marciniak, patronujący obrażającym rozum zmianom podstawy programowej z matematyki z 2008 roku, pokrzykuje dzisiaj w wywiadach, że faktów podważać się nie da i wygłasza z tej okazji nierozważnie bojowe wyzwania pod adresem Azjatów, z którymi teraz będziemy się ścigać, to ja stawiam, że zwyczajnie kłamie. Jest matematykiem, na Boga! – musi wiedzieć, co rzeczywiście znaczą dane PISA. Jeśli nie wie, powinien natychmiast wylecieć ze wszystkich swych posad w resortach nauki i edukacji. Kłamie ordynarnie min. Szumilas, kiedy się chwali wzrostami w dolnej części skali w latach 2000 – 2009, zapominając o górnej części skali, gdzie sytuacja pogorszyła się dramatycznie. Kłamie również min. Hall, która o górze skali sobie ostatnio przypomniała, ale informuje nas wyłącznie o latach 2009 – 2012, zapominając poinformować o spadkach wcześniejszych, które raczej już odwracalne nie będą. Kłamią wszyscy z nich prezentując nam dane PISA jako obiektywne informację o szkole. Albo nie kłamią, a tylko demonstrują niewiedzę, która powinna ich jednak dożywotnio kompromitować, skoro zajmują lub zajmowali te stanowiska, które zajmowali.

    OECD padła ofiarą własnego sukcesu. Przed rokiem 2000 tamtejsi edukacyjni eksperci próbowali snuć swoje analizy, projektując możliwe scenariusze rozwoju publicznych sektorów oświatowych i zastanawiając się nad szansami przełamania betonowego oporu kadrowego aparatu oświaty i społecznie funkcjonujących przeświadczeń. Badania PISA – pomyślane jako próba skonstruowania wspólnej miary – stały się natychmiast źródłem ekscytacji resortów badanych krajów i wyznaczyły im prosty cel i wygodne kryterium. Eksperci OECD lądują na posadach w resortach edukacji i odwrotnie – PISA to dzisiaj ogromny mechanizm utrzymujący się ze wsparcia rządów. Raporty PISA niewiele już mają wspólnego z badaniami – jak, nie przymierzając, badania oglądalności dawno przestały być badaniami, nie mają i nie muszą mieć niczego wspólnego z jakąkolwiek prawdą, ponieważ stały się wygodną umowną walutą reklamowych rozliczeń.

    Moim zdaniem z tej historii powinien płynąć morał. W obliczu tak ordynarnych kłamstw i manipulacji nie powinniśmy wspierać kłamców. Nie powinniśmy brać udziału w sposnorowanych i zamawianych przez kłamców badaniach i programach. Nie powinniśmy korzystać z publicznych funduszy interesownie oferowanych przez urzędników MEN. Powinniśmy wspierać badania i projekty niezależne. Organizacje pozarządowe związane z edukacją albo praktycznie nie istnieją, albo żyją z programów zamawianych, kontrolowanych lub wręcz zlecanych przez rządowe agendy. To tłumi krytykę – i tak jak w publicznym dyskursie nie istnieje krytyczna analiza PISA, choć ona jest tak prosta, jak to powiżej przytoczyłem, tak żadna głębsza analiza krytyczna polskiej i europejskiej polityki oświatowej nie istnieje również. Na badania w tym kierunku zwyczajnie nie ma grantów. Ja sądzę, że w tej sytuacji wstyd jest wziąć choćby złotówkę od MEN i jego agend.

    Proszę, wybaczcie mi ostrość powyższego, ale trudno o spokój wobec tego morza absurdów wygadywanego w mediach o PISA.

    • 1. Średnia to szatan. Zawsze to wiedziałam
      2. Jak to się stało, że moje pokolenie sobie radzi i coś umie, a nie mieliśmy rankingów, badań wyników, porównywania itp?
      Danusia

      • :) Średnia to wcale nie szatan. Chaos jest diabelstwem, harmonię tworzą aniołowie.

        Skoro Twoje pokolenie sobie radzi i moje również, to powinniśmy umieć widzieć, co w tych średnich siedzi. A wszyscy zachowujemy się tak, jakby nikt z nas nie umiał pojąć najprostszych faktów. Badania są dużo warte. Nawet badania PISA – chociaż nie wtedy, kiedy badacze są zwyczajnie sprzedajni. W PISA dawno już przestało chodzić o analizę trendów, a zaczęło wyłącznie właśnie o rankingi. To rankingi są zamawiane, a nie badania – na tym polega problem. Popularność PISA to rankingi, a nie rzetelne dane. Tych nikt nie chce, nawet jeśli się je w PISA w dalszym ciągu udaje znaleźć.

        Bo w PISA mimo wszystko nadal są fakty. W ostatnim raporcie na przykład – tym samym, którym wszyscy tak się chwalą – Polska znajduje się na szarym końcu, gdy idzie o zadowolenie uczniów ze szkoły. Korea – żeby było śmieszniej – jest nawet za nami. Spadki w górze i wzrosty w dole skali również są faktami, choć niezupełnie wiemy, co dokładnie znaczą.

        W mojej ocenie ten akurat współczynnik niezadowolenia uczniów niewiele się zmienił od „naszych czasów”. Moje wspomnienia ze szkoły są fatalne. Moim zdaniem szkoła była mniej więcej zawsze tak samo zła, choć niekoniecznie aż tak głupkowata jak jest dzisiaj. To jest po prostu dość zły pomysł. Jeśli w szkole jest gorzej dzisiaj niż było kiedyś, to moim zdaniem dlatego, że posłuszeństwo, któremu kiedyś jako uczniowie bezwględnie podlegaliśmy, dzisiaj zwyczajnie przestaje działać, a przy całym partnerstwie dzisiaj modnym szkoła nie umie znaleźć innego pomysłu. Partnerstwo więc oznacza kapitulację kompletną, czyli kolorowania drwala i nową podstawę programową.

        Problem z badaniami, raportami i rankingami, to obezwładniający klientyzm i intelektualna impotencja. Nikt już tych raportów nie próbuje czytać samodzielnie. Jak to się dzieje, że nie dostrzegamy absurdu w tych eksplozjach propagandowego zachwytu? Prof. Marciniak wykrzykuje, że dowody są niezbite i nikt nie wstaje, żeby mu powiedzieć, że bredzi. On sam prawdopodobnie wie o tym znakomicie. Nie jest ministrem ani posłem. On tylko pracuje w resorcie i bardziej to ceni niż akademickie wartości, które przywykliśmy wiązać z jego profesorskim tytułem. Klientyzm jest najłagodniejszym określeniem, które mi przychodzi do głowy. Dziennikarze natomiast zachowują się „w zderzeniu z twardymi danymi” po prostu jak niczego nie rozumiejący idioci. Mnie to do żywego przypomina czasy mojej własnej młodości za Gierka. Tobie nie?

  15. Oprócz wszystkich innych zastrzeżeń do testów PISA, trzeba też dodać, że PISA nie polega na tym, że wszyscy uczniowie uczestniczący w teście (średnio 5000-10000 w każdym kraju) dostają ten sam zestaw pytań.

    Każdy kraj dostaje zadania w 13-u różnych pakietach. Jeden pakiet zawiera zadania na 30 minut testu. Każdy uczeń dostaje 4 pakiety (test trwa 120 minut). Niektóre pakiety zawierają wyącznie łatwe pytanie, niektóre tylko trudne, a zatem część uczniów otrzymuje same łatwe pytania, część same trudne, a część otrzymuje zrównoważony zestaw. Wyniki dla każdego ucznia są ekstrapolowane na resztę pytań, których uczeń w rzeczywistości nie rozwiązuje.

    Dokument PISA (Assessment Framework) precyzuje to w ten sposób:
    “Similar to previous PISA cycles, the paper-and-pen assessment was designed as a two-hour test comprising four 30-minute clusters of test material from one or more cognitive domains. Information was obtained from about 390 minutes worth of test items. For each country, the total set of questions was packaged into 13 linked test booklets.
    Each booklet was taken by a sufficient number of students for appropriate estimates to be made of the achievement levels on all items by students in each country and in relevant sub-groups within a country (such as boys and girls, and students from different social and economic contexts). Students also spent 30 minutes answering a background questionnaire. Applying a rotated design to the student questionnaire allowed for more material to be used in the study. Some questions were answered by all students, as in previous cycles, some by sub-samples of students.”

    Uzasadnienie tej metody testowania znajduje się w przedostatnim zdaniu, że w ten sposób może być wykorzystana w teście większa liczba zadań czyli 13 pakietów zamiast 4 pakiety. Problem w tym, że uczniowie nie rozwiązuje tych samych zadań, a także w tym, że pakiety nie są równoważone pod wzgędem trudności, tylko innych kategorii.

  16. Z opóźnieniem dowiedziałem się czegoś, o czym nie wiedziałem wcześniej o badaniach PISA. Obawiam się, że to może wyjaśniać po pierwsze wzrosty zaobserwowane w ostanim badaniu zwłaszcza przy matematyce, ale po drugie również tezy min. Hall, że to jej podstawa programowa przyniosła tak fantastyczne owoce – zwłaszcza, że wśród autorów polskich badań PISA (finansowanych w całości przez MEN, żeby było jasne) dumnie zasiadł prof. Marciniak, który się uważa (prawdopodobnie słusznie niestety) za współautora tego sukcesu.

    Otóż PISA stosuje różne pakiety pytań testowych. Nie jest tak, że uczniowie odpowiadają na całym świecie na te same pytania. One są zróżnicowane. Opis metodologii PISA dokładnie tego nie wyjaśnia, choć dopiero będę próbował się przebijać przez informacje dotyczące ostatnich badań. Publikowano już krytyczne uwagi o tym, że dobór pakietu potrafi radykalnie zmienić wynik – tak np. że Dania może zająć drugie, albo trzydzieste piąte miejsce w rankingu, zależnie od tego, który pakiet wybierzemy do analizy. PISA na te zarzuty odpowiadała – informując jednak zaledwie o tym, że sytuację kontrolują, a krytyka jest w związku z tym bezzasadna i jako tako niestosowna.

    W papierach PISA, które znam, opisywano procedury zmierzające do wyeliminowania zniekształceń kulturowych. W niektórych zakątkach świata istnieje np. szansa, że dzieci nie wiedzą, co to McDonald’s, a umieszczenie obcego i nieznanego im pojęcia w tekście, zmienia jego kontekst i wpływa na skalę trudności. Wobec tych uwag PISA pozwalała badającym rzecz lokalnie stosować pakiety z trefnymi i bez trefnych pytań, następnie badano, czy istotnie miały one wpływ na uzyskaną punktację. Najczęściej nie miały – jeśli jednak wpływały, to takie pytanie usuwano z testów.

    Podobno po 2009 roku (co usiłuję sprawdzić, ale o wiarygodne źródła trudno) ten sam rodzaj zastrzeżeń podnoszono pod adresem rozmaitych kwestii związanych z programem szkoły. Trzeba stale pamiętać, co rzeczywiście bada PISA. W nieznośnie bezmyślnym tekście w „Polityce” Bendyk cytuje Jerzego Wiśniewskiego z MEN:

    „… badanie PISA nie ma nic wspólnego ze standardowym testem. Nie ocenia pojedynczych uczniów, nie sprawdza poziomu wiedzy zgodnie z jakimś programem, tylko bada umiejętności młodych ludzi potrzebne do życia we współczesnym świecie, a więc…” – i tu następuje lista, jak z Kena Robinsona, co powoduje u mnie nerwowość i przytaczał w związku z tym tego nie bedę. Ważne jest, co powiedział Wiśniewski – PISA nie sprawdza szkolnych programów. Można więc z tej okazji spytać, na jakiej podstawie wszyscy w MEN uważają, że PISA potwierdza sukces ich programu szkoły, ale oczywiście odpowiedź się nie pojawi, ponieważ dyskutujący na ogół nie wiedzą, o czym mówią.

    Inna rzecz jednak może wynikać z tych wszystkich wyjaśnień i słyszę, że wynika. Otóż podobnie, jak kwestionuje się zadanie wymieniające McDonaldsa, tak da się zakwestionować zadanie związane z czymś, czego „w naszej szkole nie przerabialiśmy”. Jeśli więc w tekście z pytań PISA znajdziemy np. takie coś „Rzut monetą daje w dużych seria równy rozkład pomiędzy orłem i reszką. Pokoloruj orła”, to prof. Marciniak może to zadanie odrzucić z polskiej puli, bo w naszych gimnazjach nie ma rachunku prawdopodobieństwa. Skutek może więc być taki, że nasi gimnazjaliści rozwiązywali testy nieporównanie łatwiejsze niż np. szwedzcy uczniowie. Jeśli istotnie redukcja szkolnego programu pozwala potem z pytań PISA usunąć wszystko, co jest nim w ten sposób nieobjęte, to ten wyglądające na anomalię skok, który MEN uzasadnia reformą programu gimnazjum, staje się jasny. Zastosowano tym razem inne zestawy pytań.

    Byłoby to szokujące, bo to oczywiście oznacza, że rankingi PISA – i tak już pozbawione większego sensu – okażą się zwyczajnie fałszywe, podobnie jak wszyskie obserwowane w tych badaniach wzrosty i spadki. Spróbuję to sprawdzić.

    • Z pewnością problem wymaga przebadania.

      Wydaje mi się, że nie to jest głównym problemem, że kraje mają wpływ na treść poszczególnych zadań, zwłaszcza gdy dotyczy to pojęć i form językowych funkcjonujących w kulturze danego kraju. PISA z samego założenia nie sprawdza stopnia opanowania programów szkolnych, sprawdza zaś jakość systemu edukacji jako całości pod kątem przygotowania uczniów do życia w XXI wieku.

      Bardziej podejrzana wydaje się praktyka PISA, że poszczególne pakiety nie obejmują całego zakresu trudności testu, co oznacza, że dany uczeń nie rozwiązuje wszystkich typów zadań, od najłatwiejszych do najtrudniejszych, czyli że mogą mu się trafić zadania w większości trudne lub w większości łatwe. Samo w sobie nie wygląda to może podejrzane, ale, i tu jest pies pogrzebany, w jaki sposób przyznawane są punkty za zadania z innego poziomu trudności, których dany pakiet nie zawierał, a taka jest praktyka PISA. Otóż punkty te są szacowane na podstawie zadań, które uczeń rozwiązał. Załóżmy, że jeden słaby uczeń losowo otrzymał łatwiejsze zadania i rozwiązał je dobrze. Inny, zdolny uczeń też otrzymał losowo łatwiejsze zadania i też rozwiązał je dobrze. W jaki sposób można na tej podstawie oszacować punkty za trudniejsze zadania, których żaden z obydwu uczniów w ogóle nie rozwiązywał?
      Być może w sytuacji odwrotnej gdy ci sami uczniowie otrzymają losowo zadania trudniejsze, szacowanie punktów za łatwiejsze zadania, których nie było w ich pakietach miałoby więcej sensu.

      Zaznaczam, że powyższe uwagi są jedynie pewną interpretacją metodologii PISA opartą na publikacjach PISA i na krytyce tejże metodologii przez niektórych badaczy brytyjskich.

      • Och, takich zastrzeżeń da się podnieść więcej i nawet bywały one podnoszone. Samo stosowanie wielu pakietów z zadaniami ma sens – zwiększa się w ten sposób ilość przetestowanych problemów itd. Tyle tylko, że sumując wyniki, trzeba by było zadbać, że każdy z pakietów trafi do reprezentatywnej grupy uczniów, szkół, środowisk itd., a to jest bardzo trudno zrobić i z publikacji PISA nie sposób się dowiedzieć, jak to jest robione. Model Rasha, czy jak on się nazywa, nie rozwiązuje tego problemu, na ile go zdołałem pojąć, co – przyznaję – nie było dla mnie łatwe. Nie ma nawet śladu określenia – chyba, że coś przeoczyłem – co tu jest reprezentatywną próbą, to jest nie wiadomo nawet jakie są kryteria doboru i jakie podzbiory reprezentacji w ogóle są tu brane pod uwagę. Ten problem w badaniach ma ogromne znaczenie i tu się często miesza sutalenia badań z przyjętymi założeniami. Wiedza o sposobie doboru próby, to wiedza o tym, co rzeczywiście wpływa na wyniki. W tym przypadku – co świadczy o jakości edukacji.

        Mimo wszystkich możliwych kłopotów tego rodzaju sam miałem przekonanie, że metodologia musi tu być prawidłowa. Chociaż z grubsza. W końcu nadano tym badaniom tak ogromne znaczenie, że należałoby tego oczekiwać. Ale już redefinicje pojęć „literacy” spowodowały istotne problemy z porównywalnością wyników, oceną wzrostów itd. Coś tu zaczyna wyglądać podejrzanie.

        Niemniej mnie samemu najbardziej jawnie absurdalne wydają się same podstawowe założenia i kryteria oceny jakości edukacji, której dokonuje się programowo abstrahując od treści tego, czego szkoła rzeczywiście próbuje nauczyć. Bardzo to jest (po)nowoczesne, nastawione na miękkie kompetencje itd. Tyle tylko, że tkwi tym takie mnóstwo założeń apriorycznych, że się od tego robi słabo. Dane PISA potwierdzają, a w niektórych przypadkach nawet wzmacniają, obserwacje z dosłownie wszystkich dużych badań edukacyjnych w makroskali. Najsilniejszy wpływ na wyniki uczniów ma nie wielkość klasy, nie nakłady na edukację – nic z tych rzeczy. Wpływ nie do przełamania ma „kapitał kulturowy” rodzin. W danych PISA ta korelacja również okazuje się silniejsza niż np. zróżnicowanie pomiędzy poszczególnymi krajami, co przy opisywanej tu przez nas wielokrotnie specyficznie asymetrycznej mierze wyników musi prowadzić do premiowania Finlandii kosztem USA, Izraela, Wielkiej Brytanii itd. Założenie, że to szkoła uczy myślenia jest równie mocne jak to, że testy PISA myślenie sprawdzają: są cholernie powtarzalne i zupełnie spokojnie da się do nich wytresować dzieci. Na jakiej podstawie polski resort edukacji twierdzi, że zmniejszenie liczby funkcjonalnych analfabetów jest efektem zmodyfikowanego programu gimnazjum – nie mam bladego pojęcia.

        Mnie się wydaje, że Finlandia pokazuje absurd miary PISA. Fińskie dzieci nie interesują się przedmiotami (ROSE), są w dole skali jeśli idzie o zadowolenie ze szkoły. Są grzeczne i poprawne, marzą o karierze nauczyciela. Finlandia nie ma intelektualistów, naukowców, inżynierów, o których byśmy słyszeli (wyłączając inżynierów społecznych). Nie ma dobrych uniwersytetów. Nic nie wskazuje na to, żeby w fińskim przypadku testy PISA rzeczywiście mierzyły zdolność do funkcjonowania w XXI wieku. Chyba, żeby sukces w XXI definiować ilością punktów w testach tego rodzaju. Finlandia zdołała wyprodukować społeczeństwo o niewielkim zróżnicowaniu. To fakt – szkoła miała w tym prawdopodobnie spory udział, natomiast trudno tu cokolwiek zważyć. Nie istnieją – poza oczywiście indywidualnymi przypadkami – żadne dane pokazujące jak edukacja pomaga przełamać fatum gett nędzy i analfabetyzmu, choć wszyscy instynktownie myślimy o niej jako o jednej z lepszych dróg. Widać za to, że poza gettami lub lepiej tam, gdzie ich wcale nie ma, ludzie bywają na ogół nie tylko lepiej wykształceni formalnie, ale czasem jeszcze poza tym rzeczywiście więcej wiedzą. To tautologiczna obserwacja, a nie badania.

        Przeraża mnie bezrefleksyjna ekscytacja rankingami i pokrzykiwanie o faktach. Wszyscy zdają się uznawać za fakt, że oto coś obiektywnie zmierzono i nikt nie zadaje sobie trudu zastanowić się, co właściwie oznacza 500 punktów PISA.

        • „sumując wyniki, trzeba by było zadbać, że każdy z pakietów trafi do reprezentatywnej grupy uczniów” – Trzeba by było zadbać. W tym widzę problem. Wiele razy spotkałam się z takim zdaniem, ze wybór jest reprezentatywny od strony statystyki. Chyba mam mała wiarę w statystykę.
          „miałem przekonanie, że metodologia musi tu być prawidłowa” – no i tu też mam małą wiarę. A tylko wiara mi pozostaje, bo nikt nie tłumaczy, jak to jest robione.
          „Coś tu zaczyna wyglądać podejrzani” – czy dopiero – zaczyna?
          Wiele razy, gdy pytałam ekspertów o wyjaśnienie, odpowiadali, ze to jest za trudne do wytłumaczenia! Jakoś nie lubię się z takim zdaniem godzić.
          D

  17. ” Nie jest tak, że uczniowie odpowiadają na całym świecie na te same pytania. ”

    Na ile ja rozumiem (mogę ją źle rozumieć — nie zapieram się, że bardzo dokładnie przeanalizowałem metodologię) metodologię PISA, to na całym świecie stosują te same pakiety. Po prostu w każdym kraju 1/13 uczniów dostaje pakiet no.1, 1/13 pakiet no.2… 1/13 pakiet no.13. Przy tak dużych (wielotysięcznych) próbach to nie powinno prowadzić do zauważalnych efektów. Losowe przydzielanie pakietów nie może generować przekłamania systematycznego.

    „The items were presented to students in thirteen standard test booklets [...] Each sampled student was randomly assigned one of the thirteen booklets”
    http://www.oecd.org/pisa/pisaproducts/50036771.pdf pages 31-32

    Kraje różnią się w systemastyczny sposób tylko tłumaczeniem (Sjoberg punktował istotne różnice pomiędzy tłumaczeniem duńskim i norweskim — to może też wyjaśniać różnice pomiędzy wynikami PISA fińskich Szwedów i fińskich Finów), tłumaczenia sa robione w każdym kraju oddzielnie (Sjoberg wskazywał na istotne różnice pomiędzy pytaniami w Austrii i Niemczech)

    [ Sjoberg -- link do artykułu kilka komentarzy temu, nie chcę wpaść w spam... ]

    Veto prof.Marciniaka wobec kolorowania orła:

    Trefne zadania były (jak rozumiem) stosowane tylko na etapie testowania, ale w samym badaniu używane były wyłącznie te, które przeszły test multikulturowej koszerności i te były one używane na niemal całym świecie jednolicie (za wyjątkiem krajów wypadających bardzo źle w poprzednim badaniu i z dokładnością do tłumaczenia i marginalnego przy wielotysięcznych próbach czynnika Poissona losowego przydziału pakietów uczniom).

    Tech.Report badania 2012 jeszcze sie nie ukazał. Ale w poprzednim (2009) selekcja łatwiejszych pakietów dotyczyła tylko tych krajów, które w 2006 miały średni wynik poniżej 450 — Polska nie miałaby szans się załapać na podobne ułatwienie, a polski raport 2012 nic nie mówi o użyciu tych ułatwionych zestawów.

    Podtrzymuję swoją hipotezę, że Polska nie została jakoś indywidualnie potraktowana, ale PISA na całym świecie po prostu obniżyła wymagania, rozciągając skalę dawnych poziomów 2-4 na 2-6, a wyrzucając ambitniejsze zadania 5-6. Nie wygrał na tym Singapur (który dawniej miał dużo na poziomie 5 i 6), nie wygrał Jemen (którego jedynkowicze nie awansowali na 2), ale wygrała Polska, która dawniej miała gros uczniów na poziomach 2-3, a teraz tacy sami znaleźli się na 2-5.
    Mechanizm przykładający całe znaczenie do tego, co dzieje sie na pograniczu skrajnego analfabetyzmu z głupotą umiejąca czytać się pogłębił.
    Mechanizm PISA już zupełnie przestał rozróżniać pomiędzy 1/8-inteligentem, rozumiejącym o kim mowa w notce Pudelka a tymi, co czytują Prousta…
    Cieszmy się, że ponad 85% młodych Polaków jest w stanie wyłąpać z tekstu, czy notka Pudelka dotyczy Miley Cyrus czy Edyty Herbuś.

  18. No, właśnie w tym rzecz, że choć w PISA faza badań pilotowych istnieje, to jednak te zestawy, które opisywano w tych PISA Frameworks przy okazji wykluczania cultural biases polegały na eliminowaniu ich już z badań właściwych, a nie pilotowych. Czytałem tę procedurę — nie pamiętam już przy którym badaniu ją opisywali — i ona moich zastrzeżeń nie wzbudziła mimo tego, że manipulacji dokonywano na danych uzyskanych we właściwym badaniu. Proces „filtrowania zniekształceń” wyglądał mi prawidłowo.

    O dopasowywaniu pakietów do programu słyszałem plotki z „poinformowanych źródeł” zbiżonych do IBE. Weryfikacja plotek trwa i będzie trudna, bo opracowania technicznego nie ma. Dokładniej mówiąc — nie będzie niczego poza opublikowanym już „PISA 2012 Assessment and Analytical Framework”, gdzie nie da się znaleźć informacji na interesujący nas temat. W szczególności nie ma tam również np. niczego, co mogłoby potwierdzić lub wykluczyć nasze obserwacje — dowiedzione wynikami z czytania w Polsce w latach 2000 – 2009, w których punktacja nam rosła pomimo asymetrycznie większych spadków u góry skali niż wzrostów u dołu. PISA podaje procentową punktację za zadania mieszczące się w rozmaitych kategoriach – jednak nie ma informacji o procentowej zawartości zadań trudnych vs. łatwych.

    Jest natomiast informacja o trybie przygotowywania pakietów na poziomie kraju i uzgadniania ich z centralą. Bliższych informacji o tym, co zmieniono i jak te wspomniane w dokumentach negocjacje przebiegały – tego nie ma i nie będzie. Wyraźne zróżnicowanie treści pytań w stosunku do poszczególnych krajów ze względu na curricula na krajowym poziomie nie wydaje mi się prawdopodobne — wtedy ranking nie ma żadnego sensu. A może ma? Ja nie bardzo rozumiem, co jest celem tych badań, bo PISA dość wyraźnie podkreśla, że bada realne umiejętności życiowe, a nie szkolne programy, ale z drugiej strony twierdzi, że rankingi mierzą efektywność szkoły. Jest w tym takie morze ukrytych i nieweryfikowalnych założeń, że ja wysiadam.

    Zadanie z drzwiami obrotowymi zawiera błąd, który zauważyłeś. Ale zobacz na stronach IFIS PAN, jak zakwalifikowano trzy zadania, które tych drzwi dotyczyły. Pierwsze – trzeba było podać kąt między skrzydłami. Poziom drugi w PISA. Dlaczego nie pierwszy? Dlatego, że trzeba wiedzieć, że pełny obrót to 360? Z kolei w Polsce kojarzy się to z wymaganiem podstawy programowej określonym jako „wykorzystanie i interpretowanie reprezentacji”. Ki diabeł? Ja nie mam pojęcia – niezupełnie umiem czytać ten język wymagań i na ogół w ogóle nie wiem, o co chodzi.

    W drugim zadaniu chodzi o podanie kasymalnego rozmiaru otworu drzwiowego tak, by całość nadal działała jako wiatrołap. PISA daje to na maksymalnym poziomie trudności, czemu się dziwię, skoro rozwiązanie narysowano. Ale to jest może fakt, że nie więcej niż 5% dorosłej populacji potrafiłaby podać odpowiedź. W Polsce ujęto to pod wymaganiem „rozumowanie i argumentacja” – chyba słusznie.

    Zadanie trzecie – to z błędem – w skali PISA odpowiada 4 stopniowi trudności. W języku polskiej podstawy uznano, że wymaga ono zaplanowania i kykonania sekwencji kilku działań i uznano, że rozwiązanie wymaga „użycia i tworzenia strategii”. Błędna odpowiedź uznana za poprawną wymagała natomiast pomnożenia przez siebie wszystkich liczb wymienionych jako dane. To mi na kilometr śmierdzi polską CKE i tym specyficznym sposobem przekładania „wymagań ogólnych” na szczegółowe treści sylabusów i podręczników.

    Pamiętam co prawda w PISA zadania z rachunku prawdopodobieństwa, który cofnięto z gimnazjum w Polsce, a mimo to w PISA dzieciaki w Polsce te pytania dostawały, ale właśnie słyszę, że tego ma się już nie robić. Może chodzi o jakąś nowość po roku 2009? Zasady gry w PISA się zmieniają – np. w 2009 zastosowano 6 progów trudności w czytaniu w stosunku do porzednich 5, co spowodowało trudność w porównywaniu wyników i ogólne wzrosty na całym świecie.

    Nie ma innej rady niestety, jak tylko wczytać sobie bazę surowych danych i ją przeanalizować samodzielnie. Chyba uda mi się w tym uzyskać pomoc kogoś, kto – w odróżnieniu ode mnie – ma przy tym naukowe doświadczenie w analizie danych i to właśnie związanych z pomiarami umięjętności, więc może coś się uda zrozumieć o naturze tego cudu sprawionego podstawą programową p. Hall oraz pp. Marciniaka i Semadeniego.

  19. Dopasowanie pakietów do programu

    – tak, ale wydaje mi się, że jest to globalny proces, a nie lokalny dla kraju.
    Tu widzę największe nieszczęście PISA — samozapętlenie się w tym dostosowaniu. PISA dostosowuje się do programów większości krajów, a większość krajów dostosowuje swoje programy do PISA. Samouzasadniający się i samoutrwalający ogólnoświatowy program szkolny. Okrąg opisany na trójkącie — tak, elipsy — nie.

    Kategorie trudnościowe PISA — tu widzę największą zmianę. Nie wyczytasz jej z „Assesment Frmawork” (to jest wyłącznie pustosłowie), ale trzeba by przeanalizować zadania. Te są tajne. A deklaratywne ich przypisanie (jak sam widzisz po tym z drzwiami obrotowymi) jest mało sensowne. Sądząc po ujawnionych zadaniach po prostu zniknęły te trochę bardziej wymagające:
    – na elemnty rachunku prawdopodobieństwa;
    – na zdroworozsądkowe szacowanie;
    – na kilkustopniowe rozumowania w stylu twierdzeń geometrycznych.
    Nawet, jeśli PISA opublikowałaby dane o procentowym udziale zadań w różnych klasach trudności (oczywiście: nie zmieniło się nic!) to clou leży w przesunięciu skali trudności, a nie w formalnej zmianie proporcji. A tu deklaracje nie mogą być nigdy wiarygodne — trzeba samemu obejrzeć zadania i ocenić.

    Przygotowywanie zadań na poziomie kraju
    – na tyle, na ile rozumiem, to to dotyczy zgłaszania wstępnych zadań, które dopiero potem poddawane sa situ koszerności multikulturowej — chodzi nie tylko o to, by zadania przeszły przez to sito, ale by i wrzucane na to sito źródłowe zadania miały różne pochodzenie z różnych krajów w odpowiednio sprawiedliwym układzie. Ta metodologia zgłaszanie-sit0-ostateczne_pakiety nie wzbudziła moich większych zastrzeżeń.

    Kąt między skrzydłami — dlaczego drugi poziom.
    Ja się dziwię, że tylko drugi, a nie wyższy :) Toż to w końcu wymaga złożenia wiedzy i umiejętności z różnych dziedzin. Musisz wiedzieć, że kąt pełny to 360°. Musisz umieć wykonać dzielenie 360/3.
    Nie każdy to potrafi!
    Sam widzisz redukcję wymagań. Banalne wyznaczenie narysowanego kąta rozdziawu drzwi to maksymalny poziom, dotąd zarezerwowny dla złożonych
    rozumowań albo nie całkiem oczywistych szacunków (np. moje ulubione zadanie z 2009 — oszacowanie na podstawie mapy powierzchni Antarktydy)
    A trywialne przemnożenie kilku liczb (bezmyślne) to już w tym roku był lev.4, choć takie tematy dawniej bywały lev.2.

    Języka „podstawy” i zasad przyporządkowywania zadań do jej celów też nie rozumiem ni cholery…

    „Nie ma innej rady niestety, jak tylko wczytać sobie bazę surowych danych i ją przeanalizować samodzielnie”
    Dupa blada! Z dwóch przyczyn:
    1. nie masz dostępnego czegoś takiego jak „surowe dane” — masz najwyżej dane odrobinę mniej przetworzone, niz ostateczna publikacja;
    2. nie znasz treści zadań, a ich klasyfikacja podana przez autorów jest mocno watpliwa.

    O tym, żeby móc sobie ściągnąć samozdokumentowany (w formacie CERN-Root najlepiej ;) ale choćby i tekstowy) plik danych zawierających indywidualne rekordy danych odpowiadające poszczególnym arkuszom, zebranym na całym świecie i samemu to przemleć, to możesz sobie tylko pomarzyć.
    I to jest różnica pomiędzy fizyką a pedagogiką: wyniki badań, prowadzonych za międzynarodowe pieniądze w CERN są jawne nie tylko jako ostateczne publikacje analityczne, ale również jako dobrze opisane terabajty odczytów impulsów z fotopowielaczy, komór dryfowych i innych bebechów detektora.

    Z analizą surowych danych — polecam się. Jeśli tylko je zdobędziesz.

    • Surowe dane są do ściągnięcia w tekstowych plikach. Nie „interactive database”, bo tam są poprzerabiane, ale w tych zip-ach do ściągnięcia np. z http://pisa2012.acer.edu.au/downloadsCBA.php.

      To wymaga tych tam wymienionych programów, których nie da się uruchomić na moich macach, ale pamiętam, że sobie jakimś własnym skryptem poradziłem, żeby się do części dobrać i natychmiast doszedłem do wniosku (właściwie to doszłem – skoro mowa o PISA), że coś pomieszałem, bo się właśnie nie mogłem dobrać do przekroju odpowiedzi na te same zadania (a interesowały mnie odpowiedzi na zadania o różnych stopniach trudności w relacji z danymi o pochodzeniu uczniów). Byłem w każdym razie blisko. Nie jestem pewien, co rzeczywiście udostępniają, ale zaczęli te bazy udostępniać po fali skarg sprzed kilku lat, więc przynajmniej powinni udostępnić surowe rekordy z danymi.

      Czytałem jakieś artykuły dotyczące właśnie zgodności zadań PISA z krajowymi curricula i wyglądało na to, że autorzy znają komplet zadań.

      Spadek poziomu – fakt, to po prostu widać, choć ciężko to wykazać, bo to są arbitralnie ustalane kryteria zawsze. Natomiast coś mi mocno nie gra w tych polskich wzrostach z matematyki. W przyrodzie takie rzeczy się nie zdarzają – natychmiast uznałbyś, że się jakieś zakłócenia w to wdały. Fakt, że Polska wygląda na szczególnie predystynowaną do wzrostów przy obniżeniu poziomu nie wyjaśnia, dlaczego byliśmy jedynym takim krajem.

    • Rzeczywiście jest!

      Nie wymaga tych programów — można napisać własny program do analizy, za co zaraz się wezmę. Co prawda te dane są zapisane w dość nieprzyjazny sposób, ale da się je jednak przeczytać i jakoś przeanalizować. Zrobię z tego strukturę danych dla CERN-Root — tak będzie najłatwiej to potem analizować na różne sposoby.
      Zdecydowanie wolę to zrobić w CERN-Root niż w tych ich programach statystycznych: w Root wiem co liczę, w zasadzie piszę wszystko sam w C++, a Root mi tylko obsługuje dostęp do danych, wizualizację i gotowe biblioteki procedur. A takim pakietom statystycznym nie wierzę, że nie przekombinowują czegoś po swojemu, a i nie chce mi się ich uczyć.

      Jest w zasadzie to co trzeba — ćwierć miliona rekordów, odpowiadających poszczególnym uczniom, można o każdym wyczytać który pakiet zadań dostał, oceny zadań i minimalne info o uczniu (kraj, typ szkoły, język testu). Bardziej rozwinięte info (o rodzinie) można wyciągnąć z pozostałych plików.

      Najbardziej brakuje w tym samych zadań — nie mamy ich treści, a wyłącznie identyfikatory, z których nawet nie wynika przyznany im poziom trudności. Nie ma też podanego jak ocena typu „full credit”/ „partial credit”/”no credit” była przekładana na punkty końcowe.

      • Zadania gdzieś są do poznania – czytałem niezależne opinie krytyczne, w których się powoływano na nieujawnione zadanie. Nie wiem, skąd autor znał treść, ale skądś znał – komentował ją, nie ujawniając zadania. Tak, czy inaczej da się przeanalizować różne rzeczy dla zadań określonego typu w PISA, a przykłady, które podają, dają jakieś pojęcie o tych typach.

        Pliki tekstowe, które tam są do ściągnięcia, tworzą jakąś bazę relacyjną – są osobne pliki ze słownikami różnego rodzaju. Jeden z kłopotów polegał naodtworzeniu struktury tych relacji.

        „Full credit” i ogólna punktacja. Gdzieś czytałem – w którymś Technical Report – opis metody liczenia punktów i normalizacji wyników w oparciu o dane z pierwszego badania. To wyjaśniało, skąd bierze się 500 punktów przy zerojedynkowych wynikach z sumą jedynek nieprzekraczającą 100. Ty też to czytałeś – nie pamiętam już, gdzie to było, ale przecież chodzi ciągle o ten sam opis procedury. Faktem jest, że nigdzie „na wierzchu” nie ma informacji fundamentalnie ważnej – jakie „wagi” się tu stosuje i dlaczego takie. Są „wagi” w odniesieniu do tematycznych grup zadań – np. wiadomo, jaki jest procent zadań z rachunu prawdopodobieństwa, o ile tu się w ogóle da mówić o rachunku prawdopodobieństwa.

        W tej sprawie fajny jest cytat z pracy Antoine Bodina „What Does PISA Really Asses? What Does It Not?”:

        „98% francuskich 15-latków nie uczyło się w szkole rachunku prawdopodobnieństwa. Mimo to w testach PISA z zadaniami z tej grupy tematycznej radzili sobie tak, jak inni uczniowie krajów OECD. Podobne rezultaty uzyskano w badaniach TIMMS, które dotyczyły uczniów w wieku 13 lat. Mimo pominięcia rachunku prawdopodobieństwa w programie ogólnym, francuscy uczniowie radzili sobie z zadaniami lepiej niż uczniowie z krajów, w których prawdopodobieństwa uczy się w szkołach. Inne badania (EVAPM) pokazują, że uczniowie mają większe trudności z tymi zadaniami, jeśli mają za sobą w szkole chociaż wstęp do rachunku prawdopodobieństwa niż wtedy, kiedy w ogóle z nim się nie zetknęli.”

        I jeszcze z tej samej pracy:

        „Uważa się często, że to pytanie nie ma znaczenia, że istnieje jakieś continnum pomiędzy wiedzą potoczną i teoretyczną. Francuska szkoła dydaktyczna sądzi inaczej – we Francji wiemy, że przełamywanie barier myślenia abstrakcyjnego i symbolicznego jest istotą uczenia się i jego niezbędnym składnikiem. Mamy w związku z tym obawy, że zbyt wielki nacisk kładziony na konkretnych sytuacjach codziennego życia może doprowadzić do negatywnych efektów.”

        Facet pokazuje dalej, jak zadania rzekomo dotyczące rachunku prawdopodobieństwa w rzeczywistości dotyczą wszystkiego, tylko nie tego właśnie. Podaje przykład nieujawnionego zadania, które polegało na dostrzeżeniu różnic w długości dwóch odcinków, z których jeden był pionowy, drugi skośny, a oba końce leżały na tej samej wysokości. Zwraca uwagę, że różnicę w długości po prostu widać i każdy o niej wie, podczas, gdy zagadnie według opisu sprawdzało znajomość twierdzenia Pitagora! Nie mówiąc o zrozumieniu tego twierdzenia.

        Gadać o tym – jak wiesz – da się bez końca. Ja jestem przekonany, że to musi tkwić w danych i że da się to wykazać.

      • Właśnie powolutku biorę się za odtworzenie tej bazy danych…

        Punktacja: w plikach z PISA są tylko identyfikatory zadań. Ale nigdzie nie widzę tabelki: to-a-to-zadanie ma taki-to-a-taki-poziom.

        Sposób przeliczania wyników każdego ucznia jest kilkustopniowy.
        1. za poszczególne zadania przypisywane sa punkty — i tu nie znamy tej punktacji
        2. liczona suma dla każdego ucznia
        3. ta suma normalizowana jest funkcją liniową o tak dobranych parametrach, żeby ogólnoświatowy rozkład wyniku dla PISA-2000 miał średnią 500 i RMS 100. Nie jest dla mnie jasne, jak normalizowane są punkty z 2012 do punktów z 2000, ale to nie powinno mieć znaczenia — jeśli się znormalizuje w innej kolejności to musi wyjść na to samo
        4. na to naliczane sa jakieś poprawki, których mechanizmu nie rozumiem.

        Bodin: fajne! Powinniśmy więc chyba być wdzięczni Semadeniemu za wyrzucenie niemal wszystkiego, a rachunku prawdopodobieństwa w szczególności, z podstawy programowej…

        Porównywanie odcinków — tu odpowiedź musi zależeć od stylu szkoły. Dla większości ludzi „to widać” jest satysfakcjonującym uzasadnieniem, ale jeśli zadanie żąda przedstawienia dowodu że skośny jest dłuższy, to mało kto sobie z tym poradzi. Nawet nie tyle z rachunkami, co z mentalnym zaakceptowaniem tego, że „coś, co widać” trzeba też dowodzić.

  20. Jednak zachwycające jest, że nie wszyscy wpadli w oszałamiający zachwyt wynikami badań PISA i może nadal będziemy myśleć – jak zrobić lepiej?
    Czego wszystkim w 2014 roku życzę.
    Danusia

    • W Kanadzie zaś komentarze same negatywne, mimo, że punktów 518, dokładnie tyle samo co Polska. Przyczyna: Kanada spadła w statystyce PISA o 5 pozycji w dół w porównaniu do badań z 2009.

  21. Dopiero teraz to zauważyłem:
    Niezależnie od rzetelności (mocno wątpliwej) badania, cała ta piana o sukcesie jest bita o różnicę polegającą na tym , czy średnio w jakimś kraju uczeń rozwiązuje 24 czy 25 wyjątkowo prostych zadań z 40 jakie dostał.
    Szerszy komentarz na moim blogu.

Dodaj komentarz

Twój adres e-mail nie zostanie opublikowany. Pola, których wypełnienie jest wymagane, są oznaczone symbolem *

*