avataravataravataravataravataravataravataravataravataravataravataravataravataravataravataravataravataravataravataravataravataravataravataravataravataravataravataravataravatar
Oś Świata/Eduopticum

(In)visible lying, czyli szkolenie paprotek

26.11
2017

Do obowiązków nauczycieli, a więc i moich, należy uczestnictwo w szkoleniach. Ostatnio miałem okazję przeszkolić się w kwestii „czynników wpływających na wyniki w nauce”. Wszyscy jako tako zainteresowani edukacją znają wyniki meta-analizy Johna Hattiego. Jak na standardy oświaty publicznej, badania nie starsze, niż dziesięcioletnie to prawdziwy rarytas, więc spodziewałem się jakiejś analizy meta-analizy, ale, jak zwykle, się zawiodłem. Zostałem adresatem tradycyjnej, „optymistycznej” i „objawionej” transmisji kopernikańskiej. Jeśli pogodzić się z tą konwencją, trzeba przyznać, że prelegentka była dobrze przygotowana, tzn. poprowadziła zajęcia zgodnie z sugestiami przekazywanymi zebranym nauczycielom.

To, że ta sztuka nie udałaby się jej z inną grupą docelową, bliższą na przykład targetowi nauczycielskiemu, jest już kwestią osobną, ale przyszło mi do głowy, że jej narracja doskonale wpisała się w wyniki otrzymane przez nowozelandzkiego badacza. Na wypadek, gdyby ten tekst czytała osoba spoza belferskiego kręgu, przytoczę tu jego wnioski (im wyższy współczynnik, tym większy, wg Hattiego, jest wpływ danego elementu na sukces uczniów):

——

Czynniki wpływające na wyniki w nauce             Wyniki (barometr wpływu)
Samoocena                                                                              1,44
Ocena kształtująca 0,90
Informacja zwrotna (feedback) 0,73
Relacje nauczyciel–uczeń 0,72
Nauczanie oparte na rozwiązywaniu problemów 0,61
Cele będące wyzwaniem 0,56
Wpływ rówieśników 0,53
Zaangażowanie rodziców 0,51
Uczenie się w małych grupach 0,49
Motywacja 0,48
Zadawanie pytań 0,46
Stawianie wysokich oczekiwań 0,42
Praca domowa 0,29
Indywidualizacja nauczania 0,23
Wielkość klasy 0,21
Szkoły społeczne 0,20
Dodatkowe programy nauczania 0,17
Powtarzanie klasy 0,16
Podział na grupy według zdolności 0,12
Szkolenie nauczycieli 0,11
Wiedza merytoryczna nauczycieli 0,09

——

W uzasadnieniu swojego wniosku, chciałbym zwrócić Państwa uwagę na element, który nieodmiennie bulwersuje skonfrontowanych z nim nauczycieli. Chodzi oczywiście o ostatnią pozycję tego zestawienia. Zdecydowana większość nauczycieli gorąco w tym miejscu protestuje. Jakże to? To po co ja mam w ogóle interesować się swoim przedmiotem i całą resztą? Po co studiowałem i chodzę na te wszystkie szkolenia?

Niezależnie od tego, czy jest to protest w jakiejś części uzasadniony, czy nie, gros szkoleń pedagogicznych jest stargetowanych zgodnie ze wskazaniami powyższego „barometru wpływu”. Otóż zdecydowana większość prowadzących je coachów traktuje nauczycieli, jak stado owiec, które żadnej wiedzy merytorycznej nie posiada, bo, jak widać, jest im w pracy zbędna. Nie dość, że owce wymagają psa-przewodnika, to na dodatek nigdy w życiu nie wpadłyby na pomysł samodzielnego przeczytania szkoleniowych treści. Jest oczywiste, że w takim ujęciu, wartość ostatniego współczynnika jest zupełnie usprawiedliwiona. O ile nie dziwi mnie już, że badania obecne w oświatowej przestrzeni od dekady są jeszcze dla wielu absolutną nowością, to z trudem godzę się z faktem, że ośrodki teoretycznie powołane i zobowiązane do szerzenia wiedzy profesjonalnej nie prowadzą monitoringu i aktualizacji przekazywanych treści. Jest tak, ponieważ wymienionemu stadu, jako pozbawionemu jakiegokolwiek zmysłu krytycznego, można bezkarnie wcisnąć dowolny kit. Owce łykają wszystko, ponieważ w tym środowisku od dawna już panuje przyzwolenie na opowiadanie głupot, jeśli tylko są wystarczająco miękkie, radosne i „przyjazne mózgowi”, czyli nie wymagają żadnego dowodu i umocowania w weryfikowalnych danych.

Z badaniami Hattiego, traktowanymi już w wielu kręgach jak nowa biblia oświatowa, jest podobnie. Choć autor, po długiej walce z samym sobą, przyznał wreszcie, że swoje wyniki uzyskał w oparciu o błędną metodologię statystyczną (jego analitykom nie przeszkadzało, że prawdopodobieństwo nie może być wyrażone liczbą ujemną), środowisko kopernikańskie nie uznaje tego jako przesłanki podważającej wiarygodność badań, bo przecież guru chciał dobrze, część wniosków zgadza się z popularnymi intuicjami i pasuje do wytęsknionego paradygmatu. Brzmi znajomo? Jeśli nie, to, zachowując proporcje, warto przyjrzeć się gorączce i histerii na edukacyjnych forach, dyskutujących jego sprawę.

Analizując rzecz na chłodno, wygląda na to, że nauczycielskie intuicje, choć wyglądają na słuszne, nadal pozostają nieudowodnione, a wnioski budzące kontrowersje wydają się jeszcze mniej prawdopodobne. Oczywiście nie dla coachów, których wiara w edukacyjny cud zdaje się niewzruszona. Po prostu o niewygodnych faktach na szkoleniach się nie wspomina, żeby nie zakłócać atmosfery dialogu i nie zasiewać wątpliwości w szkolonych na miękko mózgach. Nie sugeruję, że zarówno wszyscy nauczyciele, jak i szkolący ich trenerzy powinni być zdolni do weryfikacji wyników badań naukowych i znać tajniki analizy statystycznej (ja ich na przykład nie znam). Nie rozumiem jednak, dlaczego uznaje się za normę, że ci ludzie nie czytają, jeżeli czytają to nie rozumieją, a jeżeli przez przypadek rozumieją, to i tak nie kojarzą i szybko zapomną, co skojarzyć mogli. Czyż nie jest daleko posuniętą hipokryzją, że nie oczekuje się od nich tego, czego oni wymagają (podobno) od swoich uczniów, czyli czytania ze zrozumieniem i umiejętności korzystania ze źródeł? Ach, prawda, przecież „teraz nie trzeba być encyklopedią, od tego jest internet” (którego jednak wszyscy boją się, jak diabeł święconej wody, bo można zarazić się od niego cyfrową demencją). Przecież „nauczyciel nie ma popisywać się swoją erudycją przed uczniem”, a jedynie wspomagać go w mentalnym copy&paste. Rany, ja rozumiem jeszcze, że profesor może chcieć zaimponować erudycją doktorantowi, ale nauczyciel gimnazjum, dwunastolatkowi?

Tych, którzy się z opisaną normą nie identyfikują zachęcam do przemyślenia kilku aspektów wyżej wymienionego rankingu czynników sukcesu, niekoniecznie z użyciem wyższej matematyki. Jeśli już pogodzimy się z rolą paprotki, „facylitatora” ze znieczulonymi płatami czołowymi, przypisaną nauczycielowi, to czy nie wydaje się dziwne, że cały postępowy światek edukacyjny ciągle jeszcze pieje z zachwytu nad ideą permanentnego dokształtu, przypisanego tej profesji? Dlaczego niby nauczyciel ma „poszerzać swoje horyzonty i wiedzę profesjonalną”, skoro ma ona podobno śladowy i pomijalny wpływ na jego podstawową działalność? Nawet jeśli przyjmiemy, że szkolenia mają dotyczyć jedynie kwestii metodyczno-technicznych, przydatnych automatom napędzanym całym tym miękkim algorytmem świetlicowym, jak pogodzić potrzebę ich istnienia ze współczynnikiem o wartości 0,11? Czyż nie należałoby, uznając samoocenę ucznia za kluczową, zrezygnować jednocześnie z nauczycielskich szkoleń, które najwyraźniej zupełnie nie przekładają się na efektywność w tym zawodzie? Niestety, oznaczałoby to, że praca pani trener, której niemal fizyczny ból sprawia konfrontacja z czynnikami niekompatybilnymi z uładzoną mantrą, jest wtedy również doskonale zbędna.

Skoro liczba uczniów biorących udział w zajęciach, oraz ich w miarę jednolity poziom intelektualny, lub kompetencyjny nie mają dla uczących się, nauczyciela i procesu edukacyjnego większego znaczenia, trudno pojąć, po co szkoły biedzą się nad dzieleniem klas na językach (A dlaczego niby jedynie na językach?) i nie przyjmują do klas dwa razy więcej uczniów. Albo dlaczego pocące się nad niedopiętymi budżetami samorządy nie miałyby odetchnąć z ulgą, zatrudniając połowę obecnej liczby nauczycieli? Przecież z licznych przykładów i „badań” wiadomo, że się da. Oczywiście takie zastrzeżenie nie stanowi dowodu na to, że redukcja populacji klas daje jakieś nadzwyczajne wyniki edukacyjne, chciałbym jednak móc je obejrzeć po takim eksperymencie. Niech wszyscy kołcze popracują trochę w 40-toosobowych grupach, wykażą się swoimi zdolnościami interpersonalnymi i innymi miękkimi kompetencjami, niech pokażą, jak się wtedy wzmacnia samoocenę i udziela informacji zwrotnej, nie przejmując się takimi drobiazgami, jak fanaberia nauczycielskich leni, zwana indywidualizacją pracy. Łatwo jest negować udział pewnych czynników w obserwowanych procesach, jeśli są one stale obecne i powszechne, prowadząc do swoistej deprywacji sensorycznej. Dopiero ich eliminacja pozwala na falsyfikację ich roli. Hattie zdaje się zapomniał o podstawach decydujących o sensowności eksperymentu, którego siłą rzeczy nie mógł przeprowadzić. Szkoda, że symulacja pewnych zjawisk, w rzeczywistości daleko innej, niż etiopska wiejska szkoła i dalekowschodni reżim wychowawczy, nie przyszła mu najwyraźniej do głowy. Być może dał się uwieść idei edukacji samoorganizującej się, w której każdy uczy każdego, lepszy czerpie wiedzę i doświadczenie z powietrza, zawsze pomaga słabszemu, słabszy zawsze tego chce i wszyscy się kochają. Przy takim założeniu, łatwo dojść do nawet bardziej rewolucyjnego wniosku, że nie tylko wszyscy kołcze, ale także sami nauczyciele są po prostu niepotrzebni.

Podobnie jak podejrzanie niedoszacowany jest u Hattiego udział czynników gwarantowanych, tak umniejszona zdaje się rola parametru tyleż pożądanego, co na ogół nieobecnego, czyli motywacji. Wydaje mi się, że jej rola została rozpatrzona w badaniach w ujęciu binarnym i po prostu uśredniona. Jest raczej pewne, że respondenci zmotywowani dostrzegali jej wpływ, podczas gdy inni, jej pozbawieni, nie zwracali na nią uwagi. Czy średnia oddaje w takim ujęciu rzeczywiste znaczenie parametru? Według mnie, absolutnie nie, ma on bowiem kolosalne znaczenie dla ucznia, u którego występuje i żadne dla ucznia, którego uczenie się jest go pozbawione (a przecież założeniem meta-analizy było ukazanie znaczenia poszczególnych parametrów dla uczącego się, a nie dla jakiegokolwiek MEN). W tym przekonaniu utwierdza mnie doświadczenie wyniesione z pracy z dziećmi wietnamskimi, które są, co prawda, motywowane nieprawomyślnie, często zewnętrznie, czy wręcz stresogennie, ale przyrost (nie poziom) ich wiedzy i umiejętności, przypadający na semestr, jest trudno osiągalny dla większości dzieci w polskich szkołach. Motywacja nie jest także parametrem stałym, nawet w rytmie dobowym ma rozkład sinusoidalny, więc jej samookreślenie jest raczej trudne. Wartość średnia dla współczynnika wpływu motywacji wydaje się w tym wypadku nieadekwatna, bo przecież liczne obserwacje wskazują, że, długofalowo, jakkolwiek zmotywowana do nauki czegokolwiek jest być może jedna piąta podmiotu procesu edukacyjnego. Pokrywa się to z proporcjami obecnymi potem w całym społeczeństwie – na około 20% szacuje się udział w całej populacji ludzi świadomie kształtujących swoją rzeczywistość. Czy jest to jedynie przypadkowa zbieżność, czy też realna korelacja, należałoby oczywiście sprawdzić, wydaje się to jednak mniej spekulatywne, niż np. to, że środowisko w którym uczeń ma zdobywać wiedzę (rodzaj szkoły), w niewielkim stopniu wpływa na jego sukces.  W jaki sposób respondent zanurzony w jakimś środowisku ma określić stopień jego wpływu, nie mając porównania z innym? Przecież analityk znowu może w takim przypadku jedynie wyciągnąć średnią. Czyż nie oznacza to,  że znikomy procent ludzi uczęszczających do szkół „lepszych” nie ma szans, by przechylić wskazówkę „barometru wpływu”?

Zestawione w meta-analizie czynniki sukcesu należą do tak rozmaitych dziedzin, że sens sprowadzania ich do wspólnego mianownika budzi we mnie spore wątpliwości. Przytoczona lista zdaje się rozpadać na dwie, tę in plus i tę in minus, które jednak w żaden sposób nie stanowią lustrzanego odbicia. Podobnie, nie jestem pewien, czy nawet opierając się na milionach przetworzonych opinii uczniów, można uzyskać dane dotyczące nauczycieli, które potem mogą być właściwie zinterpretowane.

„Oczywista oczywistość” efektu Pigmaliona i, nomen omen, widoczne, niemal instynktowne poczucie bezsensu drugoroczności oraz nieskuteczność prac domowych mają przysłonić powyższe i wiele innych zastrzeżeń, które można mieć wobec wyników uzyskanych przez Hattiego. Badania te stały się dla entuzjastów teorią sztandarową, czymś w rodzaju teorii inteligentnego projektu zwolenników nadprzyrodzonego pochodzenia wszechświata – wreszcie mogą (usiłować) odpierać zarzut niesprawdzalności swoich przypuszczeń i epatują ich naukowością wszystkich w zasięgu argumentacji. Szkoda, że imponujący zakres badań (15 lat badań, synteza 800 meta-analiz badań edukacyjnych, 52 tysiące badań na 200 mln uczniów) nie licuje z dość banalnymi błędami interpretacyjnymi. Nie mam w tej chwili wglądu w metodologię jego badań (ani kompetencji do ich właściwej analizy*), a być może istnieją proste wyjaśnienia rozwiewające moje wątpliwości i to na nie właśnie miałem (nikłą) nadzieję, odbywając szkolenie obligatoryjne. Skonfrontowana z kilkoma zastrzeżeniami pani trener podsumowała zajęcia konkluzją, że „finalnie wszystko zależy od nauczyciela, bo mody przychodzą i odchodzą„. Jak to się miało do zestawienia Hattiego? I po co było to szkolenie?

——

*Liczę tu zwłaszcza na pomoc Ksawerego, który takie kompetencje z pewnością posiada, oraz Danusi i Jacka, którzy na Hattiego wiele razy się powoływali, promując OK.

Podziel się ze znajomymi

11 komentarze do “(In)visible lying, czyli szkolenie paprotek

  1. Ależ chętnie przeanalizuję i skrytykuję metodologię!
    Oczywiście, muszę w tym celu mieć jakieś źródła tę metodologię opisujące, a takowych znaleźć (free) nie potrafię.
    Na pierwszy rzut oka widać używanie terminologii niezgodnej z powszechnie przyjętą (oczywiście, każdy może wymyśleć własną, różną od powszechnie uznanej, i robić zamieszanie – nauki pedagogiczne kochają Hegla). By rzucić przykładem: czym niby jest „barometr wpływu” z cytowanej tabelki? Z pewnością nie są to współczynniki korelacji (te nigdy nie wychodzą poza przedział [-1, 1] ) a w dodatku nie wiadomo, czy miałyby to być korelacje zależne czy niezależne, do tego pomieszane ze związkami przyczynowymi.
    Przypominam klasyczny już argument, że dieta oparta na ryżu w stołówkach szkolnych ma ogromny pozytywny wpływ na wyniki PISA. W końcu Singapur, Szanghaj i Korea przodują. Tylko czasem zamiast ryżu są tam kluseczki.
    Możemy jednak wysnuć wniosek w drugą stronę: to właśnie dobre wyniki PISA mają wpływ na upodobanie do jedzenia ryżu i niechęć do kartofli!
    Dane nie mają bezpośredniej interpretacji liczbowej – są jedynie porządkujące (więcej=lepiej). Nawet wyciąganie średniej jest nieuprawnione jeśli skala jest arbitralna.

    Jest też rzecz, zaciemniająca wszystkie „badania” edukacyjne. Czym mianowicie są „wyniki w nauce” na które miałyby wpływać jakieś czynniki? Nikt tego jasno niemal nigdy nie mówi. A najczęściej bierze się jako nie albo arbitralnie wystawiane w szkole stopnie, albo wyniki egzaminów w rodzaju PISA, czy „sprawdzianu szóstoklasisty”. I tu muszę się zgodzić – wiedza merytoryczna nauczyciela nie ma niemal żadnego wpływu na wyniki takich testów jego uczniów ani na stopnie, jakie sam wystawia. Czasem może mieć nawet negatywny wpływ.

  2. „Czym mianowicie są „wyniki w nauce” na które miałyby wpływać jakieś czynniki? Nikt tego jasno niemal nigdy nie mówi.” – No tego właśnie nie wiem, a ponadto nie bardzo rozumiem, jak można wyodrębnić poszczególne wpływy, kiedy jasne jest, że większość tych czynników oddziałuje jednocześnie. Pewnie są jakieś narzędzia statystyczne, o których nie mam pojęcia, ale myślę, że już rozdzielenie trzech do pięciu parametrów musi być cholernie skomplikowane.

    Też nie mogę nigdzie znaleźć założeń metodologicznych, ale zastrzeżeń ludzi bardziej statystycznie świadomych jest całe mnóstwo i to idących dalej, niż błędy, do których Hattie się przyznał:
    https://plus.google.com/+DougHolton/posts/5zAXpMGpkjx

    Ponieważ nie mam żadnego wykształcenia statystycznego, cieszę się, że moje czysto instynktowne zastrzeżenia, co do zestawiania zjawisk z zupełnie różnych parafii podzielają również inni recenzenci: (https://academiccomputing.wordpress.com/2013/08/05/book-review-visible-learning/)

    „One final caveat should be made here about the danger of combining incommensurable results. Given two (or more) numbers, one can always calculate an average. However, if they are effect sizes from experiments that differ significantly in terms of the outcome measures used, then the result may be totally meaningless. It can be very tempting, once effect sizes have been calculated, to treat them as all the same and lose sight of their origins… In comparing (or combining) effect sizes, one should therefore consider carefully whether they relate to the same outcomes… one should also consider whether those outcome measures are derived from the same (or sufficiently similar) instruments and the same (or sufficiently similar) populations.

    These are important points, and from reading Visible Learning I am not confident that Hattie has followed this advice. My criticisms in the rest of the review relate to inappropriate averaging and comparison of effect sizes across quite different studies and interventions. This is not a minor issue: the whole book is built on the idea that we can look across these meta-analyses to find the most effective interventions by comparing average effect sizes.”

    Podkreślam, że nie chodziło mi dezawuowanie pracy Hattiego, wykonał kawał roboty, której nie wykonali inni – problem polega, jak zwykle w tej dziedzinie, na chęci uzyskania wyników ostatecznych, pragnieniu racji absolutnej, co jest zupełnie sprzeczne z podejściem naukowym. Na prowadzących badania wywierana jest ogromna presja środowiska, czekającego, aż ktoś przyniesie im szkolnego Graala na tacy. Śmieszne jest to zaślepienie i tęsknota za edukacyjnym absolutem. Szkoda, że prowadzi do znacznie mniej humorystycznych efektów – dziesiątki tysięcy ludzi studiuje i powtarza głupoty, w poczuciu bycia awangardą.

  3. Matematycznie rozdzielanie poszczególnych „wpływów” (cudzysłów ponieważ matematyka nigdy nie rozstrzyga co jest przyczyną, a co skutkiem, może badać tylko korelacje) jest w miarę proste, nie ma większej różnicy, czy są dwa „wpływy” czy dwadzieścia. Problemem jest tylko liczebność próby, która im więcej czynników, tym musi być większa, żeby wiarygodność wyników była sensowna. W badaniach typowych dla socjologii, często brakuje części danych.
    Równie często, tak jak Hattie, robi się łączną analizę kilku niezależnych badań, z których każde było prowadzone w innej i nie zdokumentowanej szczegółowo metodologii.
    Ale badania typu „czynnikami ryzyka zachorowania na raka płuc są: palenie tytoniu, wiek, smog, płeć, rak u rodziców, etc” daje się robić całkiem precyzyjnie i precyzyjnie określać stopień wpływu, nawet mając dane epidemiologiczne zbierane w różny sposób w różnych krajach. Medycyna już kilkadziesiąt lat temu się nauczyła, żeby poważnie traktować metodologię badawczą. Pedagogika na taką wiedzę jest nadal oporna i woli magię i pseudonaukową argumentację.

    Widzę tu jednak więcej problemów. Przede wszystkim przetwarzanie w modelu SISO (shit-in shit-out). Hattie nie poddaje krytyce swoich danych wejściowych i przyjmuje je jak są jako wiedzę pewną i wartościową – z wszelkimi ich błędami metodologicznymi, występującymi w badaniach edukacyjnych masowo. Metafora modelu SISO przypomina o intuicyjnej prawdzie – jakbyśmy nie cudowali i nie przekształcali nic nie wartych danych wejściowych, wyniki tym bardziej będą nic nie warte.

    Jest tu też rzecz powszechna dla pedagogiki – dezynwoltura w traktowaniu metodologii i epatowanie „obiektywnymi liczbami” (byle je opublikować z dokładnością dwóch, a jeszcze lepiej pięciu cyfr po przecinku) – jeśli liczby ilustrują naszą założoną myśl, to są „słuszne”, „prawdziwe” i jej dowodzą. Ci, którzy z nich korzystają i dalej je przekształcają (jak Hattie) traktują je już jako absolutnie pewne i absolutnie dokładne, nie wnikając w ich sens, wiarygodność ani dokładność. A jeśli by się zdarzyło, że nie pasują, to je przemielimy inaczej i już zaczną dowodzić, czego trzeba. Albo do metaanalizy wybierzemy inne. I tak czytelnicy nie rozumieją, co te liczby znaczą. Ale są pod wrażeniem i podziwiają „naukowość”. W końcu nawet szkolny program uczy, że nauki ścisłe polegają na wyrażaniu wszystkiego liczbami! Są liczby – więc to musi być nauka!

    Ja jednak byłbym za dezawuowaniem takich prac…
    Publikowanie błędnych metodologicznie i manipulujących czytelnikiem prac jest gorsze, niż nie publikowanie niczego. Ja w tabelce Hattiego (ani w – pobieżnie przejrzanej – pracy) nie znajduję niczego ciekawego ani wartościowego. Nie widzę więc powodu, by chwalić go za ogrom włożonej pracy.

    Przy okazji w cytowanej przez Ciebie tabelce Hattiego brakuje zdecydowanie najistotniejszego czynnika: poziomu wykształcenia rodziców. W zależności od doboru składu badanej próby po przeliczeniu na „barometr” dającego „wpływ” od kilku do ponad 10.

  4. Pracy Hattiego nie doceniłem jako dzieła naukowego, ale za zbieranie danych – jakby nie było, szeroko zakrojone. Oczywiście, masz rację przypominając SI-SO, równie ważne jest jakie i jak się dane zbierze, i co się z nimi zrobi. A zrobić pewnie można jeszcze wiele. Szkoda, że ta praca miała w pewnym sensie na celu kolejny cargo cult. I tak dobrze, że przyznał, że metodologia była kulawa, nie rozumiem jednak dlaczego nie poszła za tym korekta, poprawione wznowienie, apel do czytelników. Jednak dużo bardziej od błędnych, czy nieprecyzyjnych wyników martwi mnie reakcja większości odbiorców – totalne wyparcie.

  5. Ja się nie dziwię brakowi korekty. Dużo łatwiej przyznać, że się zbudowało dom o krzywych ścianach, niż te ściany zburzyć i spróbować postawić jeszcze raz, ale prosto.
    Pedagogika jest kultem cargo i oparta jest na myśleniu życzeniowym i magicznym. Spójność rozumowań i rzetelność naukowa nie mają znaczenia. Ważne, żeby argumentacja ładnie brzmiała, robiła pozór naukowości, a przede wszystkim, by podpierała tezy, które nie zostały wydedukowane z żadnych badań, tylko opierają się na intuicji i wewnętrznych przekonaniach. Najczęściej skądinąd słusznych, bo tak banalnych, że oczywistych. Ale mają apelować do uczuć, nie do rozumu. A dla serca nie jest ważne czy metodologia jest poprawna, czy nie. Tak samo, jak nie jest ważne, czy wydziela się dopamina, czy serotonina, czy może coś jeszcze innego.

  6. Poczytałem co się dało o metodologii Hattiego. Widzę jeszcze więcej dziur, niż w tych krytycznych artykułach.

    1. metoda Hattiego w ogóle nie interesuje się korelacjami między czynnikami – są one traktowane niezależnie. W efekcie mamy więc wyliczone, że stosując OK można uzyskać wpływ $0.9$ na wyniki, stosując informację zwrotną $0.73$, a przez zaangażowanie rodziców $0.51$. Czy to znaczy, że nauczyciel OK, mający zaangażowanych rodziców, osiąga wpływ $0.9+0.51=1.41$? Może tak, może nie, Hattie korelacjami parametrów się nie interesuje. Równie dobrze można wysnuć wniosek absurdalny już na pierwszy rzut oka: że stosując OK i informację zwrotną, osiągnie się wpływ $1.63$. Choć nie da się stosować OK, nie stosując jednocześnie informacji zwrotnej, czyli mamy pewność, że „wpływ” informacji zwrotnej został już w całości uwzględniony we „wpływie” OK.

    2. w metodzie „wpływów” Cohena, na czym opiera się Hattie, czynniki wpływu są zawsze binarne. Mowa o wpływie „małych klas”. Nie ma (nie może być) z tego żadnego wzoru wyznaczającego „wpływ” dla klas 10-, 15-, 20, 25- i 30-osobowych. Po prostu na jakimś (nieznanym) poziomie (powiedzmy 20) ustalono odcięcie. Klasy mniejsze wrzucano do jednego worka z etykietą „małe klasy”, większe do drugiego. Nie tylko nie wiemy, na jakim poziomie zostało ustalona ta granica (i inne w innych tematach), ale nie ma żadnej pewności, że Hattie nie uśrednił wyników dwóch badań, z których jedno miało odcięcie na poziomie 20, a inne na poziomie 25.

    3. niektóre z „wpływów” określone są w sposób czysto hasłowy i nie mający naturalnego, leksykalnego znaczenia. Czym jest na przykład „wpływ rówieśników”? Traktując to dosłownie, należałoby uznać, że „wpływ rówieśników” występuje zawsze, za wyjątkiem uczonego w domu jedynaka, nie kontaktującego się z innymi dziećmi. Zupełnie nie wiemy, co to znaczy. Co więcej, Hattie uśrednia wyniki różnych badań – nie ma żadnej pewności, że używane w nich definicje „wpływu rówieśników” są kompatybilne (raczej należy sądzić, że nie są i każdy badacz używa własnej definicji tak mętnego pojęcia). Czy pozytywnie wpływającym na wyniki w nauce czynnikiem jest silne zaangażowanie w młodzieżowy gang uliczny i spędzanie całych dni na ulicy z tym gangiem? Raczej wątpię. Ale trudno odmówić zbiorowej ulicznej chuliganerii miana „wpływu rówieśników”.

    4. Hattie uśrednia wyniki różnych badań, niezależnie od próby na jakiej były prowadzone i ich błędów statystycznych i systematycznych. Na przykład: jeden badacz zrobił badanie, że jego szkoła społeczna dla 100 uczniów ma wyniki lepsze, niż szkoły państwowe obok, co prowadzi do czynnika Cohena (Hattiego) $d= 0.4$
    Na 1,000,000 uczniów całej Polski przeprowadzono test gimnazjalny i nie stwierdzono statystycznie żadnej różnicy między wynikami w szkołach społecznych a państwowymi.
    Hattie uśrednił oba wyniki i w tabelce pojawiło się, że „szkoły społeczne” dają „wpływ” równy $0.2$

  7. Jest „wolność i demokracja” i pewnie jej dobrodziejstw doświadczymy wkrótce w jeszcze większym stopniu – tylko czekać, aż i w Polsce uaktywnią się jakieś kółka zwolenników płaskiej Ziemi, objawią się „autorytety” podparte inteligentnym projektem itp, itd, chcące „wywierać wpływ”.

    Jest jednak różnica między egzotyką, którą należy zostawić w spokoju, bo sama z nią dyskusja ją nobilituje i stwarza pozory dyskursu naukowego, czyli tego, czego łaknie by się uwiarygodnić, a sytuacjami, w których na uniwersytetach medycznych reklamuje się wykłady z homeopatii, albo w szkołach prowadzi szkolenia, na których, w masce „poważnych naukowych badań, przeprowadzonych na ogromnej próbie”, sprzedaje się przeczucia i pobożne życzenia ludziom, którzy mają pretensje uczyć innych ludzi.

    Dlaczego, gdyby okazało się, że np. przy odkryciu fal grawitacyjnych użyto wadliwych urządzeń, popełniono błąd obliczeniowy lub metodologiczny, wszystkie badania i obliczenia zostałyby powtórzone i poprawione, i świat dowiedziałby się o tym natychmiast, a w przypadku rzeczy, które, z całym szacunkiem dla fizyki, mają doraźnie zdecydowanie większy wpływ na życie ludzi, stosuje się inne standardy? To jasne, że nie wszystko daje się policzyć (albo się nie umie), po co więc czynić takie wysiłki? To ostatnie to oczywiście pytanie retoryczne – oświata „kopernikańska”, jak kania dżdżu, łaknie „naukowego podejścia”, które by ją uwolniło od cienia szamaństwa. Dziwi natomiast jedno – dlaczego takiej nauki uprawianej na skróty nie obnażają uniwersytety i sami naukowcy prowadzący badania prawdziwe, psycholodzy, biolodzy, czy specjaliści od statystyki nietraktowanej usługowo? Czyż nie jest to dowód na to, że oświata nie należy do ludzkich priorytetów?

  8. Ja bym tego nie określał jako efektu wolności, tylko wprost przeciwnie – etatyzmu. Jakoś w pozaformalnej edukacji, nauczaniu domowym, czy nawet pozasystemowych szkołach, nikt nie pasjonuje się wynikami Hattiego, rewelacjami Spitzera ani nawet pozycją POlski w rankingu PISA. Nawet wśród korepetytorów maturalnych, prywatnych nauczycieli angielskiego czy gry na fortepianie, dopamina i wpływ szkoleń dla nauczycieli na wyniki uczniów nie mają żadnego znaczenia. Choćby dlatego, że nikt przy zdrowych zmysłach nie uczestniczy w żadnym szkoleniu pedagogicznym na własny koszt, jeśli nie musi uzyskać zaświadczenia o jego odbyciu by państwo mu płaciło.
    No coż, miliony ludzi zaangażowanych w socrealizm też pasjonowało się pomysłami racjonalizatorskimi i metodami produkcji dobrych towarów. To już prawidłowość psychologiczna – jeśli ktoś wyparł jakąkolwiek refleksję nad sensem całości systemu, to z zapałem skupia się na drobiazgach, byle ładnie wyglądających i brzmiących. Ale rzetelność badań nie ma najmniejszego dla niego znaczenia – nie jest w najmniejszym stopniu uzależniony od skuteczności „metod” którym kibicuje.

  9. O wolności pisałem oczywiście ironicznie w kontekście głupoty, jednej z najbardziej demokratycznych cech, ale dużo bardziej interesuje mnie to, dlaczego środowisko naukowe jest tak obojętne wobec ewidentnego nieposzanowania własnych zasad. Że każdy ma coś za uszami? Że jak dziś ja wytknę coś komuś, to jutro wytkną mnie?

  10. Raczej dlatego, że już dawno uznało „nauki społeczne” za cargo cult i przestało się kopać z koniem.
    Trzeba ludzi pokroju i z poczuciem misji Feynmana, który te 60 lat temu napisał „Cargo Cult Science”, uznając psychologię i pokrewne „nauki” właśnie za „cargo cult”, albo Sokala, żeby napisał „Hermenutykę Kwantowej Grawitacji”.
    Albo choćby Mozrzymasa, którego szlag trafił o „neurodydaktykę”.
    Ale większość ludzi nie chce się kopać z koniem.
    Nawet wobec bzdetu w fizyce jest słaby protest. Choćby w sprawie „cżłowieka winnego apokalipsie globalnego ocieplenia”.
    Tylko ewidentne wpadki – jak źle wetknięta wtyczka w eksperymencie Opera, która spowodowała publikację sensacji o szybszych od światła neutrinach, są szybko prostowane. I to akurat przez ludzi pracujących w tym eksperymencie, wśród których znaleźli się uczciwi do tego stopnia, by przyznać się do nawet tak wstydliwej wpadki.

Dodaj komentarz

Twój adres e-mail nie zostanie opublikowany. Pola, których wypełnienie jest wymagane, są oznaczone symbolem *

*