Powołuj się na metaanalizy!

Popularyzacja nauki

Jednym z głównych założeń tego bloga jest popularyzacja nauki. Dlatego postanowiłem poświęcić osobny artykuł właśnie metaanalizie. Dla wielu osób to pojęcie jest obce i niezrozumiałe, bo rzadko się pojawia w mediach. A szkoda. Przecież to jedno z najważniejszych pojęć naukowych.

Metaanaliza to „pojęcie z zakresu analizy danych i wnioskowania statystycznego, określające wtórne odkrywanie wiedzy metodą uogólniania informacji zawartych w publikacjach czy źródłach pierwotnych„.

To dzięki metaanalizie wchodzimy na wyższy stopień zrozumienia tego, jak działa nauka, jak odróżnić informacje mało wiarygodne od tych w pełni wiarygodnych. A także by ustalić, czy nasz rozmówca czy autor tekstu, który właśnie czytamy, nie wprowadzają nas w błąd.

Bo to dzięki metaanalizie uzyskujemy dostęp do najbardziej wiarygodnych danych. Bardziej wiarygodnych niż te uzyskane z pojedynczego, nawet bardzo dobrze przeprowadzonego badania naukowego. I to właśnie jest pierwsza, najważniejsza korzyść dla każdego z nas.

Metanaliza jest bardziej wiarygodna niż pojedyncze badania naukowe.

Dziennikarze, publicyści, felietoniści, ale także blogerzy czy facebookowicze, bardzo często powołują się na konkretne badania w celu uzasadnienia czy wzmocnienia swojej argumentacji. Niestety, wiąże się z tym kilka zagrożeń.

Wspomniani wyżej autorzy mogą bowiem powoływać się, celowo lub nie, na:

1. Badania wadliwe, przeprowadzone z zastosowaniem złej metodologii, a nawet badania sfałszowane.

2. Najnowsze badania z danej dziedziny, które nie zostały jeszcze opublikowane w żadnym znaczącym periodyku naukowym.

3. Najświeższe badania z danej dziedziny, które zostały opublikowane w periodyku naukowym wątpliwej jakości.

4. Najnowsze badania z danej dziedziny, które zostały opublikowane w znaczącym periodyku naukowym, ale w żaden sposób nie zostały jeszcze potwierdzone czy zreplikowane.

5. Znane badania sprzed wielu lat, o których wiadomo obecnie, że nie udało się ich zreplikować. Czyli powtórzyć uzyskanych efektów z zastosowaniem tej samej metodologii i warunków bazowych.

6. Wiarygodne i dobrze przeprowadzone badania, ale zmieniając ich wydźwięk w swoim artykule lub wypowiedzi.

Metaanaliza jest rozwiązaniem wszystkich tych problemów.

Głównie dlatego, ponieważ metaanaliza:

1. Zawiera przegląd kluczowych badań z danej dziedziny, co oznacza, że są tam uwzględnione badania przeprowadzone zgodnie z poprawną metodologią naukową.

2. Nawet jeśli uwzględnione badania nie zostały zreplikowane, o co w wielu dziedzinach jest naprawdę trudno (o tym będzie osobny artykuł), to w metanalizie autorzy uwzględnią tylko te, które spełniają rygorystyczne założenia autorów danej metaanalizy.

3. Umożliwia generalizację wyników badań, o co trudno przy pojedynczych badaniach. Choć oczywiście autorzy każdego badania w konkluzjach zawsze zamieszczają własne wnioski, bo w sumie po to są prowadzone badania.

4. Pozwala zlokalizować lub zmierzyć wspólny efekt występujący w wielu badaniach przeprowadzonych w danej dziedzinie.

A to jeszcze nie koniec zalet związanych z metaanalizą.

Metaanaliza jest stosowana w wielu dziedzinach naukowych i stanowi najbardziej wiarygodny miernik efektów uzyskiwanych w pojedynczych badaniach.

Przykładów jest wiele, m.in.:

1. Firmy farmaceutyczne muszą korzystać z niezależnych metaanaliz, by uzyskać zgodę na zatwierdzenie nowych leków.

2. W wielu dziedzinach naukowych metaanalizy stosowane są do sprawdzenia, czy dany eksperyment przyniósł oczekiwane rezultaty, lub które eksperymenty przyniosły największe korzyści. Dotyczy to zwłaszcza takich dziedzin jak medycyna, ekonomia, psychologia czy socjologia.

3. Metaanalizy umożliwiają lepsze zaplanowanie nowych badań naukowych. A także wskazują obszary, które warto dalej analizować i w których warto nadal prowadzić dalsze eksperymenty.

4. Metaanalizy umożliwiają tworzenie nowych hipotez w celu projektowania nowych i lepszych metodologicznie badań.

5. Wykraczają poza ograniczenia związane ze zbyt małymi próbkami danych.

6. Co równie ważne, metaanalizy uznawane są jako badania oparte na faktach, czyli jako badania evidence-based.

Ograniczenia związane z metaanalizą

Główne ograniczenia związane są z tzw. uprzedzeniami lub błędami poznawczymi (ang. biases). Problem dotyczy jednak wszystkich metanaliz. Bo wyszczególnione poniżej błędy poznawcze są bardzo ogólne i dotyczą każdej dziedziny naukowej. Oto kilka z nich:

1. Publication bias – W czasopismach naukowych publikowane są głównie wyniki badań, które przyniosły rezultat pozytywny. Naukowcy, którzy przeprowadzili badania bez żadnego znaczenia statystycznego, albo inaczej mówiąc, uzyskali efekt negatywy, albo nie potwierdzili hipotezy, która zainicjowała dane badania, swoich prac nie publikują. Głównie z dwóch powodów. Albo sami uważają, że nie ma sensu publikować wyników badań, które nic nie wnoszą nowego w danej dziedzinie. Albo żadne uznane czasopismo nie chce publikować badań bez efektu pozytywnego (zazwyczaj to drugie).

2. Search bias – Wyszukiwarki używane przez naukowców przygotowujących metaanalizę mogą nie znaleźć wszystkich prac powiązanych z danym słowem kluczowym.

3. Selection bias – Kryteria ustalane przez naukowców przygotowujących daną metaanalizę mogą być wadliwie ustalone. Przez co ważne badania mogę zostać pominięte w metaanalizie. Raczej mało prawdopodobny scenariusz, choć możliwy.

W jednym z ostatnich artykułów powołałem się właśnie na metaanalizę autorstwa dwóch naukowców, Giovanni Sali i Fernanda Gobeta, która jest bardziej wiarygodnym źródłem informacji na temat wpływu szachów na zdolności kognitywne niż pojedyncze badania, choćby te autorstwa Murraya Thompsona. Wcześniej pisałem też o wnioskach z metaanalizy związanej z edukacją finansową.

Podczas opracowywania artykułu korzystałem z następujących źródeł:

1. Why meta-analysis? A guide through basic steps and common biases
https://blog.efpsa.org/2013/07/15/meta-analysis/

2. The Role of Meta-Analysis in Scientific Studies
https://www.verywellmind.com/definition-of-meta-analysis-425254

2. Wikipedia
https://pl.wikipedia.org/wiki/Metaanaliza

 

W artykule wykorzystano darmowe zdjęcie z serwisu Freepik.

Wojciech Głąbiński

Dodaj komentarz

Twój adres email nie zostanie opublikowany. Pola, których wypełnienie jest wymagane, są oznaczone symbolem *