„Nic mi nie wyszło” – to jedno z częstszych zdań, które słyszę od studentów przed obroną lub od doktorantów przed złożeniem artykułu. Zwykle mówią to z poczuciem klęski. Tymczasem w nauce wynik nieistotny statystycznie jest wynikiem tak samo, jak wynik istotny – pod warunkiem, że umiesz go właściwie zinterpretować i uczciwie opisać.
W tym artykule wyjaśnię, dlaczego p>0.05 to nie katastrofa, jak tę dyskusję napisać i czego absolutnie nie robić, żeby nie zniszczyć sobie dorobku przed startem.
Wynik nieistotny statystycznie to też wynik
Zacznijmy od podstawy, bo bez niej wszystko inne nie ma sensu.
Wartość p nie mówi Ci, czy efekt istnieje w świecie. Mówi Ci coś węższego: jakie jest prawdopodobieństwo uzyskania co najmniej tak ekstremalnych danych, gdyby hipoteza zerowa była prawdziwa. Gdy p=0.03, to przy H0 prawdziwej miałbyś takie dane w 3% próbek. Gdy p=0.12, w 12%.
To oznacza, że p>0.05 mówi: „nie mam wystarczających podstaw, żeby odrzucić hipotezę zerową przy tej próbie i tej mocy statystycznej.” Nie mówi: „hipoteza zerowa jest prawdziwa” ani „efektu nie ma.”
Różnica jest ogromna w praktyce. Wyobraź sobie badanie n=30 z p=0.09 i efektem d=0.45 (umiarkowany). To nie jest „brak efektu” – to jest sytuacja, gdzie próba była za mała, żeby efekt wykryć z konwencjonalną pewnością. Przy n=80 ten sam efekt d=0.45 dałby p<0.05.
Widzę to często u magistrantów z psychologii: zbadali 34 osoby, nie wyszło, piszą „hipoteza nie potwierdziła się”. Promotor pyta: „a ile było potrzebnych?” – cisza. Właśnie dlatego trzeba rozumieć moc statystyczną.
Jak uczciwie zinterpretować wynik nieistotny
Zanim napiszesz dyskusję, odróżnij trzy sytuacje:
Sytuacja 1: Próba była odpowiednia, efekt jest bliski zeru. Jeśli miałeś n=300, moc 90% i p=0.42 przy d=0.04, to naprawdę możesz mówić, że „nie stwierdzono istotnego efektu i wyniki sugerują, że efekt jest praktycznie nieistotny nawet jeśli istnieje.” To mocny wynik negatywny.
Sytuacja 2: Próba była mała, moc niska, efekt możliwy. Masz p=0.11 i d=0.38, ale n=25. Nie możesz twierdzić, że „efektu nie ma” – możesz powiedzieć, że „badanie nie osiągnęło istotności statystycznej, co może wynikać z niewystarczającej mocy statystycznej przy tej wielkości próby.” To uczciwe sformułowanie.
Sytuacja 3: Wyniki są mieszane. Jedno narzędzie wykazało efekt, drugie nie. To nie jest „nic nie wyszło” – to jest interesująca rozbieżność, wymagająca dyskusji o właściwościach psychometrycznych narzędzi lub o wielowymiarowości badanego konstruktu.
Dwa konkretne zasady pisarskie:
Zamiast „wyniki nie potwierdziły hipotezy” pisz „nie stwierdzono istotnego statystycznie związku”. Pierwsze sugeruje, że hipoteza jest fałszywa. Drugie jest dokładne.
Zamiast „nie udało się wykazać efektu” pisz „w warunkach niniejszego badania efekt nie osiągnął progu istotności statystycznej przy alfa=0.05”. To jest dokładny opis tego, co zmierzyłeś.
Moc statystyczna i wielkość próby
Moc statystyczna (power) to prawdopodobieństwo, że Twoje badanie wykryje efekt, jeśli on rzeczywiście istnieje. Standard to 80% – oznacza, że przy 20 powtórzeniach badania z efektem d=0.5 cztery razy i tak go nie znajdziesz, bo próba będzie za mała lub zmienność za duża.
Moc zależy od trzech rzeczy: wielkości próby (n), wielkości efektu (d, f, r) i poziomu alfa (zwykle 0.05). Większa próba = większa moc. Większy efekt = łatwiej go wykryć nawet z małą próbą.
Obliczenie mocy a posteriori (po zebraniu danych) robi się w darmowym programie G*Power. Wpisujesz swój n, swój efekt i alfa=0.05, dostajesz wynik: np. „moc badania wynosiła 0.61 przy d=0.38 i n=35”. Moc 0.61 oznacza, że miałeś 61% szansy na wykrycie efektu tej wielkości. To tłumaczy, dlaczego wynik mógł nie osiągnąć istotności.
Napisz to w dyskusji. Promotorzy to cenią, bo pokazuje, że rozumiesz nie tylko co wyszło, ale dlaczego mogło nie wyjść.
Fragment, który możesz zaadaptować: „Przeprowadzona analiza mocy a posteriori w programie G*Power wskazuje, że przy uzyskanej wielkości efektu d=0.38 i n=35 moc badania wynosiła 0.61. Wynik ten sugeruje, że badanie mogło nie dysponować wystarczającą mocą statystyczną do wykrycia efektu tej wielkości, co należy uwzględnić przy interpretacji braku istotności statystycznej.”
Wyślij fragment tekstu, bezpłatną wycenę otrzymasz w 24 h. Poprawki bez limitu w cenie usługi.
Co mówi literatura o podobnych wynikach
To jeden z bardziej niedocenianych ruchów w dyskusji wyników negatywnych: poszukaj innych badań, które też niczego nie znalazły.
Publication bias to zjawisko, w którym czasopisma naukowe chętniej przyjmują artykuły z wynikami pozytywnymi (p<0.05) niż negatywnymi. To sprawia, że literatura jest zniekształcona – widzimy więcej „wyszło” niż „nie wyszło”, nawet jeśli w rzeczywistości połowa badań daje wyniki nieistotne.
Skoro tak jest, to znalezienie innych badań z podobnymi wynikami negatywnymi jest wartościowe – oznacza, że Twój wynik jest replikacją, a nie incydentem.
Gdzie szukać: baza PROSPERO (dla zarejestrowanych przeglądów, które z założenia raportują wszystkie wyniki), Open Science Framework (autorzy często wrzucają dane z badań bez względu na wynik), czasopisma takie jak PLOS ONE (publikuje niezależnie od kierunku wyników) oraz Open Access repozytoria uczelni.
Jeśli znajdziesz dwa lub trzy badania z podobnymi wynikami, możesz napisać: „Uzyskane wyniki są zbieżne z wynikami [Autor, rok] i [Autor, rok], co sugeruje, że brak istotnego efektu w tej relacji może odzwierciedlać realną charakterystykę badanego zjawiska, a nie wyłącznie ograniczenia metodologiczne niniejszego badania.”
To zmienia całą interpretację: z „coś poszło nie tak” na „to co widzę, inni też widzieli.”
Implikacje i kierunki dalszych badań
Wynik negatywny też wskazuje drogę. To nie jest koniec, to jest mapa.
Kilka typowych implikacji, które możesz rozważyć:
Większa próba. Jeśli efekt był bliski granicy istotności (p=0.07, d=0.35), naturalna implikacja to replikacja z większym n. Oblicz w G*Power, ile osób byłoby potrzebnych do wykrycia efektu d=0.35 z mocą 0.80 przy alfa=0.05.
Inna operacjonalizacja zmiennej. Może nie mierzysz tego, co chcesz mierzyć. Użyłeś kwestionariusza X do pomiaru lęku, ale literatura wskazuje, że kwestionariusz Y lepiej wychwytuje specyficzny typ lęku, który Cię interesuje. Nieistotny wynik może wynikać z niedopasowania narzędzia do konstruktu.
Inna populacja. Efekt może istnieć w jednej grupie, ale nie w innej. Jeśli badałeś studentów pierwszego roku, możliwe, że ten sam efekt pojawi się przy doświadczonych pracownikach lub odwrotnie. Wynik negatywny w jednej populacji zawęża teren poszukiwań.
Moderatory. Może efekt istnieje, ale tylko przy określonych warunkach: konkretnej płci, poziomie stresu, typie środowiska. Wynik negatywny w próbie heterogenicznej może maskować efekt w podgrupach. To prowadzi do hipotez o zmiennych moderujących.
Napisz co najmniej dwa konkretne kierunki dalszych badań. Nie „należy przeprowadzić dalsze badania” (to nic nie mówi), ale „replikacja badania na próbie n=120 dobranych metodą doboru celowego pozwoliłaby ocenić, czy wynik jest stabilny przy wyższej mocy statystycznej.”
Czego nie robić: p-hacking i HARKing
Przy wynikach negatywnych pojawia się pokusa. Omówię dwie nieetyczne praktyki, które kończą kariery naukowe.
P-hacking to szukanie znaczących wyników przez manipulację analizą – po fakcie, gdy pierwsze analizy nie wyszły. Formy p-hackingu:
- Usuwanie obserwacji odstających aż efekt wyjdzie
- Sprawdzanie wyników w trakcie zbierania danych i zatrzymywanie gdy p<0.05.
- Testowanie wielu zmiennych i raportowanie tylko tej, która „wyszła”.
- Dodawanie lub usuwanie kowariancji aż efekt osiągnie istotność
Każda z tych praktyk zwiększa ryzyko błędu I rodzaju (false positive). Przy 20 testach z alfa=0.05 jeden „wyjdzie” tylko przez przypadek – i nie mówi nic o rzeczywistości.
HARKing (Hypothesizing After Results are Known) to inny problem: robisz analizę, widzisz wyniki, a potem piszesz hipotezy tak, jakbyś je miał przed badaniem. Formalnie hipotezy stoją przed wynikami, faktycznie są po. Artykuł wygląda na potwierdzający teorię, ale teoria była sklecona po fakcie.
Oba problemy są wykrywalne. Statystycy mają narzędzia do identyfikacji p-hackingu w danych (test z-curve, p-curve analysis). HARKing wychodzi przy replikacji. A preregistracja badania – czyli publiczne zapisanie hipotez przed zbieraniem danych w OSF lub AsPredicted – jest najlepszym zabezpieczeniem i rośnie jako standard w psychologii, naukach społecznych i medycynie.
Krótko: nie naprawiaj wyników po fakcie. Opisz to, co jest.
Jak napisać dyskusję krok po kroku
Dobra dyskusja wyników negatywnych ma określony rytm. Oto sekwencja, która działa:
Krok 1: Sformułuj co znalazłeś. Jedno lub dwa zdania: „Nie stwierdzono istotnego statystycznie związku między X a Y (r=-0.08, p=0.41). Wielkość efektu była bliska zeru.”
Krok 2: Sprawdź moc. Oblicz moc a posteriori w G*Power i napisz: „Analiza mocy wskazuje, że przy uzyskanej wielkości efektu i n=X, moc badania wynosiła Y.”
Krok 3: Odnieś do literatury. Co mówią inne badania? Czy są spójne z Twoim wynikiem? Czy masz powody sądzić, że Twój wynik jest replikacją, czy raczej odstaje od głównego nurtu?
Krok 4: Zaproponuj wyjaśnienia. Trzy najczęstsze dla wyników negatywnych: niewystarczająca moc, nieodpowiednia operacjonalizacja zmiennej, moderatory których nie uwzględniłeś.
Krok 5: Opisz ograniczenia. Nie jako wymówki, ale jako uczciwa ocena tego, co badanie może, a czego nie może powiedzieć.
Krok 6: Wskaż konkretne kierunki dalszych badań. Liczba potrzebna do replikacji z odpowiednią mocą, inne narzędzia, inne populacje.
Ta sekwencja działa bez względu na to, czy masz jeden wynik negatywny czy całe badanie zakończone p>0.05 we wszystkich analizach.
Najczęstsze błędy
- Pisanie „hipoteza nie potwierdziła się” jako konkluzja, bez dalszej interpretacji – to połowa zdania, nie dyskusja
- Ignorowanie mocy statystycznej przy interpretacji nieistotnych wyników – p>0.05 przy n=20 to inna informacja niż przy n=300
- Brak poszukiwania literatury z podobnymi wynikami negatywnymi – jedna linijka w dyskusji „nie znaleziono podobnych badań” to za mało
- Ogólnikowe „należy przeprowadzić dalsze badania” bez konkretyzacji – co konkretnie, jak, na jakiej próbie
- Ukrywanie nieistotnych wyników pomocniczych – raportuj wszystkie istotne analizy, nie tylko te, które „wyszły”
- Używanie sformułowania „brak efektu” gdy faktycznie masz „brak istotności statystycznej” – to różne rzeczy
- Nie pisanie o p-hackingu z obawy, że promotor pomyśli, że to robiłeś – promotorzy wiedzą, że zjawisko istnieje, a uczciwa dyskusja go wyprzedza
FAQ
Czy wyniki negatywne można opublikować w czasopiśmie?
Tak. Rośnie liczba czasopism, które wprost promują publikację wyników negatywnych: PLOS ONE, Journal of Negative Results in Biomedicine (choć zawieszone, model przetrwał w innych tytułach), Registered Reports w wielu czasopismach z dużym impakt faktorem. Registered Reports to format, gdzie recenzja następuje przed zebraniem danych – akceptacja jest warunkowa na protokół, nie na wyniki. To eliminuje publication bias strukturalnie.
Promotor mówi, że „muszę coś mieć”. Co robić?
To częsta sytuacja. Rozróżnij: „promotor chce sensownej pracy” (słusznie) od „promotor wymaga p<0.05” (błędne rozumienie nauki). Zazwyczaj promotorzy nie mają na myśli manipulowania danymi – mają na myśli rzetelną interpretację. Przyjdź z obliczoną mocą statystyczną, z przeglądem podobnych wyników negatywnych w literaturze i z konkretnymi implikacjami. To jest „coś”.
Jak opisać wyniki negatywne w streszczeniu pracy?
Tak samo jak w dyskusji – precyzyjnie i bez upiększeń. „Nie stwierdzono istotnego statystycznie związku między X a Y (r=-0.08, p=0.41, n=42). Wynik ten omówiono w kontekście ograniczonej mocy statystycznej badania oraz wcześniejszych badań nad zmiennymi moderującymi.” Streszczenie ma być dokładnym skrótem pracy, nie jej PR-ową wersją.
Czy wynik p=0.06 mogę opisać jako „tendencję”?
Możesz, ale z ostrożnością i bez nadinterpretacji. Sformułowanie „tendencja na poziomie p=0.06 (d=0.42)” jest akceptowalne jako sygnał do dalszych badań, o ile wyraźnie zaznaczysz, że wynik nie osiągnął konwencjonalnego progu istotności i że interpretacja jest spekulatywna. Nie pisz „wyniki sugerują” bez tego zastrzeżenia.
Podsumowanie
Wynik negatywny w pracy to nie klęska – to informacja. Dobrze opisany: z analizą mocy statystycznej, odniesieniem do literatury i konkretnymi implikacjami dla dalszych badań, jest pełnowartościowym wkładem naukowym. Zły wynik to taki, który jest sfabrykowany lub przemilczany – nie taki, który nie osiągnął p<0.05.
Warto też pamiętać, że dyskusja wyników negatywnych jest często bardziej wymagająca językowo niż dyskusja wyników pozytywnych. Musisz być precyzyjny w tym, czego nie twierdzisz: nie twierdzisz, że efektu nie ma – twierdzisz, że go nie wykryłeś w tych warunkach. Różnica jednego słowa, ale fundamentalna dla poprawności naukowej. To właśnie te niuanse wychodzą przy rzetelnej korekcie tekstu naukowego.
Jeśli napisałeś dyskusję i chcesz się upewnić, że jest precyzyjna, logicznie spójna i nie zawiera niezamierzonych sformułowań sugerujących manipulację – korektę pracy doktorskiej na dobrzenapisane.pl realizuję w 24 godziny.
