V súčasnosti existuje veľa spôsobov, ako môžeme predregistrovať naše výskumy. Okrem recenzovaného formátu Registered Reports (RR), môžeme predregistráciu aj spísať podľa seba, alebo využiť aj niektorý z webov, ktoré umožňujú vytvoriť predregistráciu s časovou prečiatkou (napr. https://aspredicted.org/; Simonsohn et al. 2017).
V tomto blogu sa pokúsim sumarizovať hlavné body, ktoré by mali byť súčasťou každej predregistrácie. Tento blog je zjednodušeným popisom kritérií pre predregistráciu a vychádza primárne z materiálov Americkej psychologickej asociácie (APA), Britskej psychologickej spoločnosti (BPS) a Nemeckej psychologickej spoločnosti (DGPs), ktoré spolu vypracovali návrh štandardov pre predregistrácie kvantitatívnych štúdií. Celý dokument s predregistračnými štandardmi nájdete tu. Tieto odporúčania sú v súlade s odporúčaniami publikovanými na webe Open Science Framework (Bowman et al. 2016).
Predregistrácia, nezávisle od toho či ide o formát Registered Reports (RR) alebo inú formu predregistrácie, musí obsahovať základné údaje: názor príspevku, mená autorov, dátum predregistrácie, kľúčové slová (resp. abstrakt). Ďalej postupujeme podľa schémy IMRAD odporúčanej pre APA7 štýl (APA 2020).
Body predstavené v tomto blogu zachovávajú číslovanie pôvodných štandardov. K niektorým bodom boli pridané ilustračné príklady podľa replikačnej štúdie zameranej na testovanie „facial feedback hypotézy“ (Wagenmakers et al. 2016)
I) Úvod (introduction) by mal obsahovať:
I.1: stručný popis východiskových štúdií alebo teórie, ktorá je základom pre navrhované hypotézy,
I.2: formulovanie výskumného cieľa a následne,
I.3: hypotéz. Hypotézy by mali byť čo najkonkrétnejšie; je potrebné uviesť, či sa jedná o jednosmerné (one-tailed) alebo obojsmerné (two-tailed) porovnania. Ak je hypotéz viac, mali by byť číslované jednotným spôsobom v celom dokumente.
Príklad: „H1: Skupina, v ktorej participanti držia v ústach pero tak, že majú výraz úsmevu bude hodnotiť podnety ako vtipnejšie. (one-tailed)“
I.4: Ak plánujeme exploračné porovnania, podľa odporúčaní, by sme ich mali uviesť a zdôvodniť. Samozrejme, exploračné porovnania je možné pridať aj neskôr v priebehu analýzy dát.
M) Metóda by mala obsahovať:
M.1 a 2: Upresnenie fázy výskumu, v ktorej je registrácia spísaná (napr. pred zberom dát; po zbere dát avšak pred prvým nahliadnutím do dát; pred štatistickou analýzou dát). V prípade použitia už existujúcich dát, napr. dát od iných autorov je to potrebné uviesť a špecifikovať mieru svojej informovanosti o dátach v čase predregistrácie.
M.3: Veľkosť vzorky vzhľadom k dizajnu štúdie. Vhodné je podložiť veľkosť vzorky výpočtom a-priori analýzy štatistickej sily (power analýza).
Príklad: „Vzhľadom k veľkosti efektu v pôvodnej štúdii je plánovaná veľkosť vzorky 50 participantov.“
V prípade napr. sekvenčných dizajnov (dizajny, pri ktorých po nahliadnutí do dát testujeme ďalších participantov) je potrebné stanoviť pravidlo kedy ukončíme zber dát (resp. koľkokrát a pri akých veľkých vzorkách môžeme nahliadnuť do dát.)
M.4: Spôsob zberu dát, kritériá na zaradenie, resp. vylúčenie zo vzorky, atď.
Príklad: „Dáta boli vylúčené ak participanti v záverečnom dotazníku správne odhadli cieľ štúdie (pozícia pera v ústach súvisí s hodnotením vtipnosti podnetov)“
M.5: Ako plánujeme štatisticky ošetriť participantov, ktorí výskum nedokončia, alebo z neho vypadnú?
Príklad: „Participanti s chýbajúcimi dátami budú vyradení zo štúdie“
M.6: Bude štúdia zaslepená alebo dvojito zaslepená (blinded, double-blinded)?
Príklad: „Štúdia je jednostranne zaslepená.“
M.10: O aký typ štúdie ide (napr. korelačná štúdia, experimentálna štúdia...)?
Príklad: „Experimentálny dizajn, dve medzisubjektové podmienky (v jednej skupine participanti držia pero v zuboch tak aby sa usmievali, v druhej držia pero perami.“
M.11: Bude pridelenie participantov do skupín randomizované? Budú jednotlivé testy (resp. ich poradie) randomizované?
Príklad: „Participanti budú náhodne pridelení do skupín.“
M.12: Následne uvedieme všetky merané premenné a určíme ich úlohu (či ide o nezávislé premenné, závislé premenné, kovariáty). Ak vo vyššie uvedených hypotézach nie je jasné, ktoré premenné sa týkajú ktorej hypotézy, upresníme to!
Príklad: „Pozícia pera (skupina) – nezávislá premenná; hodnotenie vtipnosti komixov na 10-stupňovej škále – závislá premenná.“
M.13 a 14: Popíšeme celú procedúru štúdie (vrátane použitých metód a materiálov). Je dôležité aby sme štúdiu, ako aj vzorku vyššie, popísali tak, aby aj neinformovaný výskumník/výskumníčka mohol štúdiu podľa tohto návodu replikovať.
AP) Našou poslednou úlohou je popísať analytický plán:
AP.1 a 2: Máme nejaké kritériá, na základe ktorých vylúčime participantov po meraní (napr. určité výkonové charakteristiky)? Sú nejaké kritériá na vylúčenie niektorých položiek alebo pokusov (napr. mimoležiace hodnoty)?
Príklad: „Hodnotenia odlišujúce sa o viac ako 2,5 štandardnej odchýlky od priemeru budú vylúčené“
AP.3: Budú analýze dát predchádzať nejaké manipulácie s dátami, napr. kalkulácia škál z viacerých položiek; transformácie dát; identifikácia a práca s mimoležiacimi hodnotami; diagnostické štatistiky (napr. testovanie predpokladu normality)?
AP.5: Ako plánujeme štatisticky testovať každú z hypotéz? Je potrebné presne určiť všetky špecifikácie štatistického modelu (napr. nezávislý Studentov t-test), resp. upresniť plánované testy v prípade porušenia predpokladov.
Príklad: „Hypotéza H1 bude testovaná t-testom pre dva nezávislé výbery.“
AP.6: Nakoniec ešte uvedieme kritériá štatistickej inferencie, napr. mieru chyby 1. typu (α) resp. iné kritériá na základe ktorých budeme prijímať hypotézy. Ak sa tieto kritériá líšia medzi hypotézami, musíme ich uviesť pre každú z hypotéz.
AP.7: Ak máme iné potrebné informácie, napr. ohľadom exploračných analýz, taktiež ich uvedieme.
To sú základné informácie, ktoré by sme podľa APA, BPS a DGPs mali v predregistrácii uviesť. Na prvý pohľad to vyzerá ako veľa ťažkých rozhodnutí, avšak, ako sme už spomínali v predchádzajúcom blogu, všetky tieto rozhodnutia musíme aj tak urobiť pri analýze dát, keby sme predregistráciu nepoužili. Namiesto toho, aby sme uviazli v zmätku počas štatistickej analýzy, nám predregistrácia poskytne jasný návod, ako pri analýze postupovať. Množstvo práce je teda rovnaké, iba ju vykonáme už pri plánovaní a nie až potom, ako zozbierame dáta. Veď ako povedal jeden z velikánov inferenčnej štatistiky Ronald Fisher, „Konzultovať so štatistikom po tom, ako je experiment dokončený, je často iba výzvou na to, aby vykonal prehliadku post-mortem. Možno nám vie povedať, na čo experiment zomrel.“
Referencie:
American Psychological Association. (2020). Publication manual of the American Psychological Association (7th ed.). https://doi.org/10.1037/0000165-000
American Psychological Association; British Psychological Society; Deutsche Gesellschaft für Psychologie (2020). Preregistration standards for psychology. https://event.on24.com/eventRegistration/EventLobbyServlet?target=reg30.jsp&mode=login&loginemail=jakub.rajcani%40uniba.sk&eventid=2754090&sessionid=1&key=9F667CCA5538ACC00211491FE85886CC®Tag=&V2=false&sourcepage=register
Bowman, S. D., DeHaven, A. C., Errington, T. M., Hardwicke, T. E., Mellor, D. T., Nosek, B. A., & Soderberg, C. K. (2016). OSF Prereg Template. Retrieved from osf.io/preprints/metaarxiv/epgjd
Simonsohn, U., Simmons, J., & Nelson, L. (2017). AsPredicted. Retrieved from https://aspredicted.org/messages/terms.php 1/15/2020
Wagenmakers, E. J., Beek, T., Dijkhoff, L., Gronau, Q. F., Acosta, A., Adams Jr, R. B., ... & Zwaan, R. A. (2016). Registered replication report: strack, martin, & stepper (1988). Perspectives on Psychological Science, 11(6), 917-928.
Comments