Research Synthesis Methods

For forskere, der udfører systematiske reviews med meta-analyse, har det tidligere ikke været muligt at udregne styrken for meta-analysemodeller, der håndterer afhængigheder mellem effektstørrelser, der kommer fra det samme studie. Derfor udviklede Vembye, Pustejovsky, og Pigott nye styrkeformler til at udregne styrke for disse komplekse modeller. Tidligere forskning har dog mestendels haft fokus på at udvikle og teste kvaliteten af de nye styrkeformler og har haft mindre fokus på, hvordan disse gennemføres i praksis, hvorfor dette projektet har til formål at udbedre dette videnshul.

 

Resultater:

Projektet udvikler dels nye retningslinjer for, hvordan styrkeanalyser inden for meta-analyse bør gennemføres, dels ny software til at gennemføre styrkeanalyser. Konkret udvikles R-pakken POMADE i dette projekt, som leverer funktioner til at udregne styrke, den mindste detekterbare effektstørrelse og antallet af studier, det kræver for at finde en specifik effekt vurderet til at være praktisk relevant. Derudover vil POMADE-pakken indeholde plotfunktioner, som skal gøre det lettere for anvendte forskere at præsentere resultaterne af styrkeanalyserne.
Pakken kan hentes fra CRAN via dette link.

 

Anbefalinger:

Vi anbefaler, at styrkeanalyser inden for meta-analyse med afhængige effektstørrelser hovedsagligt gennemføres for tests, der dels baserer sig på simuleret eller pilotdata, der tager højde for, at antallet af effektstørrelser og deres præcision kan variere på tværs af studier, dels baserer sig på robust variansestimation (RVE), da disse er mest nøjagtige. Derudover anbefaler vi, at styrkeanalyser udregnes henover en række plausible antagelser omkring de endelig data og den endelige model, da det er stort set umuligt at gætte alle parametre og datastrukturer a priori. Vi anbefaler i den forbindelse at benytte såkaldte traffic light plots til at præsentere, hvilke styrkeapproximationer forskere med størst sandsynlighed forventer er de mest præcise.

 

Metode: 

Vi benytter tidligere meta-analystisk forskning til at udvikle nye retningslinjer  for styrkeapproksimering inden for meta-analyse samt softwareudviklingsværktøjer til at udvikle POMADE R-pakken.

 

Pakkens hjemmeside kan tilgås her.