Using AI Tools to Screen Titles and Abstracts in Literature Reviews: Common Guidelines and Introducing the AIscreenR R Package

Når VIVE Campbell udarbejder et litteratur-review, er første skridt altid at identificere de studier, der skal indgå i reviewet blandt en stor mængde af potentielt relevante studier. På et typisk Campbell-review vil der typisk være to personer (screenere), der manuelt og uafhængigt af hinanden skal screene mellem 8-18.000 titler og abstracts med henblik på at sortere de irrelevante studier fra.

I dette projekt vil VIVE Campbell undersøge, om kunstig intelligens i form af store sprogmodeller (fx ChatGPT og BARD) kan bidrage til at effektivisere denne screeningopgave. Det undersøges konkret, om der kan udvikles arbejdsgange, hvor den ene screener skiftes ud med en kunstig intelligens, uden at det går ud over pålideligheden af screeningen. Dette vil kunne frigøre en stor mængde ressourcer, som vil kunne bruges på andre opgaver. Det kunne for eksempel være mere analytiske opgaver, så der kan skabes bedre litteratur-reviews for de samme ressourcer.

Formål

Hovedformålet med projektet er at undersøge om – og i givet fald hvordan – kunstig intelligens (AI), såsom ChatGPT, kan bidrage til at udføre titel- og abstractscreening på store mængder af bibliometriske data. Projektet vil dels bidrage med udvikling og test af arbejdsgange til den AI-assisterede screening, og derudover vil der som led i projektet blive udviklet ny software i form af en R-pakke, der kan automatisere screeningen. Det er forventningen, at man med softwaren vil kunne screene op mod 100.000 titler og abstracts på en uge.

Metoder

Til at evaluere, hvordan kunstig intelligens som ChatGPT præsterer, benytter vi tidligere reviews fra VIVE Campbell, hvor den kunstige intelligens’ screening kan sammenholdes med allerede gennemførte screeninger foretaget af mennesker. Derudover anvendes almene softwareudviklingsværktøjer til at udvikle AIscreenR-pakken.

Pakkens hjemmeside kan tilgås på https://mikkelvembye.github.io/AIscreenR/