Fiatal kutatóként biztos te is megfordultál már egy-két pre-print szerveren. Gondolkodtál valaha azon, hogy a kéziratot bíráló kommentek hány százalékára nem érkezik soha válasz? Vagy esetleg azon, hogy milyen arányban oszlanak meg a bírálatot, dicséretet, javaslatot tartalmazó hozzászólások?
Egy négy főből álló csapat (Mario Malički, Joseph Costello, Juan Pablo Alperin, és Lauren Maggio) bizony gondolkodott ezen. Kitartó munkájuknak köszönhetően készült el az a tanulmány, amely górcső alá veszi a bioRxiv pre-print szerverére érkezett összes hozzászólást 2015 májusa és 2019 szeptembere között. Az elemzés csak azokat a kommenteket vizsgálja, amelyekre nem érkezett válasz.
Csaknem kétezer megjegyzést csoportosítottak, többek között aszerint, hogy ki írta azt – a tanulmány szerzője, vagy más. Ezt követően a hozzászólásokat a következő kategóriák egyikébe sorolták: dicséret, kritika, kérdés, vagy egyéb.
A ScholCommLab Mario Malički-vel készített interjújából megtudhatjuk, melyek a tanulmány legmeglepőbb és legérdekesebb felismerései. Ha kíváncsi vagy rá, olvass tovább!
Miért volt fontos a preprint kommentjeinek elemzése?
A pre-printeket legtöbbször azért támadják, mert még nem peer reviewed, azaz szakértő által értékelt írások. Azt viszont már kevesebben veszik figyelembe, hogy a pre-printek megosztásával értesülhetnek a kutatótársak leghamarabb arról, hogy az adott kutatási területen milyen új eredmények születtek.
A kommentek elemzése során bebizonyosodott-e az, – ami valójában igaz –, hogy igenis vannak, akik szakmailag is értékelik a pre-pinteket?
Számomra két nagy meglepetést okozott ez a tanulmány – nyilatkozta Malički. Az egyik az volt, hogy a kommentelők 31%-a egyben a kéziratok szerzői voltak. A másik pedig az, hogy a kommentek 12%-a szakmai bírálat (peer review) volt. Azt feltételeztem, hogy az emberek többsége egy vagy két megjegyzést, esetleg kérdést ír, ehhez képest teljes értékű szakmai értékeléseket is találtunk.
Hogyan kell elképzelnünk azokat a szakértői értékeléseket, amelyek egy-egy kommentben érkeztek?
Általában így kezdődnek: “Kedves szerzők! Köszönöm a lehetőséget, hogy átnézhetem a kutatásukat. Érdekesnek találtam, de néhány dologra fel szeretném hívni a figyelmüket.” Ezután pontokba szedve feltesznek néhány kérdést, a megjegyzést pedig a következőképp zárják: “Remélem, hogy észrevételeim hozzájárulnak a tanulmányuk sikeréhez.”
Olyan ez, mint egy szendvics, dicsérettel töltve.
Valóban, tulajdonképpen több komment is igazi burkolt dicséret, melyek egy-egy kérdésben, de még a peer review reportban is felfedezhetők. A recept egyszerű: végy egy nagy adag bírálatot és fűszerezd egy csipetnyi dicsérettel.
Meg tudnál említeni egy-két példát a laikusok leghétköznapibb hozzászólásaiból?
Mindenfélét találtunk. Sokan csak egy köszönömöt írtak, de érkeztek kérdések betegektől is mint pl. “Tud-e róla, hogy valaki más is kutat ebben a témában?” vagy “Mi lesz a következő lépés?”
Mások (talán) hibát fedeztek fel és ezt el is mondták: “Ha nem tévedek, van egy hiba az ábrán.” Habár nem számszerűsítettük, de ezen megjegyzések túlnyomó része bírálat vagy javaslat volt.
Mi a tanulmány legfőbb társadalmi szerepe?
Ez egy igen nehéz kérdés, mert mi csak azokat a kommenteket vizsgáltuk, amelyek pre-printekre érkeztek és válasz nélkül maradtak. Az általunk elemzett hozzászólások 60%-ának írója nem hozzáértő, hanem laikus volt. Ezekre a megjegyzésekre nem érkezett válasz, bár szerintünk egyik sem volt olyan, amelyre nem lehetett volna válaszolni.
Miután kiderült, hogy a bioRxiv nem értesíti a szerzőt, arról, ha valaki hozzászólt a munkájához, megértettük a válaszolatlan kérdések misztériumát.
Mit gondolsz, van rá esély, hogy tartalmas beszélgetések szülessenek egy-egy hozzászólásból?
Abszolút! Jó lenne, ha a levelező szerző értesítést kapna, amikor hozzászólás érkezik, mert félő, hogy ha ez nem változik (sok megválaszolatlan kérdés marad), akkor az érdeklődők email-ben veszik fel a szerzővel a kapcsolatot, ahelyett, hogy nyilvános platformot használnának. Ez pedig kihatással lesz az ismeretek megosztására, hiszen így csak egy személy láthatja a választ.
Te milyen mértékben szoktál figyelmet fordítani a hozzászólásokra a pre-print szervereken?
Források:
A kutatást feltöltötték a bioRxivre, itt megtekintheted.
A SchollComLab által készített interjút, pedig eredetiben itt találod.