A szakértői értékelés (peer review) segíti a finanszírozókat a döntéshozatalban, viszont a kutatók szerint sokszor átláthatatlan és rendkívül időigényes a folyamat.

Többek között ez is kiderült a Grant Review In Focus elnevezésű jelentésből, amelyet a Publons készített, világszerte több mint 4 500 kutató bevonásával.  Nem ez volt az első próbálkozása a nonprofit cégnek, szakértőik tavaly már készítettek egy hasonló tanulmányt a tudományos folyóiratokba benyújtott tanulmányok szakértői értékeléséről.

Röviden a Publonsról

A Publons egy 2012-ben létrehozott, jelenleg 500 000 kutatót számláló weboldal. Segítségével a felhasználók szakértői értékelési tevékenységüket mérhető kutatási hozzájárulásként mutathatják be, emellett az így kapott adatokat felhasználhatják a kutatásban elfoglalt helyzetük és hatásuk további jellemzésére.
A Publons adatbázist 2017 nyarán megvásárolta a Clarivate Analytics, az a cég, amely több más adatbázis mellett a Web of Science tulajdonosa is. Már maga ez a tény is jól jelzi a Publons adatainak tudománymetriai jelentőségét.

Mi derült ki a felmérésből?

• A kutatók évente mintegy tíz napot töltenek más szerzők finanszírozási javaslatainak felülvizsgálatával.
• A kutatók általánosságban elégedettek azzal, ahogyan a támogatások áttekintése működik, viszont megjegyzik, hogy fejlődésre mindig van lehetőség.
• A megkérdezettek körülbelül kétharmada összességében elégedett volt az értékelési folyamattal (lásd: „The researcher experience”), és 78% szerint a szakértői értékelés volt a legjobb módszer a kutatási források elosztására.
• A válaszadók fele elégedetlen az átláthatóság szintjével, és hasonló arányban gondolják, hogy a fiatal kutatók támogatási javaslatait nem kezelik olyan objektíven, mint a vezető oktatók meglátásait.
• A kutatók több mint egyharmada pedig úgy nyilatkozott, hogy nem hiszi, hogy az ilyen szakértői értékelések méltányosak és elfogulatlanok.

A jelentés szerint a támogatások felülvizsgálata időigényes mind a kutatók, mind a finanszírozók számára. Mint ahogyan már fentebb említésre került, az akadémikusok évente átlagosan tíz napot töltenek a pályázatok felülvizsgálatával. 11 finanszírozó ügynökséggel folytatott interjú alapján kiderült, hogy az ügynökségek minden támogatási pályázat esetében 2–6 órát töltenek az értékelők felkutatásával, emellett átlagosan 3 fővel kell kapcsolatba lépniük, hogy találjanak egy valakit, aki vállalja a munkát.

A kutatók 55%-a úgy nyilatkozott, hogy nagyobb valószínűséggel vállalják a támogatási kérelmek felülvizsgálatát, amennyiben elismerik valamilyen módon az erőfeszítéseiket. Noha sokan kapnak például köszönő e-maileket a finanszírozoktól, ahogyan a lenti ábrából is kiderül (lásd: „Reviewer Rewards”), közel 20% semmilyen elismerésben sem részesül.

A pénz is megjelenik, mint az elismerés formája, viszont csupán a hatodik helyet foglalja el a lehetséges ösztönzési eszközök listáján. A kutatók inkább azt szeretnék, ha a munkáltatók és a finanszírozók által nagyobb elismerésben részesülnének, valamint visszajelzést kapnának értékelésük minõségérõl.

Némi árnyékot vethet a jelentés elfogulatlanságára, hogy a válaszadók regisztrált Publons felhasználók. Erre a tényre figyelmeztette a kutatói közösséget Anna Severin, a svájci Bern Egyetem szociológusa. Severin, aki egy másik projekttel kapcsotban dolgozik a Publons csapatával, de nem vett részt ebben a jelentésben, azt is megjegyzi, hogy a felmérés némi nyugati részrehajlással készült: a megkérdezettek közel 50% -a Európából, kevesebb mint 3% -a pedig Kínából volt.

A Publons elismeri, hogy a felmérése nem reprezentatív a globális tudományos közösség számára, de fenntartja, hogy a jelentés az eddigi legátfogóbb kutatói felmérés a támogatások felülvizsgálatáról.

Neked mi a véleményed a szakértői értékelés folyamatáról? Te is osztod a felmérésben részt vevő kutatók aggodalmait?