Nature: Falošné výskumné práce fabrikovaných štúdií spoznané analýzou autorských trendov

LONDÝN – Nový prístup k odhaľovaniu podvodných vedeckých štúdií sa zameriava skôr na vzory spoluautorov, než na rukopisný text.

Napísal o tom vedecko-populárny časopis Nature.

Výskumno-technologická firma vyvinula nový prístup, ktorý pomáha identifikovať články v časopisoch, ktoré pochádzajú z fabrík vyrábajúcich akože vedecké štúdie – spoločností, ktoré chrlia falošné alebo nekvalitné štúdie a predávajú autorstvo.

Technika, opísaná v predtlači uverejnenom na arXiv minulý mesiac ¹ , využíva faktory, ako je kombinácia autorov článku na označenie podozrivých štúdií. Jeho vývojári z londýnskej firmy Digital Science tvrdia, že môže pomôcť identifikovať prípady, v ktorých sa výskumníci mohli dostať do štúdie.

Doterajšie snahy o odhalenie fabrikovaných štúdií sa zameriavali na analýzu obsahu rukopisov. Jeden online nástroj napríklad vyhľadáva v dokumentoch torzovité frázy – zvláštne alternatívne slovné spojenia pre existujúcu terminológiu vytvorené softvérom určeným na zabránenie odhaleniu plagiátorstva. Iný nástroj, ktorý pilotne využíva Medzinárodná asociácia vedeckých, technických a lekárskych vydavateľstiev (STM), označuje, keď sú identické rukopisy zaslané do viacerých časopisov alebo vydavateľstiev súčasne.

Prístup, ktorý namiesto toho analyzuje vzťahy medzi autormi, by mohol byť cenný, pretože papierne sa zdokonaľujú v tvorbe presvedčivých textov, hovorí Hylke Koers, hlavný informačný pracovník STM, ktorý sídli v holandskom Utrechte. “Toto je druh signálu, ktorý je oveľa ťažšie obísť alebo prekonať šikovným využitím generatívnej umelej inteligencie.”

Neobvyklé vzory

Organizácie fabrikujúce štúdie predstavujú pre vydavateľov čoraz väčší problém – podľa jedného odhadu sa približne 2 % všetkých publikovaných dokumentov v roku 2022 podobali na štúdie vyrobené v organizáciách fabrikujúcich štúdie – a v posledných rokoch vydavatelia zintenzívnili úsilie na riešenie tohto problému.

Okrem toho, že články, ktoré chrlia papierové mlyny, sú nekvalitné, často obsahujú vymyslené údaje a nezmyselný text, sú často vyplnené výskumníkmi, ktorí si kupujú autorstvo na rukopisoch už prijatých na publikovanie. Niektoré papierne tvrdia, že sprostredkovali desaťtisíce autorstiev, a to aj v časopisoch, ktoré sú indexované v uznávaných databázach, ako sú Web of Science a Scopus.

To môže vytvárať nezvyčajné vzorce spoluautorstva a siete výskumníkov, ktoré sa líšia od tých v legitímnom výskume, hovorí Simon Porter, viceprezident pre výskumné futures v spoločnosti Digital Science.

Za normálnych okolností “by sa dalo očakávať, že mladý výskumník bude publikovať so svojím nadriadeným a o niečo neskôr sa začne rozptyľovať a publikovať s inými ľuďmi”, hovorí Porter. “Môžete vidieť vývoj, nie je to náhodná sieť.”

V prípade prác z podnikov vyrábajúcich štúdie, to tak nie je. Technológia, ktorú Porter vyvinul spolu s Leslie McIntoshovou, viceprezidentkou pre integritu výskumu v spoločnosti Digital Science, vyhľadáva trendy, ktoré naznačujú organizácií fabrikujúcich štúdie. Patria k nim siete spoluautorov zložené z výskumníkov na začiatku kariéry, ktorí majú náhle prudký nárast publikácií, a práce, v ktorých figuruje niekoľko autorov, ktorí nemajú žiadnu publikačnú históriu, alebo súbor spolupracovníkov, ktorí pravdepodobne nespolupracovali, napríklad autori z viacerých miest, alebo nesúvisiacich disciplín.

Keď porovnali výsledky novej techniky s výsledkami nástroja Problematic Paper Screener, ktorý vyhľadáva torzovité frázy a iné červené vlajky, Porter a McIntosh zistili, že sa výrazne prekrývajú. V ich štúdii sa zistilo, že približne 10 % autorov bolo priamo označených oboma nástrojmi a 72 % autorov v súbore údajov “siete autorov” možno prepojiť prostredníctvom spoluautorstva s autormi v súbore údajov “problematických viet”.

 

Technologické triky

Hoci sa papierne rýchlo vyvíjali, takže sa publikuje menej dokumentov s torzovitými frázami, Porter si myslí, že spoločnosti budú mať problém obísť označovanie týmito nástrojmi a zároveň si zachovať svoj súčasný obchodný model.

Spoločnosť Digital Science zverejnila kód, ktorý je základom tejto techniky, na internete a Porter tvrdí, že vydavatelia by ho mohli začať používať okamžite.

Joris Van Rossum, programový riaditeľ STM Solutions v Amsterdame, hovorí, že jeho organizácia zváži pridanie novej technológie do STM Integrity Hub – zbierky zdrojov a nástrojov, ktoré majú vydavateľom pomôcť odhaliť podvodné články.

Chris Graf, riaditeľ pre integritu výskumu v londýnskej pobočke Springer Nature, hovorí, že prekážky pretrvávajú, najmä pri rozlišovaní medzi výskumníkmi, ktorí majú rovnaké meno, a pri vyraďovaní chybne označených autorov. “Zistili sme, že v tomto kontexte sa môžu vyskytnúť určité problémy s konzistentnosťou údajov, ktoré znamenajú, že to nie je jednoduché,” hovorí Graf. “Veľmi brilantní mladí výskumníci s nízkym koeficientom zoskupenia by sa mohli objaviť ako falošne pozitívne výsledky, čo zjavne nie je ideálne.” Dodáva však: “Napriek tomu skúmame veľa rôznych možností a nič nie je vylúčené zo stola.” (Spravodajský tím časopisu Nature je nezávislý od vydavateľa časopisu Springer Nature.)

Anna Abalkina, sociologička zo Slobodnej univerzity v Berlíne, ktorá už roky sleduje štúdie o papierových mlynoch, hovorí, že je dobré dôkladne preskúmať autorské siete. “Mlyny melúce štúdie určite majú anomálie v spolupráci,” hovorí.

Abalkina však upozorňuje, že naše znalosti o obchodných modeloch a procesoch papierní sú obmedzené. Je tiež ťažké dokázať, že publikovaná štúdia je určite produktom organizácie fabrikujúcej štúdie, poznamenáva, čo sťažuje použitie tejto skutočnosti ako dôvodu na jej stiahnutie.

V konečnom dôsledku “bude potrebné použiť všetky triky, aby sme dokázali poskytnúť presvedčivý filter pre mlyny”, hovorí Porter. “Nebude to len jedna technika.”

doi: https://doi.org/10.1038/d41586-024-00344-w

Referencie:

¹  Porter, SJ & McIntosh, LD Preprint na arXiv https://doi.org/10.48550/arXiv.2401.04022 (2024).