A tudomány sötét oldala, avagy a reprodukálhatósági válság

Mit szólnál, ha kiderülne, hogy a kutatások 70-80 százaléka megbízhatatlan? Hogy téves, vagy szándékosan manipulált adatokra épül? Hogy a tudományos adatbázisokban több tízezer olyan kutatás lelhető fel, amely csupán papíron létezik és valójában soha senki nem végezte el?

Pár hónapja kaptam egy zseniális könyvet, Dr. Szabó Csaba Elpazarolt Orvostudomány c. művét. Hosszú évek oktatói és kutatáselemzői tapasztalata alapján eddig sem voltak illúzióim a tudományos bizonyítékok egy részének minőségével kapcsolatban, ám a leírtak egy része még engem is megdöbbentett. A Mozgásfejlesztés Konferencián említettem néhány adatot, és azóta oly sokan kerestek meg kérdésekkel, hogy úgy döntöttem, röviden összefoglalom a lényeget. Nézzük tehát, hogyan működik az a rendszer, amely alapján gyógyítunk és terápiás döntéseket hozunk!

A PubMed, az orvosbiológiai szakirodalom egyik legnagyobb adatbázisa több mint 35 millió közleményt tartalmaz. Ez az egyik legfőbb információforrás, ez alapján döntjük el mi, egészségügyi dolgozók, orvosok, mozgásterapeuták, hogy milyen gyógyszert, fizioterápiás eljárást vagy egyéb kezelést alkalmazzunk az adott páciensnél az adott problémára. Ez az a forrás, amely az egyes gyógymódok/terápiák megszületésének és továbbfejlesztésének alapjául szolgál. Sőt, jellemzően a szakmai előadásokban, vitákban is ezekre a tudományos bizonyítékokra hivatkozunk lépten-nyomon. Ha az itt található információk hibásak vagy megbízhatatlanok, az bizony komoly probléma.

Elméletileg (hogy miért csak elméletileg, arra később visszatérek) relatíve könnyen kideríthető, hogy egy, a PubMeden, vagy más hasonló adatbázisban szereplő kutatás megbízható-e vagy sem. Egyszerűen csak meg kell ismételni (reprodukálni), és minél több ellenőrző kutatás jut ugyanarra az eredményre, mint az eredeti, annál valószínűbbé válik, hogy a kutatás megbízható. Nem véletlen, hogy a legfőbb elvárás egy kutatással szemben a reprodukálhatóság. Nagyon leegyszerűsítve kijelenthetjük, hogy amelyik kutatási eredmény reprodukálható, az hiteles, amelyik nem, az nem tekinthető annak.

Mindezek fényében sokkoló az a felmérés, amely az egyik legjelentősebb tudományos folyóirat, a Nature saját berkein belül készült, és amelyből kiderül, hogy a biológia és az orvostudomány területén kutató szakemberek 65-75 százalékának nem sikerül reprodukálni más szakemberek által elvégzett kutatások eredményeit, 50-60 százalékuk pedig még a saját korábbi kutatási eredményeit sem képes reprodukálni (1). Ez egyben azt is jelenti, hogy az egészségügyi szakirodalom nagy része vélhetően megbízhatatlan. Felmerül a kérdés, hogy vajon mi okozza ezt a totális káoszt, amit reprodukálhatósági válságnak nevezünk.

Az okok két kategóriába sorolhatóak, az elsőbe a kísérletek különféle – nem szándékos – tervezési és lebonyolítási hibái tartoznak, a másodikba pedig a szándékos adatmanipulálás és a hamisítás. Ez utóbbi akár odáig is fajulhat, hogy különféle tudományos „közleménygyárakban” jó pénzért tudományos publikációkat generálnak számítógépen, méghozzá anélkül, hogy a kutatást bárki valóban lefolytatta volna (bővebben lásd később). És ez sajnos nem vicc! Nagy kérdés persze, hogy vajon mi készteti a kutatókat arra, hogy ilyen kétes eszközökhöz nyúljanak. Hogy a választ megértsük, érdemes megismerni a tudományos világ működésének alapjait.

Bár meglepőnek tűnhet, de a tudósok közt hatalmas a verseny az érvényesülésért. A rendelkezésre álló kutatói állások száma világszerte töredéke a PhD diplomások számának. Egy 2011-es adat szerint az USA-ban évente kb. 36 ezer természettudományos és mérnöki PhD fokozatot szereznek, miközben csupán 3 ezer új egyetemi állás nyílik meg (2). De a harc akkor is folytatódik, ha már bekerültél a pixisbe, azaz mondjuk egy egyetemi tanszékre, a ranglétrán ugyanis csak úgy tudsz feljebb lépni (azaz tanársegédből előbb adjunktussá, majd docenssé, végül professzorrá válni), ha megfelelő teljesítményt nyújtasz. Ez önmagában még nem lenne probléma, abszolút elfogadható, hogy kinek-kinek érdemei szerint. A gond csupán az, hogy a teljesítmény legfőbb fokmérője nem a tudás vagy a tehetség, hanem az egyetem számára kívülről behozott lóvé, azaz az egyetemen folytatott kutatásaidhoz külső forrásokból, pályázatok útján elnyert pénz. A legtöbb egyetem ugyanis semmit, vagy csupán minimális saját forrást biztosít a tanszékeken folytatott kutatásokhoz. Az anyagi támogatás kívülről, különféle külső pályázatokból érkezik (az Egyesült Államokban például leginkább a National Institutes of Health-től (NIH), azaz a Nemzeti Egészségügyi Intézetektől). Irdatlan nyomás nehezedik tehát a tudósokra, hogy pénzt szerezzenek a kutatásaikra. A karrierjük múlik azon, hogy képesek-e ügyesen eladni magukat. Ez azonban korántsem olyan egyszerű, mint azt alább látni fogjuk.

Nézzük, hogyan is működik a jelenlegi pályázati és publikációs rendszer az USA-ban!

Nagyon leegyszerűsítve a folyamat úgy néz ki, hogy a kutató kitalál egy izgalmas témát, majd készít egy pályázatot, amit benyújt egy potenciális támogató szervezetnek (mondjuk a NIH-nek), s ha elnyeri a támogatást, megvalósítja a kutatást, majd végül az eredményeket publikálja egy rangos tudományos folyóiratban, ami komoly presztizst jelent mind a kutató, mind az őt alkalmazó egyetem számára, és így mindenki boldog. Az idáig vezető út azonban igencsak rögös és tele van buktatókkal. Hogy miért?

• Anyagi és emberi erőforrásproblémák
  • a pályázatok sikerességi aránya jelenleg 20 százalék körül van, tehát öt beadott pályázatból csupán egy kap anyagi támogatást
  • egy kutatás/projekt kb. 4-5 évig tart, és a pályázatból befolyt pénz épp, hogy a vegetáláshoz elég, tehát egyidőben legalább két sikeres, futó pályázatra van szükség ahhoz, hogy egy kisebb kutatócsoport dolgozni tudjon (ahogy ugyanis korábban már említettem, az egyetemek nagy része nem finanszírozza a saját berkein belül működő kutatócsoportok munkáját, a team fennmaradásához kívülről, pályázatok elnyerése útján érkező pénzre van szükség)
  • statisztikailag mindez azt jelenti, hogy 4-5 évente 10 (azaz évente minimum 2-3) pályázatot kell elkészíteni ahhoz, hogy abból kettő támogatást kapjon
  • egy pályázat (nem a kutatás, csak a pályázat!) elkészítése minimum 1 hónapnyi munka, és szinte a teljes csoportkapacitást leköti. Évi 3 pályázat tehát 3 havi munkát jelent, ami a kutatócsoport teljes, egyéves munkaidejének egynegyede. És akkor még semmilyen egyéb munkát – oktatás, a kutatás megvalósítása, előadások tartása stb. - nem végeztek, csak pályázatokat írogattak
• A pályázatok elbírálásával kapcsolatos visszásságok
  • ahhoz, hogy egy pályázat támogatást nyerjen, általában három bíráló egyöntetű pozitív döntése szükséges. Ha akár csak az egyik is ellene szavaz, a pályázatot elutasítják
  • a pályázat elbírálói ugyanazon a területen dolgoznak, mint a pályázó, így általában potenciális vagy tényleges versenytársak
  • a bírálók pro bono (azaz ingyen) dolgoznak saját munkájuk/kutatásaik mellett, tehát állandó időhiányban szenvednek. Egy pályázat valóban figyelmes átolvasása és átgondolása ugyanakkor egy teljes munkanapot is igénybe vehet. A tapasztalatok alapján relatíve kevesen veszik a fáradságot, hogy valóban figyelmesen átolvassák a pályaművet, hisz jellemzően egyszerre több pályázatot kell elbírálniuk. Kérdés persze, hogy akkor mi alapján döntenek…
  • a pályázatok elbírálásának folyamata tehát elfogadhatatlanul véletlenszerű és kiszámíthatatlan. Szakmai körökben köztudott, hogy bíráló és bíráló közötti megbízhatóság NULLA, ami azt jelenti, hogy ha ugyanazon pályázat 10 különböző bírálóhoz kerül, 10 különböző eredmény várható. Pont, mint egy lottósorsoláson…
• Kimondatlan elvárások
  • Bizonyítottan jóval nagyobb az esélye annak, hogy egy bíráló elfogadja, majd később, a kutatás megvalósulását követően egy tudományos folyóirat publikálja a kutatást, ha az eredménye várhatóan pozitív (azaz a kutatásból az derül ki, hogy a vizsgált gyógyszer/terápia hatékony, és nem az, hogy nem hatékony), illetve szignifikáns (azaz az eredmény valószínűleg nem véletlenszerű). Mindez arra ösztönzi a kutatókat, hogy csakis szignifikáns, pozitív eredményt mutató kutatásokat készítsenek. Hogy a leírtakat egy saját szakterületemről származó példával illusztráljam: ha egy kutatásból az derül ki, hogy X mozgásterápia hatékonyabb, mint más terápiák, jóval nagyobb eséllyel publikálják, mint akkor, ha az eredmény azt mutatja, hogy az adott terápia valójában semmivel sem hatékonyabb más terápiáknál. Ugye nem kell magyaráznom, hogy ez hosszú távon hová vezet? Egyrészt adathamisításhoz (ha negatív eredmény jött ki, kozmetikázzuk át pozitívvá), másrészt a kritikus gondolkodás teljes kihalásához, hisz a negatív eredményre vezető kutatások – azaz azon kutatások, amelyek kétséget ébresztenek egy, akár sokak által alkalmazott terápia hatékonyságával kapcsolatban – jó része vagy eltűnik a fiókban, vagy csodával határos módon pozitívvá alakul az eredmény
• Publikációs anomáliák
  • A kutatások végső célja a publikálás, azaz az eredmények közzététele. A publikáció és a tudományos karrierépítés, illetve a publikáció és a pályázati finanszírozás közt rendkívül szoros az összefüggés. Minél rangosabb folyóiratban jelenik meg az elkészült kutatás, annál nagyobbat nő a szerző és az őt foglalkoztató egyetem renoméja, tehát annál keresettebb lesz a szakember a munkaerőpiacon és annál előrébb jut a ranglétrán. Sőt, a pályázatok elbírálásánál is fontos szempont, hogy a bíráló mennyi esélyt lát arra, hogy a későbbiekben elkészülő kutatást publikálja-e majd egy rangos folyóirat. Minél nagyobb rá az esély, annál valószínűbb, hogy a kutatást támogatni fogják. A nevesebb folyóiratok ugyanakkor jóval több kéziratot kapnak, mint amennyit publikálni tudnak, azaz a piac egyértelműen kínálati. A vezető folyóiratok (Nature, Science stb.) tehát bátran szelektálhatnak, köztudott, hogy a kéziratok 97-99%-át csípőből visszadobják. Hogy mire utaznak? A bulvársajtóhoz hasonlóan egyre inkább a hírértékre, azaz szexi témákra, vagy provokatív állításokra. Ez a rendszer is erőteljesen ösztönöz tehát csalásra és adathamisításra, hisz trendivé, eladhatóvá kell tenni a kutatás eredményét. Ráadásul a hírérték hajhászás oda vezet, hogy számos, igen fontos kérdéssel (mondjuk a szűkebb rétegeket érintő, ám rendkívül súlyos betegségek gyógyításával) kapcsolatos kutatás teljes mértékben háttérbe szorul kevésbé égető, ám trendibb témák mellett.

Mindezen tényezők együttesen ijesztő következményekkel járnak:

1. a kutató csakis úgy képes növelni a kutatási támogatás megszerzésének esélyét, hogy minél több pályázatot nyújt be, azaz pályázatcsináló robottá válik. A mennyiség növelése azonban törvényszerűen a minőség rovására megy
2. és csakis úgy képes növelni a publikálás esélyét, hogy a kutatásai trendi témára fókuszálnak és pozitív eredményre vezetnek, ez pedig szinte egyenes útként vezet az adatszépítéshez és manipulációhoz, plusz ezernyi fontos kutatási terület teljes ignorálásához

Nem csoda, hogy mára reprodukálhatósági válság alakult ki. Egyes becslések szerint a kutatások 50 százaléka nem reprodukálható, de van olyan 2023-as átfogó vizsgálat is, amely szerint a replikációs vizsgálatok sikerességi aránya még ennél is jóval alacsonyabb, a szakemberek 11-39 százalék közötti arányokat találtak. Lefordítom magyarra: a kutatások 61-89 százaléka egész egyszerűen nem megbízható!

Hogy milyen közvetlen okok állnak a reprodukálási válság hátterében? Léteznek ún. természetes, elkerülhetetlen különbségek, hisz másik laboratóriumban, más kutatók, más szellőzési viszonyok mellett, más tisztítóberendezésekkel és más állatokkal stb. végezték az eredeti és a reprodukáló kísérletet.  Bár furcsán hangzik, de a legapróbb eltérések is az eredmények különbözőségéhez vezethetnek.  Léteznek véletlen hibák is, mondjuk az, hogy éjszakára elfelejtették lekapcsolni a villanyt, vagy kicsit kevesebb hatóanyag került az injekcióstűbe. De gyakori a statisztikai bűvészkedés is, hisz a kutatók arra törekszenek, hogy az elvárt (általában pozitív) eredmény jöjjön ki. Végül nem feledkezhetünk el a valódi, szándékos tudományos csalásokról sem.

A tudományos csalások két fő fajtája az adatferdítés és az adatfabrikálás. Az adatferdítés a mérési adatok csalás útján történő megváltoztatása annak érdekében, hogy a kísérlet azt mutassa, amit a kutató mutatni szeretne. A csalók olyan módszerekkel élnek, mint például a statisztikai adatok megbuherálása, és/vagy a kutatásokban szereplő képek photoshopos manipulálása. A PubPeer weboldalon több ezer, jelenleg is hozzáférhető és gyakran hivatkozott kutatásokból származó, bizonyítottan manipulált képre hívják fel a figyelmet az adatdetektívek (azok a szakemberek, akik a csalókra vadásznak). A szerző konkrétan is megemlít néhány különösen nagyszabású csalási ügyet, amely valahogy fény derült. A Duke Egyetemen kutató Potti például számos közleményt publikált egy olyan jolly-joker genetikai teszttel kapcsolatban, amellyel meg lehet állapítani, melyik kezelést alkalmazzák a daganatos betegnél. A vizsgálat során kiderült, hogy a cikkek manipulált adatokat tartalmaztak, és a jolly-joker genetikai teszt csupán mese habbal. De hasonlóan meghökkentő az Anversa-ügy is, a Harvard Egyetemen kutató szakember azt állította, hogy őssejtek befecskendezésével meggyógyítható a szív egy infarktus után. Anversa több mint 30 közleményt hamisított a támogatások megszerzése érdekében, mielőtt lebukott. És e két sztori csupán a jéghegy csúcsa!

2016-ban a Nature-ben megjelent egy felmérés, amelyben 1500 kutatót interjúvoltak meg anonim módon a csalás jelenségével kapcsolatban. A megkérdezett több mint 70 százaléka szerint a csalás hozzájárul a kísérletek megismételhetetlenségéhez, sőt, 50 százalékuk maga is részt vett már megkérdőjelezhető kutatási gyakorlatokban (3). És vajon hányan lehetnek, akik nem vallják be? Egy másik kutatásban a posztdoktori ösztöndíjasok 81 százaléka nyilatkozta, hogy hajlandó adatokat kiemelni, kihagyni vagy hamisítani, hogy kutatási támogatást nyerjen vagy publikáljon (4).

A végére hagytam a legkacifántosabb tudományos csalást, az adatfabrikálást. Adatfabrikálásnak nevezzük azt a jelenséget, amikor fiktív adatokat gyártanak anélkül, hogy a kísérletet ténylegesen elvégezték volna. Mára igen komoly iparág épült a tudományos bűnözésre. Jó pénzért (1-2 ezer dollártól akár 25-30 ezer dollárig terjedő összegért) bárki vásárolhat szerzőséget ezekben a fiktív, bértollnokok által megírt „közleményekben”, amiket azután egy adott, akár kimagasló reputációjú folyóiratban elképesztő trükkök bevetésével publikálnak is. Hihetetlenül hangzik? Nos, csupán egyetlen kattintás és Magad is meggyőződhetsz róla a buy-sell-article.com weboldalon, ahol fiktív, fabrikált közleményeket adnak-vesznek.  Még csak kutatnod sem kell tehát ahhoz, hogy neves kutatóvá válj! Mint egy rossz álom, nem? A gond csak az, hogy ez bizony maga a mezítelen valóság.

Ahogy már a cikk elején említettem, elméletileg relatíve könnyen kideríthető lenne, hogy egy adott kutatás megbízható-e vagy sem. Egyszerűen csak meg kell(ene) ismételni (reprodukálni), és minél több ellenőrző kutatás jut ugyanarra az eredményre, mint az eredeti, annál biztosabbá válik, hogy a kutatás megbízható. De van itt egy kis bibi:

• egy 2022-es becslés szerint évente mintegy 1 millió új közlemény jelenik meg az orvosbiológia területén. Egy kutatás (egy reprodukáló kutatás is!) megtervezése és lebonyolítása jellemzően több évnyi munka és több százezer dolláros költség. Egész egyszerűen nincs elegendő emberi és anyagi erőforrás a kutatások reprodukálására
• ráadásul a piac erőteljesen arra ösztönzi a szakembereket, hogy reprodukálás helyett saját – szexi – kutatásokat végezzenek, ezekre ugyanis jóval könnyebb támogatást szerezni, sőt, publikálni is ezerszer egyszerűbb (a reprodukálás ugyanis, bármennyire hasznos, sajnos nem számít menőnek)

A probléma tehát elképesztő méretű, a rendszer minden erejével ösztönzi a csalást, ugyanakkor nem áll rendelkezésre megfelelő módszer ezek kiszűrésére.

Mégis, mit tehetsz annak érdekében, hogy gyakorló szakemberként releváns információhoz juss a szakmai döntésed meghozatalához és/vagy egy szakmai vitában az érveléshez? Tuti válasz sajnos nem létezik, ne is várd tőlem, de annyit megtehetsz, hogy

• fenntartással kezelsz minden kutatást
• figyelmesen átnézed a teljes közleményt, nem csak az absztraktból (a közlemények elején található összegzés) dolgozol
• tanulmányozod a szerzők listáját (elismert intézménynél dolgozik? Milyen a tudományos megbecsültsége? Van-e összeférhetetlenség a témával kapcsolatban?)!
• ellenőrzöd magát a folyóiratot is! Ismerős a neve vagy még sosem hallottál róla? Milyen az impakt faktora?
• és végül: ha nincs gyakorlatod a kutatások ellenőrzése terén, ne higgy el bárkinek bármit csupán azért, mert bravúrosan nyomul a social mediában! Kövesd azokat a kutatáselemzésben járatosabb – jellemzően kevésbé populáris – kollégákat, akik a szakmai munkásságukkal már bizonyították, hogy érdemesek rá! Persze ők is tévedhetnek, de valamivel kisebb rá az esély. (Nem véletlen, hogy egy-egy szakmai blogbejegyzés elkészítése legalább 1 hetes munkámba kerül, még akkor is, ha relatíve járatos vagyok az adott témában. Napokra van szükségem csupán ahhoz, hogy az összes lehivatkozott kutatást kritikus szemmel áttekintsem és értelmezzem!)

Mit is mondhatnék minderre! Eladó az egész világ. Miért épp a tudomány (és a gyógyítás) lenne a kivétel?

Feövenyessy Krisztina
a Feövenyessy Medical Fitness Akadémia vezetője

1. Baker, M:1,500 Scientists lift the lid on reproductibility. Nature 533:452-4,2016
2. Schillebeeck M. – Maricque, B – Lewis C.: The missing piece o changing the university culture. Nat Biotechnol 31:938-41,2013
3. Chawla, D.S: 8% of researchers in Dutch survey have falsified or fabricated data. Nature (2021. július)
4. Kalichman, M.W. – Friedman, P.J.: A pilot study of biomedical trainees’ perceptions concerning research ethics. Acad Med 67:769-75, 1992.