A reprodukálhatósági krízis

A reprodukálhatósági (vagy replikációs) krízis a tudomány egy módszertani problémája, amire 2010 környékén kezdték felhívni a figyelmet a szakértők. A lényege, hogy a kísérletek megismétlése nem feltétlenül hozza a korábban publikált eredményeket, ami alapvető követelmény lenne ahhoz, hogy valamit megbízható, tudományos tényként kezelhessünk. A krízis elsősorban az orvostudományban és a társadalom-tudományokban jelentős, így az agykutatás ernyője alá tartozó területek is érintettek. A probléma megoldására azonban egyre több életképes javaslat születik. Az idegtudomány egyik vezető lapjában (Nature Reviews Neuroscience) az állatkísérletek reprodukálhatóságának javítására tettek javaslatot a júliusi számban, míg a társadalomtudományokat összefogó rangos lap (Nature Human Behaviour) júniusi számában egy sor replikációs tanulmányt publikáltak.

replcrisis
„A pszichológusok úgy nevezik ezt a jelenséget, hogy a …  REPLIKÁCIÓS KRÍZIS” (Forrás: thenib.com).

A krízis megoldása az állatkísérletek világában

A tudomány az emberiség közös vállalkozása, aminek célja az univerzum megismerése. Abban különbözik minden más, a világ dolgait magyarázni igyekvő hiedelemrendszertől, hogy a tudomány tesztelhető állításokat fogalmaz meg a világ működésével kapcsolatban. A kísérletek szolgálnak arra, hogy ezeket az állításokat teszteljük, és ennél fogva a kísérletek megismételhetősége, reprodukálhatósága alapvető követelmény, amennyiben valódi tudásra vágyunk, márpedig ez a tudomány célja. Az orvostudományi és társadalomtudományi kutatások között azonban egyre többről derül ki, hogy a kísérletek eredményei nem megismételhetők.

Mi lehet ennek az oka? A leggyakrabban ismételt okok a kísérletezők hanyagsága, és a publikációs részrehajlás. Az állat-, és emberkísérletekben is fontos tényező lehet a kísérletvezető hozzáállása, hiszen mind az állatok, mind az emberek számára stresszes lehet a kísérlet egy-egy helyzete, attól függetlenül, hogy eredetileg nem terveztünk ilyen beavatkozást. Egy másik ok már inkább az adatok elemzését érinti. Az újabb technológiák segítségével manapság rengeteg adatot rögzítenek egy-egy kísérlet során, pl. az fMRI, vagy a kalcium-képalkotás segítségével a teljes agy tevékenységéről nyerhetünk információt. Ez lehetőséget ad arra, hogy egy sor különböző változót hasonlítsunk össze, és az óriási adathalmazban így már viszonylag nagy valószínűséggel találunk valami statisztikailag jelentős mintázatot, ami aztán publikálható. Ezen a ponton már a publikációs részrehajlás is felmerül: a tudományos folyóiratok többnyire csak olyan kutatásokat fogadnak el publikációra, melyek valamilyen pozitív eredményről számolnak be, vagyis egy adott kísérleti manipuláció statisztikailag jelentős hatásáról. Ez azonban azt is jelenti, hogy egy sor kísérlet negatív eredményéről nem tudunk, hiszen ezek, ahogy mondani szokták, „a fiókokban porosodnak”. A negatív eredmények ismerete szintén fontos lenne, hiszen ezekkel együtt kaphatnánk teljes képet egy-egy jelenségről. Ha 10 kísérletből csak egyszer jelenik meg a várt eredmény, akkor valószínűleg a tudományos közösség csak arról az egyről fog tudni, noha a 9 másik ebben a helyzetben talán fontosabb lenne.

Ezen okok mellett a Nature Reviews Neuroscience júliusi számában megjelent véleménycikkben több kutató érvel amellett, hogy a biológiai változatosság is hozzájárul a replikációs problémához, méghozzá azért, mert a kutatók általában nem veszik megfelelő módon figyelembe. Az állatkísérletekben a kutatók többnyire arra törekednek, hogy az állatokat és környezetüket is sztenderdizálják, vagyis a lehető legkevésbé változatossá, homogénné tegyék. Ezzel elvileg nő a statisztikai erő, csökkenthető a kísérlethez szükséges állatok száma, ami mindenképp előnyös etikai megfontolásokból. Ez a megközelítés azonban buktatókat is hordoz magában, a természetes populációkban ugyanis jelentős biológiai variancia található, és azzal, hogy a kísérleteket biológiailag homogén mintán végzik el, a kísérlet eredményei nem feltétlenül lesznek általánosíthatók egy természetes populációra.

Az idegtudományban használt egerek például többnyire hímek, így volt már rá példa, hogy a hím állatok révén nyert eredmények nem voltak igazak a nőstényekre. Hasonló helyzet előállt már a belterjes egértörzsek között is, vagyis, egy beavatkozás az egyik törzsnél hatásos volt, míg egy másiknál nem. Az is befolyásolhatja az eredményeket, hogy az állatok egyedül vannak a ketreceikben, vagy társaikkal együtt, sőt az sem mindegy, hogy milyen a ketrec szellőzése: a nyitott ketrecben és az egyénileg szellőztetett ketrecekben tartott állatokban egyes vizsgálatokban más volt a fertőzések lefolyása, illetve egy a szkiofrénia állatmodelljeként használt egértörzs tagjai is másképp viselkedtek az egyénileg szellőztetett ketrecekben. A szakértők szerint a sztenderdizáció kiterjed minden változóra, ami a kísérleti állatokkal kapcsolatos: ki kezeli őket, melyik napszakban teszik ezt stb. Ez viszont azt eredményezi, hogy a laborok között az apró eltérések akár komoly hatásokká nőhetik ki magukat. Röviden tehát, a sztenderdizálással a biológiai varianciát is lecsökkentik a kutatók, így pedig csökken az eredmények általánosíthatósága, ami feltehetőleg szintén megnehezíti ezek reprodukálását. A szakértők szerint ezen úgy lehetne változtatni, hogy a kísérletek során tudatosan növelik a kísérleti állataik változatosságát. Ezzel ugyan több állatra lenne szükség egy-egy kísérletben, viszont lecsökkenne a kísérletek száma, hiszen így nem jelennének meg olyan hatások, amik csak egy nagyon specifikus helyzetben alakulnak ki, és nem általánosíthatók a faj egészére. Ezzel végső soron a kísérleti állatok száma csökkenne egy adott hipotézis elbírálásakor.

Replikációk a pszichológiában

A Nature Human Behaviour júniusi számában négy replikációs tanulmány is helyet kapott, a szerkesztőség pedig külön felhívta rá a figyelmet, hogy ezek a vizsgálatok is előremozdítják a tudományt.

Az egyik vizsgálat az oxitocin bizalomra gyakorolt hatásának meglétét próbálta megerősíteni. A vizsgálatot előregisztrálták, vagyis a kísérleti elrendezést és az elemzési módszereket előre benyújtották a lapnak, és azok kivitelezése már úgy zajlott, hogy a kutatók biztosak lehettek eredményeik publikálásában. Az új vizsgálat nem erősítette meg a korábbi eredményt, bár néhány elemzés arra utal, hogy az oxitocin és a bizalom közötti kapcsolatot érdemes lehet tovább vizsgálni.

Egy másik korábbi eredmény azt az elképzelést támasztotta alá, hogy a konzervatív és a liberális beállítottságú személyek eltérő fiziológiai választ produkálnak veszély hatására. Ez azt eredményt az eredeti kísérlet és két másik konceptuálisan azonos kísérlet elvégzése után sem sikerült megerősíteni, így az eredeti elképzelés is elvethető. Egy másik tanulmány eredményei szerint amikor a kísérlet résztvevői két opció közül választhatnak, azonban megjelenik egy harmadik, nagy értékű, de nem választható opció is, akkor a résztvevők többször vétik el a számukra előnyösebb opciót. Ezt azzal magyarázták, hogy a magas értékű opció hatására nehezebben mérik fel a kísérleti résztvevők a választható opciók értékét. A replikációs tanulmányban az eredeti hatás nem jelent meg, azonban az elemzések arra utalnak, hogy az eredeti vizsgálat és a replikáció eredményei hátterében is az állhat, hogy a harmadik opció egyszerűen eltereli a figyelmet.

Végül a szerkesztők arra is felhívták a figyelmet, hogy a replikációs tanulmányok maguk is egy nem túl előnyös elfogultság tárgyai: a replikáció akkor érdekes, ha cáfolja az eredeti eredményeket. Egy új tanulmány azonban a Kahneman és Tversky nevéhez fűződő kilátás-elmélet hipotéziseit erősítette meg, ami egyébként az ember gazdasági döntéseit magyarázza, és ennek éppúgy helyet adtak a rangos lapban.

Összességében tehát a replikációs krízisre az agykutatás minden területen megpróbálnak reagálni a kutatók, ami alapvető jelentőségű az eredmények hitelességének biztosításához.

reproducibility
Van reprodukálhatósági krízis a tudományban? Igen, jelentős – 52%; Igen, enyhe – 38%; Nincs – 3%; Nem tudom – 7% (Forrás: nature.com – 2016).

Ez a cikkem az Élet és Tudomány 2020/29. számában jelent meg.

Források:

https://www.nature.com/articles/s41583-020-0313-3

https://www.nature.com/articles/s41562-020-0903-0