Teksti: ANNI LESKELÄ
Ruotsin Karoliininen instituutti, yksi maailman merkittävimmistä lääketieteellisistä yliopistoista, on parhaillaan kenties historiallisen skandaalin keskiössä. Tunnetun kirurgi Paolo Macchiarinin, joka tutkimustyössään on pyrkinyt kehittämään kantasolujen avulla potilaan oman kudoksen kanssa yhdistyviä synteettisiä henkitorvia, epäillään muun muassa antaneen koehenkilöille valheellista tietoa leikkauksen riskeistä ja aiemmista kokeista sekä väärentäneen leikkausten seurauksista kertovaa aineistoa useissa aiheesta julkaisemissaan tieteellisissä artikkeleissa.¹ Erityisen vakavan tapauksesta tekee se, että kahdeksasta kokeisiin suostuneesta potilaasta kuusi on leikkausta seuranneina vuosina menehtynyt.
Myös Suomessa on vastikään noussut päivänvaloon epäilyksiä vilpistä lääketieteessä. Mittavasti rahoitusta keränneen Matej Orešičin tutkimusryhmän havainnot ykköstyypin diabeteksen ennustavista aineenvaihdunnan muutoksista herättivät ilmeisesti jo ennen julkaisuaan ryhmän sisällä epäilyksiä tulosten luotettavuudesta, ja Helsingin Sanomissa vasta julkaistun reportaasin mukaan Tekniikan tutkimuskeskus VTT:n tapahtumia koskevat selvitykset ovat pitkään olleet puutteelliset ja ulkopuolisille pitkälti hämärän peitossa.²
Vaikka näissä tapauksissa epäilty tarkoituksellinen aineiston peukalointi onkin vakavimpia esimerkkejä väärän tiedon leviämisestä tieteessä, se ei kuitenkaan ole ainoa tai läheskään yleisin tekijä perättömien tutkimustulosten taustalla. Juuri lääketiede on maailmanlaajuisesti psykologian ja taloustieteen ohella niin kutsutun replikaatiokriisin miinakenttää, jossa edes arvostettujen tieteellisten julkaisujen merkkipaalututkimusten toistettavuus ja siten luotettavuus ei tunnu olevan mikään sääntö. Erityisen dramaattisesti ilmiötä on havainnollistettu onkologian alalla: biolääkeyhtiö Amgenin laboratorioissa muutama vuosi sitten toteutetut toistokokeet osoittivat, että 53 merkittäväksi povatusta syöpähoitoja koskevasta tuoreesta tutkimuksesta oli pitävästi toistettavissa vain kuusi. Samoihin aikoihin eurooppalainen lääkeyhtiö Bayer pystyi 47 tutkimuksen havainnoista toistamaan vain noin neljäsosan tarkistaessaan omia perustutkimukseen pohjautuvia syöpähoitoprojektejaan.³
***
Toistokokeen epäonnistuminen ei tarkoita alkuperäisten tulosten olevan varmuudella epätosia, mutta lisää todennäköisyyttä tälle huomattavasti. Huoli tutkimustulosten toistettavuudesta asettaa pahiten kolhaistut tieteenalat siis syystäkin epäuskottavaan valoon, vaikka kyse onkin harvoin varsinaisesti vilpillisistä tarkoitusperistä: useammin virheellisten johtopäätösten julkaisun takana on esimerkiksi tutkijoiden puutteellinen ymmärrys kulloinkin käytettävistä tilastollisista menetelmistä yhdistettynä akateemisessa ympäristössä vallitsevaan paineeseen saada julkaistua nimenomaan positiivisia tuloksia, mieluummin julkaisutahtia kuin tulosten luotettavuutta ja todellista merkitystä painottaen. Niin kauan kuin tutkijatkin ovat ihmisiä, heidän päätöksiinsä ja tulkintoihinsa vaikuttavat ulkoiset kannustimet sekä lukuisat kognitiiviset vinoumat, joiden valossa omat teoriat helposti näyttävät hieman perustellummilta kuin empiiriset havainnot oikeastaan sallisivat julistaa. Kun aavistuksenkin puolueellisia johtopäätöksiä tehdään joukolla ja paljon, usein samaan suuntaan erehtyen ja aikaisempien tulosten varaan rakentaen, on tuloksena ymmärrettävästi pian koko tieteenalan laajuisia ongelmia.
Monien tutkimusalojen käsittelemät ilmiöt ovat lisäksi lukemattomien hankalasti eriteltävien tekijöiden säätelemiä, minkä vuoksi houkuttelevan elegantit yleistykset ja tulkinnoissa helposti yksinkertaistuvat kausaalisuhteet eivät aina lopulta olekaan pitävin teoreettinen selitys havaintojen taustalla. Juuri lääketieteen tapaisissa, monia ristikkäisiä vuorovaikutuksia kartoittavissa erityistieteissä tällainen herkkyys osin tuntemattomien muuttujien pyörteissä syntyville näennäisille suhteille ilmenee kaikkein selkeimmin. Kuten kosmologi Sean Carroll on todennut, vaikein tieteenala ei suinkaan ole fysiikka, vaan juuri sen lainalaisuuksiin nähden kompleksisemmat, matemaattisiin malleihin hankalammin palautuvat tieteet – mitä etäämmäs kuljetaan perusvuorovaikutusten kaltaisista fundamentaalisuudessaan yksinkertaisista ilmiöistä, sitä työläämmäksi käy todella yleistettävien periaatteiden tunnistaminen ja mallien rakentaminen kokeellisia havaintoja tulkitsemalla.
Virheiden ymmärrettävyys ja tutkijoiden pääsääntöisesti hyvät aikeet eivät kuitenkaan tarkoita, etteikö puolivillaisella analyysilla olisi vakavia seurauksia. Esimerkiksi kliinisten kokeiden turvallisuus koehenkilöiden kannalta on bio- ja tutkimusetiikan keskeisiä kysymyksiä, ja koska näihin tutkimuksiin liittyvien riskien arviointi pohjautuu aiempiin, kudosviljelmillä ja eläinmalleilla toteutettuihin kokeisiin, on prekliinisten tulosten totuudenmukaisuudesta tärkeää pitää kiinni, jotta koehenkilöiden suostumus on annettu oikean tiedon valossa ja vahinkojen riski voidaan todella minimoida kliinisessä vaiheessa.
Tämän lisäksi biologisen perustutkimuksen ja biolääketieteen mallien luotettavuus on luonnollisesti tärkeää myös tutkimusten ja tutkijoiden omien tavoitteiden kannalta. Koko tieteenala kärsii, kun sen piirissä tehdyt löydökset eivät lupailuista huolimatta johda mihinkään, ja siksi rahoituksesta kilpailu heikkotasoista tutkimusta suoltamalla on lyhytnäköistä myös henkilökohtaisesta näkökulmasta. Hutiloituja tuloksia julkaisemalla haaskaa pahimmillaan moninkertaisesti oman tutkimuksensa verran resursseja, sillä uudet kehiteltävät mallit ja hypoteesit nojaavat aina aikaisempiin löydöksiin, jolloin harhapoluille päätyvät myös samaa aihepiiriä käsittelevät jatkotutkimukset. Vakavimpia seurauksia lienevätkin biolääketieteen alalla vaihtoehtoiskustannukset, joita koituu resurssien kohdentamisesta harakoille: kun todenperäisiin tuloksiin pohjautuvat, uusia hyödyllisiä hoitomuotoja todella enteilevät hankkeet häviävät rahoituskilpailussa vain näennäisesti lupaaville virvatulille, maksaa harhaanjohtava tiede lopulta valtavasti ihmisten elämänlaatua, jopa ihmishenkiä.
***
Jos nykyinen replikaatiokriisi siis pohjautuu osin inhimillisiin erheisiin menetelmätieteiden soveltamisessa, osin rakenteellisiin heikkouksiin tieteenteon järjestelmissä ja osin pitkälle edenneiden erityistieteiden vaikeuteen, ei sen ratkaiseminen varmastikaan ole helppo tehtävä. Tämä ei kuitenkaan tarkoita, etteikö ongelmia voisi suitsia. Yksinkertaisimpia keinoja edesauttaa hyviä analyysikäytäntöjä ovat tietysti menetelmätieteiden suurempi ymmärrys ja korostaminen jo koulutusvaiheessa sekä läheisempi yhteistyö alan asiantuntijoiden kanssa tutkimusta tehdessä. Myös nykyistä avoimemmalle kulttuurille kerätyn datan ja käytettyjen analyysimenetelmien julkaisussa olisi paljon mahdollisuuksia. On tyypillistä, että artikkeleista jätetään pois ulkopuolisen analyysin mahdollistava aineisto, jolloin sen sisällön muodostavat jo hyvin pitkälle käsitellyt keskiarvot ja tulkinnat. Tämä on toki selkeyden nimissä ymmärrettävää ja suuria datamääriä käsiteltäessä välttämätöntä; ongelmia voi kuitenkin olla taustalla esimerkiksi silloin, kun kaikkia aineiston käsittelyyn olennaisesti vaikuttaneita päätöksiä ei perustella tai edes esitellä sen kummemmin. Menetelmiin liittyvän oheisinformaation ja jopa raakadatan jakaminen verkossa on lisäksi nykyisin niin helppoa, että useissa tapauksissa olisi perusteltua vaatia paljon suurempaa avoimuutta tulosten julkaisemisen yhteydessä.
Hyvä lähtökohta on luonnollisesti esimerkin ottaminen niiltä tieteenaloilta, joilla tulokset saadaan säännönmukaisemmin toistettua. Monilla fysiikan osa-alueilla käytännöksi on muodostunut sokean analyysin periaate, jossa tutkijat pyrkivät datan tulkinnassa käytettäviä menetelmiä valitessaan ja hioessaan pitämään itse aineiston mahdollisimman pitkälle piilossa itseltään – näin analyysiprosessiin vaikuttaa vähemmän houkutus tehdä ratkaisuja, jotka johtaisivat tutkijalle suotuisiin, mahdollisesti vääristyneisiin tuloksiin.⁴ Käytännössä analyysin voi sokeuttaa esimerkiksi kätkemällä muuttujien identiteetit tai satunnaistamalla mittaustulosten arvoja käsittelyn ajaksi. Positiivisia tuloksia suosivaa julkaisukulttuuria puolestaan voi jarruttaa edellyttämällä kokeiden rekisteröintiä ennakkoon: tällöin myös negatiiviset tulokset saadaan yleiseen tietoon kaikkien hyödyksi. Interventiotutkimusten osalta ennakkorekisteröintiä onkin viimeisen kymmenen vuoden aikana alettu edellyttää miltei joka puolella maailmaa sekä lainsäädännön että merkittävimpien tiedejulkaisujen tahoilta, mutta tätä edeltävien tutkimusvaiheiden osalta käytännöt eivät ole yhtä yhtenäiset.
Tutkijoiden henkilökohtaisia valintoja ohjaavat kuitenkin aina osaltaan akateemisen ympäristön kannustinrakenteet, joita muokkaamatta tuskin saadaan pysyvästi aikaan kestävämpää tiedekulttuuria. Esimerkiksi yllä mainittuja käytäntöjä ei varsinaisesti edellytetä tutkimusryhmiltä kuin harvoin, eikä ole vielä selvää, minkä tahon niitä oikeastaan tulisi tutkijan omantunnon lisäksi vaatia ja millä keinoin. Vertaisarviointi, jolla tiedejulkaisujen sisällön laatu pyritään varmistamaan, ei ole aukoton keino seuloa pois kehnoin menetelmin saavutettuja tuloksia etenkään aloilla, joilla kyseenalaisiin käytäntöihin on melkeinpä totuttu ja kriteereiltään lievästi ilmaistuna vaihtelevia julkaisuja on paljon, jolloin useiden hylkäystenkin jälkeen saattaa artikkelinsa vielä saada läpi korjauksitta vaihtoehtoisessa lehdessä.
Hankaluuksia lisää myös se, että tuoreiden tutkimushypoteesien testaamista arvostetaan tiedejulkaisuissa ja -yhteisössä paljon enemmän kuin toistokokeita, minkä vuoksi jälkimmäisten toteuttaminen ei usein yksinkertaisesti ole viisasta uralla etenemisen kannalta – näin eräs tieteen tärkeimmistä peruspilareista unohtuu. Ehkä ensimmäinen ratkaistava osa ongelmaa olisikin siis tehdä toistokokeiden toteuttaminen houkuttelevammaksi uusiin innovaatioihin keskittymisen kustannuksella, mikä hieman epäintuitiivisesti saattaisikin lopulta edistää tiedettä nykyistä tehokkaammin. Käytännön tieteenfilosofiaa puolestaan tarvitaan määriteltäessä tarkemmin sitä, millaisia koeasetelmia ja -tuloksia voidaan ylipäänsä pitää osana onnistunutta toistoa ja millaisissa olosuhteissa. Vaaditaanko alkuperäisen tutkimuksen mahdollisimman täsmällistä kopioimista, vai voidaanko saman teoreettisen periaatteen vahvistaminen hieman poikkeavallakin koeasetelmalla laskea osoitukseksi toistettavuudesta? Vastaukset näihin kysymyksiin vaihtelevat aloittain ja tietysti tilanteesta riippuen, joten eri käytäntöjen tarjoaman evidenssin laatua tarkastelemalla niitä voisi kenties tarkentaa.
Myös raflaavampia muutoksia tiedeyhteisön toimintaan on ehdotettu. Eräs kiinnostava mahdollisuus ovat taloustieteilijä Robin Hansonin hahmotelmiin pohjautuvat ennustusmarkkinat, joissa tietyllä tieteenalalla työskentelevät asiantuntijat tai innokkaat harrastajat voisivat lyödä vetoa siitä, kuinka todennäköisesti mitkäkin jo julkaistut tutkimukset saadaan toistettua. Aiheesta viime vuonna toteutettu – tosin vielä toistamaton – tutkimus osoitti, että vaikka yksittäiset psykologian alan tutkijat olivat tuskin kolikonheittoa tarkempia arvioimaan eri psykologisten tutkimusten toistettavuutta, ylsivät kaupankäynnin kautta kollektiivisesti tehdyt ennustukset 71% tarkkuuteen.⁵ Ennustusmarkkinoiden ajatuksena onkin vedonlyönnin kautta kiinnittää konkreettisia kannustimia näiden arvioiden tarkkuuteen ennemmin kuin suosittujen tutkijoiden tai mieluisien hypoteesien kannattamiseen, mitä nykyisin pidetään yhtenä esimerkiksi vertaisarviointia haittaavana vääristymänä. Lisäksi tutkijat voivat tarkkailla toistensa päättelytyötä omia päätöksiä tehdessään. Olkoonkin että idea vaatisi vielä kehittelyä sekä tarkkuutensa että käytännön implementaationsa suhteen ennen kuin se itsessään voisi merkittävästi parantaa tutkimuskulttuuria, osoittaa se hyvin kuinka juuri tällaiset tiedeyhteisön rakenteisiin pureutuvat ratkaisut pitävät sisällään suuria mahdollisuuksia muutoksiin.
Vaikka tilanne siis tällä haavaa kuulostaakin huolestuttavalta, on ongelmaan toden teolla herätty useilla tieteenaloilla, ja keskustelu moninaisista lennokkaistakin ratkaisuehdotuksista käy maailmanlaajuisesti vilkkaana sekä perinteisten tiedonlähteiden että sosiaalisen median alustoilla. Tämä onkin rohkaisevaa, sillä sekä tieteentekijöiden että muun yhteiskunnan aito kiinnostus tieteen luotettavuutta kohtaan on taatusti oleellisin tekijä, kun haitallisia käytäntöjä pyritään kitkemään ja tutkimuksen tasoa kohentamaan. Sekä perustutkimuksessa että lääketieteen kaltaisilla, hyvin konkreettisesti ihmiselämiä parantavilla aloilla on tutkimustulosten todenperäisyys kaikkien kannalta liian tärkeää jätettäväksi nykyiseen tilaansa.
Lähteet
1. David Cyranoski. Karolinska Institute to cut ties with controversial surgeon. Nature News, 2016.
2. Katja Kuokkanen. Valtion suurin tutkimuslaitos pimitti vakavat vilppiepäilyt – ”Olen huolissani VTT:n asenteesta”, sanoo Kari Raivio. Helsingin Sanomat, 7.2.2016.
3. C. Glenn Begley, Lee M. Ellis. Drug development: Raise standards for preclinical cancer research. Nature, 2012.
4. Robert MacCoun, Saul Perlmutter. Blind analysis: Hide results to seek the truth. Nature News, 2015.
5. Anna Dreber, Thomas Pfeiffer et al. Using prediction markets to estimate the reproducibility of scientific research. Proceedings of the National Academy of Sciences, 2015.