Tieteen jäljentäminen: $28 miljardia menee hukkaan joka vuosi pelkästään Yhdysvalloissa.

Miksi? Koska tutkimuksia ei voida toistaa.

Jos tieteellistä tutkimusta ei voida toistaa, onko se yhä elinkelpoinen?

Tieteellisiä tutkimuksia on tunnetusti vaikea toistaa. Plos Biology -julkaisun tutkimus osoitti, että vuosittain noin $28 miljardia euroa käytetään tutkimukseen, jota ei voida toistaa. Ja tämä on vain Yhdysvalloissa. Jos nämä luvut ekstrapoloidaan koko maailmaan, kyseessä on todellinen ongelma.

Viime vuosina, kun laskentateho on kasvanut, pilviohjelmistot ovat yleistyneet ja tietokokonaisuudet ovat kasvaneet, on käynyt yhä ilmeisemmäksi, että tutkijat eivät pysty tuottamaan samoja tuloksia, vaikka he käyttäisivät samoja tietokokonaisuuksia. Jos tutkimuksia ei voida toistaa ja tehdä samoja johtopäätöksiä, se heikentää tutkijoiden ja koko tieteen uskottavuutta.

Tämän seuraukset voivat olla vakavia. Jos tuloksiin ei voi luottaa, tieteen ja tieteellisen prosessin luonne tulee kyseenalaiseksi. Aikana, jolloin uusia teknologioita, kuten koneoppimista ja tekoälyä, on syntymässä, se rohkaisee ihmisiä kyseenalaistamaan näiden tehokkaiden ja mahdollisesti elämää muuttavien teknologioiden arvon ja voi herättää epäluottamusta. Tässä artikkelissa tarkastelemme, miksi tämä ongelma on niin laajalle levinnyt ja miten voimme puuttua siihen.

Ongelma pahenee entisestään ilman toimia

Tämä "replikointikriisi" ei ole uusi ongelma. Itse asiassa se on ollut laajalle levinnyt ongelma seuraavilla aloilla yhteiskuntatieteissä vuosikymmeniä. Jerry Alderin artikkeli "The reformation: can social tiedemiehet pelastavat itsensä?", joka julkaistiin Pacific Standard -lehdessä, käsitteli aihetta laajasti. yksityiskohtaisesti. Mutta tämä toistamattomien tutkimusten malli ei suinkaan rajoitu ainoastaan Se on myös tärkeä kysymys lääketeollisuudessa.

Stanfordin yliopiston terveystutkimuksen ja -politiikan professori John Ioannidis kirjoitti vuonna 2005 artikkelin, joka toi tämän ongelman ensimmäisen kerran tiedeyhteisön tietoisuuteen. Hänen PLoS Medicine -lehdessä julkaistu artikkelinsa "Why most published findings are false" (Miksi useimmat julkaistut tulokset ovat vääriä) valotti menetelmiä, ennakkoluuloja ja tutkimussuunnittelun puutteita. Hän totesi, että "simulaatiot osoittavat, että useimmissa tutkimusasetelmissa ja -tilanteissa on todennäköisempää, että tutkimusväite on väärä kuin oikea".

Hänen artikkelinsa vaikutti voimakkaasti ja kannusti yrityksiä tarkastelemaan työtään uudelleen. Vuonna 2011 lääkejätti Bayer havaitsi, että vain neljännes tutkimuksista oli toistettavissa. Samana vuonna Glenn Begley, joka tuolloin johti biolääkeyhtiö Amgenin onkologian osastoa, ryhtyi toistamaan 53:n edellisen vuosikymmenen aikana julkaistun, onkologian perustana olevan artikkelin tuloksia. Vaikka Begley käytti alkuperäisten julkaisujen kanssa identtisiä tietokokonaisuuksia, hän pystyi toistamaan niistä vain kuuden tulokset.

Uusittavuutta ei voida jättää huomiotta.

Työn monistaminen on kulmakivi. tieteellinen prosessi - löydöksen on oltava kuvio, jotta se voidaan vahvistaa.

Yksittäinen tulos voi olla virhe tai sattuma. Jos saat saman tuloksen samanlaisissa olosuhteissa toisen kerran, se voidaan edelleen katsoa sattumaksi tai ehkä puolueelliseksi. Mutta kolmas kerta, ja homma on hanskassa.

Tämä periaate on niin syvälle juurtunut tieteeseen, että se on osa laboratorio-ohjeita, joita opetetaan kaikille aloitteleville tutkijoille: lääkkeiden validointiin tarvitaan vähintään kolme peräkkäistä erää. Tämä erien määrä riippuu valmistukseen liittyvän riskin tasosta. Jos prosessista tiedetään vain vähän, on ymmärrettävää, että tarvitaan enemmän tilastotietoja sen osoittamiseksi, että prosessi on riittävän johdonmukainen täyttääkseen laatuvaatimukset.

Tutkijat eivät voi saada tietoa yhdestä ainoasta datapisteestä, ja kaksi pistettä yksinkertaisesti piirtää suoran viivan. Tarvitaan vähintään kolme
validoitavia eriä, ja laboratoriot pitävät yleensä kiinni kolmesta erästä. Miksei useampia? Vaikka sääntelyelimet, kuten Food and Drug Administration (FDA) Yhdysvalloissa, eivät määrittele validoitavien erien enimmäismäärää, erien ajaminen on kallista ja aikaa vievää, joten useimmat laboratoriot noudattavat ohjeita.

Menetelmät ovat olemassa syystä

Miten tästä on tullut niin laajalle levinnyt kysymys? Kuten usein, se johtuu siitä, että monista syistä - huonot menetelmät, mutkitteleva protokollia ja joskus jopa väärinkäytöksiä.

Tutkijat aloittavat tutkimuksensa yhä useammin ilman kunnollista hypoteesia, ja he saattavat päätyä tarttumaan oljenkorsiin löytääkseen "merkityksellisiä korrelaatioita" aineistosta. Usein on kohtuullisen hyvä mahdollisuus, että kelvollinen p-arvo löytyy, sillä mitä suurempi aineisto on, sitä todennäköisemmin pieni kuvio aineistossa vaikuttaa merkitsevältä satunnaisen tapahtuman sijasta.

Kirjoituksessaan Ioannidis sanoo olevansa huolissaan siitä, että tutkijat pyrkivät löytämään datasta kuvioita ja käyttämään koneoppimista hypoteesin löytämiseen sen sijaan, että he lähtisivät liikkeelle hypoteesista. Tuloksena on lähestymistapa, joka vaatii vain vähän tai ei lainkaan validointia.

Tähän voivat vaikuttaa useat tekijät, kuten julkaisuharha, virheet kokeissa, tilastollisten menetelmien virheellinen käyttö ja riittämättömät koneoppimistekniikat. Kaikilla näillä tekijöillä on kuitenkin yksi yhteinen piirre: tutkijat havaitsevat tiedoissa malleja, jotka eivät vastaa todellisuutta.

Paine hyödyllisten tutkimusten tuottamiseen on edelleen olemassa

Nykyään meillä on lukuisia välineitä, joiden avulla voimme kerätä ja analysoida valtavia tietomääriä. Meillä on mahdollisuus tehdä asiat alusta alkaen oikein ja vapaus päättää, miten keräämme tietoja, järjestämme ne ja miten analysoimme ja tulkitsemme niitä.

Kun on mahdollista kerätä ja käyttää valtavia tietomääriä, myös asianmukaisten menetelmien tarve kasvaa. Haasteena on edelleen suunnitella hypoteesiin sopiva menetelmä ja testata sitä kerätyillä tiedoilla tai käyttää asianmukaisia tilastollisia menetelmiä, kun hypoteesien määrä on huomattavan suuri.

Esimerkiksi Bayerin tutkimus. Vaikka he eivät kyenneet toistamaan yli 25% tutkimustuloksiaan, onneksi he havaitsivat, että ne tulokset, jotka he pystyivät toistamaan, osoittautuivat kestäviksi - erinomainen merkki siitä, että tutkimuksella oli kliinistä potentiaalia.

On ehdotettu, että tutkijat voivat käyttää tiedonlouhintatekniikoita löytääkseen ne tutkimukset, jotka ovat todennäköisimmin toistettavissa. Tämä edellyttää kuitenkin louhittavaa tietoaineistoa. Lisää toistoa
On tehtävä tutkimuksia tietokannan luomiseksi ja prosessin virtaviivaistamiseksi tulevaisuudessa.

Toistaiseksi tutkijoiden on kuitenkin jatkettava nykyisten tutkimusten toistamista ja testattava niiden toistettavuutta ja kestävyyttä.

Tai he voivat suunnitella tutkimuksen oikealla tavalla käyttämällä ohjelmistoja menetelmien luomiseen, poikkeamien havaitsemiseen ennen kuin on liian myöhäistä ja tietojen keräämiseen asiayhteyden avulla, jotta niitä voidaan käyttää ja tulkita helposti. Tärkeintä on, että oikealla tieteellisellä tietotekniikka-alustalla voidaan validoida tuloksia, jolloin varmistetaan, että tutkimukset voidaan toistaa, mutta niitä ei tarvitse tehdä uudelleen virheiden vuoksi.