Replicar la ciencia: Sólo en EE.UU. se despilfarran $28.000 millones al año

Hoja informativa

¿Por qué? Porque los estudios no se pueden replicar.

Si un estudio científico no puede reproducirse, ¿sigue siendo viable?

Los estudios científicos son notoriamente difíciles de reproducir. Un estudio de Plos Biology demostró que cada año se gastan unos $28.000 millones en investigaciones que no pueden reproducirse. Y eso sólo en Estados Unidos. Si extrapolamos esas cifras a todo el mundo, tenemos un verdadero problema.

En los últimos años, a medida que ha aumentado la potencia de cálculo, se ha generalizado la adopción de software en la nube y han crecido los conjuntos de datos, se ha hecho cada vez más evidente que los científicos son incapaces de generar los mismos resultados, incluso utilizando los mismos conjuntos de datos. Si no se pueden replicar los estudios y llegar a las mismas conclusiones, se socava la credibilidad de los científicos y de la propia ciencia.

Las repercusiones podrían ser graves. Si no se puede confiar en los resultados, la propia naturaleza de la ciencia y el proceso científico se vuelven cuestionables. En un momento en que nuevas tecnologías como aprendizaje automático y la inteligencia artificial, anima a la gente a cuestionar el valor de estas tecnologías potentes y que pueden cambiar la vida, y puede infundir un nivel de desconfianza. En este artículo veremos por qué este problema está tan extendido y cómo podemos abordarlo.

El problema seguirá agravándose si no se toman medidas

Esta "crisis de replicación" no es un problema nuevo. De hecho, ha sido una cuestión omnipresente en las ciencias sociales durante décadas. Un artículo de Jerry Alder, "The reformation: can social publicado en Pacific Standard, trataba el tema con gran profundidad. detalle. Pero este patrón de estudios irreproducibles no se limita en absoluto a la mundo de las ciencias sociales; también es un tema importante en la industria farmacéutica.

En 2005, John Ioannidis, profesor de investigación y política sanitaria de la Universidad de Stanford, escribió un artículo que llamó la atención de la comunidad científica sobre este problema. Publicado en la revista PLoS Medicine, su artículo "Why most published findings are false" ("Por qué la mayoría de los resultados publicados son falsos") ponía de relieve metodologías, sesgos y fallos en el diseño de los estudios. Concluía que "las simulaciones muestran que, para la mayoría de los diseños y entornos de estudio, es más probable que una afirmación de investigación sea falsa que verdadera".

Su artículo tuvo una gran repercusión y animó a las empresas a revisar su trabajo. En 2011, el gigante farmacéutico Bayer descubrió que solo una cuarta parte de los estudios eran reproducibles. Ese mismo año, Glenn Begley, que en aquel momento dirigía la división de oncología de la empresa biofarmacéutica Amgen, se propuso reproducir los resultados de 53 trabajos publicados en la década anterior que constituían la base de la oncología. Incluso utilizando conjuntos de datos idénticos a los originales, Begley sólo pudo replicar los resultados de seis de ellos.

La irreproducibilidad no puede ignorarse

La reproducción del trabajo es la piedra angular de la proceso científico: el hallazgo debe ser patrón para que se confirme.

Un único resultado puede ser un error o una casualidad. Reciba el mismo resultado en condiciones idénticas una segunda vez y todavía podría pasar por una coincidencia, o tal vez sesgada. Pero una tercera vez y estamos en el negocio.

Este principio está tan arraigado en la ciencia que forma parte de las directrices de laboratorio, que se enseñan a todos los científicos en ciernes: se necesitan al menos tres lotes consecutivos para validar en productos farmacéuticos. Este número de lotes depende del nivel de riesgo que entrañe la fabricación. Si se sabe poco del proceso, es lógico que se necesiten más datos estadísticos para demostrar que el proceso es lo suficientemente consistente como para cumplir los requisitos de calidad.

Los científicos no pueden obtener información a partir de un solo punto de datos, y dos puntos simplemente dibujan una línea recta. Se necesita un mínimo de tres
lotes para validar, y tres suele ser el número al que se ciñen los laboratorios. ¿Y por qué no más? Aunque los organismos reguladores, como la Food and Drug Administration (FDA) de EE.UU., no especifican un número máximo de lotes para validar, la realización de lotes es cara y requiere mucho tiempo, por lo que la mayoría de los laboratorios siguen las directrices.

Los métodos existen por una razón

¿Cómo se ha convertido esto en un ¿problema? Como suele ocurrir, se debe a una variedad de razones: métodos deficientes, enrevesados protocolos, y a veces incluso conductas indebidas.

Cada vez más, los investigadores comienzan sus estudios sin una hipótesis adecuada, y podrían acabar agarrándose a un clavo ardiendo para encontrar "correlaciones significativas" en los datos. A menudo, existe una probabilidad razonablemente buena de encontrar un valor p válido, ya que cuanto mayor sea el conjunto de datos, más probable es que un pequeño patrón dentro del conjunto parezca significativo, en lugar de un suceso aleatorio.

En su artículo, Ioannidis afirma que le preocupa que los investigadores traten de encontrar patrones en los datos, utilizando el aprendizaje automático para hallar una hipótesis, en lugar de partir de una. El resultado es un enfoque que requiere poca o ninguna validación.

Puede haber varios factores que contribuyan a ello, como el sesgo de publicación, los errores en los experimentos, el uso incorrecto de métodos estadísticos y las técnicas inadecuadas de aprendizaje automático. Pero todos ellos tienen algo en común: los científicos detectan patrones en los datos que no coinciden con el mundo real.

Sigue la presión para producir estudios útiles

Hoy en día disponemos de numerosas herramientas que nos ayudan a recopilar y analizar enormes cantidades de datos. Tenemos la oportunidad de hacerlo bien desde el principio, la libertad de decidir cómo recopilamos los datos, cómo los organizamos y cómo los analizamos e interpretamos.

La capacidad de recopilar y acceder a resmas de datos conlleva una mayor necesidad de metodologías adecuadas. El reto que queda por delante es diseñar un método que se ajuste a una hipótesis y probarla con los datos recopilados o utilizar los métodos estadísticos adecuados cuando el número de hipótesis es significativamente grande.

Tomemos como ejemplo el estudio de Bayer. Aunque no pudieron replicar más del 25% de sus estudios, afortunadamente, descubrieron que aquellos resultados que pudieron reproducir demostraban que eran sólidos, un excelente indicador de que el estudio tenía potencial clínico.

Se ha sugerido que los científicos pueden utilizar técnicas de minería de datos para encontrar los estudios que tienen más probabilidades de ser reproducibles. Pero para ello se necesita un conjunto de datos que extraer. Más reproducción
Deben realizarse estudios para crear una base de datos y agilizar el proceso en el futuro.

Pero por ahora, los científicos deben seguir intentando replicar los estudios existentes, comprobando su reproducibilidad y solidez.

O bien, pueden planificar un estudio de forma correcta, utilizando software para crear métodos, detectar desviaciones antes de que sea demasiado tarde y recopilar datos contextualizados para poder acceder a ellos e interpretarlos con facilidad. Y lo que es más importante, la plataforma informática científica adecuada puede validar los resultados, garantizando que los estudios puedan reproducirse y no tengan que volver a realizarse como consecuencia de errores.

Descargar hoja informativa
Solicitar una demostraciónConectar con un experto

Más información

E-WorkBook Avance

Mejore su rendimiento con una captura de datos coherente, potentes funciones de análisis y generación rápida de informes.

La urgencia de ser F.A.I.R.

¿Por qué los científicos no aprovechan todo el potencial de los datos? En este artículo hablaremos de los bloqueos al uso de datos...