Los científicos de Estados Unidos gastan 28.000 millones de dólares cada año en investigación biomédica básica que no puede repetirse con éxito. Esta es la conclusión de un estudio publicado el 9 de junio en PLoS Biology1 que intenta cuantificar las causas, y los costes, de la irreproducibilidad.
John Ioannidis, epidemiólogo de la Universidad de Stanford (California) que estudia la solidez científica, afirma que el análisis seguramente suscitará un debate sobre el problema, pero debe tomarse con pinzas, ya que sus estimaciones conllevan una gran incertidumbre.
Sin embargo, Len Freedman, autor principal del estudio y director del Instituto de Normas Biológicas Mundiales, sin ánimo de lucro, de Washington DC, afirma que el trabajo es valioso, aunque no pueda precisar la magnitud del problema. «Está claro que hay tremendas ineficiencias [en la investigación], y esto pone el foco en ello», dice Freedman, cuyo grupo trata de desarrollar las mejores prácticas para los experimentos biológicos.
Rastrear los problemas
Freedman y sus colegas definieron la irreproducibilidad en sentido amplio, como cualquier error u omisión que impida los intentos de replicar los resultados experimentales. Los investigadores trataron de determinar la contribución relativa de las cuatro fuentes de irreproducibilidad identificadas en un análisis anterior2: el diseño del estudio, los protocolos de laboratorio, los reactivos biológicos y los materiales de referencia, y el análisis y la presentación de datos.
Sin embargo, el equipo no examinó si los resultados de un artículo individual eran reproducibles. En su lugar, los investigadores estudiaron los análisis existentes sobre los factores que contribuyen a la irreproducibilidad, y los utilizaron para estimar una tasa de reproducibilidad general y sopesar la influencia relativa de los distintos factores.
Iain Cockburn, economista de la Universidad de Boston (Massachusetts) y coautor del estudio, afirma que el análisis estuvo limitado por la calidad y la cantidad de datos disponibles. Por ejemplo, las evaluaciones de los materiales deficientes se basaron en estimaciones de la frecuencia con que se identifican erróneamente las líneas celulares. En otros casos, el equipo extrapoló a partir de informes de trabajos clínicos.
En general, el equipo descubrió que la mayor contribución a los problemas de reproducibilidad era el material deficiente, con un 36%, seguido por el diseño del estudio, con un 28%, y el análisis de los datos, con un 26%. El equipo estima que la tasa global de irreproducibilidad es del 53%, pero advierte que la tasa real podría estar entre el 18% y el 89%. Esto sitúa el coste económico potencial de la irreproducibilidad entre 10.000 y 50.000 millones de dólares al año.
«Las cuatro categorías son decentes, pero las estimaciones son erróneas», dice Ioannidis. «Yo pondría una tasa mucho más alta en el componente de análisis de datos y presentación de informes».
El análisis se ve aún más limitado por el hecho de que los cuatro factores contribuyentes que utiliza son interdependientes, dice Melissa Haendel, científica de la información de la Oregon Health and Science University de Portland. Por ejemplo, los materiales de investigación y los controles utilizados para evaluarlos forman parte de los protocolos de laboratorio, y el diseño del estudio afecta al análisis de los datos.
Búsqueda de soluciones
La preocupación por la reproducibilidad en la investigación biomédica ha aumentado en la última década, en parte como respuesta a un estudio realizado en 2005 por Ioannidis en el que se constataba que las revistas científicas se inclinaban por publicar resultados llamativos y positivos3. Y los investigadores de las empresas farmacéuticas han informado de que sus intentos de replicar las conclusiones de los artículos revisados por pares fracasan en porcentajes superiores al 75%4,5.
Varias instituciones están tomando medidas para abordar el problema. En noviembre, por ejemplo, los Institutos Nacionales de Salud de EE.UU. instaron a las revistas a adoptar directrices destinadas a impulsar la reproducibilidad. (Nature Publishing Group es una de las muchas editoriales científicas que lo han hecho).
El principal coste de la irreproducibilidad no reside en un estudio inicial defectuoso, sino en la pérdida de trabajo de seguimiento que inspira, afirma Lee Ellis, biólogo del cáncer del Centro Oncológico MD Anderson de la Universidad de Texas, en Houston. Los científicos pueden perder tiempo persiguiendo pistas falsas, lo que puede retrasar los descubrimientos que conducen a nuevas terapias.
Freedman espera que su último trabajo ayude a convencer a los científicos de que dar pequeños pasos, como documentar mejor los protocolos y utilizar reactivos certificados, podría producir grandes ganancias en la reproducibilidad. El mensaje no es tanto «Dios mío, estamos tirando 20.000 millones de dólares por el retrete», dice, «sino más bien «Aquí hay una oportunidad de aumentar la eficiencia para obtener más beneficios».
