Fraude científico, el deseo por los resultados positivos

La ciencia necesita una solución para la tentación de mostrar resultados positivos Hace unos años, los científicos de la compañía de biotecnología Amgen se propusieron replicar 53 estudios históricos que abogaban por nuevos enfoques para tratar los cánceres utilizando tanto las moléculas existentes como las nuevas. Ellos fueron capaces de replicar los resultados de la investigación original sólo el 11 por ciento de las veces. La ciencia tiene un problema de reproducibilidad. Y las ramificaciones son generalizadas. Ilustración de Aaron Krolik Por Aaron E. Carroll para The New York Times Mayo 29 de 2017 Estos 53 artículos fueron publicados en revistas de alto perfil, y los 21 que se publicaron en las revistas de mayor impacto fueron citados un promedio de 231 veces en el trabajo posterior. En 2011, Bayer Pharmaceuticals reportó un trabajo de reproducción similar. De los 67 proyectos que realizaron para volver a ejecutar experimentos (47 de los cuales involucraban cáncer), sólo alrededor del 25 por ciento terminó con resultados alineados con los hallazgos originales. Resulta que la mayoría de las empresas farmacéuticas ejecutar este tipo de programas internos de validación con regularidad. Parecen escépticos de los hallazgos en la literatura publicada. Dado que su valioso tiempo y su inversión de miles de millones de dólares en recursos de investigación dependen directamente del éxito de los proyectos, sus preocupaciones parecen justificadas. Desafortunadamente, el resto de nosotros no hemos sido tan cuidadosos. Más y más datos muestran que debemos ser. En 2015, los investigadores informaron sobre la replicación de 100 experimentos publicados en 2008 en tres importantes revistas de psicología. Los estudios de la psicología no conducen generalmente a mucho dinero o productos comercializables, así que las compañías no se centran en comprobar su robustez. Sin embargo, en este experimento, los resultados de la investigación fueron tan cuestionables. Los hallazgos de las repeticiones coincidían con los estudios originales sólo de un tercio a la mitad del tiempo, dependiendo de los criterios utilizados para definir "similar". Hay una serie de razones para esta crisis. Los propios científicos están algo en falta. La investigación es difícil y rara vez perfecta. Una mejor comprensión de la metodología, y los defectos inherentes al interior, podrían producir un trabajo más reproducible. El entorno de investigación, y sus incentivos, agravan el problema. Los académicos son recompensados profesionalmente cuando publican en un diario de alto perfil. Esas revistas tienen más probabilidades de publicar un trabajo nuevo y emocionante. Eso es lo que los financiadores también quieren. Esto significa que hay un incentivo, apenas oculto, para lograr nuevos y emocionantes resultados en experimentos. Algunos investigadores pueden sentirse tentados a asegurarse de que logren "resultados nuevos y emocionantes". Esto es fraude. Por mucho que queramos creer que nunca sucede, lo hace. Claramente, los resultados fabricados no van a ser replicables en experimentos de seguimiento. Pero el fraude es raro. Lo que sucede mucho más a menudo es mucho más sutil. Es más probable que los científicos intenten publicar resultados positivos que los negativos. Ellos son conducidos a realizar experimentos de tal manera que haga más probable que logre resultados positivos. A veces miden muchos resultados e informan solamente los que mostraron resultados más grandes. A veces cambian las cosas sólo lo suficiente para obtener una medida crucial de la probabilidad - el valor de p - hasta 0,05 y la significación de reclamación. Esto se conoce como p-hacking. Ilustración de Aaron Krolik La forma en que informamos sobre los estudios también puede ser un problema. Incluso algunos estudios reportados por los periódicos (como éste) no llegan a mantenerse como podríamos esperar. Este año, un estudio analizó cómo los periódicos informaron sobre la investigación que asociaba un factor de riesgo con una enfermedad, tanto los riesgos de estilo de vida como los riesgos biológicos. Para estudios iniciales, los periódicos no informaron sobre ningún resultado nulo, es decir, aquellos que tuvieron resultados sin resultados esperados. Rara vez reportaron resultados nulos incluso cuando fueron confirmados en trabajos posteriores. Menos de la mitad de los hallazgos "significativos" reportados por los periódicos fueron respaldados por otros estudios y metaanálisis. Los más preocupantes, mientras que 234 artículos informaron sobre los estudios iniciales que más tarde se demostró que eran cuestionables, sólo cuatro artículos siguieron y cubrieron las refutaciones. A menudo, las refutaciones se publican en revistas de menor perfil, por lo que es posible que los periodistas tengan menos probabilidades de saber sobre ellos. Los editores de revistas pueden ser tan cómplices como los editores de periódicos. Ilustración de Aaron Krolik La buena noticia es que la comunidad científica parece cada vez más centrada en las soluciones. Hace dos años, los Institutos Nacionales de Salud comenzaron a financiar los esfuerzos para crear módulos educativos para capacitar a los científicos a realizar investigaciones más reproducibles. Una de esas becas permitió que mi programa de YouTube, Healthcare Triage, creara videos para explicar cómo podríamos mejorar tanto el diseño experimental como el análisis y reporte de la investigación. Otra donación ayudó a la Sociedad para la Neurociencia a desarrollar webinars para promover la conciencia y el conocimiento para mejorar el rigor científico. El Centro para la Ciencia Abierta, financiado por el gobierno y las fundaciones, ha estado presionando para una mayor apertura, integridad y reproducibilidad de la investigación. Ellos, junto con expertos e incluso revistas, han impulsado la preinscripción de estudios para que los métodos de investigación sean más transparentes y los análisis estén libres de sesgo o alteración. Ellos llevaron a cabo el estudio de replicación de la investigación psicológica, y ahora están haciendo un trabajo similar en la investigación del cáncer. Pero el verdadero éxito requerirá un cambio en la cultura de la ciencia. Mientras el ambiente académico tenga incentivos para que los científicos trabajen en silos y almacenen sus datos, la transparencia será imposible. Mientras el público exige un flujo constante de resultados significativos, los investigadores, consciente o inconscientemente, empujan sus experimentos para lograr esos hallazgos, válidos o no. Mientras los medios hagan nuevos hallazgos en lugar de acercarse a ellos con el escepticismo adecuado, colocándolos en contexto con lo que ha venido antes, todos serán empujados hacia resultados que no son reproducibles. Ilustración de Aaron Krolik Durante años, los conflictos financieros de interés han sido apropiadamente identificados como sesgo en la investigación de manera inadecuada. Sin embargo, existen otros conflictos de interés, y son tan poderosos -si no más- influir en el trabajo de los científicos en todo el país y en todo el mundo. Estamos progresando en la mejora de la ciencia, pero todavía tenemos un largo camino por recorrer. Aaron E. Carroll es un profesor de pediatría en la Escuela de Medicina de la Universidad de Indiana que publica blogs sobre investigación y política de salud en The Incidental Economist y hace videos en Healthcare Triage. Síguelo en Twitter en @aaronecarroll. With a little help from Google Translate