Reproducibilidad

La reproducibilidad , estrechamente relacionada con la replicabilidad y la repetibilidad , es un principio fundamental que sustenta el método científico . Para que los hallazgos de un estudio sean reproducibles significa que los resultados obtenidos mediante un experimento o un estudio observacional o en un análisis estadístico de un conjunto de datos deben lograrse nuevamente con un alto grado de confiabilidad cuando se replica el estudio. Existen diferentes tipos de replicación ^[1] pero, por lo general, los estudios de replicación involucran a diferentes investigadores que utilizan la misma metodología. Solo después de una o varias de esas replicaciones exitosas, un resultado debe reconocerse como conocimiento científico.

En un ámbito más limitado, la reproducibilidad se ha definido en las ciencias computacionales como la siguiente cualidad: los resultados deben documentarse poniendo a disposición todos los datos y códigos de tal manera que los cálculos puedan ejecutarse nuevamente con resultados idénticos.

En las últimas décadas, ha habido una creciente preocupación de que muchos resultados científicos publicados no pasan la prueba de reproducibilidad, lo que provoca una crisis de reproducibilidad o replicación .

El primero en destacar la importancia de la reproducibilidad en la ciencia fue el químico anglo-irlandés Robert Boyle , en Inglaterra en el siglo XVII. La bomba de aire de Boyle fue diseñada para generar y estudiar el vacío , que en ese momento era un concepto muy controvertido. De hecho, filósofos distinguidos como René Descartes y Thomas Hobbes negaron la posibilidad misma de la existencia del vacío. Los historiadores de la ciencia Steven Shapin y Simon Schaffer , en su libro de 1985 Leviathan and the Air-Pump , describen el debate entre Boyle y Hobbes, aparentemente sobre la naturaleza del vacío, como fundamentalmente un argumento sobre cómo se debe obtener conocimiento útil. Boyle, pionero del método experimental , sostuvo que los fundamentos del conocimiento deben estar constituidos por hechos producidos experimentalmente, que pueden hacerse creíbles para una comunidad científica por su reproducibilidad. Al repetir el mismo experimento una y otra vez, argumentó Boyle, surgirá la certeza del hecho.

La bomba de aire, que en el siglo XVII era un aparato complicado y costoso de construir, también dio lugar a una de las primeras disputas documentadas sobre la reproducibilidad de un fenómeno científico particular . En la década de 1660, el científico holandés Christiaan Huygens construyó su propia bomba de aire en Ámsterdam , la primera fuera de la gestión directa de Boyle y su asistente en ese momento , Robert Hooke . Huygens informó de un efecto que denominó "suspensión anómala", en el que el agua parecía levitar en un frasco de vidrio dentro de su bomba de aire (de hecho, suspendida sobre una burbuja de aire), pero Boyle y Hooke no pudieron replicar este fenómeno en sus propias bombas. Como describen Shapin y Schaffer, "quedó claro que a menos que el fenómeno pudiera producirse en Inglaterra con una de las dos bombas disponibles, nadie en Inglaterra aceptaría las afirmaciones que Huygens había hecho, ni su competencia en el funcionamiento de la bomba". Huygens fue finalmente invitado a Inglaterra en 1663, y bajo su guía personal Hooke pudo reproducir la suspensión anómala del agua. Después de esto, Huygens fue elegido miembro extranjero de la Royal Society . Sin embargo, Shapin y Schaffer también señalan que "la realización de la replicación dependía de actos contingentes de juicio. No se puede escribir una fórmula que diga cuándo se logró o no la replicación". ^[2]

El filósofo de la ciencia Karl Popper señaló brevemente en su famoso libro de 1934 La lógica del descubrimiento científico que "los sucesos únicos no reproducibles no tienen importancia para la ciencia". ^[3] El estadístico Ronald Fisher escribió en su libro de 1935 El diseño de experimentos , que sentó las bases para la práctica científica moderna de prueba de hipótesis y significación estadística , que "podemos decir que un fenómeno es demostrable experimentalmente cuando sabemos cómo llevar a cabo un experimento que rara vez fallará en darnos resultados estadísticamente significativos". ^{[4] Tales afirmaciones expresan un} dogma común en la ciencia moderna de que la reproducibilidad es una condición necesaria (aunque no necesariamente suficiente ) para establecer un hecho científico, y en la práctica para establecer la autoridad científica en cualquier campo del conocimiento. Sin embargo, como señalaron anteriormente Shapin y Schaffer, este dogma no está bien formulado cuantitativamente, como la significación estadística, por ejemplo, y por lo tanto no se establece explícitamente cuántas veces debe replicarse un hecho para considerarse reproducible.

Replicabilidad y repetibilidad son términos relacionados que en sentido amplio o vaga son sinónimos de reproducibilidad (por ejemplo, entre el público en general), pero a menudo es útil diferenciarlos en sentidos más precisos, como sigue.

En relación con la reproducibilidad de los estudios experimentales u observacionales se distinguen naturalmente dos pasos principales: cuando se obtienen nuevos datos en el intento de lograrlo, a menudo se utiliza el término replicabilidad , y el nuevo estudio es una réplica o réplica del original. Para obtener los mismos resultados al analizar nuevamente el conjunto de datos del estudio original con los mismos procedimientos, muchos autores utilizan el término reproducibilidad en un sentido estricto y técnico que proviene de su uso en la investigación computacional. La repetibilidad está relacionada con la repetición del experimento dentro del mismo estudio por los mismos investigadores. La reproducibilidad en el sentido original y amplio solo se reconoce si una réplica realizada por un equipo de investigadores independientes tiene éxito.

Los términos reproducibilidad y replicabilidad a veces aparecen incluso en la literatura científica con significado invertido, ^{[5] [6]} ya que diferentes campos de investigación han establecido sus propias definiciones para los mismos términos.

En química, los términos reproducibilidad y repetibilidad se utilizan con un significado cuantitativo específico. ^[7] En experimentos entre laboratorios, una concentración u otra cantidad de una sustancia química se mide repetidamente en diferentes laboratorios para evaluar la variabilidad de las mediciones. Entonces, la desviación estándar de la diferencia entre dos valores obtenidos dentro del mismo laboratorio se llama repetibilidad. La desviación estándar para la diferencia entre dos mediciones de diferentes laboratorios se llama reproducibilidad . ^[8] Estas medidas están relacionadas con el concepto más general de componentes de varianza en metrología .

El término investigación reproducible se refiere a la idea de que los resultados científicos deben documentarse de tal manera que su deducción sea completamente transparente. Esto requiere una descripción detallada de los métodos utilizados para obtener los datos ^{[9] [10]} y hacer que el conjunto completo de datos y el código para calcular los resultados sean fácilmente accesibles. ^{[11] [12] [13] [14] [15] [16]} Esta es la parte esencial de la ciencia abierta .

Para que cualquier proyecto de investigación sea reproducible computacionalmente, la práctica general implica que todos los datos y archivos estén claramente separados, etiquetados y documentados. Todas las operaciones deben estar completamente documentadas y automatizadas tanto como sea posible, evitando la intervención manual cuando sea posible. El flujo de trabajo debe diseñarse como una secuencia de pasos más pequeños que se combinan de modo que los resultados intermedios de un paso se utilicen directamente como insumos para el siguiente paso. Se debe utilizar el control de versiones, ya que permite revisar fácilmente el historial del proyecto y documentar y rastrear los cambios de manera transparente.

Un flujo de trabajo básico para una investigación reproducible implica la adquisición, el procesamiento y el análisis de datos. La adquisición de datos consiste principalmente en obtener datos primarios de una fuente primaria, como encuestas, observaciones de campo, investigación experimental u obtener datos de una fuente existente. El procesamiento de datos implica el procesamiento y la revisión de los datos brutos recopilados en la primera etapa, e incluye la entrada, la manipulación y el filtrado de datos, y puede realizarse mediante software. Los datos deben digitalizarse y prepararse para el análisis de datos. Los datos pueden analizarse mediante el uso de software para interpretar o visualizar estadísticas o datos para producir los resultados deseados de la investigación, como resultados cuantitativos, incluidas figuras y tablas. El uso de software y automatización mejora la reproducibilidad de los métodos de investigación. ^[17]

Existen sistemas que facilitan dicha documentación, como el lenguaje R Markdown ^[18] o el cuaderno Jupyter . ^{[19] [20] [21]} El Open Science Framework proporciona una plataforma y herramientas útiles para apoyar la investigación reproducible.

La psicología ha visto un resurgimiento de las preocupaciones internas sobre los resultados irreproducibles (véase la entrada sobre la crisis de replicabilidad para los resultados empíricos sobre las tasas de éxito de las réplicas). Los investigadores mostraron en un estudio de 2006 que, de 141 autores de una publicación de artículos empíricos de la Asociación Estadounidense de Psicología (APA), 103 (73%) no respondieron con sus datos durante un período de seis meses. ^[22] En un estudio de seguimiento publicado en 2015, se encontró que 246 de los 394 autores contactados de artículos en revistas de la APA no compartieron sus datos cuando se les solicitó (62%). ^[23] En un artículo de 2012, se sugirió que los investigadores deberían publicar datos junto con sus trabajos, y se publicó un conjunto de datos junto a ellos como demostración. ^[24] En 2017, un artículo publicado en Scientific Data sugirió que esto podría no ser suficiente y que se debería revelar todo el contexto del análisis. ^[25]

En economía, se han planteado preocupaciones en relación con la credibilidad y fiabilidad de las investigaciones publicadas. En otras ciencias, la reproducibilidad se considera fundamental y a menudo es un requisito previo para la publicación de una investigación, sin embargo, en las ciencias económicas no se considera una prioridad de la mayor importancia. La mayoría de las revistas económicas revisadas por pares no toman ninguna medida sustancial para garantizar que los resultados publicados sean reproducibles, sin embargo, las principales revistas de economía han estado adoptando la adopción de archivos obligatorios de datos y códigos. ^[26] Los incentivos para que los investigadores compartan sus datos son bajos o nulos, y los autores tendrían que asumir los costos de compilar los datos en formatos reutilizables. La investigación económica a menudo no es reproducible, ya que solo una parte de las revistas tienen políticas de divulgación adecuadas para los conjuntos de datos y el código del programa, e incluso si las tienen, los autores con frecuencia no las cumplen o el editor no las hace cumplir. Un estudio de 599 artículos publicados en 37 revistas revisadas por pares reveló que, si bien algunas revistas han logrado tasas de cumplimiento significativas, una parte significativa solo las ha cumplido parcialmente o no las ha cumplido en absoluto. A nivel de artículo, la tasa de cumplimiento promedio fue del 47,5%; y a nivel de revista, la tasa de cumplimiento promedio fue del 38%, con un rango entre el 13% y el 99%. ^[27]

Un estudio de 2018 publicado en la revista PLOS ONE descubrió que el 14,4% de una muestra de investigadores de estadísticas de salud pública había compartido sus datos o códigos o ambos. ^[28]

Durante muchos años se han llevado a cabo iniciativas para mejorar la presentación de informes y, por lo tanto, la reproducibilidad de la literatura médica, comenzando por la iniciativa CONSORT , que ahora forma parte de una iniciativa más amplia, la Red EQUATOR . Este grupo ha centrado recientemente su atención en cómo una mejor presentación de informes podría reducir el desperdicio en la investigación, ^[29] especialmente en la investigación biomédica.

La investigación reproducible es clave para los nuevos descubrimientos en farmacología . A un descubrimiento de Fase I le seguirán reproducciones de Fase II a medida que un fármaco se desarrolla hacia la producción comercial. En las últimas décadas, el éxito de la Fase II ha caído del 28% al 18%. Un estudio de 2011 descubrió que el 65% de los estudios médicos eran inconsistentes cuando se volvían a probar, y solo el 6% eran completamente reproducibles. ^[30]

Hideyo Noguchi se hizo famoso por identificar correctamente el agente bacteriano de la sífilis , pero también afirmó que podía cultivar este agente en su laboratorio. Nadie más ha sido capaz de producir este último resultado. ^[31]

En marzo de 1989, los químicos Stanley Pons y Martin Fleischmann, de la Universidad de Utah, informaron sobre la producción de un exceso de calor que sólo podía explicarse mediante un proceso nuclear (" fusión fría "). El informe fue asombroso dada la simplicidad del equipo: se trataba esencialmente de una celda de electrólisis que contenía agua pesada y un cátodo de paladio que absorbía rápidamente el deuterio producido durante la electrólisis. Los medios de comunicación informaron ampliamente sobre los experimentos y fue un artículo de portada en muchos periódicos de todo el mundo (véase ciencia por conferencia de prensa ). Durante los meses siguientes, otros intentaron replicar el experimento, pero no tuvieron éxito. ^[32]

Nikola Tesla afirmó ya en 1899 haber utilizado una corriente de alta frecuencia para encender lámparas de gas a más de 40 kilómetros de distancia sin utilizar cables . En 1904 construyó la Torre Wardenclyffe en Long Island para demostrar los medios para enviar y recibir energía sin conectar cables. La instalación nunca estuvo completamente operativa y no se completó debido a problemas económicos, por lo que nunca se llevó a cabo ningún intento de reproducir su primer resultado. ^[33]

Otros ejemplos cuya evidencia contraria ha refutado la afirmación original:

• Rayos N , una forma hipotética de radiación que posteriormente se descubrió que era ilusoria
• Polywater , una hipotética forma polimerizada de agua que resultó ser simplemente agua con contaminaciones comunes
• La adquisición de pluripotencia mediante estímulos resultó ser el resultado de un fraude
• GFAJ-1 , una bacteria que supuestamente podría incorporar arsénico en su ADN en lugar de fósforo
• Polémica por la vacuna MMR : un estudio publicado en The Lancet que afirmaba que la vacuna MMR causaba autismo resultó ser fraudulento
• Escándalo Schön : "avances" en semiconductores que se revelaron como fraudulentos
• Poses de poder : un fenómeno de psicología social que se volvió viral después de ser el tema de una charla TED muy popular , pero que no pudo ser replicado en docenas de estudios ^[34]

• Timmer, John (octubre de 2006). "Científicos y ciencia: reproducibilidad". Ars Technica .
• Saey, Tina Hesman (enero de 2015). "¿Rehacer la investigación científica es la mejor manera de encontrar la verdad? Durante los intentos de replicación, demasiados estudios no pasan la prueba". Science News . "La ciencia no está irremediablemente rota", afirma [el epidemiólogo John Ioannidis]. "Sólo necesita algunas mejoras. A pesar de que he publicado artículos con títulos bastante deprimentes, en realidad soy optimista", dice Ioannidis. "No encuentro ninguna otra inversión en una sociedad que esté mejor posicionada que la ciencia".

Busque reproducibilidad en Wikcionario, el diccionario libre.

• Directrices para la promoción de la transparencia y la apertura del Centro para la Ciencia Abierta
• Directrices para evaluar y expresar la incertidumbre de los resultados de las mediciones del NIST del Instituto Nacional de Estándares y Tecnología
• Documentos reproducibles con artefactos de la fundación CTuning
• Investigación reproducible.net