Il problema della riproducibilità dei dati scientifici è salito alla ribalta quando alcune Big Pharma, come Bayer e Amgen, hanno dichiarato di aver investito ingenti risorse per confermare risultati pubblicati in articoli scientifici riguardanti nuove strategie per il trattamento del cancro, riuscendo a replicare meno del 9% dei risultati. È anche interessante notare che Nature Reviews in un articolo del 2011, riporta che il tasso di successo delle sperimentazioni dei farmaci (Fase 2) è sceso dal 28% nel 2006-2007 a solo il 18% nel 2008-2010.
Il problema dell’affidabilità dei dati scientifici non è sentito solo dalle Big Pharma, ma anche dalla comunità scientifica che basa le proprie ricerche su risultati già pubblicati nei diversi campi di studio. Ad esempio, un articolo scientifico pubblicato nel 2017 su PloSOne riporta i dati relativi a un questionario diffuso tra un gruppo di ricercatori in cui emerge che il 55% degli intervistati non è stato in grado di riprodurre i risultati di una pubblicazione scientifica; un problema che si è ridotto di un terzo, quando il ricercatore si è messo in contatto con gli autori degli articoli per ottenere ulteriori delucidazioni tecniche sullo svolgimento degli esperimenti. Il problema ha trovato un’eco nella stampa internazionale. Sono comparsi articoli su New York Times, The Economist, Wall Street Journal, che riportano dati allarmanti: secondo vari autori l’irriproducibilità dei dati potrebbe raggiungere l’89%. Gli stessi articoli osservano anche che gli autori dei lavori scientifici non devono essere considerati interamente responsabili per questo risultato, dal momento che possono essere fatti errori anche nel tentativo di riprodurre i dati. In ogni caso, emerge che le informazioni dedotte da un articolo sono spesso insufficienti per garantire una facile e completa replica degli esperimenti.
È molto difficile ottenere dati diretti e oggettivi per poter fare un’analisi più dettagliata del fenomeno e ricercare le sue cause, Possiamo provare a utilizzare come misura indiretta della irriproducibilità le ritrattazioni di articoli scientifici, nell’assunzione che possa essere significativamente influenzata dall’ammissione degli errori da parte degli autori. Questo tipo di informazione deve essere valutato con molta cautela, per diversi motivi: in primo luogo, le ritrattazioni possono anche essere dovute all’identificazione di una condotta scorretta (frode), scoperta con un ritardo che a volte è di diversi anni. Le ritrattazioni poi sono esclusive delle riviste più importanti, quelle che riportano i dati di maggior impatto e che sono maggiormente orientate all’autocontrollo e alla correzione nella consapevolezza del valore scientifico di ciò che pubblicano. Possiamo quindi affermare che questo indicatore sottostima grossolanamente il fenomeno delle ritrattazioni. Può ulteriormente trarre in inganno il fatto che il problema delle ritrattazioni abbia guadagnato tanto spazio nella stampa, dove, la ricerca di sensazionalismo, potrebbe avervi attribuito un’enfasi eccessiva. Alla luce di queste premesse, possiamo analizzare alcuni dati riportati da articoli di stampa e scientifici.
Un’analisi delle ritrattazioni di articoli scientifici, pubblicata dal New York Times, mostra che nel periodo dal 2000 al 2009 sono aumentate di dieci volte. La figura mostra una rielaborazione dei dati del New York Times e di altre fonti scientifiche. Le cause sono raggruppate in tre classi; frode, errore scientifico e “altro”. Si vede chiaramente che la frode non è il problema principale, anzi mostra una diminuzione nel tempo; gli errori scientifici rimangono una percentuale stabile, ma la terza classe, quella non definita, è in allarmante aumento. È molto probabile che in quest’ultima classe siano nascosti i problemi di gestione degli studi scientifici, insieme ad altri aspetti di cattiva condotta non meglio definiti. Una parziale conferma viene da un altro studio del fenomeno secondo il quale il 30% delle ritrattazioni è dovuto a errori scientifici mentre il 18,1% viene attribuito a cause non identificate e quindi non classificate.
La pubblicazione di dati non riproducibili ha diverse conseguenze preoccupanti. Come già accennato, notizie come la mancata replica di risultati da parte delle Big Pharma mina la credibilità della ricerca scientifica agli occhi dell’opinione pubblica. Un articolo pubblicato nel 2017 assimila la diffusione delle false informazioni scientifiche dedotte da una pubblicazione non riproducibile alla diffusione di un virus, che stimola studi che ne seguono le tracce, contamina rami di ricerca e globalmente è causa di dispersione di finanziamenti e impegno di ricercatori: è un danno per la ricerca impossibile da sanare. È utile ricordare (anche se è un caso di frode e non di irriproducibilità) la storia dell’articolo che millantava un legame tra l’autismo e i vaccini. L’articolo è stato ritirato e l’autore incriminato, ma le conseguenze sull’opinione pubblica e sulle convinzioni di alcuni operatori del settore persistono e alimentano il fenomeno dei no-vax con l’illusione di una base scientifica. Si intravede in questo fenomeno la dimensione di un danno economico di cui ci occuperemo nel prossimo intervento.
FONTI:
- Trouble at the lab – Scientists like to think of science as self-correcting. To an alarming degree, it is not. in The Economist. 2013. http://www.economist.com/news/briefing/21588057-scientists-think-science-self-correcting-alarming-degree-it-not-trouble.
- How Science goes wrong – Scientific research has changed the world. Now it needs to change itself. in The Economist. 2013 http://www.economist.com/news/leaders/21588069scientificresearchhaschangedworldnowitneedschangeitselfhowsciencegoeswrong.
- Achenbach J. The new scientific revolution: Reproducibility at last. In The Washington Post. 2015. https://www.washingtonpost.com/national/health-science/the-new-scientific-revolution-reproducibility-at-last/2015/01/27/ed5f2076-9546-11e4-927a-4fa2638cd1b0_story.html?utm_term=.61cd223ff312.
- Naik G. Scientists’ Elusive Goal: Reproducing Study Results. In The Wall Street Journal. 2011. https://www.wsj.com/articles/SB10001424052970203764804577059841672541590.
- Freedman LP et al. The Economics of Reproducibility in Preclinical Research. PLoS Biol. 2015; 13(6): e1002165. doi:10.1371/journal.pbio.1002165
- Zimmer C. A Sharp Rise in Retractions Prompts Calls for Reform. In The NewYork Times. 2012. http://www.nytimes.com/2012/04/17/science/rise-in-scientific-journal-retractions-prompts-calls-for-reform.html.
- Arrowsmith J. Trial watch: Phase II failures: 2008–2010. Nature Reviews Drug Discovery. 2011. 10, 328-329. doi:10.1038/nrd3439.
- Steen RG. Retractions in the scientific literature: is the incidence of research fraud increasing?. J Med Ethics 2011;37:249e253. doi:10.1136/jme.2010.040923
- Héroux ME et al. Questionable science and reproducibility in electrical brain stimulation research. PLoS ONE. 2017. 12(4): e0175635. 10.1371/journal.pone.0175635.
- Fanelli, D. How Many Scientists Fabricate and Falsify Research? A Systematic Review and Meta-Analysis of Survey Data. PLoS ONE. 2009; 4(5): e5738. doi: 1371/journal.pone.0005738
- Montgomery and Oliver. Conceptualizing Fraudulent Studies as Viruses: New Models for Handling Retractions. MINERVA. 2017;55(1). https://doi.org/10.1007/s11024-016-9311-
