Il problema della riproducibilità, oltre a minare la credibilità della scienza e danneggiare la ricerca che ne consegue, genera un impatto economico che non può essere trascurato. Uno studio pubblicato su una rivista peer reviewed da L.P. Freedman e colleghi ci mostra un quadro chiaro dell’economia dell’irriproducibilità. Gli autori si sono basati su stime pubblicate su riviste scientifiche, che dichiarano valori di mancata riproducibilità del risultato scientifico compresi tra il 51% e l’89% (vedi figura). Dopo un’accurata valutazione statistica dei dati, sono giunti alla conclusione che un tasso ragionevole di irriproducibilità può essere fissato attorno al 50%. 
Applicando questa percentuale al numero di finanziamenti concessi annualmente alla ricerca preclinica negli Stati Uniti – circa 56 miliardi di dollari da industria farmaceutica, governo federale, organizzazioni non profit e mondo accademico – si ottiene l’impressionante cifra di (almeno) 28 miliardi di dollari impiegati ogni anno in studi i cui risultati non possono essere replicati, e questo solo per gli USA. Come sottolineato dagli stessi autori, questi costi vengono ulteriormente amplificati dal fatto che altri scienziati investono risorse economiche, ma anche intellettive e umane, per portare avanti ricerche che traggono origine da osservazioni e conclusioni inaffidabili. Un caso di particolare interesse è rappresentato dall’uso dei dati in letteratura per la sperimentazione sull’uomo: nei soli Stati Uniti, tra il 2000 e il 2010 circa 80.000 pazienti sono stati coinvolti in sperimentazioni cliniche basate su risultati di pubblicazioni, poi ritirate per errori o improprietà. Questo numero impressionante è chiaramente una sottostima, dato che non misura le conseguenze di studi basati su risultati pubblicati in articoli non ritirati, di cui però è ignota la riproducibilità. A riprova di questa ripercussione sulla sperimentazione clinica e dunque su vite umane, Nature Reviews ha riportato che la percentuale di successo delle sperimentazioni cliniche di Fase 2 (che si svolgono su poche decine di pazienti volontari, allo scopo di testare la non tossicità e l’attività del farmaco) è scesa dal 28% in 2006-2007 al 18% in 2008-2010.
Se è impossibile valorizzare il danno provocato dalla concentrazione di studi su dati non riproducibili, che distoglie risorse intellettive da opportunità di ricerca più promettenti e produttive, si può valutare un altro tra i costi indotti più significativi, che riguarda le spese delle industrie farmaceutiche per controllare l’affidabilità degli studi su cui intendono basare uno sviluppo produttivo. Come testimoniato in un rapporto pubblicato da PhRMA[1] e citato da Freedman, ciascuna replica dello studio può durare da 3 a 24 mesi e può richiedere investimenti che vanno da US $ 500.000 a US $ 2.000.000.
Nel complesso, una valutazione esaustiva della mancanza di riproducibilità della ricerca, nonché delle sue conseguenze economiche, è ancora difficile da delineare. Le stime però sono abbastanza significative da attirare l’attenzione del mondo scientifico e stimolare l’analisi delle possibili cause, alla ricerca di contromisure adeguate. Nel prossimo articolo di questa serie ci occuperemo delle cause e delle azioni correttive che il mondo della ricerca scientifica sta mettendo in atto per correggerle e del ruolo che la gestione in Qualità della ricerca può avere nel supportare questa battaglia.
FONTI:
- Freedman LP et al. The Economics of Reproducibility in Preclinical Research. PLoS Biol. 2015; 13(6): e1002165. doi:10.1371/journal.pbio.1002165
- Arrowsmith JE, Trial watch: Phase II failures: 2008–2010, Nature Reviews Drug Discovery 2011
- How Science goes wrong – Scientific research has changed the world. Now it needs to change itself. in The Economist, 2013. http://www.economist.com/news/leaders/21588069scientificresearchhaschangedworldnowitneedschangeitselfhowsciencegoeswrong.
- Naik G. Scientists’ Elusive Goal: Reproducing Study Results. In The Wall Street Journal. 2011. https://www.wsj.com/articles/SB10001424052970203764804577059841672541590
[1] PhRMA (The Pharmaceutical Research and Manufacturers of America) è un’associazione di importanti ricercatori biofarmaceutici statunitensi e società di biotecnologia
