Non c’è dubbio che la crescente tendenza all’irriproducibilità sia anche una conseguenza dell’aumento di complessità delle ricerche scientifiche, che oggi coinvolgono grossi gruppi di ricercatori, esperti in diverse aree e dislocati fisicamente in sedi e istituzioni differenti, e che richiedono la gestione di grandi insiemi di dati, la padronanza di sofisticate tecniche statistiche e l’uso di strumenti di tecnologia avanzata. Tra gli aspetti che nella letteratura scientifica sono individuati come cause dell’irriproducibilità, tre dovrebbero richiamare la massima attenzione: il meccanismo degli incentivi perversi, la comunicazione tra industria e ricerca e la formazione di giovani ricercatori.
Consideriamo gli incentivi perversi: il numero e l’importanza delle pubblicazioni dei ricercatori hanno una grande influenza sulla loro carriera e sulla loro capacità di ottenere fondi, dato che sia gli enti finanziatori che gli istituti di ricerca valutano in modo preferenziale le pubblicazioni su riviste di alto livello scientifico. Purtroppo, sotto questa pressione i ricercatori sono inclini a pubblicare dati imprecisi, risultati imperfetti e conclusioni forzate, dedicando spesso troppo poco tempo alla conferma dei risultati, alla cura di analisi statistiche appropriate e all’esecuzione di controlli adeguati. Questa corsa a una pubblicazione di grande impatto ha anche limitato la diffusione di risultati negativi, che sarebbero stati utili agli scienziati per evitare sperimentazioni infruttuose, risparmiando così tempo e denaro: la pubblicazione di risultati negativi è diminuita dal 30% nel 1990 al 14% nel 2007, e il trend è confermato negli anni a seguire.
La difficoltà di stabilire una comprensione reciproca tra persone di diverse professioni è ampiamente riconosciuta, ma il problema della comunicazione tra ricerca accademica e industria raccoglie scarsa attenzione quando si affronta il problema della riproducibilità. Le due realtà fanno parte della stessa catena, ma hanno obiettivi e approcci molto diversi. Dunque la discontinuità tra i due mondi costituisce un passaggio critico. L’accademia ha forti incentivi per generare e fornire conferma di nuove idee, diffonderle e ottenerne finanziamenti. L’industria raccoglie nuove conoscenze o dati e lavora per svilupparli in prodotti producibili e vendibili. Gli scienziati del mondo accademico spesso producono e descrivono risultati di interesse molto ristretto, che si applicano solo a condizioni ben definite. I ricercatori industriali mirano alla validazione dei risultati e al metodo più efficiente per passare dal laboratorio alla produzione di massa. Oltre agli obiettivi, anche i materiali e i protocolli, così come gli approcci, il linguaggio e i metodi sono differenti. L’ambiente regolamentato dell’industria farmaceutica è abituato a termini e concetti di qualità e si basa su metodologie, tecniche e strumenti poco familiari alla ricerca di base.
fig. 1
L’insufficiente formazione degli studenti nei metodi di progettazione sperimentale è una delle ragioni evidenziate da diversi autori di pubblicazioni scientifiche e divulgative. Per questi autori, gli studenti che escono dall’università o dai corsi postuniversitari mancano di comprensione delle regole fondamentali della scienza, della gestione dei dati di ricerca e dell’assicurazione della qualità. La maggior parte delle istituzioni scolastiche e accademiche però continua a ignorare l’offerta formativa di qualità e sforna ricercatori esperti in scienze, ma carenti nelle competenze per una gestione efficiente ed efficace della pratica sperimentale.
Il già citato Freedman raccoglie le ragioni dell’irriproducibilità in quattro categorie, di cui fornisce anche una ripartizione percentuale (fig. 1). Se cerchiamo di sintetizzare e individuare denominatori comuni, le cause più importanti possono essere raggruppate in tre classi, come mostrato nella tabella 1. Due classi si riferiscono al controllo del processo, quindi a quanto bene viene eseguito, e al controllo del prodotto, cioè quanto è buono ciò che viene fatto. Quando ci occupiamo del controllo del processo di ricerca, non ci riferiamo semplicemente alla sperimentazione, ma all’intera organizzazione: gestione dello studio, organizzazione e responsabilità, comunicazione interna ed esterna, formazione e conoscenza, protocolli e metodi, documentazione, approvvigionamento e materiali, attrezzature e altre risorse, ecc.
tab. 1
Il controllo dei risultati della ricerca inseriti negli articoli scientifici è tradizionalmente lasciato alla revisione che viene effettuata all’atto della pubblicazione, il processo di peer review, che di per sé non potrebbe filtrare tutti gli errori del processo a monte, ma addirittura ha dimostrato carenze profonde. Lo dimostrano tra gli altri due esperimenti, uno dell’editor del British Medical Journal che ha messo alla prova con risultati pessimi i suoi revisori che non hanno saputo individuare una decina di errori macroscopici in un testo, e uno di un biologo che ha proposto sotto pseudonimo un falso articolo che è stato accettato da circa la metà delle riviste a cui è stato sottomesso. La terza classe riguarda il comportamento etico.
Le cause dell’irriproducibilità sono dunque molteplici e per la maggior parte riflettono la buona fede dei ricercatori e non sono in contrasto con un approccio coscienzioso al lavoro – non si sta parlando di frequenti frodi e misconduct. Indipendentemente dalle ragioni, dovremmo però considerare se possiamo permettercelo. Nel prossimo articolo ci occupiamo delle strategie che possono essere definite per far fronte a questo problema.
FONTI:
- Freedman LP et al. The Economics of Reproducibility in Preclinical Research. PLoS Biol. 2015; 13(6): e1002165. doi:10.1371/journal.pbio.1002165
- How Science goes wrong – Scientific research has changed the world. Now it needs to change itself. in The Economist. 2013.http://www.economist.com/news/leaders/21588069scientificresearchhaschangedworldnowitneedschangeitselfhowsciencegoeswrong.
- Zimmer C. A Sharp Rise in Retractions Prompts Calls for Reform. In The NewYork Times. 2012. http://www.nytimes.com/2012/04/17/science/rise-in-scientific-journal-retractions-prompts-calls-for-reform.html
- Trouble at the lab – Scientists like to think of science as self-correcting. To an alarming degree, it is not. in The Economist. 2013. http://www.economist.com/news/briefing/21588057-scientists-think-science-self-correcting-alarming-degree-it-not-trouble
- Naik G. Scientists’ Elusive Goal: Reproducing Study Results. In The Wall Street Journal. 2011. https://www.wsj.com/articles/SB10001424052970203764804577059841672541590
- Achenbach J. The new scientific revolution: Reproducibility at last. In The Washington Post. 2015. https://www.washingtonpost.com/national/health-science/the-new-scientific-revolution-reproducibility-at-last/2015/01/27/ed5f2076-9546-11e4-927a-4fa2638cd1b0_story.html?utm_term=.61cd223ff312
- Collins FS, Tabak LA. Policy: NIH plans to enhance reproducibility. Nature. 2014;505:612–613 doi:10.1038/505612a
