La mala ciència, nous capítols

El mes de maig de l’any passat vaig comentar un treball de Paul Glasziou i Iain Chalmers que concloïa que, tenint en compte les carències metodològiques, els estudis no publicats i els mal explicats, el malbaratament de la recerca biomèdica podia ser de l’ordre del 85%. És a dir, segons aquests autors, només el 15% del que s’investiga arriba als clínics en condicions de qualitat i de comunicació apropiada. Una mica més d’un anys després, disposo d'altres fonts que insisteixen a dir que la recerca biomèdica, en termes generals, no dona senyals de recuperació i, per fer-ho entenedor, seguiré el mateix esquema que vaig fer servir en el post que he citat.

Manca de rigor de moltes revisions sistemàtiques i meta-anàlisis

Les revisions sistemàtiques i les meta-anàlisis són dues metodologies que acumulen, sintetitzen i avaluen l’evidència a partir de nombrosos estudis individuals, amb l’objectiu de resoldre incerteses, reduir biaixos i fer arribar informació científica de manera pràctica a l'atrafegat univers de la clínica. Hi ha dades, però, que indiquen que alguna cosa està passant amb el rigor d’aquestes metodologies sintètiques i la primera preocupació és la d’una estranya eclosió. John Ioannidis, el 2016, va observar que el creixement anual de revisions i meta-anàlisis era del 150% des del 1991, un increment de la producció de característiques epidèmiques, segons l’autor. Aquesta tendència, d’acord amb Joshua Niforatos i Joshua Wallach (2019), ha aconseguit un desequilibri editorial, ja que ara pràcticament es publica una revisió per cada assaig clínic original.

L’excés de revisions sistemàtiques i de meta-anàlisis neguiteja a molts investigadors i clínics, ja que ara mateix hi ha dubtes raonables sobre el propòsit, la qualitat i la credibilitat de molts d'aquests estudis, a més de promoure superposicions i contradiccions entre les diverses revisions que s’entesten a analitzar evidències des de diferents angles sobre el mateix tema. En el seu article, Ioannidis ofereix alguns exemples de superposicions, com el de les 11 meta-anàlisis contradictòries que han estudiat la prevenció amb estatines de la fibril·lació auricular posterior a la cirurgia cardíaca o el laberíntic univers de les meta-anàlisis de l’efectivitat dels antidepressius.

És evident, diu Wallach, que en el creixement desorbitat de revisions i meta-anàlisis no només hi ha interessos ocults, també es donen altres circumstàncies que afavoreixen que molts investigadors s’hi inclinin, degut a les majors facilitats d’avui en el maneig de bases de dades, els menors costos i controls (en comparació als assaigs clínics) i el major nombre de cites de les que gaudeixen les revisions i meta-anàlisis, la qual cosa fa augmentar el prestigi d’investigadors, institucions i revistes.

Segons Wallach i Ioannidis, tot i el mal ús que es fa de la metodologia i la mala qualitat observada, no hi ha alternativa. És a dir, les revisions sistemàtiques i les meta-anàlisis continuen sent uns instruments de primer nivell per oferir una informació científica valuosa de l’evidència existent en un determinat tema. Caldria, però, una mica d’ordre i rigor per no fer malbé un bé tan preuat.

Malbaratament de molta recerca que no es publica

En el post de maig de 2018, vaig comentar que gairebé la meitat dels assaigs clínics finançats per INH (la institució pública nord-americana que dona suport a la recerca) no es publicaven. Però ara vull destacar el punt de vista de Harlan Krumholz, quan es posa a la pell de les 87.883 persones, de 67 estudis diferents, que van acceptar un protocol d’assaig clínic, s’hi van comprometre, es van sotmetre a la metodologia del doble cec, van rebre proves i tractaments que desconeixien si eren de debò o no i, temps després, sense cap explicació, els propis investigadors o els finançadors, o qui fos, van decidir que els resultats no es publicarien, i la pregunta és: no seria un deure moral dels investigadors que quan inviten a una persona a entrar en un assaig, ells, per la seva banda, es comprometessin a fer públics els resultats, encara que fossin negatius? Aquesta pèrdua d’informació científica té també, doncs, una vessant humana. No s’haurien de demanar responsabilitats? Pregunta Krumholz (i jo m’hi afegeixo).

Les fake news en la literatura científica

En una observació de 94 articles sobre l’avaluació de nous fàrmacs en càncer, Matthew Abola i Vinay Prasad han descobert que, en la meitat d’ells, els redactors havien recorregut a adjectius superlatius del tipus: miraculós, revolucionari, innovador, meravellós o transformatiu. Un signe evident que alguna cosa no rutllava prou bé. En aquest sentit, Lown Institute, en el seu blog, ha publicat una anàlisi de fake news científiques (reversió d’un assaig negatiu en positiu) en la recerca cardiovascular. Lown afirma que els investigadors del projecte CABANA (2018) que mesurava l’efectivitat de l’ablació cardíaca, van aconseguir revertir (i publicar) un resultat negatiu en un de positiu, i la pregunta és: com de sovint els investigadors presenten resultats negatius com si fossin positius? Per respondre, un equip liderat per Muhammad Shahzeb Khan va revisar cent publicacions, en revistes d’alt impacte, d’assaigs clínics de l’àmbit cardiovascular, i van descobrir que entre els estudis que van tenir resultat negatiu, el 67% tenien reversions en el text principal, el 52% en el resum i el 10% en el títol.

Penso que les revistes tenen una gran responsabilitat a no exercir d'altaveu de fake news científiques i, per tant, a detectar les reversions i a tenir curar que els títols, els resums i els textos reflecteixin, de manera fidel, el que diuen els nombres. Cal no oblidar que alguns estudis amb resultat negatiu, com ara el projecte ORBITA, que va demostrar la no efectivitat dels stents en persones amb angina estable, poden ser molt valuosos per a la pràctica clínica.

En aquest nou lliurament de la sèrie “La mala ciència”, torno a insistir en tres principis: a) que les investigacions, revisions i meta-anàlisis siguin de qualitat, transparents i col·laboratius, b) que es publiqui tot el que s’investiga, i c) que es publiqui bé, que al cap i a la fi, un resultat negatiu també pot ser molt aclaridor per als clínics que han de recomanar i compartir decisions cada dia.

Jordi Varela
Editor