La revista Nature s'ha fet ressò del debat professional sobre la qualitat intrínseca del treball dels científics, en una dinàmica d'autocrítica comparable a la que s'està fent, en termes semblants, en el món de la clínica. Els científics també són fal·libles -afirma l'articulista- i, per tant, haurien de potenciar els mecanismes d'autocrítica, en comptes d'enrocar-se en l'autoengany.
John Ioannidis, Meta-Research Innovation Center at Stanford, diu que els científics haurien d'esforçar-se més per comprendre els biaixos de la seva fal·libilitat humana, si volen superar la crisi de confiança generada per l'escassa reproduïbilitat dels resultats de la recerca. I per il·lustrar les seves paraules, Ioannidis ofereix tres exemples: a) d'una selecció de cent estudis de psicologia, només es van poder replicar els resultats d'una mica més d'un terç dels treballs, b) un grup d'investigadors d'Amgen van aconseguir reproduir solament 6 dels resultats de 53 estudis de referència en l'àmbit de l'oncologia i l'hematologia, i c) el propi equip d'Ioannidis va replicar completament només 2 dels 18 estudis d'expressió genètica en base a microarrays (xips d'ADN).
L'autora de l'article de Nature, Regina Nuzzo, analitza quatre tendències que empenyen els científics a l'autoengany i, per compensar, ella mateixa fa quatre propostes per reduir el fenomen.
Quatre tendències a l'autoengany
La miopia de la hipòtesi. Sovint els investigadors fan revisions de l'evidència de manera tendenciosa amb la finalitat de donar suport a la hipòtesi del futur projecte, ignorant, al mateix temps, l'evidència que va en sentit contrari, i no escoltant prou opinions adverses a la seva idea original.
L'adopció de models erronis. Corre una fàbula texana sobre un tirador maldestre que en una pista de tir va encertar, per pur atzar, una ràfega al voltant de la diana, fet que va fer perdre molts diners a alguns apostadors que van creure que havien descobert un tirador talentós. Segons Nuzzo, s'observen tendències entre els investigadors a deixar-se encegar per models observats que els inspiren i, en canvi, no s'adonen que potser no estan suportats de manera prou consistent.
L'atenció asimètrica. Quan els resultats van en la direcció desitjada hi ha una inclinació a donar-los per bons, sovint de manera precipitada, mentre que si van en la contrària, es revisen fins a l'extenuació.
L'arrodoniment del relat. Un cop obtinguts els resultats de la recerca, s'observa una propensió a relatar-los de manera que la història quedi arrodonida. Matthew Hankins, un estadístic del King's College de Londres, ha recollit més de 500 frases creatives que els investigadors fan servir en els articles científics per convèncer als lectors que els resultats, malgrat no ser significatius, són valuosos.
Quatre propostes per reduir l'autoengany
Promoure l'exercici d'advocat del diable. Regina Nuzzo proposa dedicar temps a elaborar hipòtesis alternatives a l'original i contrastar el suport que la revisió científica ofereix a cadascuna d'elles.
Signar acords previs a la publicació. Fer públic el pla d'explotació de dades i d'anàlisi a la fase prèvia del treball. Richard Horton, editor del Lancet, i Richard Smith, ex-editor del British Medical Journal, ho vénen proposant des de fa un temps, i ara més de 20 revistes científiques ja estan oferint acords per publicar protocols dels projectes amb compromisos explícits d'edició dels resultats, al marge de si surten en el sentit desitjat o no.
Invitar els rivals a opinar. Els científics que estan en posicions contràries a les hipòtesis plantejades, són els millors crítics per detectar l'autoengany: miopia del plantejament, errors en la detecció de models, atenció asimètrica, guions confusos, etc.
Anàlisi cec de les dades. La idea d'aquesta proposta és que els científics analitzin dades que només els ordinadors saben si són les que corresponen als resultats reals o no. Això s'hauria de fer com un mecanisme per evitar biaixos inconscients en la fase d'anàlisi, deguts a la pressió que tenen els científics per obtenir uns determinats resultats.
Les grans inversions i les expectatives posades en la recerca han potenciat la competitivitat entre professionals i entre institucions, fins extrems que han fet saltar les alarmes, cosa que fa que molts líders i editors científics creguin que ha arribat el moment de vetllar més per reconduir biaixos i augmentar la reproduïbilitat dels resultats.
Jordi Varela
Editor
Cap comentari:
Publica un comentari a l'entrada