-
Estudio
-
Resultados
-
Comentario
Bandolera
ha sido sorprendido recientemente por la subida vertiginosa
de ciertas cuestiones sobre la "Revisión por pares" y la importancia
de este proceso como "garantía" de calidad. Estas cuestiones son
observadas con ironía por aquellos que han participado como revisores,
o han sido sujetos a revisión. Con demasiada frecuencia parece que
este proceso es gobernado por las reglas del azar. Los revisores son
con frecuencia gente muy ocupada que intenta ayudar a los editores, sus
colegas y a los autores de los artículos, ofreciendo filantrópicamente
parte de su tiempo libre para analizar los artículos remitidos,
intentando mejorarlos. Muchos de nosotros estamos agradecidos a revisores
que nos han ayudado a mejorar la calidad de nuestros manuscritos. Pero
con más frecuencia de la deseable, las observaciones impertinentes
de los revisores nos provocan ataques de ira. Por ejemplo, que les parece
la observación de un revisor de una revista líder de la evidencia,
a la hora de negar la aceptación de una revisión sistemática
con resultados negativos acerca de un procedimiento, en el sentido de que
"El lo había probado una vez y le había funcionado"
¡ y los directores lo aceptaron ¡.
Por tanto, con demasiada frecuencia la aceptación o rechazo
de un artículo parece ser poco más que un juego de azar.
Un nuevo estudio en el campo de las neurociencias parece confirmarlo. [1].
Estudio
Dos revistas que remiten los manuscritos de forma rutinaria a dos
revisores permitieron el acceso a los juicios acerca de esos manuscritos.
Una de las revistas permitió el acceso a todos los manuscritos durante
un período de seis meses (179), y el otro aportó información
acerca de 116 manuscritos consecutivos. Ambas revistas utilizaban una valoración
estructurada, y los revisores eran cuestionados acerca de:
-
¿Debe ser el manuscrito aceptado, revisado o rechazado?
-
¿Cual debía ser la prioridad de la publicación. baja,
media o alta?
El acuerdo de los investigadores fue valorado utilizando el método
estadístico Kappa. Un valor de 0 indicaba que la posibilidad de
acuerdo era debida al azar y un valor de 1 indicaba un acuerdo perfecto.
Las puntuaciones de 0 a 0,2 fueron consideradas muy malas, entre 0,2 y
0,4 malas, entre 0,4 y 0,6 regulares, entre 0,6 y 0,8 buenas y entre 0,8
y 1 muy buenas o excelentes.
Resultados
El acuerdo no era bueno (Tabla 1), y no era mejor que el azar tanto
para la aceptación por parte de la revista como para la prioridad
del manuscrito.
Tabla 1: Los revisores de dos revistas de neurociencia
juzgan de forma diferente la calidad y prioridad de los manuscritos.
|