Funnel plots* y heterogeneidad |
||
Resultados Heterogeneidad Métodos Resultados Comentario * Nota del traductor: Ante la falta de una traducción lo suficientemente aceptada de "funnel plot" se ha preferido respetar la expresión original inglesa, máxime cuando en el artículo queda suficientemente explicado en qué consiste dicha herramienta. Bandolier evita generalmente profundizar en los complejos problemas metodológicos de las revisiones sistemáticas y meta-análisis. Las razones se deben tanto a su complejidad como al hecho de que muchos de esos detalles interesan sólo a algunos de nosotros. El problema es que algunas personas parecen
pensar que estos temas metodológicos están moldeados en piedra,
y que cualquier meta-análisis que tenga un "funnel plot" asimétrico
o que demuestre una heterogeneidad estadística es tan defectuoso
que el tratamiento que revisa debe, por tanto, desecharse. Y lo que todavía
es peor es que estas son las razones que con frecuencia se esgrimen
para desaconsejar la prescripción de un tratamiento que es efectivo.
Así que este mes presentamos una amable diversión dentro
del pesado barrizal de las matemáticas y estadísticas.
Funnel plotsUn funnel plot es una herramienta mediante la cual se compara gráficamente algún efecto específico del ensayo (odds ratio, riesgo relativo) con alguna medida de su precisión. La precisión puede definirse de diferentes maneras. Habitualmente se utiliza el número de participantes en el ensayo o alguna función del error estándar. Si el gráfico es simétrico, como un V invertida, se interpreta como una demostración de que probablemente no existe sesgo de publicación. Si el gráfico es asimétrico, la interpretación es que probablemente exista sesgo de publicación.No hay ninguna evidencia empírica
que apoye esta idea. Aun más, con frecuencia, la interpretación
de los gráficos asimétricos es que debe haber ensayos negativos
inéditos que servirían para negar los hallazgos positivos
de un meta-análisis, si estos pudieran encontrarse. Los filósofos
tienen una palabra para esto. Falsificación significa que usted
no puede demostrar que es estúpido aunque su estupidez le mire fijamente
a la cara. Por ello es bienvenida cualquier evidencia de que los
"funnel plots" no son lo que parecen [1].
MetodosInvestigadores en Hong Kong [1] examinaron 198 meta-análisis de la biblioteca de Cochrane de 1998, excluyendo aquéllos con variables continuas o menos de cinco ensayos clínicos. Realizaron diferentes funnel plots utilizando el tamaño y el error estándar. En otras palabras, se utilizó la misma información de los mismos meta-análisis para realizar funnel plots para cada meta-análisis, pero de dos maneras diferentes.ResultadosDe los 198 meta-análisis, en 43 (22% del total) podía deducirse que mostraban un sesgo de publicación debido a su asimetría. De estos 43, 37 (86%) tenía un fannel plot simétrico cuando se utilizaba un método diferente de trazar los resultados. Cuanto menor es el número de ensayos en un meta-análisis, más asciende la proporción en la que uno de los dos métodos graficos sea simétrico, hasta alcanzar el 100% en aquéllos meta-análisis con seis ensayos. Asimismo se sugería que la asimetría en al menos uno de los gráficos estaba presente en aquellos meta-análisis donde probablemente era menos esperada.HeterogeneidadSi usted tiene varios ensayos con la misma clase de pacientes, con la misma severidad de la enfermedad, la misma intervención, y el mismo resultado durante el mismo tiempo, entonces lo que usted tiene es un conjunto homogéneo de datos. ¿De acuerdo? Pues realmente no, ya que como la heterogeneidad se define estadísticamente, le calificaríamos de heterogéneo en un 10% de las veces. Es cómo si los test de heterogeneidad debieran realizarse siempre. ¿Si usted tiene un conjunto de datos homogéneos para qué necesita realizar tests de heterogeneidad?MetodosInvestigadores en Oxford utilizaron datos de pacientes individuales para simular ensayos clínicos y también para simular 10.000 meta-análisis, usando diferente número de ensayos por meta-análisis y diferentes proporciones de sucesos, y se realizó para las cinco formas habituales de calcular la heterogeneidad.ResultadosLos tests estadísticos utilizados habitualmente no produjeron el nivel esperado de heterogeneidad (es decir, 10%) en un verdadero conjunto de datos homogéneos. Sobreestimaron el nivel de heterogeneidad (encontrando hasta un 20% de los meta-análisis heterogéneos) o lo infravaloraron (menos de 1% cuando la prueba fue diseñada para encontrar un 10%). Cuando fue introducida la heterogeneidad, los investigadores no podían descubrirla hasta que el conjunto de datos era de hecho muy heterogéneo.La conclusión fue que los tests
de homogeneidad (que era lo que los tests deberían medir realmente)
eran de uso muy limitado. No podían detectar la homogeneidad ni
la heterogeneidad. El recurso es utilizar criterios de inclusión
y de resultados estables y claramente definidos.
ComentarioCuando nosotros intentamos encontrar el mejor y más adecuado sentido a los datos de un ensayo clínico en las revisiones sistemáticas y meta-análisis, todas las herramientas tienen su lugar.Pero el énfasis debe estar en las herramientas, no en las reglas. Los funnel plots y los tests de heterogeneidad no están esculpidos en piedra. Ambos tienen sus problemas. El problema no es su utilización, que puede ser legítima en una circunstancia particular. El temor es que las personas con ideas fijas (y quizás con presupuestos fijos) las utilicen impropiamente como reglas para intentar influenciar en la toma de decisiones. Si hay una regla aquí, es que el sentido común clínico es el mejor indicador acerca del sentido que tienen las revisiones y los meta-análisis. ¿ Los pacientes del ensayo son como los nuestros? ¿ Son razonables los criterios de inclusión? ¿ Los resultados tienen sentido? ¿Son útiles? Y así sucesivamente. Ningún ejercicio de evidencia va a ser dañado por agregarle sentido común clínico. Bibliografía:
|