Medicina Basada en la evidencia: aplicaciones y limitaciones de las revisiones sistemáticas y meta-análisis

  • Dr. Rafael Gabriel Sánchez

  • Noticias
El acceso al contenido completo es sólo para profesionales sanitarios registrados. El acceso al contenido completo es sólo para profesionales sanitarios registrados.

En el artículo anterior se describieron los meta-análisis y las revisiones sistemáticas, como paradigma de la evidencia sobre los efectos de la atención sanitaria. El objetivo en esta ocasión es ofrecer un material didáctico para ayudar a leer críticamente y a consumir revisiones sistemáticas y meta-análisis de ensayos clínicos aleatorizados.

Revisiones sistemáticas frente a narrativas Tradicionalmente y hasta no hace mucho, la mayoría de las revisiones que se publicaban  eran de tipo “narrativo”, no sistemático. El inconveniente de este tipo de revisiones es que utilizan métodos  no explícitos y a menudo subjetivos. Es decir, no especifican el proceso que han seguido para buscar, recolectar y evaluar la información en las que basan sus conclusiones y la ausencia de esta información impide verificar sus resultados y replicar la revisión.

En resumen, los principales defectos de las revisiones tradicionales o narrativas son la subjetividad del revisor y la falta de explicitación en los métodos de búsqueda y selección de las fuentes. Las limitaciones anteriormente mencionadas han sido magníficamente expresadas en el comentario de David. Sackett sobre las revisiones narrativas: “Creo que la razón de esta deficiencia en las revisiones se debe a la tradición de llamar a un experto en el tema para hacer la revisión... Esos autores comienzan su apartado de objetivos con una conclusión... Desafortunadamente los resultados están ya anunciados”. Además, lamentablemente, la calidad de la mayoría de las revisiones médicas tradicionales dejan mucho que desear, debido a que las labores de recogida, análisis y publicación de los resultados no se realizan con el mismo cuidado y detalle que cuando se trata de un trabajo de investigación original. Esta falta de método tiende a extraer conclusiones que, en el mejor de los casos, están sesgadas, y en el peor de los casos son erróneas.

En contraposición, como se ha señalado anteriormente, las revisiones sistemáticas emplean métodos explícitos y sistemáticos que limitan el sesgo, proporcionando así resultados más fiables. Otra diferencia importante es que las revisiones sistemáticas tienen como objetivo responder a preguntas clínicas concretas y específicas. 

Concretamente las revisiones Cochrane tienen un formato estándar, perfectamente definido, que consta de los siguientes apartados: un resumen en un formato estructurado; el texto de la revisión, que consta de introducción (antecedentes y objetivos), materiales (criterios de selección y estrategia de búsqueda), métodos, resultados (descripción de los estudios, calidad metodológica y resultados propiamente dichos), discusión y conclusiones de los revisores. Además, incorpora tablas y figuras estándar para mostrar las características de los estudios incluidos, la especificación de las intervenciones que se compararon, los resultados propiamente dichos y una lista con estudios que se excluyeron. El programa Review Manager (RevMan) y la “guía para usuarios” están diseñados para ayudar a los revisores a realizar revisiones según el formato estructurado descrito y puede obtenerse gratuitamente en la web de la Colaboración Cochrane

En contraste, la mayoría de las revisiones narrativas suelen abarcar un amplio abanico de aspectos relacionados con un tema que pueden ir desde la anatomía, fisiopatología, la clínica, el diagnóstico, sus complicaciones o su tratamiento, más que uno en profundidad. Por lo tanto, las revisiones narrativas suelen ser más útiles para adquirir un conocimiento amplio sobre un tema, pero no para obtener respuestas concretas y medibles ante cuestiones clínicas específicas. 

Por último, las recomendaciones halladas de las revisiones narrativas publicadas en revistas o en libros de texto suelen quedar obsoletas pues a veces tardan varios años en incluir recomendaciones de nuevos tratamientos de probada eficacia o continúan defendiendo un tratamiento mucho tiempo después de que se haya probado su escasa eficacia o incluso su potencial iatrogénico. Asimismo, las revisiones sistemáticas RS que incorporan técnicas cuantitativas pueden detectar mejor que las revisiones narrativas pequeños, aunque significativos, efectos del tratamiento.

En resumen, se podría concluir que, de entre las múltiples diferencias que existen entre las revisiones narrativas y las sistemáticas destaca que las primeras están basadas frecuentemente en opiniones (además de, por supuesto, en algunos datos objetivos), mientras que las revisiones sistemáticas están basadas fundamentalmente en pruebas

Limitaciones de las revisiones sistemáticas y meta-análisis

Tras este entusiasmo inicial, a medida que el número de revisiones sistemáticas crecía en la literatura médica, comenzaron a detectarse discrepancias notables entre las conclusiones extraídas de algunas revisiones sistemáticas y meta-análisis y los hallazgos de algunos mega-ensayos, lo que ha llevado a un planteamiento mucho más crítico del papel del meta-análisis. No se debe caer en el error de considerar al meta-análisis como una mera combinación de múltiples estudios y por tanto como si fuera “una revisión ordinaria, pero más grande”. Así, actualmente se profundiza mucho más en el análisis de la heterogeneidad entre estudios y sus posibles causas, en la influencia de las características de los pacientes incluidos y en el análisis de sensibilidad de los resultados. Por otra parte, no se debe olvidar que el meta-análisis es en realidad un estudio observacional retrospectivo, con las limitaciones que ello comporta. Desde sus orígenes el meta-análisis ha sido y sigue siendo una técnica controvertida, sobre todo si se limita a un ingenuo cálculo del efecto global, dado que la metodología estadística no puede “corregir” o “ajustar” las discrepancias entre estudios, y mucho menos lograr que resultados contradictorios se combinen en una única medida global. Por tanto, el meta-análisis no debería sustituir la realización de  ensayos clínicos de gran tamaño, pero cuando éstos no existen el meta-análisis constituye una posible ayuda  para la práctica clínica e incluso para el diseño de futuros ensayos. Dicho de otro modo, el meta-análisis es complementario, no sustituto, de los mega-ensayos clínicos y puede ser una estrategia coste-efectiva para ayudar a reducir el número de estudios primarios innecesarios. 

En consecuencia el meta-análisis no es la varita mágica que convierte estudios primarios metodológicamente deficientes en una combinación válida de ensayos clínicos, por lo que hay que tener especial cuidado en no combinar de forma indiscriminada estudios de buena y mala calidad. 

Evaluación de revisiones sistemáticas meta-análisis

Uno de los sistemas más utilizados para evaluar la calidad de la evidencia científica es el sistema GRADE de evaluación de la calidad de la evidencia y de la graduación de la fuerza de las recomendaciones.

Con el ánimo de mejorar y homogeneizar la calidad de la presentación de los resultados se han desarrollado diversos instrumentos estandarizados como el diagrama de flujo de PRISMA para la presentación homogénea de los resultados de la búsqueda  sistemática y del proceso de selección de los estudios incluídos (número de ensayos clínicos identificados, incluidos, excluidos y los motivos por los que estos últimos lo fueron), o el checklist QUOROM (Quality Of Reporting Of Meta-analysis) para meta-análisis de ensayos clínicos aleatorizados. Estas herramientas “exigen” a los revisores ofrecer información explícita sobre la estrategia de búsqueda, los criterios para la selección de estudios, la evaluación de la validez de estos, el modo en que se extrajeron los datos, las características de los diversos estudios y la síntesis cuantitativa de los datos. 

Por último, la mayoría de las revistas científicas requieren actualmente que cualquier revisión sistemática que se publique se acompañe de su protocolo de investigación que debe haber sido registrado por adelantado en el registro internacional PROSPERO , que exige una adecuada descripción de los criterios de inclusión, desenlaces previamente establecidos y una estrategia de búsqueda sin restricción de idiomas.

La guía CASPe (Critical Appraisal Skills Programme) de apreciación crítica de revisiones sistemáticas  en español es a nuestro juicio un checklist sencillo, práctico y eficaz basado en la “guía para usuarios de la literatura médica” publicada en JAMA que permite evaluar todos los aspectos arriba mencionados. Las tres preguntas fundamentales a la hora de abordar la lectura crítica de un artículo de revisión son: 1) ¿son válidos los resultados?; 2) ¿cuáles son los resultados?; y 3) ¿son aplicables estos resultados en su medio? Las dos primeras preguntas de la guía CASP son “de eliminación” (¿Se hizo la revisión sobre un tema claramente definido?  y ¿Buscaron los autores el tipo de artículos adecuado?), se pueden responder rápidamente y permiten descartar de entrada muchas revisiones, entre otros motivos porque son en realidad revisiones narrativas. Sólo si la respuesta es afirmativa en ambas preguntas merece la pena continuar con la lectura de la revisión.

Las siguientes preguntas detalladas (3, 4 y 5) de la guía CASP se refieren también a aspectos  importantes relacionados con la validez de los resultados; respectivamente a si se incluyeron los estudios importantes y pertinentes sobre el tema, si se valoró adecuadamente la calidad de los estudios incluidos y si los resultados de los diferentes estudios fueron mezclados “de forma razonable” para obtener un resultado "combinado".  A continuación la guía indaga sobre la evaluación de los propios resultados de la revisión: ¿Cuál es el resultado global de la revisión? y sobre el nivel de precisión de dicho resultado. Por último las preguntas 8 a 10 de la guía versan sobre la aplicabilidad de los resultados: si se pueden aplicar en tu medio, si se  consideraron todos los resultados importantes para tomar la decisión y finalmente si los beneficios merecen la pena frente a los perjuicios y costes de la intervención. 

El Dr. Rafael Gabriel Sánchez es profesor del Departamento de Salud Internacional de la Escuela Nacional de Sanidad. Instituto de Salud Carlos III. Asociación Española de Epidemiología Clínica (AEDEC).