6. Evaluación y síntesis de la evidencia científica

6.1. Introducción

En este manual se propone la metodología desarrollada por el grupo GRADE (Grading of Recommendations Assesment, Development and Evaluation), al que nos referiremos como GRADE^1,2, para evaluar la calidad de la evidencia y formular las recomendaciones de las Guías de Práctica Clínica (GPC) del Programa Nacional de GPC del SNS.

Las diferencias más relevantes entre GRADE (http://www.gradeworkinggroup.org/intro.htm) y otros sistemas previos en relación a la síntesis y evaluación de la calidad de la evidencia son principalmente las siguientes:

• La evaluación de la calidad de la evidencia se centra en el análisis por separado para cada desenlace de interés, que el grupo de trabajo habrá priorizado previamente en la fase de formulación de preguntas clínicas.
• Se amplía la habitual evaluación del riesgo de sesgo a otros factores como, por ejemplo, la consistencia de los resultados o su precisión.
• Se separa de forma explícita la definición de la calidad de la evidencia y de la fuerza de las recomendaciones.

En el apartado 6.2 se detalla el proceso para clasificar la calidad de la evidencia en relación a las preguntas terapéuticas o de prevención. El grupo de trabajo GRADE ha publicado una amplia serie de artículos^3-19 y un manual electrónico² en los que se amplían los contenidos de esta sección. En las diferentes secciones del capítulo se indican las publicaciones en las que se describe detalladamente cada uno de los aspectos discutidos.

El grupo GRADE ha desarrollado una plataforma electrónica denominada Guidelines Development Tool (http://gdt.guidelinedevelopment.org/), que facilita el proceso completo de la evaluación de la calidad de la evidencia, así como el resto de las etapas del proceso de formulación de recomendaciones. Se recomienda que los grupos de trabajo utilicen en el desarrollo de las recomendaciones de las guías del Programa del SNS esta plataforma y sus aplicaciones derivadas (por ejemplo, iSoF, iEtD). De esta forma se facilita, además del seguimiento de las recomendaciones en la elaboración, la homogeneidad entre los distintos productos elaborados por distintos grupos.

En los apartados 6.5 y 6.6 de este capítulo se realizan comentarios puntuales aplicables a otro tipo de preguntas. Por otro lado, GRADE propone una definición de la calidad de la evidencia diferente para su aplicación a las revisiones sistemáticas y a las guías de práctica clínica². Para el propósito de este manual, las indicaciones irán dirigidas a la clasificación de la calidad de la evidencia en el contexto de la formulación de recomendaciones. La figura 6.1 muestra un esquema que sintetiza los contenidos del capítulo.

6.2. Evaluación de la calidad de la evidencia

6.2.1. Definición de la calidad de la evidencia

La calidad de la evidencia refleja la confianza que se puede depositar en los resultados de la literatura científica para apoyar una recomendación en particular^2,17. Por este motivo algunas consideraciones sobre la calidad de la evidencia se deberán realizar en función del contexto particular para el que se está utilizando la literatura científica. En el proceso de clasificar la calidad de la evidencia se realiza una evaluación para cada desenlace de interés y un proceso de clasificación global entre todos los desenlaces que apoyen el proceso de decisión entre la evidencia y la recomendación.

La localización de guías de práctica clínica de calidad se ha visto favorecida en los últimos años por la aparición de repositorios, directorios y sitios web específicos, tanto nacionales como internacionales. Estas fuentes de información son creadas y mantenidas por entidades gubernamentales y asociaciones científicas o profesionales que compilan y clasifican las referencias bibliográficas y documentos pertinentes. Su ventaja es que facilitan a los usuarios una rápida recuperación de documentos relevantes, bien a través de sistemas de búsqueda básica o avanzada, o bien navegando entre categorías temáticas o de especialidades.

Aunque la calidad de la evidencia es un espectro continuo, GRADE propone una clasificación simple y explícita en cuatro grados^1,17:

6.2.2. Factores que determinan la calidad de la evidencia

A continuación se describen cinco factores que pueden bajar la calidad de la evidencia y tres que pueden aumentarla^2,17. Ver tabla 6.1.

Estos factores no deben tomarse como elementos individuales que puedan sumarse o restarse para obtener una clasificación de la calidad. GRADE no propone esta clasificación como una serie de categorías discretas; cada categoría forma parte de un espectro continuo en el que se realizan juicios sobre cada factor en relación al resto². Por este motivo es imprescindible que, al reflejar la clasificación de la calidad de la evidencia en los perfiles de evidencia, los autores sean explícitos en relación a los juicios que han llevado a una evaluación de la calidad en particular.

6.2.3. Consideraciones sobre el diseño de estudio

El diseño del estudio del que se obtienen los estimadores del efecto para apoyar una recomendación es determinante para iniciar la evaluación de la calidad de la evidencia. Para las preguntas clínicas de intervención, los ensayos clínicos ofrecen mejores estimadores del efecto que los estudios observacionales, del mismo modo que los estudios observacionales controlados ofrecen mejores estimadores que estudios no controlados.

GRADE propone, inicialmente, evaluar la calidad de la evidencia considerando los ensayos clínicos fuentes de calidad alta y los estudios observacionales sin limitaciones importantes, fuentes de calidad baja. A partir de este punto, la aplicación de los factores mencionados permitirán bajar o aumentar la calidad de la evidencia^7-12.

Este planteamiento hace necesario algún comentario sobre otros diseños de estudio específicos². Los ensayos clínicos no aleatorizados sin mayores limitaciones también pueden considerarse una fuente de evidencia de alta calidad, pero se debe bajar la calidad de la evidencia por limitaciones en el diseño (la falta de aleatorización aumenta el riesgo de selección).

Las series de casos o los estudios de caso único son estudios observacionales no controlados en los que la calidad de la evidencia debería bajarse automáticamente de baja a muy baja.

La opinión de experto no se considera un tipo de evidencia científica al que aplicar los factores modificadores de la calidad de la evidencia. La opinión de experto simplemente refleja la interpretación de los resultados de la evidencia, o de la ausencia de esta, en función de su conocimiento y experiencia. En cualquier caso en el que se refleje la opinión de experto en el desarrollo de una recomendación debe quedar explícita la manera en que se interpreta y cómo influye en el desarrollo de la recomendación¹⁷.

Las revisiones sistemáticas deben tomarse como fuentes de estudios que permiten conocer el conjunto de literatura científica que nos ofrece los mejores estimadores del efecto para desenlaces de interés específicos5. En las revisiones sistemáticas, la evaluación de los factores que afectan a la calidad de la evidencia debe realizarse sobre el diseño y las características de los estudios que incluye la revisión (ya sea un conjunto de estudios o de un único estudio).

6.2.4. Factores que permiten bajar la calidad de la evidencia en preguntas terapéuticas.

6.2.4.1. Limitaciones del diseño o ejecución de los estudios (riesgo de sesgo)

El sesgo es un error sistemático que afecta a los resultados o inferencias que se derivan de un estudio. Influye en cualquier dirección, de manera que puede llevar a la subestimación o sobreestimación del efecto de una intervención²⁰. Por este motivo, las limitaciones en el diseño o ejecución de un estudio pueden sesgar los estimadores sobre el efecto de una intervención y por tanto limitar la confianza en sus resultados⁷.

Existen múltiples herramientas para evaluar el riesgo de sesgo tanto en ensayos clínicos como en estudios observacionales. En el caso de los ensayos clínicos, la herramienta para evaluar el riesgo de sesgo propuesta por la Colaboración Cochrane²⁰ (Ver anexo 6.1) permite realizar una evaluación explícita sobre los aspectos que han demostrado tener un mayor impacto sobre los estimadores del efecto de una intervención. Esta herramienta es la de elección para evaluar las limitaciones de un ensayo clínico. La tabla 6.2 resume brevemente los aspectos valorados con esta herramienta.

Aunque algunos de estos aspectos son sencillos de evaluar, es importante insistir en la necesidad de hacer juicios explícitos de los motivos que llevan a modificar la calidad de la evidencia para lograr transparencia sobre los motivos que llevan a bajar la calidad. Por ejemplo, el único ensayo clínico que evalúa el impacto del eculizumab en pacientes con hemoglobinuria nocturna paroxística ofrece resultados sobre la calidad de vida y la fatiga en estos pacientes²¹. A pesar de que los desenlaces se evaluaron con escalas validadas, la recogida de resultados no fue enmascarada y, además, un porcentaje muy importante de pacientes que recibieron placebo abandonaron el tratamiento por no apreciar beneficio. Estos dos aspectos combinados pueden llevar a bajar la calidad de la evidencia por limitaciones en el diseño. Cuando se valora el enmascaramiento es muy importante tener en cuenta la naturaleza del desenlace de interés. De este modo, una revisión sobre la eficacia y seguridad de la termoplastia en pacientes con asma bajó la calidad de la evidencia en los desenlaces principales de interés, ya que los estudios que incluyó no estaban cegados y la medida principal de resultado (calidad de vida, control sintomático del asma) era subjetiva, mientras que este motivo no se aplicó en desenlaces más objetivos, como las hospitalizaciones motivadas por efectos adversos²².

La evaluación del riesgo de sesgo en los estudios no aleatorizados plantea más retos, debido a la dificultad para determinar el diseño de estudio en algunos casos y a la multitud de herramientas disponibles para evaluarlos²³. Una revisión sistemática evaluó las propiedades de estas herramientas, destacando la utilidad de las escalas Downs y Blackyy Newcastle-Ottawa²⁴. Sin embargo la aplicación práctica de la escala de Downs y Black²⁵ es dificultosa para evaluar diseños de estudio como los de casos y controles, y puede requerir de conocimientos epidemiológicos avanzados para su uso correcto²⁶. Por su parte, la escala Newcastle-Ottawa²⁷ también puede presentar dificultades para su adaptación a algunos diseños de estudio, ya que está diseñada específicamente para estudios de cohortes y casos y controles²³. Actualmente, la Colaboración Cochrane trabaja en el desarrollo de una nueva herramienta (ACROBAT-NRSI)²⁸. A efectos prácticos, la tabla 6.3 resume las principales fuentes de sesgo que hay que evaluar en los estudios no aleatorizados (ver anexo 6.2).

Puede ser complejo valorar globalmente el riesgo de sesgo de un conjunto de estudios con diferentes limitaciones y que aportan estimadores para un desenlace de interés en concreto. GRADE propone las siguientes directrices²:

• El riesgo de sesgo global para un conjunto de estudios no es el promedio de sus principales limitaciones. Es preferible realizar un juicio razonado del posible impacto de los diferentes estudios sobre cada uno de los desenlaces de interés, prestando atención a los estudios con menor riesgo de sesgo. En este sentido, se debe valorar la medida en que cada estudio contribuye en la estimación del efecto (por ejemplo, los estudios con un mayor tamaño de la muestra aportan un mayor número de eventos a un análisis y, por tanto, su riesgo de sesgo puede ser determinante).
• Se puede aplicar un enfoque menos conservador y calificar como baja la calidad de la evidencia solo cuando haya un riesgo de sesgo sustancial en los estudios disponibles que lo justifique. También es importante valorar el riesgo de sesgo en el contexto de otras limitaciones, bajando la calidad de la evidencia por el factor al que se atribuya una mayor importancia. Este juicio obliga a justificar de manera explícita en los perfiles de evidencia la decisión que se ha tomado para bajar la calidad de la evidencia y a señalar a qué factor se ha otorgado más peso en la decisión.
• Con un criterio pragmático, se podría evaluar la calidad de la evidencia a partir de aquellos estudios con un menor riesgo de sesgo, sin bajar la calidad de la evidencia por este motivo, y continuar aplicando el resto de factores.

6.2.4.2. Inconsistencia entre los resultados de diferentes estudios

La inconsistencia se refiere a la variabilidad o heterogeneidad de los resultados entre los estudios disponibles para un determinado desenlace de interés. Es necesario valorar si existe alguna explicación plausible para la variabilidad, siempre y cuando se identifique que existe heterogeneidad y, en caso de no identificarla, bajar la calidad de la evidencia por inconsistencia⁸.

Las diferencias entre los estimadores de los estudios podrían explicarse por diferencias entre las poblaciones de interés (pacientes con diferentes riesgos basales), las intervenciones evaluadas (diferencias en la duración o la complejidad de la intervención), los desenlaces (diferentes medidas de los resultados) o el diseño de los estudios (diferente riesgo de sesgo entre los estudios). Cuando se dispone de una explicación para los pacientes, intervenciones o desenlaces, la calidad de la evidencia puede evaluarse para diferentes tipos de pacientes o intervenciones. Cuando la fuente de variabilidad se debe al diseño de los estudios, la evaluación de la calidad de la evidencia puede centrarse en aquellos con un menor riesgo de sesgo.

Las situaciones más comunes que permiten bajar por inconsistencia la calidad de la evidencia son las siguientes⁸:

• Existe una amplia variabilidad en los estimadores del efecto entre los diferentes estudios disponibles para apoyar la recomendación.
• No hay solapamiento entre los límites de los intervalos de confianza de los estudios, o hay poco solapamiento.
• El test de heterogeneidad de un metanálisis, que contrasta la hipótesis sobre la existencia de heterogeneidad de la magnitud del efecto entre los estudios, muestra un valor de P bajo (generalmente por debajo de 0,10²⁹).
• El valor del estadístico I² obtenido a partir del metanálisis. No se puede establecer un umbral fijo que determine a partir de qué valor de I² se puede considerar que la variabilidad afecta la confianza en los estimadores del efecto, y dependerá del juicio que se haga en cada caso. Como referencia aproximada, valores de I² por debajo del 40% pueden considerarse bajos; entre el 30% y el 60% pueden considerarse moderados; entre el 50% y el 90% pueden considerarse sustanciales; y entre el 75% y el 100% pueden considerarse importantes²⁹.

Teniendo en cuenta las limitaciones de interpretar de manera aislada el resultado de un test estadístico para determinar el impacto de la heterogeneidad en la confianza de los resultados, siempre es necesario valorar las diferencias entre los estimadores y el grado de solapamiento de sus intervalos de confianza. Es posible que en ocasiones se identifique la existencia de heterogeneidad a partir de los resultados de las pruebas estadísticas mencionadas, pero que se encuentre una explicación a esta variabilidad al analizar los estudios al detalle (por ejemplo, por la presencia de diferencias en los participantes incluidos en los diferentes estudios), razón por la cual no se disminuiría la calidad de la evidencia. En otras publicaciones sobre GRADE se profundiza en mayor medida en diferentes situaciones en las que considerar aspectos sobre la inconsistencia^2,8. Se insiste en que la evaluación de la inconsistencia debe considerar, además de las pruebas estadísticas disponibles para el análisis de la heterogeneidad, aspectos como la dirección de los estimadores del efecto y su solapamiento. Esto permitiría realizar una valoración más exhaustiva de la variabilidad entre los estudios disponibles. Por ejemplo, en una revisión sistemática los nueve ensayos clínicos que evaluaron el uso de flavonoides para disminuir la sintomatología de las hemorroides mostraban estimadores del efecto muy dispares, con intervalos de confianza que se solapaban poco, hecho que se reflejó en un valor de I² considerable (65%)³⁰. Aunque los autores no pudieron explicar la fuente de variabilidad, la decisión de bajar la calidad de la evidencia en esta situación no sería clara, teniendo en cuenta, por ejemplo, que todos los ensayos clínicos, salvo uno, mostraron un efecto favorable a los flavonoides. Este escenario sugiriere que los resultados disponibles en la literatura son consistentes y que tan solo existe una variabilidad en la magnitud del efecto.

Como se ha señalado, en ocasiones la variabilidad en los resultados puede explicarse por diferencias entre distintos subgrupos. Mientras que los estimadores en términos de riesgos relativos obtenidos en la literatura suelen ser constantes entre estos subgrupos, puede existir una variación considerable en las diferencias de riesgo (reducción absoluta del riesgo) entre los subgrupos, debido a que los pacientes pueden tener un amplio rango de riesgos basales respecto a los principales desenlaces de interés.

En aquellas ocasiones en las que se identifiquen subgrupos diferenciados claramente por su riesgo basal puede ser preferible plantear diferentes recomendaciones para cada subgrupo, en lugar de bajar la calidad de la evidencia por la inconsistencia identificada en los estimadores relativos del efecto.

Esta situación plantea la necesidad de valorar la credibilidad de los subgrupos. Por este motivo se han desarrollado unos criterios para valorar si los subgrupos muestran resultados fiables^31-33, que se presentan en la siguiente tabla.

Estos criterios no son una escala para puntuar cada una de las preguntas, son directrices para evaluar críticamente aquellos aspectos que pueden tener un impacto más relevante en la definición de subgrupos. Por otra parte, la valoración de estos aspectos no plantea una respuesta categórica a los diferentes criterios, sino que requiere de un juicio en un espectro continuo, que debe razonarse de manera explícita en el momento de completar los perfiles de evidencia y justificar la clasificación de la calidad de la evidencia.

En una guía se planteó si la administración perioperatoria de fluidos guiada por objetivos hemodinámicos tiene algún efecto en la morbilidad y mortalidad de los pacientes sometidos a cirugía no cardiaca³⁴. En el caso de la mortalidad, al analizar conjuntamente todos los pacientes incluidos en los 35 ensayos clínicos que comparan la realización de fluidoterapia guiada por objetivos frente a la fluidoterapia convencional, no se observó un efecto estadísticamente significativo (310 eventos, RR 0,80; IC95% 0,64 a 1,00). Sin embargo, los pacientes incluidos presentaban importantes diferencias en cuanto a su riesgo basal. Se realizó un análisis de subgrupos según el riesgo basal de los participantes y se observó que cuando el riesgo basal era menor del 10% no había diferencias entre la aplicación de una fluidoterapia guiada por objetivos y la convencional. Sin embargo, en los pacientes con un riesgo basal de mortalidad del 10% o superior, la fluidoterapia guiada por objetivos redujo un 59% el riesgo de mortalidad (10 ensayos, 105 eventos, RR 0,41; IC95% 0,37 a 0,62). En este caso, se consideró un efecto de subgrupos real, ya que no pudo explicarse por el azar (test para diferencia de subgrupos: p=0,002), era plausible desde el punto de vista fisiopatológico, y ya se había reportado un efecto similar en otras revisiones sistemáticas. Esta diferencia de subgrupos llevó a realizar una recomendación débil a favor de la fluidoterapia guiada por objetivos para la mayoría de los pacientes y una recomendación fuerte a favor para los pacientes de alto riesgo.

6.2.4.3. Disponibilidad de evidencia indirecta

Es necesario valorar la aplicabilidad de los resultados disponibles en la literatura para apoyar una recomendación. Cuando se disponga de estudios realizados en una población diferente a la definida en la pregunta PICO a la que se desea aplicar la evidencia, o que hayan evaluado una intervención que difiere en algunos aspectos a la de interés para la pregunta o que hayan medido desenlaces de interés diferentes a los del contexto en el que se implantarán las recomendaciones, la confianza en estos estudios será menor y por lo tanto deberá bajarse la calidad de la evidencia por su carácter indirecto. Otra fuente de evidencia indirecta es la ausencia de estudios que comparen de manera directa dos intervenciones de interés para formular una recomendación⁹.

Se puede considerar evidencia indirecta la disponibilidad de estudios con participantes con características diferentes a las de la población a la que se dirige la guía de práctica clínica. Aunque las revisiones sistemáticas acostumbran a restringir la población de interés en sus criterios de inclusión, hay ocasiones en las que las recomendaciones deben basarse en estudios originales con participantes diferentes a los de interés o en las que la literatura relevante no ofrece información específica sobre la población de interés para la pregunta clínica de la guía. Generalmente, los ensayos clínicos excluyen a los pacientes que presentan comorbilidad o pluripatología, lo que impide disponer de estudios en los que se hayan evaluado adecuadamente las intervenciones que precisan este tipo de pacientes. En estos casos, a la hora de valorar la evidencia disponible se deberá evaluar detalladamente la naturaleza directa o indirecta de la evidencia. El capítulo 9, “Abordaje de la comorbilidad y la pluripatología” trata con mayor detalle este aspecto.

Por ejemplo, una pregunta clínica puede plantear si, entre otros cambios en el estilo de vida en pacientes con enfermedad renal crónica, la reducción del hábito tabáquico puede retrasar la progresión de la enfermedad. Aunque no existen ensayos clínicos que hayan comparado el impacto de intervenciones para dejar de fumar en la progresión de la enfermedad de estos pacientes, existen varios estudios observacionales que han mostrado que fumar acelera la progresión de la enfermedad renal. Teniendo en cuenta estos resultados, un grupo de trabajo podría asumir que los pacientes con este problema de salud se beneficiarán de los programas de deshabituación que han mostrado eficacia para otras poblaciones, pero esta decisión implicaría bajar la calidad de la evidencia por evidencia indirecta.

En ocasiones, la fuente de evidencia indirecta es la intervención de interés. De este modo, una pregunta clínica sobre la eficacia del cribado de cáncer de colon con colonoscopia puede considerar la posibilidad de bajar la calidad de la evidencia en el caso de usar los resultados de un ensayo clínico que evalúe el impacto de un cribado de sangre oculta en heces⁹. Este aspecto es relevante cuando una misma intervención requiera una aplicación diferente dependiendo del contexto en el que se desee implantar la prestación. Muchos estudios que evalúan intervenciones complejas pueden plantear una situación en la que se deba valorar disminuir la calidad de la evidencia.

Otra fuente de evidencia indirecta importante puede ser la disponibilidad de desenlaces intermedios, o diferentes a los planeados, para apoyar las recomendaciones. Si solamente se dispone de desenlaces intermedios, siempre deberá disminuir la calidad de la evidencia por evidencia indirecta. La decisión de bajar un nivel o dos la calidad de la evidencia dependerá de la relación plausible que exista entre el desenlace intermedio y el desenlace de interés. La tabla 6.5 muestra ejemplos de desenlaces intermedios y sus correspondientes desenlaces importantes para la toma de deisiones².

Por ejemplo, una revisión sistemática no encontró estudios que valoraran la asociación entre la dispensación de parafernalia estéril o segura (diferente a jeringuillas) a usuarios de drogas y los casos incidentes de infección por el virus de la hepatitis C, pero algunos estudios han mostrado que los usuarios de drogas que usan de manera frecuente parafernalia estéril, frente a los usuarios que la usan de manera infrecuente, muestran una menor prevalencia de infección por el virus³⁵. Una recomendación basada en los resultados de estos desenlaces intermedios debería bajar la calidad por evidencia indirecta.

Por último, es habitual que no se dispongan de estudios que han comparado de manera directa dos tratamientos de interés. En alguna ocasión es posible que ambos tratamientos se hayan comparado en dos estudios independientes con un comparador común; por ejemplo, con un placebo. La validez de estas comparaciones depende de la asunción de que los estudios que han evaluado las intervenciones de interés tienen un diseño sin mayores sesgos y con características similares en sus poblaciones, intervenciones y desenlaces².

Este hecho implica que, cuando se formulen recomendaciones apoyadas en estimadores obtenidos de comparaciones indirectas, se deba bajar la calidad por evidencia indirecta. Una revisión que comparó dos dosis de aspirina para prevenir la oclusión del injerto en pacientes sometidos a cirugía de revascularización coronaria incluyó dos ensayos que compararon una dosis media con placebo y tres ensayos que compararon una dosis baja con placebo³⁶. Aunque una comparación indirecta de los resultados combinados de los estudios mostraba un mayor efecto de las dosis medias frente a las bajas, la confianza en estos resultados es menor que la que se obtendría de un ensayo que comparara ambas dosis de manera directa.

Dado que es habitual que no se disponga de estudios que hayan comparado de manera directa intervenciones relevantes, cada vez se han popularizado más los metanálisis en red (network meta-analysis). Estos estudios permiten obtener estimadores del efecto de distintos tratamientos a partir de comparaciones directas, indirectas o mixtas teniendo en cuenta los ensayos disponibles que han evaluado los diferentes tratamientos de interés³⁷. El uso de estos estimadores indirectos obliga a valorar si es necesario bajar la calidad de la evidencia. La valoración de estos estudios es compleja y el desarrollo de directrices para evaluar este tipo de estudios está aún en proceso, pero ante la necesidad de evaluación de este tipo de evidencia, el GEG puede referirse a las directrices GRADE para evaluar la calidad cuando se desarrolla un estudio de estas características³⁸ o a una guía de lectura crítica de este tipo de estudios³⁹. Por ejemplo en un metanálisis en red de 12 antidepresivos de nueva generación⁴⁰ se identificaron 117 ensayos de los que se ofreció poca información sobre la gravedad de los pacientes o posibles cointervenciones. Todos los ensayos incluidos en el análisis aportaron datos sobre al menos una comparación directa, con un total de 70 comparaciones entre antidepresivos. Los resultados mostraron diferencias significativas en la respuesta al tratamiento en solamente tres de las comparaciones. La poca especificidad del desenlace de interés y el poco poder del análisis realizado en el metanálisis llevaría a bajar la calidad de la evidencia.

6.2.4.4. Imprecisión de los estimadores del efecto

La precisión de un estimador del efecto se define por el intervalo de confianza alrededor de la medida con la que se presentan los resultados y está condicionada en parte por el tamaño de la muestra del estudio del que se obtiene el estimador. La manera más común de imprecisión se aprecia en aquellos estudios con un tamaño de muestra pequeño, que, en consecuencia, muestran pocos eventos y estimadores del efecto con intervalos de confianza amplios.

La valoración de la amplitud del intervalo de confianza puede estar sujeta a consideraciones sobre el impacto de un estimador del efecto en relación a otro, de la relevancia clínica de los extremos del intervalo o de si el estimador está basado en un tamaño muestral suficiente (optimal information size)¹⁰. Este último concepto nos remite al número total de pacientes que deberían haberse incluido en los diferentes estudios que han aportado datos a una comparación en concreto en la revisión sistemática para mostrar una diferencia significativa, de una manera similar a la del cálculo del tamaño de la muestra convencional en un ensayo clínico⁴¹.

En términos generales, los intervalos de confianza muestran el impacto del error aleatorio sobre la confianza en los estimadores del efecto, ya que muestra el rango de resultados en los que es posible que esté representado el efecto real de una intervención.

El problema que se plantea al valorar la imprecisión es la necesidad de determinar en qué situaciones los intervalos de confianza muestran suficiente incertidumbre como para bajar la calidad de la evidencia. Teniendo en cuenta que en el caso de las guías de práctica clínica se valoran un conjunto de desenlaces de interés, la decisión de bajar la calidad de la evidencia por imprecisión depende del umbral que determina la diferencia mínima relevante para los pacientes y del balance entre efectos deseables e indeseables de una intervención. La determinación de este umbral es una decisión que implica un juicio razonado y que debe reflejarse de manera explícita en los perfiles de evidencia². En el caso de variables dicotómicas, los pasos que se han sugerido para determinar si se debe bajar la calidad de la evidencia por imprecisión se detallan en el Anexo 6.3.

Las consideraciones para bajar la calidad de la evidencia por imprecisión cuando se valoran desenlaces continuos siguen el mismo razonamiento que en el caso de los desenlaces dicotómicos. Se debería bajar la calidad de la evidencia si se considera que el intervalo de confianza cruza el umbral que determina la diferencia mínima relevante para los pacientes. En caso de que el intervalo de confianza no cruzara este umbral, debería conocerse el tamaño óptimo de información para el desenlace. En este caso, la calidad de la evidencia debería bajarse por imprecisión cuando el número total de pacientes o eventos incluidos en una revisión sistemática es menor al que se obtendría de un cálculo del tamaño de la muestra de un ensayo clínico convencional (hay disponibles diversas calculadoras electrónicas para realizar este cálculo. Como alternativa, GRADE propone una figura que establece una correspondencia simulada entre el tamaño de la muestra necesario para obtener un número determinado de eventos10. La figura se ha diseñado asumiendo un error α del 0,05 y β del 0,2 para reducciones relativas del riesgo (RRR) del 20%, 25% y 30%, y un rango variable de riesgos para el grupo control (del 0,2 a 1,0). Con estos supuestos, con un riesgo en el grupo control del 0,2% y una RRR del 25%, el tamaño óptimo de información obtenido sería de 2000 pacientes (ver figura 6.3).

Como ejemplo, en una revisión se mostró que los corticoesteroides disminuyen el tiempo de hospitalización debido a exacerbaciones en pacientes con EPOC, aunque el extremo inferior del intervalo de confianza sugiere una reducción muy poco relevante para los pacientes⁴² (1,42 días; IC95% 0,65 a 2,20), hecho que justifica que la calidad de la evidencia baje por imprecisión.

En un artículo del grupo GRADE¹⁰ se señala como ejemplo un metanálisis de ensayos sobre el uso de esteroides en pacientes con shock séptico en el que murieron 511 pacientes. El intervalo de confianza para el estimador del efecto (de 0,75 a 1,03) se superpone al riesgo relativo (RR) de 1 (no efecto), lo que sugiere que una recomendación contra el uso de los esteroides sería lo adecuado. Sin embargo, el límite del intervalo consistente con el máximo efecto sugiere que los esteroides podrían reducir el RR de muerte hasta en un 25%, por lo que la evidencia en contra del uso de esteroides podría ser calificada como moderada y no como alta (ver figura 6.4).

Existe gran cantidad de literatura que ha evaluado las diferencias clínicas mínimamente importantes para diferentes desenlaces continuos, principalmente para escalas de medida o cuestionarios^43-45. Una búsqueda de estos estudios puede ayudar a establecer los umbrales para valorar la imprecisión en los desenlaces continuos.

Una búsqueda de estas características permitió establecer unos umbrales para valorar la imprecisión de los estimadores del efecto sobre la fatiga en una revisión sobre el eculizumab en pacientes con hemoglobinuria nocturna paroxística⁴⁶. A través de la literatura se identificaron las diferencias clínicas mínimas para el instrumento con el que se midió la fatiga en el único ensayo clínico que incluyó la revisión⁴⁷.El intervalo de confianza del estimador para este desenlace no cruzaba el umbral identificado en la literatura y, por tanto, no se bajó la calidad de la evidencia por imprecisión.

6.2.4.5. Sesgo de publicación

El sesgo de publicación se produce cuando se publican selectivamente los resultados de los estudios repercutiendo en una estimación inadecuada del efecto real de una intervención⁴⁸. A pesar de que en las revisiones sistemáticas siempre se realiza un esfuerzo por identificar todos los estudios elegibles para responder a su pregunta clínica, en ocasiones es difícil acceder a los datos de estudios que no se han publicado, normalmente por presentar resultados negativos. Este sesgo no debe confundirse con el sesgo de descripción selectiva de los resultados, valorado en las limitaciones del diseño de los estudios¹¹.

Se han identificado diversas situaciones en las que es más probable que exista sesgo de publicación. Las revisiones que incluyen varios estudios con una muestra pequeña pueden presentar más probabilidades de sesgo de publicación. Además, si estos estudios son financiados por la industria, entonces la conjunción de ambos elementos genera alta sospecha de la existencia de sesgo de publicación. Los estudios con una muestra más grande tienden a mostrar más eventos y tienen más posibilidades de ser publicados independientemente de sus resultados. Se ha estimado que existen discrepancias en el 20% de ocasiones en las que se comparan los resultados de revisiones sistemáticas de estudios pequeños con los de estudios publicados posteriormente con una muestra mayor. Esta discrepancia podría explicarse por el sesgo de publicación^49,50. La decisión de bajar la calidad de la evidencia por sesgo de publicación ante la disponibilidad de múltiples estudios con una muestra pequeña se refuerza cuando varios de estos estudios hayan sido patrocinados por la industria o los investigadores tengan graves conflictos de interés. Aunque menos frecuentemente, en ocasiones se retrasa la publicación de los estudios por resultados negativos o poco satisfactorios¹¹. Por ejemplo, un estudio analizó 74 ensayos sobre antidepresivos enviados para su consideración a la FDA, con una muestra de menos de 200 pacientes incluidos de media⁵¹. De los 38 estudios valorados positivamente por la FDA, 37 fueron publicados, mientras que solamente 14 de los 36 estudios valorados negativamente llegaron a publicarse.

En el proceso de valoración del sesgo de publicación, los grupos de trabajo pueden valorar las múltiples aproximaciones estadísticas que existen para cuantificar este fenómeno, que, pese a algunas limitaciones, pueden ofrecer una aproximación del impacto de este sesgo sobre los estimadores del efecto^11,48. En cualquier caso, GRADE reconoce la dificultad de valorar este aspecto y todavía más la de establecer un umbral a partir del cual el sesgo de publicación puede tener un impacto sobre la confianza en los estimadores del efecto, motivo por el cual se sugiere que como máximo se baje un nivel la calidad de la evidencia por esta razón.

6.2.5. Factores que permiten aumentar la calidad de la evidencia en preguntas terapéuticas

Cuando se utilizan los resultados de estudios observacionales para evaluar el impacto de una intervención, sus estimadores del efecto deben interpretarse con más precaución que en el caso de los ensayos clínicos, debido a que el sesgo es potencialmente mayor (por ejemplo, con aspectos relacionados con el sesgo de selección)²³. Este es un motivo por lo que el sistema GRADE propone que cuando se utilice este tipo de estudios para evaluar la eficacia de las intervenciones, se considere que la evidencia es de baja calidad. En contadas ocasiones, la confianza en los resultados de los estudios observacionales aumenta por alguna de las razones que se discuten en este apartado.

Es imprescindible tener en cuenta que, antes de valorar los aspectos que permiten aumentar la calidad de la evidencia, hay que asegurarse de que no hay ninguna razón para bajar la calidad de la evidencia por cualquiera de los factores que se han expuesto más arriba^2,12.

6.2.5.1. Magnitud del efecto importante

Cuando los estimadores presentan efectos importantes o muy importantes la confianza en estos resultados puede aumentar (ver tabla 6.6).

La decisión de aumentar la calidad de la evidencia por este motivo se refuerza en situaciones en las que el impacto de la intervención es rápido, se observa un efecto consistente entre los participantes en los estudios, la intervención revierte el curso clínico del problema de salud, o se dispone de evidencia indirecta consistente. Por ejemplo, una revisión sistemática de estudios observacionales sobre la posición de los lactantes en la cuna a la hora de dormir para evitar el síndrome de muerte súbita mostró una reducción importante del riesgo para la posición boca arriba con un OR de 4,1 (IC95% 3,1 a 5,5)⁵². En este caso, se podría elevar la calidad de la evidencia por una magnitud del efecto importante. Por otro lado, en un estudio epidemiológico sobre el uso de dispositivos intrauterinos y su impacto sobre la infección por el virus del papiloma humano y el riesgo de desarrollar cáncer de cérvix, se observó una fuerte asociación entre el uso de los dispositivos y la reducción del riesgo de cáncer de cérvix (OR 0,55; IC95% 0,42 a 0,70)⁵³. Este caso no cumple con los criterios comentados para aumentar la calidad de la evidencia por magnitud del efecto importante.

6.2.5.2. Gradiente dosis–respuesta relevante

La identificación de un gradiente dosis-respuesta es uno de los criterios clásicos para establecer una relación de causa-efecto⁵⁴. Por tanto, cuando se detecta un gradiente de este tipo, la confianza en los resultados puede aumentar. Por ejemplo, existe un gradiente dosis-respuesta asociado al momento en el que se administran antibióticos en los pacientes con sepsis e hipotensión⁵⁵, ya que se ha observado un importante aumento en la mortalidad por cada hora que se retrasa la administración del tratamiento.

6.2.5.3. Impacto de las variables de confusión plausibles

En los estudios observacionales rigurosos se controlan los factores pronósticos conocidos asociados con el desenlace de interés. Ocasionalmente, las variables de confusión no contempladas en un análisis ajustado en un estudio observacional, aunque tenga un diseño riguroso, pueden sesgar la estimación del efecto de la intervención o exposición de interés. Esta situación podría llevar a no apreciar un efecto existente de la intervención por la falta de control de estas variables.

Las variables de confusión pueden reducir o aumentar el impacto de la intervención o exposición de interés. Por ejemplo, varios estudios observacionales han mostrado que el uso del preservativo por parte de varones que tienen sexo con varones reduce el riesgo de infección por VIH comparado con no usarlo. Dos estudios han mostrado que los usuarios de preservativos tienen un mayor número de parejas sexuales que los varones que no lo usan. Sin embargo, este factor no se consideró en el análisis de ajuste por los factores de confusión^56,57. Teniendo en cuenta que esta confusión residual podría haber reforzado la asociación de haberse ajustado, se podría considerar aumentar la calidad de la evidencia.

6.2.6. Clasificación global de la calidad de la evidencia

La clasificación global de la calidad de la evidencia implica realizar un juicio general de la calidad entre los desenlaces clave para una determinada pregunta clínica¹⁴. Aunque GRADE propone un proceso estructurado para valorar cinco factores que permiten bajar la calidad de la evidencia, seguido de tres factores que permiten aumentarla cuando se parte de estudios observacionales, la clasificación de la calidad de la evidencia no debe entenderse como un proceso binario; corresponde más bien a un juicio ponderado en un espectro continuo determinado por la confianza en los estimadores del efecto para apoyar una recomendación.

En el proceso de evaluación de la calidad de la evidencia normalmente se consideran varios desenlaces de interés clave para la toma de decisiones que pueden tener diferentes grados de calidad de la evidencia. Para la determinación global de la calidad de la evidencia es necesario proceder como sigue:

• Considerar solo los desenlaces clave para la toma de decisiones.
• Si la calidad de la evidencia es la misma para todos los desenlaces clave, se toma esta calidad como la calidad global de la evidencia para apoyar la recomendación.
• Si la calidad de la evidencia varía entre los desenlaces de interés clave, se toma la calidad más baja entre estos desenlaces como la calidad global de la evidencia para apoyar la recomendación.

Por otro lado, GRADE contempla dos situaciones en las que se puede considerar un cambio en la importancia de los desenlaces de interés y, por tanto, puede variar el juicio sobre la calidad global de la evidencia:

• Un desenlace de interés resulta no ser clave a la luz de los resultados de la literatura. Por ejemplo, un grupo de trabajo puede considerar que las náuseas y vómitos son un desenlace clave para apoyar una recomendación sobre un determinado tratamiento; si la literatura muestra que este desenlace tiene una incidencia muy baja, puede pasar a considerarse importante en lugar de clave.
• Un desenlace de interés resulta no ser clave si los estimadores del efecto disponibles no modificaran una recomendación o su fuerza al compararlos con los estimadores de otros desenlaces de interés clave en la misma recomendación. Una revisión sobre el uso de estatinas en pacientes sin enfermedad coronaria pero con alto riesgo estableció como desenlaces clave la mortalidad cardiovascular, el infarto de miocardio, el ictus y los efectos adversos58. Los resultados mostraron una reducción importante de infartos e ictus, aunque la reducción en la mortalidad no fue significativa. Los efectos adversos fueron poco frecuentes y eran reversibles con la interrupción del tratamiento. Mientras que la calidad de la evidencia para infartos, ictus y efectos adversos fue alta, para mortalidad fue moderada por imprecisión. Considerando el conjunto de desenlaces de interés para esta pregunta clínica y los resultados consistentes favorables al tratamiento, la calidad global de la evidencia podría clasificarse como alta.

6.3. Presentación de los resultados de la evaluación de la evidencia: elaboración de perfiles de evidencia GRADE

Los perfiles de evidencia son un buen método para presentar de forma resumida la evidencia disponible, los juicios sobre su calidad y los efectos de diferentes estrategias o intervenciones para cada uno de los desenlaces de interés. Los usuarios de la literatura científica (clínicos, pacientes, público general, desarrolladores de guías y responsables de tomar de decisiones) tienen necesidades específicas en cuanto al contenido y detalle de los resúmenes de la evidencia y por ello existen diferentes formatos de presentación que van destinados a públicos diferentes¹³.

Se dispone principalmente de dos formatos de presentación de los resúmenes de la evidencia:

Los perfiles de evidencia GRADE (GRADE evidence profile) (ver anexo 6.4) incluyen un juicio explícito de cada factor que determina la calidad de la evidencia para cada desenlace de interés, así como un resumen de los resultados para cada uno de los desenlaces de interés. Estas tablas están destinadas a autores de revisiones y elaboradores de tablas de resumen de la evidencia, y aseguran que los juicios se han valorado de forma sistemática y transparente. Además, permiten a terceras personas revisar y evaluar los juicios realizados en el proceso de clasificación de calidad de la evidencia.

Los grupos de trabajo en las guías de práctica clínica deben utilizar los perfiles de evidencia para asegurar que los juicios en los que se basa la evaluación de la calidad de la evidencia se reflejan de manera explícita. En la figura 6.5 se muestra un ejemplo de perfil de evidencia GRADE.

El programa de distribución libre GRADEPro ofrece la posibilidad de realizar dos formatos de perfil de evidencia: un perfil de evidencia clásico (GRADE evidence profile) y un perfil GRADE utilizado por la American College of Chest Physicians (GRADE profile (ACCP)). En esta sección se describe el segundo por ser el más detallado y explícito.

Las tablas de resumen de resultados (Summary of Findings table) presentan la misma información que los perfiles de evidencia de forma más sintética, omitiendo los detalles sobre la evaluación de la calidad. Son más útiles para revisiones sistemáticas y van destinadas a una audiencia más amplia, que incluye a los usuarios finales de síntesis de evidencia.

Ambas tablas muestran la confianza en los estimadores del efecto (calidad de la evidencia) y su magnitud tanto en términos relativos como absolutos, que pueden expresarse en función de diferentes riesgos basales. El proceso de elaboración de los dos tipos de tabla y la información necesaria para crearlas son los mismos. GRADEPro, incorporado en la herramienta Guideline Development Tool (http://www.guidelinedevelopment.org/), facilita la elaboración de ambos tipos de tablas, permitiendo importar los resultados numéricos desde un archivo RevMan.

Un aspecto fundamental tanto del perfil de evidencia como de la tabla resumen de resultados son las notas a pie de tabla. Las notas se utilizan para razonar y justificarlos juicios sobre la calidad de la evidencia y otras decisiones que el grupo de trabajo toma en el proceso de síntesis de la literatura y evaluación de la calidad de la evidencia. Es importante que la redacción de estas notas se realice de forma homogénea y concisa, aportando la información imprescindible que permita al usuario entender los juicios realizados. Ver en el anexo 6.5 más detalles sobre la elaboración de perfiles de evidencia GRADE.

6.4. Redacción de la evidencia para la pregunta clínica

Cada pregunta clínica debe acompañarse de un resumen estructurado de la literatura científica identificada y valorada para apoyar las recomendaciones. Para presentar el resumen de la literatura de forma narrativa, se describirán brevemente los resultados de la búsqueda bibliográfica realizada, así como el proceso de selección de los estudios valorados para apoyar las recomendaciones.

Posteriormente, debe desarrollarse un breve resumen de los estudios valorados, describiendo su diseño, características principales y los estimadores del efecto para cada desenlace de interés. Debe señalarse el número de estudios que informan sobre el desenlace de interés, el número de eventos en caso de desenlaces dicotómicos o el número de participantes en caso de desenlaces continuos, y el estimador del efecto en términos relativos con su intervalo de confianza. Los estimadores del efecto para expresar desenlaces dicotómicos son el riesgo relativo (RR), odds ratio (OR) o la diferencia de riesgo, aunque existen otras, como hazard ratio (HR). Por otro lado, la reducción relativa del riesgo (RRR) es una buena medida del efecto para expresar en términos porcentuales el riesgo relativo⁵⁹.Tanto RR como OR y RRR son medidas robustas, puesto que son constantes entre los diferentes grupos de riesgo basal.

La presentación de resultados en términos de probabilidades o porcentajes puede plantear alguna dificultad, sobre todo cuando deben interpretarse eventos raros o cuando quieren trasladarse los resultados de la investigación a la toma de decisiones^59-61. En cambio, las frecuencias naturales para expresar diferencias en términos absolutos son más inteligibles para interpretar diferencias por parte de los usuarios de la literatura científica^62,63. En caso de expresar la diferencia de riesgos en términos absolutos de la intervención evaluada, es preferible proceder de la siguiente forma:

• Hacerlo cuando exista un efecto significativo.
• Expresarla en frecuencias naturales (por ejemplo, número de pacientes mostrando un desenlace por cada 100 o 1000 pacientes tratados).
• Describir el valor del riesgo basal (o del grupo control) a partir del cual se ha calculado la diferencia de riesgos.
• En caso de existir diferentes grupos de riesgo, describir la diferencia para cada uno de estos grupos.

Existen múltiples maneras de redactar los resultados de la literatura que apoyan las recomendaciones siguiendo estas indicaciones. Un ejemplo en una revisión sistemática sobre la eficacia y la seguridad de la termoplastia bronquial en los adultos con asma²² describía de este modo los resultados para uno de los desenlaces de interés: “Los pacientes que recibieron termoplastia tuvieron un mayor riesgo de hospitalización por eventos adversos respiratorios durante el periodo de tratamiento (tres ensayos, 429 participantes; RR 3,50; IC del 95%: 1,26 a 9,68; calidad de la evidencia alta), lo que representa un aumento absoluto de entre el 2% y el 8% durante el periodo de tratamiento. Esto significa que seis de cada 100 pacientes tratados con termoplastia (IC del 95%: 1 a 21) requerirían una hospitalización durante el periodo de tratamiento”.

Finalmente, se debe informar de la calidad de la evidencia para cada uno de los desenlaces evaluados, así como de la principal razón que haya suscitado una posible reducción de la misma. Un buen lugar para indicar la calidad de la evidencia es al final del párrafo en el que se describe la magnitud del efecto para cada desenlace, o de forma adyacente al texto en el que se realiza la descripción narrativa (figura 6.6).