INDICADORES DE SALUD: Aspectos conceptuales y operativos (Sección 4)

Volver al menú principal

4.1 INTRODUCCIÓN

En la sección 1 se describieron en detalle los atributos de un buen indicador. Entre ellos, se destaca que un indicador debe ser mensurable, factible, válido, oportuno, reproducible, sostenible, relevante y comprensible. Además, es preferible que los indicadores estén estratificados por persona, lugar y tiempo. En esta sección se examinarán algunas estrategias prácticas para evaluar la calidad de los indicadores de salud. Cabe señalar que disponer de fuentes de datos de buena calidad ayuda a crear indicadores de buena calidad. También debe mencionarse que además de la calidad de las fuentes y los datos, el desempeño del indicador debe medir lo que se supone que debe medir.

4.2 DEFINICIÓN Y CALIFICACIÓN DEL INDICADOR DE SALUD POR EVALUAR

Para poder evaluar un indicador, su propósito y atributos deben estar bien definidos. La definición clara de un indicador entraña más que conocer y describir de manera adecuada su numerador y denominador (si así se lo construye). Algunas publicaciones (RIPSA, ONUSIDA y la lista mundial de referencia de los 100 indicadores de la OMS) son referencias útiles para este análisis (1-3).

De acuerdo con estas publicaciones, se debe especificar claramente los siguientes atributos de un indicador:

Ejemplos:

En el anexo se presenta un ejemplo que ilustra el uso del indicador..

4.3 PERSONAS CLAVE EN EL PROCESO DE EVALUACIÓN DE INDICADORES DE SALUD

La evaluación de indicadores de salud debe involucrar, en la medida de lo posible, a las personas clave relacionadas con la producción, el análisis y la interpretación de datos e información. Estas personas deben conocer los procesos que deben realizarse para monitorear las tendencias y los contextos locales, regionales y nacionales. Es conveniente recordar que la mayoría de los datos e información de salud es generada a nivel local por trabajadores locales de salud que conocen mejor las características, fortalezas y limitaciones de esos datos y la información derivada. Conviene entonces que, siempre que sea posible, el personal local participe en la realización de la primera fase del proceso. Los productores, gerentes y usuarios de datos deben promover una cultura que valore la información y fomente la recopilación y gestión de datos. Las iniciativas de capacitación en curso sobre recopilación, gestión, evaluación y análisis de datos son muy importantes para mejorar las capacidades nacionales, especialmente a nivel local.

Como se mencionó antes, gran parte de la calidad de los indicadores depende de la calidad de los datos y sus fuentes. Debe promoverse que todos los principales actores involucrados, incluidos los que producen los datos y los administradores de los sistemas de información, sean tanto usuarios como evaluadores, para que conozcan las fortalezas y debilidades del sistema. Los sistemas de información de salud que no pueden suministrar los fundamentos para tomar decisiones en el ámbito de la salud fomentan el desperdicio de los escasos recursos y la escasez de información confiable en el sector de la salud. Un sistema de información de salud eficiente genera productos que tienen un valor cada vez mayor para generar mejoras en la atención de salud. La necesidad de disponer de información de salud de calidad de manera continua es un sólido motivo para fortalecer y usar sistemas nacionales de información de salud y dar recomendaciones sobre las limitaciones inherentes de estos sistemas de información.

Como el sector de la salud está bajo la influencia de una amplia gama de factores, muchos de los cuales no están vinculados con la prestación de servicios de atención de salud, es importante colaborar con otros sectores (por ejemplo, otras dependencias gubernamentales, las universidades y los centros de investigación). Algunos de los intereses clave de estos otros sectores deben definir, elaborar, analizar y usar indicadores de salud. Por ello, la colaboración intersectorial mejorará y optimizará la calidad y relevancia de los indicadores de salud, y fomentará la toma de decisiones fundamentadas en la evidencia en todos los sectores.

4.4 PASOS PARA EVALUAR LA CALIDAD DE LOS INDICADORES DE SALUD

Algunos autores han propuesto directrices para la evaluación de datos e indicadores de salud (3-4). Sin embargo, hay algunos aspectos fundamentales que pueden aplicarse en la evaluación de indicadores de salud, los cuales se describen en los pasos siguientes.

Paso 1. Examine la integridad de los datos completos y válidos que componen el indicador

1. ¿El indicador se basa en datos representativos de la población objeto de estudio? Observe en detalle a la población que se supone debe estar descrita en los datos. No haga generalizaciones indebidas (extrapolaciones). Preste atención a posibles sesgos en la selección debido a la falta de respuesta, así como a los sesgos de demanda y de indicación; evalúe si algunos establecimientos generan más notificaciones que otros (establecimientos públicos frente a establecimientos privados, por ejemplo).
2. ¿Las variables usadas para calcular el indicador están completas y son adecuadas y suficientes? Calcule y tabule las características de las variables usadas para elaborar el indicador. Incluya las proporciones de no respuesta (de ser posible), las respuestas inválidas y otras pérdidas. Detecte los problemas de cobertura de las variables de interés, tomando en cuenta la representatividad baja, un posible sesgo de selección del indicador y los cálculos basados en datos no representativos.
3. ¿El indicador se basa en datos válidos de la población destinataria? ¿Las variables usadas para calcular el indicador se midieron de manera correcta y con un estándar mínimo? Analice de manera detallada la forma en que se definieron, calcularon y recopilaron las variables que produjeron el indicador. Esto incluye la revisión de las definiciones de caso, la competencia del personal a cargo de la recopilación de datos y la calidad de los instrumentos (pruebas de diagnóstico, aparatos de medición, etc.) usados para recopilar los datos. Establezca los problemas de validez de las variables de interés y tenga en cuenta un posible sesgo de medición en los indicadores basados en cálculos problemáticos.

Del paso 2 al 5 se evalúan los valores observados y esperados para el indicador en diferentes situaciones, según las características de persona, lugar y tiempo. Con esta evaluación se responderán las siguientes tres preguntas:

1. ¿Las discrepancias encontradas pueden ser causadas por fluctuaciones aleatorias de números pequeños? Un número insuficiente de observaciones no permite estimar indicadores con la debida precisión.
2. ¿Las discrepancias observadas pueden ser causadas por sesgos (errores sistemáticos en la medición del indicador) que comprometen la calidad del indicador?
3. ¿Las discrepancias observadas pueden ser válidas? Las discrepancias entre valores esperados y observados deben examinarse con cuidado, a fin de no dejar escapar variabilidades verdaderas atribuibles a cambios locales.

Paso 2. Examine la congruencia del indicador estimado con respecto a los atributos de persona

¿El indicador es congruente según las características de persona? Analice la congruencia del indicador, teniendo en cuenta las variables de persona (sexo y edad, entre otras) de la fuente de datos, por categorías relevantes para el indicador en cuestión. Observe los valores del indicador según esas variables y analice si tienen sentido. ¿Los resultados son congruentes con lo que se espera obtener para esos subgrupos de la población?

Por ejemplo, si el indicador es la tasa de mortalidad por enfermedades cardiovasculares, la distribución observada de ese indicador según el sexo y la edad debe como mínimo reflejar un mayor riesgo en ciertos grupos (por ejemplo, hombres de mayor edad). La verificación de que las magnitudes más altas de estos indicadores es congruente con los grupos que se prevé que tengan un mayor riesgo de sufrir esa enfermedad refuerza la credibilidad en la calidad del indicador.

Paso 3. Examine la congruencia del indicador estimado con respecto a los atributos de lugar

¿El indicador es congruente en el espacio? Realice un análisis (de ser posible) de la distribución espacial del indicador (por municipios, estados, zona de residencia urbana versus rural, entre otros). Para la mayoría de los indicadores, existe un patrón espacial esperado según la distribución conocida de factores de riesgo importantes (por ejemplo, pobreza, población más joven o más vieja, zonas más o menos urbanizadas, entre otros). Examine la adherencia del patrón del indicador en cuestión a lo que cabría esperar o sería relevante para despertar sospechas sobre su calidad.

En la Tabla 4 se presenta el valor promedio de indicadores seleccionados para las subregiones de la Región de las Américas. Estos valores pueden usarse como referencia para evaluar la congruencia de los indicadores de los países. Al final esta sección, se puede encontrar el enlace para la lista de indicadores básicos publicados por la OPS y sus tendencias.

* UAD = último año disponible
Fuente: OPS. Indicadores básicos. Situación de Salud en las Américas 2016.

Paso 4. Examine la congruencia del indicador estimado con respecto a los atributos de tiempo

¿El indicador es congruente en el tiempo? Realice un análisis, de ser posible, de las tendencias del indicador en el tiempo (años, meses, semanas y otros). Varios indicadores tienen un carácter cíclico estacional conocido; es decir, una variación cíclica o tendencias históricas esperadas que pueden servir como referencia para ese análisis de uniformidad. Además, la mayoría de los indicadores presentan fluctuaciones lentas en las tendencias temporales, como leves aumentos o descensos sin grandes saltos, excepto en situaciones especiales. Grandes fluctuaciones temporales de indicadores en el tiempo pueden indicar:

1. Fluctuaciones reales debidas a situaciones de epidemia (resultado de algún evento dramático que alteró el curso del indicador). Un ejemplo sería el aumento inusitado de casos de microcefalia asociada a la epidemia de la infección por el virus del Zika en ciudades del nordeste brasileño.
2. Fluctuaciones aleatorias debidas a los números de casos que se presentan en lugares con poblaciones pequeñas (denominador) o un número pequeño de eventos (enfermedades poco frecuentes, por ejemplo). Así, la suma o la sustracción de pocos casos (numerador) puede representar aumentos o disminuciones marcados de las tasas. Por consiguiente, es mejor dedicar más atención a los números absolutos de casos que a las tasas, dado que en tales situaciones las tasas pueden inducir falsas interpretaciones. Son situaciones muy frecuentes, pero fácilmente detectables: basta observar la razón del cambio en la tasa con respecto al tamaño de la población de referencia. Para evitar este fenómeno estadístico, pueden combinarse los datos de períodos más largos (trienios, por ejemplo) o en zonas geográficas más grandes (como municipios u otras entidades semejantes que estén cercanos, por ejemplo). Estos ajustes pueden dar a los indicadores la estabilidad necesaria para que sean significativos.
3. Fluctuaciones debidas a un error (no aleatorio). Errores sistemáticos en la medición del denominador o el numerador en determinado punto en el tiempo pueden generar variaciones importantes en los indicadores analizados. Son ejemplos frecuentes de este fenómeno el cambio en la definición de casos por la incorporación de nuevas técnicas de diagnóstico en los sistemas de vigilancia; el subconteo o el sobreconteo de casos a partir de determinado punto en el tiempo; y problemas con los métodos usados para estimar el tamaño de la población entre dos censos (denominadores). Como se indicó anteriormente, comunicarse y asociarse con los que participaron en la producción de los datos usados en el indicador ayudará a aclarar la situación o a hacer una corrección retrospectiva del fenómeno observado.

Paso 5. Examine la plausibilidad de la magnitud del indicador estimado según otras fuentes de datos

Compare la magnitud obtenida para el indicador con la información vigente y la evidencia obtenida de otras fuentes de datos. ¿El resultado de la medición de ese indicador es plausible considerando lo que ya se sabe sobre el tema? ¿La magnitud es plausible considerando las estimaciones hechas mediante otros métodos (métodos indirectos, investigaciones u otras fuentes de datos)? ¿La magnitud es plausible considerando el contexto actual de la población donde se estimó? ¿La magnitud es plausible considerando los factores de riesgo presentes en esa población? ¿Y considerando los valores para el mismo indicador estimado para otros países, estados o municipios en mejores o peores condiciones?

Por ejemplo, la observación de razones bajas de mortalidad materna en países con una atención precaria de la salud de la mujer en el período del embarazo, parto y puerperio, y calidad limitada en los sistemas nacionales de vigilancia permite tener sospechas sobre la calidad de ese indicador. La comparación de ese indicador con otros países de un nivel de atención de salud más alto puede ayudar a esclarecer la disparidad que se percibe.

4.5 EVALUACIÓN DE LOS DATOS DE MORTALIDAD

Uno de los trabajos más recientes es el de AbouZahr et al. (4), quien propone diez pasos para evaluar datos de mortalidad, a saber:

1. Preparar tabulaciones básicas de defunciones por edad, sexo, origen étnico y causa de muerte.
2. Revisar las tasas brutas de mortalidad.
3. Revisar las tasas de mortalidad específicas por edad y sexo.
4. Revisar la distribución de defunciones por edad.
5. Revisar las tasas de mortalidad infantil.
6. Revisar la distribución de las principales causas de muerte.
7. Revisar el patrón por edad de las principales causas de muerte.
8. Revisar las principales causas de muerte.
9. Revisar la razón de defunciones por enfermedades no transmisibles respecto de enfermedades transmisibles.
10. Revisar las defunciones por causas mal definidas.

ENLACES DE INTERÉS

• Organización Panamericana de la Salud. Indicadores básicos. Situación de Salud en las Américas 2016.
• Organización Panamericana de la Salud. Plataforma de Informaciones de Salud en las Américas (serie temporal de los indicadores básicos, otros indicadores e informaciones de salud).

REFERENCIAS

1. Red Interagencial de Informaciones para la Salud (RIPSA). Indicadores e Dados Básicos para a Saúde no Brasil (IDB). Ficha de Qualificação do Indicador [indicadores básicos para la salud en Brasil, ficha de calificación del indicador]. Disponible en: http://www.ripsa.org.br/vhl/indicadores-e-dados-basicos-para-a-saude-no-brasil-idb/ficha-de-qualificacao-do-indicador/

2. Programa Conjunto de las Naciones Unidas sobre el VIH/Sida. Indicator Standards: operational guidelines for selecting indicators for the HIV response. Disponible en: http://www.unaids.org/sites/default/files/sub_landing/files/4_3_MERG_Indicator_Standards.pdf

3. Organización Mundial de la Salud. Global Reference List of 100 Core Health Indicators, 2014. Disponible en: https://www.who.int/healthinfo/indicators/2015/en/ [consultado en marzo del 2017).

4. AbouZahr, C. et al. Mortality statistics: a tool to enhance understanding and improve quality. Pacific Health Dialog. 2012;18(1):247-70. Disponible en: http://www.getinthepicture.org/sites/default/files/resources/Mortality%20statistics%20a%20tool%20to%20improve%20understanding%20and%20quality.pdf [consultado en marzo del 2017]

Volver al menú principal