4.4 PASOS PARA EVALUAR LA CALIDAD DE LOS INDICADORES DE SALUD
Algunos autores han propuesto directrices para la evaluación de datos e indicadores de salud (3-4). Sin embargo, hay algunos aspectos fundamentales que pueden aplicarse en la evaluación de indicadores de salud, los cuales se describen en los pasos siguientes.
Paso 1. Examine la integridad de los datos completos y válidos que componen el indicador
- ¿El indicador se basa en datos representativos de la población objeto de estudio? Observe en detalle a la población que se supone debe estar descrita en los datos. No haga generalizaciones indebidas (extrapolaciones). Preste atención a posibles sesgos en la selección debido a la falta de respuesta, así como a los sesgos de demanda y de indicación; evalúe si algunos establecimientos generan más notificaciones que otros (establecimientos públicos frente a establecimientos privados, por ejemplo).
- ¿Las variables usadas para calcular el indicador están completas y son adecuadas y suficientes? Calcule y tabule las características de las variables usadas para elaborar el indicador. Incluya las proporciones de no respuesta (de ser posible), las respuestas inválidas y otras pérdidas. Detecte los problemas de cobertura de las variables de interés, tomando en cuenta la representatividad baja, un posible sesgo de selección del indicador y los cálculos basados en datos no representativos.
- ¿El indicador se basa en datos válidos de la población destinataria? ¿Las variables usadas para calcular el indicador se midieron de manera correcta y con un estándar mínimo? Analice de manera detallada la forma en que se definieron, calcularon y recopilaron las variables que produjeron el indicador. Esto incluye la revisión de las definiciones de caso, la competencia del personal a cargo de la recopilación de datos y la calidad de los instrumentos (pruebas de diagnóstico, aparatos de medición, etc.) usados para recopilar los datos. Establezca los problemas de validez de las variables de interés y tenga en cuenta un posible sesgo de medición en los indicadores basados en cálculos problemáticos.
Del paso 2 al 5 se evalúan los valores observados y esperados para el indicador en diferentes situaciones, según las características de persona, lugar y tiempo. Con esta evaluación se responderán las siguientes tres preguntas:
- ¿Las discrepancias encontradas pueden ser causadas por fluctuaciones aleatorias de números pequeños? Un número insuficiente de observaciones no permite estimar indicadores con la debida precisión.
- ¿Las discrepancias observadas pueden ser causadas por sesgos (errores sistemáticos en la medición del indicador) que comprometen la calidad del indicador?
- ¿Las discrepancias observadas pueden ser válidas? Las discrepancias entre valores esperados y observados deben examinarse con cuidado, a fin de no dejar escapar variabilidades verdaderas atribuibles a cambios locales.
Paso 2. Examine la congruencia del indicador estimado con respecto a los atributos de persona
¿El indicador es congruente según las características de persona? Analice la congruencia del indicador, teniendo en cuenta las variables de persona (sexo y edad, entre otras) de la fuente de datos, por categorías relevantes para el indicador en cuestión. Observe los valores del indicador según esas variables y analice si tienen sentido. ¿Los resultados son congruentes con lo que se espera obtener para esos subgrupos de la población?
Por ejemplo, si el indicador es la tasa de mortalidad por enfermedades cardiovasculares, la distribución observada de ese indicador según el sexo y la edad debe como mínimo reflejar un mayor riesgo en ciertos grupos (por ejemplo, hombres de mayor edad). La verificación de que las magnitudes más altas de estos indicadores es congruente con los grupos que se prevé que tengan un mayor riesgo de sufrir esa enfermedad refuerza la credibilidad en la calidad del indicador.
Paso 3. Examine la congruencia del indicador estimado con respecto a los atributos de lugar
¿El indicador es congruente en el espacio? Realice un análisis (de ser posible) de la distribución espacial del indicador (por municipios, estados, zona de residencia urbana versus rural, entre otros). Para la mayoría de los indicadores, existe un patrón espacial esperado según la distribución conocida de factores de riesgo importantes (por ejemplo, pobreza, población más joven o más vieja, zonas más o menos urbanizadas, entre otros). Examine la adherencia del patrón del indicador en cuestión a lo que cabría esperar o sería relevante para despertar sospechas sobre su calidad.
En la Tabla 4 se presenta el valor promedio de indicadores seleccionados para las subregiones de la Región de las Américas. Estos valores pueden usarse como referencia para evaluar la congruencia de los indicadores de los países. Al final esta sección, se puede encontrar el enlace para la lista de indicadores básicos publicados por la OPS y sus tendencias.
| INDICADORES | AÑO | REGIÓN DE LAS AMÉRICAS | AMÉRICA DEL NORTE | AMÉRICA LATINA | ISTHMO CENTROAMERICANO | CARIBE LATINO | ÁREA ANDINA | CONO SUR | CARIBE NOLATINO |
|---|---|---|---|---|---|---|---|---|---|
| Esperanza de vida al nacer (años) | 2016 | 77,0 | 79,7 | 75,5 | 74,4 | 73,4 | 74,4 | 77,8 | 73,8 |
| Razón mortalidad materna/100 000 nv (notificada) | UAD* | 46,8 | 12,1 | 60,8 | 80,2 | 104,4 | 77,3 | 35,2 | 88,8 |
| Razón mortalidad materna/100 000 nv (estimada) | 2015 | 51 | 13 | 66 | 87 | 188 | 87 | 54 | 105 |
| Tasa mortalidad infantil/100 000 nv (reportada) | UAD* | 13,0 | 5,9 | 15,9 | 17,5 | 32,8 | 18,7 | 10,3 | 17,2 |
| Tasa mortalidad neonatal/100 000 (reportada) | UAD* | 8,2 | 4,0 | 10,0 | 9,8 | 19,1 | 12,0 | 7,1 | 15,8 |
| Tasa mortalidad < 5 años/100 000 nv (reportada) | UAD* | 15,9 | 6,9 | 19,6 | 22,2 | 48,9 | 22,9 | 11,9 | 18,9 |
| Tasa de mortalidad general/1 000 hab | 2014 | 5,6 | 4,8 | 6,0 | 6,7 | 5,8 | 6,3 | 5,5 | 7,2 |
| Tasa mortalidad por causas externas/100 000 hab | 2014 | 63,5 | 53,3 | 68,8 | 81,1 | 61,4 | 87,7 | 46,6 | 70,3 |
| Incidencia de VIH/100 000 hab | 2015 | 12,9 | 13,1 | 12,3 | 12,4 | 18,0 | 18,2 | 15,3 | 56,8 |
| Incidencia de tuberculosis/100 000 hab | 2014 | 22,1 | 3,0 | 33,2 | 28,4 | 58,8 | 45,3 | 20,8 | 15,9 |
| Desnutrición crónica en niños < 5 años (%) | 2012 | 10,1 | 2,1 | 13,2 | 30,2 | 13,1 | 16,5 | 7,1 | 6,9 |
| Sobrepeso en niños < 5 años (%) | 2012 | 7,2 | 6,0 | 7,7 | 5,4 | 7,7 | 6,6 | 10,0 | 6,6 |
| Sobrepeso en adultos | 2014 | 61,0 | 67,0 | 57,6 | 54,0 | 51,2 | 57,6 | 60,8 | 59,4 |
* UAD = último año disponible
Fuente: OPS. Indicadores básicos. Situación de Salud en las Américas 2016.
Paso 4. Examine la congruencia del indicador estimado con respecto a los atributos de tiempo
¿El indicador es congruente en el tiempo? Realice un análisis, de ser posible, de las tendencias del indicador en el tiempo (años, meses, semanas y otros). Varios indicadores tienen un carácter cíclico estacional conocido; es decir, una variación cíclica o tendencias históricas esperadas que pueden servir como referencia para ese análisis de uniformidad. Además, la mayoría de los indicadores presentan fluctuaciones lentas en las tendencias temporales, como leves aumentos o descensos sin grandes saltos, excepto en situaciones especiales. Grandes fluctuaciones temporales de indicadores en el tiempo pueden indicar:
- Fluctuaciones reales debidas a situaciones de epidemia (resultado de algún evento dramático que alteró el curso del indicador). Un ejemplo sería el aumento inusitado de casos de microcefalia asociada a la epidemia de la infección por el virus del Zika en ciudades del nordeste brasileño.
- Fluctuaciones aleatorias debidas a los números de casos que se presentan en lugares con poblaciones pequeñas (denominador) o un número pequeño de eventos (enfermedades poco frecuentes, por ejemplo). Así, la suma o la sustracción de pocos casos (numerador) puede representar aumentos o disminuciones marcados de las tasas. Por consiguiente, es mejor dedicar más atención a los números absolutos de casos que a las tasas, dado que en tales situaciones las tasas pueden inducir falsas interpretaciones. Son situaciones muy frecuentes, pero fácilmente detectables: basta observar la razón del cambio en la tasa con respecto al tamaño de la población de referencia. Para evitar este fenómeno estadístico, pueden combinarse los datos de períodos más largos (trienios, por ejemplo) o en zonas geográficas más grandes (como municipios u otras entidades semejantes que estén cercanos, por ejemplo). Estos ajustes pueden dar a los indicadores la estabilidad necesaria para que sean significativos.
- Fluctuaciones debidas a un error (no aleatorio). Errores sistemáticos en la medición del denominador o el numerador en determinado punto en el tiempo pueden generar variaciones importantes en los indicadores analizados. Son ejemplos frecuentes de este fenómeno el cambio en la definición de casos por la incorporación de nuevas técnicas de diagnóstico en los sistemas de vigilancia; el subconteo o el sobreconteo de casos a partir de determinado punto en el tiempo; y problemas con los métodos usados para estimar el tamaño de la población entre dos censos (denominadores). Como se indicó anteriormente, comunicarse y asociarse con los que participaron en la producción de los datos usados en el indicador ayudará a aclarar la situación o a hacer una corrección retrospectiva del fenómeno observado.
Paso 5. Examine la plausibilidad de la magnitud del indicador estimado según otras fuentes de datos
Compare la magnitud obtenida para el indicador con la información vigente y la evidencia obtenida de otras fuentes de datos. ¿El resultado de la medición de ese indicador es plausible considerando lo que ya se sabe sobre el tema? ¿La magnitud es plausible considerando las estimaciones hechas mediante otros métodos (métodos indirectos, investigaciones u otras fuentes de datos)? ¿La magnitud es plausible considerando el contexto actual de la población donde se estimó? ¿La magnitud es plausible considerando los factores de riesgo presentes en esa población? ¿Y considerando los valores para el mismo indicador estimado para otros países, estados o municipios en mejores o peores condiciones?
Por ejemplo, la observación de razones bajas de mortalidad materna en países con una atención precaria de la salud de la mujer en el período del embarazo, parto y puerperio, y calidad limitada en los sistemas nacionales de vigilancia permite tener sospechas sobre la calidad de ese indicador. La comparación de ese indicador con otros países de un nivel de atención de salud más alto puede ayudar a esclarecer la disparidad que se percibe.