Existe casi unanimidad en señalar que, para adoptar mejores decisiones, resulta indispensable tener mejor información. En contraste, es casi imposible lograr total satisfacción sobre la calidad de la información, especialmente la suministrada por una agencia estatal, por experta que ella sea.
El empresario, el dirigente social, y el ciudadano corriente se siente más seguro al tomar una decisión, si está basada en evidencias estadísticas, aerofotografías o mapas. Pero es frecuente encontrar a los tomadores de decisiones cayendo en la tentación de contrastar la evidencia objetiva, con la percepción subjetiva. Cuando coinciden entre si, o simplemente confirman una expectativa, no habrá discusión; se consigue el convencimiento dentro de una agradable sensación de serenidad pero, si la situación es la contraria, se llega con frecuencia a la incertidumbre y a la intranquilidad generadora de conflictos.
La Percepción y la Medición
Los seres vivos estamos en capacidad de percibir fenómenos difíciles de comprender y resolver. Los sentidos se conjugan para llevar al cerebro sensaciones complejas como las de peligro, o las de complacencia estética. El proceso de la percepción es de carácter inferencial y constructivo, generando una representación interna de lo que sucede en el exterior, al modo de hipótesis (Hermann von Helmholtz), se complementa con información existente en la memoria.
Una mala práctica, no tan extraña, es la de pretender aplicar un proceso de percepción, para diagnosticar la vida de una sociedad, compuesta por millones de pobladores diversos. La influencia de los agentes económicos, los líderes políticos, la cultura, y de muchos otros factores poco conocidos, condicionan el comportamiento individual, de manera tal, que resulta prácticamente imposible, aun para el más avezado observador, tener una clara percepción de los fenómenos económicos, sociales o políticos de una nación.
“El proceso estadístico es una técnica apta para el estudio cuantitativo de esos fenómenos colectivos complejos, cuya medición requiere de una masa de observaciones de otros fenómenos más simples, llamados individuales o particulares". (Gini, 1953).
Es notoria la diferencia entre la percepción personal y la observación estadística. La primera es un proceso natural de todos los seres vivos, que combina las sensaciones con la información genética propia o fruto de la experiencia, para formar una “imagen” de la realidad inmediata. La segunda, por el contrario, es una secuencia de operaciones técnicas de recolección, procesamiento e interpretación de datos para representar algunos rasgos de la realidad compleja y remota, así como de sus tendencias.
Calidad y Credibilidad
Pero éste no es el único origen de las discusiones frecuentes respecto a las estadísticas oficiales. Las cifras adquieren, además, un significado de factor evaluador de las políticas públicas y, como tal, de instrumento de control social sobre el Estado. La información se convierte así en un componente en la conformación de la opinión pública que, con el tiempo, es sustento de las decisiones de participación política del ciudadano.
Ocurre, con frecuencia en los países de menor desarrollo relativo, y con menos frecuencia en todos los demás, que la poca objetividad en la interpretación de un dato estadístico permite a corrientes políticas opuestas emplearlo en el debate público en favor de sus diferentes causas.
También pudiera suceder que la controversia pública se traslade a la calidad de la cifra oficial. En este caso, es frecuente la estrategia de descalificar la validez de la información estadística, para dejar al contradictor que la esta usando, sin argumentos.
Con el ánimo de contribuir al fortalecimiento de la confianza en las cifras oficiales en el mundo, la Comisión de Estadística de las Naciones Unidas, en su período extraordinario de sesiones, celebrado en Nueva York del 11 al 14 de abril de 1994, definió unos principios fundamentales (ver cuadro No. 1) que se elevaron a pautas de conducta o “buenas prácticas”. Todas ellas apuntan a promover la excelencia en la calidad de la información oficial.
CUADRO No 1
Principios Fundamentales oficiales de Naciones Unidas |
RELEVANCIA, IMPARCIALIDAD Y ACCESO EQUITATIVO |
1. Las estadísticas constituyen un elemento indispensable en el sistema de información de una sociedad democrática y proporcionan al Gobierno, a la economía y al público, datos acerca de la situación económica, demográfica, social y ambiental. Con este fin, los organismos oficiales de estadística han de compilar y facilitar en forma imparcial, estadísticas oficiales de comprobada utilidad práctica para que los ciudadanos puedan ejercer su derecho a mantenerse informados.
|
PATRONES PROFESIONALES Y ÉTICA |
2. Para mantener la confianza en las estadísticas oficiales, los organismos de estadística han de decidir, con arreglo a consideraciones estrictamente, profesionales incluidos los principios científicos y la ética profesional, acerca de los métodos y procedimientos para la reunión, el almacenamiento, y la presentación de los datos estadísticos. |
RESPONSABILIDAD Y TRANSPARENCIA |
3. Para facilitar una interpretación correcta de los datos, los organismos de estadística han de presentar información conforme con normas científicas sobre las fuentes, métodos y procedimientos de la estadística. |
PREVENCIÓN DE MAL USO |
4. Los organismos de estadística tienen derecho a formular observaciones sobre interpretaciones erróneas y la utilización indebida de las estadísticas. |
| FUENTES ESTADÍSTICAS OFICIALES |
5. Los datos para fines estadísticos pueden obtenerse de todo tipo de fuentes, ya sea encuestas estadísticas o registros administrativos. Los organismos de estadística han de seleccionar la fuente con respecto a la calidad, la oportunidad, el costo y la carga que le impondrán. |
CONFIDENCIALIDAD |
6. Los datos que reúnan los organismos de estadística para la compilación estadística, ya sea que se refieran a personas naturales o jurídicas, deben ser estrictamente confidenciales y utilizarse exclusivamente para fines estadísticos. |
LEGISLACIÓN |
7. Se han de dar a conocer al público las leyes, reglamentos y medidas que rigen la operación de los sistemas estadísticos. |
| COORDINACIÓN NACIONAL |
8. La coordinación entre los organismos de estadística a nivel nacional es indispensable para lograr la coherencia y eficiencia del sistema estadístico. |
| USO DE PATRONES INTERNACIONALES |
9. La utilización por los organismos de estadística de cada país, de conceptos, clasificaciones y métodos internacionales, fomenta la coherencia y eficiencia de los sistemas estadísticos a nivel oficial. |
| COOPERACIÓN INTERNACIONAL |
10. La cooperación bilateral y multilateral en la esfera de la estadística, contribuye a mejorar los sistemas de estadísticas oficiales en todos los países. |
Con el propósito de darle al usuario la debida confianza sobre la información suministrada por el DANE, en 1998 se acogió la idea de la Dirección de Estadísticas Básicas de empezar a medir la calidad de los procesos operativos de la encuesta de hogares. Pocos años después, en el año 2001, se puso en marcha el sistema de aseguramiento de la calidad, guiados por ICONTEC mediante la aplicación de la familia de normas internacionales ISO 9000 y las correspondientes guías para establecer sistemas de gestión de calidad. Se inició la certificación proceso por proceso, y hoy están garantizados la totalidad de ellos, incluido el más grande, el Censo General 2005.
Sin duda, esta forma de evaluación de los procesos de producción de las estadísticas en la oficina nacional del ramo ha hecho que las controversias, al menos las académicas, sean de mejor tono. Sin embargo, el fortalecimiento de la credibilidad en las estadísticas seguía siendo una inquietud entre los organismos dedicados en el mundo a producir información básica.
Un sistema de calidad para la información
Por este motivo, se tomó la medida de construir un sistema de certificación de procesos y productos estadísticos, especialmente diseñado para el efecto, al cual se someten las principales informaciones a cargo del DANE y de los demás entes públicos que las generen. Para conducir el proceso de certificación, se invitan, en cada caso, tres expertos independientes, uno proveniente de un organismo extranjero, otro de una entidad académica y el tercero, un usuario calificado.
Estas tres personas son asistidas por el personal académico del Centro Andino de Altos Estudios, Ente del orden internacional dentro de la Comunidad Andina creado en el año 2005. Este equipo hace un examen de los aspectos técnicos de cada proceso y cada producto para, al final, recomendar la expedición de la Certificación de Información (CI), o la Nota de Observaciones (NO), que compromete a la entidad productora de la información a mejorar sus prácticas en un sentido determinado, hasta obtener la certificación.
El decreto 3851, expedido en el año 2006, “organiza un sistema de aseguramiento de la calidad” y formaliza la creación de esta nueva modalidad de certificación de la información utilizada como básica por los tomadores de decisiones.
Gráfico No 1
Sistema de Datos para la Información Oficial Básica
El gráfico muestra esquemáticamente el proceso rutinario de aseguramiento de la calidad, que deben cumplir las estadísticas originadas en una fuente primaria (censo, encuesta u observación) o por un registro (archivo electrónico) administrativo de una entidad pública. Las fuentes primarias entregan sus datos directamente a medios digitales y se transmiten al centro de datos de Bogotá el mismo día en que se captan y, para ser incorporados a la Infraestructura Colombiana de Datos (ICD), deben haber cumplido las normas de aseguramiento de calidad contenidas en la Certificación.
El caso de la medición del mercado laboral
Los comentarios recibidos por el DANE, de parte de analistas autorizados respecto a las nuevas tendencias observadas en el comportamiento de la tasa de desocupación, y la de ocupación, desde el mes de septiembre de 2006, resultaron ser la primera oportunidad para poner en marcha el proceso de aseguramiento de la calidad consagrado en el decreto.
Para iniciarlo se invitó a la CEPAL, (Comisión Económica para América Latina), organismo especializado de las Naciones Unidas, para que, con base en su experiencia en la Región, presentara sugerencias sobre las hipótesis que deberían estudiarse con el fin de establecer el fenómeno estadístico o el económico que pudiera estar ocurriendo. De manera similar, se invitó a un reconocido investigador al servicio del Banco de la República, versado en temas socioeconómicos, quien complementó los aspectos por estudiar, señalando varias suposiciones técnicas.
Con el objeto de hacer un examen cuidadoso del material puesto a disposición del DANE, se utilizaron los servicios de asesores externos: un macroeconomista, un muestrista y analista del mercado del trabajo. Ellos sugirieron hacer dos tipos de comprobación de hipótesis. Uno de “gabinete” y otro de “campo” para evidenciar, o descartar, las diferentes hipótesis y supuestos dentro de una tesis de fondo: “las mejoras introducidas a la medición del mercado laboral al poner en marcha la Gran Encuesta Integrada de Hogares (GEIH), a partir del mes de de julio de 2006, pudieron tener como efecto una ruptura en la serie estadística (la comparabilidad entre los datos actuales y los anteriores). Si esto resultase válido, sería necesario hacer mediciones de los factores para construir la ecuación matemática que empalme en una sola curva las tendencias”
Conclusiones
Durante cinco meses se ha adelantado, con la mayor rigurosidad, el proceso de verificación de las suposiciones sugeridas, atendiendo a las orientaciones de los asesores externos.
Los resultados de este prolongado proceso permiten hoy afirmar que la GEIH tiene una calidad creciente. La diferencia entre el límite inferior y el superior del intervalo de las mediciones ha disminuido en forma considerable (ver gráfico 4), gracias á las mejores practicas de campo y las adiciones hechas a la muestra.
La aplicación de las nuevas metodologías de captura directa de datos a medios digitales, acogiendo las buenas experiencias del Censo 2005 (Ver artículo sobre el marco de calidad del Censo) ha disminuido los errores de sesgo por factores operativos.
En cuanto al diseño estadístico introducido en julio de 2006 no se encontró evidencia alguna de que, en razón de las mejoras introducidas, puedan haber ocurrido variaciones significativas en la estimación de las tasas de empleo, desempleo y ocupación.
La variación de las tasas medidas en el tercer trimestre de 2006, en particular la del mes de septiembre, cuando se aprecia una desaceleración de la tendencia, tiene un intervalo medio de medición de 0,84%, por tanto resulta inadecuado introducir ecuaciones de empalme que sean inferiores a este rango como serían las encontradas en la encuesta “testigo” (Ver gráficos 2 y 3)
RESUMEN DE LAS OPERACIONES DE CAMPO Y DE GABINETE PRACTICADAS DESDE DICIEMBRE DE 2006 HASTA ABRIL DE 2007: |
1. Suposición. Con la GEIH, se inició la recolección de datos entre personas mayores de 10 años de las zonas urbanas, mientras que antes se hacía sólo a partir de los 12 años. Por tanto, se incrementó la población en edad de trabajar PEA.
Comprobación. Fue tomada una copia de la base de datos de la encuesta y remitida a Medellín donde funcionarios del Banco de la República la examinaron. En su informe dicen haber comprobado que las personas encuestadas entre 10 y 12 años en las zonas urbanas no se computaron como parte de la PEA. La suposición no es válida, las respuestas sólo se utilizaron para la evaluación sociológica del tema de trabajo infantil. |
2. Suposición. La pregunta sobre personas incapacitas de manera permanente para trabajar aparecía en el formulario de papel en la última posición en el orden de las categorías de respuesta, mientras en el formulario electrónico, aparecía en el penúltimo. Esta presentación diferente podía haber afectado la clasificación de los inactivos, por inducir al encuestado a responder “incapacitado..”
Comprobación. Se comparó el Manual Operativo vigente con el utilizado antes de julio de 2006, encontrándose que permaneció inalterado en esta pregunta. En el mismo formulario electrónico el encuestador encuentra la advertencia: espere respuesta que es contraria a la dada para otras variables: lea alternativas. La pregunta sobre la inactividad es de respuesta “espontánea”. No resulto válida la suposición, el orden de la clasificación de las respuestas no tiene influencia posible porque es desconocido por el informante. |
3. Suposición. En el mes de septiembre de 2006 hubo un aumento inusitado de personas que se declararon inactivas por estar incapacitadas de manera permanente. Pudo existir un sesgo del encuestador a clasificar la respuesta como tal, para ahorrar tiempo en su entrevista.
Comprobación. Se examinó el comportamiento de la variable “incapacitado permanente para trabajar” durante los últimos años, encontrando una alta variabilidad en su medición, propia del inadecuado tamaño de la muestra para medir fenómenos de baja incidencia. Sin embargo, se anotó que la desviación para el mes de septiembre fue la mayor en la serie histórica reciente. Para el efecto del cálculo de las tasas se anotó que la variación del agregado de “inactivos”, donde están comprendidos los incapacitados, no tuvo alteraciones significativas. Se remitió a la Unidad Tecnológica para que hiciera una verificación de las respuestas obtenidas en el campo. Se utilizó el procedimiento de post encuesta telefónica para los meses de diciembre 2006, febrero y marzo 2007, encontrándose estadísticamente satisfactorio el contraste entre las respuestas telefónicas y las registradas en el formulario. No se encontró valida la suposición mediante verificación objetiva. |
4. Suposición. Un cambio notorio en variables de la población activa como la de trabajador familiar sin remuneración, o de la inactiva por incapacidad permanente, puede explicar el comportamiento de la tasas en los meses del trimestre analizado.
Comprobación. Se efectuó una prueba de escritorio haciendo el cálculo de las tasas aplicando las proporciones observadas en estas variables durante los mismos meses, en el año inmediatamente anterior (2005). No se encontró estadísticamente sensible el resultado final. |
5. Suposición. Al aumentar la exigencia hecha a los encuestadores para lograr información de manera directa de las personas en edad de trabajar, para reducir al mínimo las respuestas aceptadas de un informante indirecto, mejoró la calidad de las mediciones. Esta nueva práctica captó datos que generaron una alteración de la tendencia de las tasas.
Comprobación. Al examinar el proceso de introducción de mejoras se comprobó: estas se iniciaron en el mes de julio de 2006 con la introducción de la ampliación de la muestra, el uso de la DMC y la exigencia de localizar al informante directo, para este mes las tasas no muestran variación significativa en la tendencia. Al mes siguiente, agosto, se introdujeron las mejoras de formulario y se incrementó la meta de obtener respuestas del informante directo; para ese mes tampoco hubo variaciones significativas en los resultados. En el mes de septiembre no se hizo ninguna mejora adicional, y para este mes si se encontró una variación de la tendencia que se aparta ligeramente del punto de intersección de los intervalos de la medición del mismo mes en el año 2006 y 2005. Comparada esta variación con las ocurridas en años anteriores se constató que los cambios de tendencias fueron más apreciables en los meses de diciembre 2003, enero, abril, junio, agosto y octubre de 2005 con la aplicación de las prácticas convencionales. No se comprobó la suposición, se recomendó para el futuro al Laboratorio de Diseño, documentar detalladamente el impacto tecnológico en las mediciones futuras. |
6. Suposición. Durante los primeros meses de aplicación de las mejoras, las operaciones de campo exigieron tal esfuerzo a los encuestadores y supervisores que se aumentaron los indicadores de no cobertura. El margen de error estadístico se aumentó para esas mediciones y puede este factor explicar el cambio de las tendencias.
Comprobación. Examinada la serie de resultados desde julio 2006 marzo 2007, se pudo comprobar que las mediciones correspondientes a los meses del segundo semestre, como es habitual cuando se introducen nuevas prácticas de campo, tuvieron tasas de no cobertura superiores a las observadas en meses inmediatamente anteriores. Evaluada su magnitud se comprobó se comprobó los tamaños de muestra efectivamente logrados son suficientes para los cálculos de los indicadores en los dominios de estudio. En los meses posteriores la cobertura se mantiene en los niveles tradicionales. En todos los meses examinados no es apreciable la relación entre este factor y un cambio de tendencia. |
7. Suposición. La ampliación de la muestra para incluir otras zonas urbanas pudo haber variado, la composición de población urbano rural, y de población con necesidades básicas insatisfechas, en la muestra. De ser así, se tornan incomparables las muestras aplicadas antes y después de julio de 2006.
Comprobación. Se elaboraron ejercicios de gabinete con los datos recolectados con las nuevas prácticas para ser expandidos con base en el diseño muestral anterior. Los resultados obtenidos, fueron insuficientes para descartar esta hipótesis, por tanto, se recomendó la realización de operaciones de campo para comprobar los indicios hallados. Durante dos meses, febrero y marzo de 2007, se realizó en el terreno una encuesta “testigo” de manera tal que se reprodujera el diseño de la muestra anterior y se pudiera comparar cuales hubieran sido los resultados si no se hubiera cambiado el diseño. Concluida la prueba en abril 27 de 2007, pudo establecerse que las diferencias entre las dos medidas, la testigo y la publicada, para el total Nacional, y para las zonas urbanas y en las áreas rurales, no son estadísticamente significativas. En consecuencia, no se encontró evidencia empírica de que las variaciones introducidas en el diseño muestral pudieran explicar un cambio de tendencia en la serie. |
8. Suposición. La medición del trimestre julio - septiembre de 2006 muestra un comportamiento atípico dentro de la serie de medición del mercado laboral.
Comprobación. Examinada la serie de desempleo medida por trimestres desde el año 2002 hasta septiembre de 2006, se encuentran casos con variaciones de mayor magnitud a la del trimestre señalado. La suposición no tiene validación evidente. |
La Institucionalidad Estadística
Si bien la forma científica como se ha procedido en el caso descrito, y cuyo detalle se da al conocimiento público en otros apartes de esta revista, puede llegar a satisfacer las inquietudes de la mayoría de los analistas académicos, es de esperar que subsista alguna polémica en el campo de la opinión pública no especializada.
Para explicar este fenómeno se podría aventurar la conjetura de que las cifras oficiales están condenadas a la desconfianza, mayor o menor, dependiendo de la institucionalidad estadística. Estas sombras de duda aparecen con diferentes grados de intensidad en casi todos los países y en casi todas las épocas de la historia.
Recientemente (febrero 2007) los directores de estadística de varios países, reunidos en torno a la Comisión de Estadísticas de Naciones Unidas, concluyeron que el tema de la deficiente confiabilidad en las estadísticas oficiales está vigente, a pesar de los muchos avances, aunque no se estimó posible una recomendación de aplicación universal, si hay un consenso en cuanto a mantener la voluntad de fortalecer institucionalmente a los organismos oficiales de estadística, y consolidar su autonomía, técnica y financiera, dentro de un ejercicio responsable.
Se recordó, a propósito, que en la reunión de Marrakech (Marruecos) sobre el fortalecimiento institucional de los sistemas estadísticos, se había recomendado adelantar las actividades de las oficinas centrales siguiendo un plan de mediano plazo, suficientemente financiado. De esta manera, el organismo no estaría a merced de las decisiones cambiantes de un superior jerárquico.
El PlanIB
Esta política ya había sido adoptada por Colombia. El DANE elaboró un plan quinquenal en el que señaló todas las investigaciones estadísticas que se propone adelantar, y los instrumentos científicos y tecnológicos que construirá para conseguirlo. El Plan fue adoptado autónomamente mediante una resolución suscrita por el Director en el año 2005, y luego sometido a la consideración a los organismos gubernamentales que regulan el gasto y la inversión. Los dineros para ejecutarlo le fueron apropiados sin ninguna reducción, y a partir del año 2006 se viene ejecutando a cabalidad.
Para analizar el tema de la idoneidad y ética institucional, viene al caso recordar que la larga tradición estadística colombiana, se inicia hace 250 años, cuando en 1758 le fue encomendada a Francisco de Vergara y a Juan Martín Zarratea la organización de la primera oficina central. El impulso impartido entonces permitió hacer, tempranamente en la historia del mundo occidental, el censo de 1770, y así iniciar la serie hasta el último de 2005. Por el principio de preservar la independencia respecto del Gobierno, por muchos años la oficina operó como una dependencia de la Contraloría General de la República, donde en 1938 recibió un gran impulso de quien en esa época ejercía el cargo de Contralor, Carlos Lleras Restrepo, y él mismo, treinta años después, desde la Presidencia de la República, le dio un segundo y definitivo impulso para tecnificarlo y preservarlo de las influencias del partidismo político.
Gráfico 2
La variación de enero 2005 frente al mismo mes del año 2004 es bastante notoria y se sale de los intervalos de las respectivas mediciones.
Gráfico 3
La variación del mes de septiembre del 2006 comparada con el del mismo mes de 2005, es mucho menor que la mostrada en el gráfico 1. y sus intervalos son tangentes.
Gráfico 4
El tamaño del intervalo de los estimadores ha venido mejorando notoriamente
|
