¿Por qué Galileo Galilei?
Editorial

Realismo estadístico
Ernesto Rojas

Generación de Conocimiento como Estrategia para el Desarrollo Territorial: entre la Incertidumbre y el Determinismo
Javier Alberto Gutiérrez López

La capacidad de soporte del territorio, un instrumento para definir las condiciones de habitabilidad de la ciudad en el plan de ordenamiento territorial del municipio de Medellín
Sergio Fajardo Valderrama

Creación y Destrucción del Empleo en la Industria Colombiana
Jan Ter Wengel

Desarrollo y ordenamiento territorial para construir un país más equitativo y con regiones competitivas
Oswaldo Aharon Porras Vallejo

La Descentralización en Colombia: Un Reto Permanente
Sandra Patricia Devia Ruiz

La construcción de la territorialidad para los grupos étnicos en Colombia
Fabio Alberto Ruiz García

Estrategia de producción de cartografía digital para el Censo General 2005.
Avances en la consolidación de la Plataforma de Información Básica de Colombia

Lilia Patricia Arias D.

Las Caras de la Moneda
Entrevistas a Alberto Mendoza y Orlando Fals Borda

Ciencia, Tecnología y Desarrollo
Eduardo Posada Flórez

Calidad y estadística
Eduardo Libreros

Descripción de los Procesos de Calidad de Datos en el Repositorio de Información Básica. (Primera Parte)
Nicolás Dib David

El Sistema de Gestión de la Calidad SGC en el DANE
Lucy Quexada

Género, un nuevo reto en las Estadísticas Nacionales
Judith Sarmiento Santander

El Derecho en la Sociedad de la Información
Néstor A. Méndez Pérez

Prensa - Libros
Jorge Eduardo Estrada

Cine, Tecnología y Sociedad
Yolima Andrea Díaz

Sudoku
Separata

Pascal Riviére, INSEE
Director del servicio de armonización de encuestas a empresas.
Courrier des statistiques Nro. 90 jinio de 1999.
traducido del frances por Eduardo Libreros Dávila

Resumen

La revista institucional del Instituto de Estadística de Francia, Courrier des statistiques, ha publicado una serie de artículos sobre temas de calidad entre los cuales se destacan tres escritos por P. Rivière, publicados en un espacio de siete años. En ellos se aprecia muy claramente la forma en que evoluciona la reflexión sobre estas materias y en las que, además del manejo y de la buena gestión de los procesos, intervienen especificidades científicas derivadas de la misma labor estadística, y que hacen de la calidad un dominio mucho más complejo que el de otras actividades industriales. Ib ha querido presentar la serie de estos artículos, el primero de los cuales aparece a continuación. Los otros se publicarán en entregas subsiguientes.

Palabras claves

Calidad, control de calidad, garantía de calidad, normas ISO, no respuesta, sesgo, corrección e imputación de datos, gestión de la calidad total.

Abstract

Courrier des statistiques, institutional publication of French Statistics Institute (INSEE), has published a long series of articles on quality. Three among them, written by P. Rivière, are especially revealing. They appeared over a period of seven years. By going through themit is possible to see how analysis on these matters evolves and to understand how, in statistical quality, besides regular process control, there are particular elements derived from the discipline itself that make this subject far much difficult than in many industrial activities. Ib wants to present this series. the first one appears below. the other two will be presented in following issues.

Keywords

Quality, quality control, quality assessment, ISO norms, non answer, bias, data editing and imputation, total quality management (TQM).

El auge que el término calidad en materia estadística ha tenido durante los últimos años es innegable. “en Publicaciones, coloquios, discusiones de corredor… tenemos frecuentemente esta palabra en la punta de la lengua sin que sepamos exactamente su alcance. Como es característico de los conceptos complejos, la calidad presenta en la práctica múltiples aspectos y no es permeable a análisis simplistas, que sirvan para arroparlo todo y en el que cada cual toma lo que le parece. En realidad todo depende del punto de vista que se adopte (usuario, interrogado, personal de campo y apoyo de la encuesta, responsable de la producción estadística, político), del momento (antes o después de la encuesta) y del uso (para ésta o aquella aplicación). Existen, como se verá, definiciones muy elaboradas de la calidad pero que se utilizan de manera diferente según los roles de unos y otros en la producción estadística: cada cual actúa en su esfera sobre la calidad final de las estadísticas y, en general, solamente posee de ella una visión truncada. Esto no constituye óbice para establecer principios de calidad por cada una de las etapas del proceso de producción, que sean coherentes con un marco de evolución global.

Si fuera posible llegar a un acuerdo sobre una definición, aún imprecisa, aparece la necesidad de medir esta calidad, es decir, de establecer una batería de indicadores, realmente calculables, que representen en alguna forma el concepto en consideración, y aplicarlos posteriormente a casos reales.

Esto no es todo: una vez calculados los indicadores, ¿qué se hace? Publicarlos, compararlos, analizar su evolución de un período a otro, al menos para propósitos internos, o simplemente mostrarlos pues presenta ya un cierto interés. Pero ante todo, esto permite detectar los puntos débiles, las posibilidades de progreso y conduce al mejoramiento de la calidad al actuar sobre los elementos adecuados (medios, metodología, instrumentos, organización del trabajo…)

El objeto de este artículo es ilustrar sobre los diferentes aspectos del concepto de calidad en estadística, en particular en las estadísticas económicas. Se procurará, de paso, establecer el avance del INSEE en esta materia y de los proyectos en proceso de ejecución a nivel europeo. En ninguna forma se trata de hacer un curso sobre el concepto de calidad, sino más bien de desbrozar un tema confuso y buscar algunas ideas que constituyan un hilo conductor.

La calidad en general

Se deben distinguir dos nociones fundamentales en materia de calidad1 el control de la calidad y la garantía de la calidad. La primera responde más con el objetivo interno de mejorar los productos y de incrementar la productividad y la rentabilidad. La segunda, más reciente, parte de la idea de que los clientes pueden exigir garantías de la calidad de los productos.

La ISO, Organización Internacional para la Estandarización, adoptó estos conceptos en 1979, llegó en 1986 a una definición normalizada de calidad y en 1987 estableció los puntos de referencia para la certificación del sistema de calidad de las empresas.

Así, la norma ISO 8402 de 1986 define la calidad como “el conjunto de propiedades y características de un producto o de un servicio que lo hacen apto para satisfacer necesidades manifiestas o implícitas”. Esta definición tiene la ventaja de la generalidad pues no se presenta como específica de un sector de actividad particular. Debe señalarse que existe una gran diferencia entre los conceptos de calidad y de excelencia (que se confunden en la práctica). En efecto, la calidad objetivo es la que es necesaria y suficiente para una necesidad dada2; la sobre-calidad y la sub-calidad son no-calidades.

La norma ISO 9001 proporciona un modelo “para garantizar la calidad en concepción, desarrollo, producción, instalación y prestaciones asociadas”. Se trata de una visión más amplia de la calidad pues tiene en cuenta todos los componentes del trabajo de una empresa. Esta certificación que la AFNOR (Asociación Francesa de Estandarización) caracteriza como un punto de referencia de organización3, ha mostrado ser en la práctica la más difícil de obtener y exige a la empresa un trabajo preparatorio considerable que puede extenderse por varios años.

La norma ISO 9002, menos exigente, excluye los aspectos de concepción y desarrollo. Se trata entonces de la calidad del proceso de producción y en particular de la capacidad de la empresa para controlarlo. Es claro, desde luego, que la calidad del proceso contribuye a la calidad del producto.

Finalmente, la norma ISO 9003 se define como “un criterio para la garantía de la calidad en el control y los ensayos finales”. En otros términos, se limita a un aspecto de la calidad del producto, la que puede percibirse al analizar, aisladamente, por medio de controles, sin preocuparse de la forma como se ha obtenido: no se evidencia que el proceso de producción sea también de calidad.

Rigurosamente, la norma ISO 9003 es insuficiente para el producto “estadístico”. Es posible, mediante características y funcionalidades, definir una calidad de producto para una silla, una impresora, un yogurt: se pueden imaginar controles y pruebas que se aplicarán al producto mismo y que no requerirán jamás informaciones sobre la cadena de producción. Contrariamente, es a menudo difícil evaluar la calidad de las estadísticas por el solo examen de éstas. Si no se dispone de elementos de comparación, de indicadores suplementarios (sobre la tasa de sondeo o sobre la no respuesta por ejemplo) qué podría permitirnos afirmar que las estadísticas son o no confiables? Muy poco basándose en el producto mismo.

La calidad de las estadísticas. El punto de vista del usuario

Aquí se trata de comprender la calidad de las estadísticas. Es muy sencillo: al estudiar la calidad de un producto, se adopta el punto de vista de quien lo va a utilizar y que tendrá una serie de expectativas que manifestar.

¿Cómo proceder? Tomando como base la descripción de todo lo que constituya un “producto estadístico” es sin duda posible caracterizar la calidad analizando el producto a posteriori (conjunto de tablas, de gráficos, etc.), tomando del proceso de producción otras informaciones útiles sobre el producto. Se dan así definiciones de calidad aunque el término pueda parecer exagerado. Una mejor aproximación se logra cuando el concepto de calidad se descompone en varias categorías.

Varios institutos nacionales de estadística han propuesto definiciones que resultan ser bastante próximas las unas de las otras. Vamos a mostrar lo que ha sido propuesto por Eurostat, pues constituye una síntesis excelente y es ya un estándar reconocido. Esta definición ha sido discutida en el marco de un grupo de trabajo sobre Evaluación de la Calidad de las Estadísticas y ha sido validado por los Estados miembros.

Los seis componentes de la calidad según EUROSTAT

Pertinencia. Las estadísticas producidas deben responder a las necesidades de los usuarios.

Es interesante constatar que se trata de la componente menos detallada…aunque para muchos usuarios es la más importante. El documento de EUROSTAT no consagra sino unas líneas a la pertinencia. Esto tiene una explicación: EUROSTAT no es un usuario cualquiera. No es en sentido estricto un cliente, interesado en los resultados para actuar, es más un intermediario que recoge las estadísticas de los diversos estados miembros para fabricar con ellas estadísticas europeas las cuales serán difundidas a los verdaderos usuarios. En otros documentos sobre calidad se constata que los Institutos de Estadística tienen mucha dificultad para establecer indicadores de pertinencia o métodos para mejorarla.

Precisión. Los diferentes tipos de error se deben estimar. De todas las componentes es la que más comentarios recibe y la que tiene el mayor número de indicadores. Para la mayoría de los estadísticos aquí reside lo esencial. Curiosamente, nos es un elemento crucial para los usuarios, que frecuentemente confían en los estadísticos. Debe prestarse atención puesto que la precisión en sí misma no es un objetivo (incrementarla indefinidamente sería absurdo). No es un criterio de calidad. Lo que importa ante todo es conocerla.

Actualidad y puntualidad. Los usuarios requieren datos recientes, actualizados frecuente y cumplidamente. Según las encuestas a usuarios hechas por Eurostat, lo “fresco” de la publicación es un elemento esencial de calidad.
Accesibilidad y claridad. Los datos deben ser accesibles y ser visibles por los usuarios. Ahondando un poco involucra también la calidad de las publicaciones (buena organización del documento, comentarios, ilustraciones, etc.) pero también la facilidad para acceder a la publicación, que en ocasiones puede verse comprometida por obstáculos.

Comparabilidad. Las estadísticas deben ser comparables en el tiempo y en el espacio.

Coherencia. Las estadísticas de diferentes fuentes deben ser coherentes (utilizar las mismas definiciones, nomenclaturas, metodologías…)

La demanda de los usuarios por estadísticas coherentes es, según Eurostat muy fuerte. Con la actualidad constituyen los factores más importantes.

Para representar la calidad Eurostat distingue seis componentes: pertinencia, precisión, actualidad y puntualidad, accesibilidad y claridad, comparabilidad y por último,coherencia.

El costo (tanto para la oficina de estadística como para el usuario) no se considera parte de la calidad de las estadísticas4 sino una restricción. Esta puede ser una opción discutible. Es lógico que el costo de la producción estadística se sitúe fuera de la calidad de las estadísticas; es posible que se quiera minimizar el costo manteniendo un nivel de calidad determinada o que se quiera mejorar la calidad a costo constante y por ello no tiene sentido que el costo haga parte de la calidad. En cambio, el peso enorme que para el entrevistado constituyen las respuestas (lo que se denomina generalmente la carga de la encuesta) debería tenerse en cuenta; al final se trata de un efecto negativo inducido en el proceso de producción. La calidad debe considerar simultáneamente estos efectos y encontrar un justo medio entre el interés para el usuario y el costo de respuesta para el entrevistado. Las cosas se complican en el campo de la estadística empresarial, donde a menudo los usuarios son al mismo tiempo los entrevistados.

La definición propuesta por Eurostat tiene la ventaja de proporcionar un cuadro completo y amplio para la comprensión de la calidad de las estadísticas5: todos los aspectos de esta calidad, tal como los actores de la producción estadística, los perciben de manera aislada, pueden encontrarse en la lista propuesta. Esto va a llevar, poco a poco, al establecimiento de normas para los estadísticos europeos, los llevará a reflexionar sobre sus prácticas, a compartirlas, proporcionando principios, métodos y semántica, muy útiles al desarrollo de nuestro oficio.

El punto de vista del metodólogo sobre la precisión

Para el estadístico, en particular para el metodólogo, precisión es naturalmente sinónimo de calidad (hay una tendencia frecuente a omitir otros criterios). Se trata de la componente más importante de las que considera EUROSTAT. Medir la precisión es una tarea delicada, pues las fuentes de error en estadística son múltiples. Se distinguen generalmente dos tipos: errores debidos al muestreo y los demás.

El error muestral, si la muestra es aleatoria, se descompone, de manera clásica, en sesgo1 y varianza. El cálculo de la varianza se puede realizar hoy con la ayuda de varios programas. El que el INSEE ha desarrollado, POULPE, es un buen ejemplo. Cuando la selección no es aleatoria, como en el muestreo por cuotas, es más difícil obtener estimativos de error.

Son muy variados los errores no muestrales. Pueden presentarse en un principio en la base del muestreo: sobre-cobertura (inclusión de unidades fuera del alcance del estudio o unidades muertas), sub-cobertura (olvido de algunas unidades, nacimientos por ejemplo), clasificaciones equivocadas… Todo esto puede dar lugar al establecimiento de indicadores, por medio de la estimación, como por ejemplo la tasa de falsos activos en los directorios de empresas. La calidad de los directorios es verdaderamente un grave problema. Constituye un tema separado del grupo de trabajo de EUROSTAT sobre la calidad. Durante la última mesa redonda sobre directorios de empresas (1999) se presentaron varios trabajos que contienen conclusiones convergentes sobre los indicadores de calidad de los directorios.


A lo largo del proceso de producción pueden surgir errores de los tratamientos, principalmente en la captura, la codificación y la verificación. A menudo son mensurables (por doble captura, por doble codificación), los errores asociados con los tratamientos, son también difíciles de integrar en una medida global de error.

El error por no respuesta (total o parcial, como los eclipses) puede tener un impacto muy importante sobre los resultados. El efecto de no respuesta ha sido objeto de estudio en la literatura estadística. Como en el caso del muestreo, se establecen el sesgo de la no respuesta y la varianza debida a la no respuesta. La medida del error dependerá de la forma en que se trata la no respuesta (imputación o calibración, con las variantes de método en cada caso).

No se omitirá el error de medida que se comete al momento de la recolección de los datos, aún si la supervisión permite corregirlo parcialmente. Proviene de múltiples factores: influencia del encuestador, legibilidad de la pregunta, falta de concordancia entre el dato solicitado y el sistema de información del informante…

Aun falta mencionar el error debido al modelo. Cuando se hacen necesarias las técnicas de estimación particulares (por variaciones estacionales, por desfase del año civil y el año contable…) el error inducido esta directamente ligado al modelo matemático utilizado para la estimación.

Técnicamente cierto número de errores son calculables a partir de los datos disponibles pero es muy difícil construir un indicador que los tenga en cuenta a todos. Y en la práctica, dado que el muestreo y la no respuesta son a menudo las principales componentes del error, las medidas sobre las cuales uno se basa para evaluarlo son en general las medidas de varianza que integran las dos fuentes de imprecisión.2

Las medidas de varianza, tomadas como indicadores de calidad, deben despertar la reflexión del estadístico: no es claro que se trate de un indicador universal que conduzca al establecimiento de normas de confiabilidad. Michel Volle lo recuerda al escribir 3 que una estadística no debe ser “precisa” sino “exacta” en el sentido de que debe alimentar un razonamiento exacto al usuario. Poco importa la precisión de los datos, si el razonamiento que se deriva de su empleo es justo, lo cual implica que las decisiones subsiguientes queden bien fundamentadas. Esta óptica sobre la calidad de la estadística le confiere un carácter no absoluto, totalmente ligada a su utilización; lamentablemente esta visión no es muy conocida por la comunidad estadística.

1 El sesgo puede aparecer aún si el plan de muestreo es irreprochable, sobretodo cuando se estiman proporciones.

2 No se trata de un problema fácil de resolver. No existen realmente métodos generales normalizados, reconocidos por la comunidad estadística, para el cálculo de la varianza debida simultáneamente al muestreo y a la no respuesta. Ver una referencia excelente: Model Quality Reports (Vol.1. Theory and Methods for Quality Evaluation) escrita conjuntamente por estadísticos y académicos suecos y británicos en el cuadro de un proyecto financiado por EUROSTAT.

3 Ver Système de pilotage de l'entreprise, en el sitio web www.volle.com

La calidad de la interacción: El punto de vista del entrevistado… o del entrevistador

La recolección de los datos no es una operación neutra para el entrevistado: toma tiempo y energía, en ocasiones requiere la movilización de varias personas, de varias fuentes de información. Los trabajos desarrollados en el marco de la operación SPE (en francés Estadística Pública y Empresarial) han permitido constatar que las empresas entrevistadas se sienten tratadas como “máquinas para responder”, pues el estadístico considera su respuesta como una obligación. Este comportamiento, considerado dictatorial en exceso, tiene consecuencias negativas en la propensión a responder, sobre la calidad de las respuestas individuales y sobre la imagen del Instituto de Estadística. La voluntad manifiesta de mejorar los contactos con el sector de las empresas no es específica de Francia. La Oficina de Estadística de Australia (ABS) ha creado un “protocolo” para las estadísticas de empresas6, que define el cuadro de las relaciones entre ABS y las empresas que le suministran información.

Es claro que la forma en que el entrevistado percibe la encuesta es un aspecto esencial del proceso de producción estadística en su conjunto; los datos individuales constituyen nuestro material básico. Son el fruto de una interacción, en ocasiones compleja, entre el servicio estadístico y la unidad entrevistada. La calidad de esta interacción, como la percibe el encuestado, debe ser considerada en sí misma; si nos referimos al marco inicial se involucran aquí las componentes de pertinencia y precisión (no solamente la calidad del dato individual obtenido sino también la tasa de respuesta), así como las restricciones de costo (costo para el encuestado tanto objetivo como subjetivo).

En una interacción, el objetivo del servicio entrevistador es el de obtener el mejor nivel de respuesta posible (en el sentido de minimizar los riesgos de no respuesta y de error de respuesta) tratando de limitar la carga de trabajo del servicio, y buscando dar simultáneamente una buena imagen de la estadística pública. Este último punto no debe despreciarse, pues la impresión con la que queda el entrevistado condiciona en una u otra forma las respuestas que se den en ulteriores encuestas y, por consiguiente, se compromete la calidad a largo plazo. Es claro que pensar sobre la calidad de la interacción entre el servicio estadístico y el entrevistado es definir todo lo que la conforma, para estar en condiciones de mejorarla en los términos de este objetivo.

La interacción se puede definir con cuatro elementos: una fecha, un soporte (un tema o un motivo), un individuo que representa la unidad entrevistada y otro que representa el servicio entrevistador. La calidad de la interacción será en gran parte la de los soportes, aunque los otros elementos se deben analizar también. Los soportes son muy variados: cuestionarios, cartas remisorias, envíos de información, información sobre las publicaciones… Desde luego, la mayor atención se presta al formulario por ser el soporte de la recolección.

Tanto para el encuestador como para el encuestado la calidad del cuestionario está siempre asociada a la posibilidad de responder en tiempos razonables..7. Esto nos lleva a los criterios clásicos: posibilidad de movilizar la información, lisibilidad, tiempo necesario para responder. Generalmente son las pruebas del formulario y las relecturas por los comités de usuarios, las que permitan calificar estas materias.

No se deben olvidar las interacciones orales: charla con el entrevistador, conversaciones telefónicas con el supervisor de la encuesta (sea porque éste llama, sea porque la empresa solicita mayores precisiones), juegan en realidad un papel crucial en la imagen que el informante se forma de la encuesta, ya que éste no se encuentra en relación con una entidad abstracta sino con un ser humano que “representa” la estadística pública. La experiencia muestra que entran en juego consideraciones poco mesurables, por ejemplo, la presentación de la utilidad y del contexto de la encuesta o el tono empleado en el teléfono.8. pueden transformar a un recalcitrante en informante… o recíprocamente.

Los otros soportes escritos que se transmiten a los encuestados, y que no constituyen soportes de recolección propiamente dichos (cartas remisorias, recordatorios, envíos de información post- encuesta), hacen parte integrante de la calidad de la interacción tal como la percibe el informante.

Además del soporte papel, del intercambio oral, de la recolección asistida por computador, debemos citar los intercambios de datos informatizados (EDI), que pueden hacer, en ciertos casos, más fácil la tarea de respuesta. Los EDI, aún subutilizados hoy, están llamados a desarrollarse en los años venideros; a largo plazo cabe esperar que conduzcan a una reducción de los costos tanto para el encuestado como para el servicio encuestador.

Los otros elementos de la interacción, arriba mencionados, juegan igualmente en la calidad de ésta. Es así como la fecha de recolección y el interlocutor señalado en la empresa (los estadísticos de las empresas lo saben bien) tienen un impacto enorme sobre la confiabilidad de la respuesta y la tasa de respuesta. Los estudios realizados en diferentes Institutos Nacionales de Estadística (INE) lo confirman: “apuntar” adecuadamente, en el tiempo y en el espacio, es esencial, no solamente para tener respuestas rápidas sino también para establecer una relación de calidad entre un servicio estadístico y la unidad que se interroga.

Es posible tratar de darle la vuelta al problema adoptando el punto de vista del servicio encuestador: la calidad de interacción con una entidad estaría asociada a la capacidad de obtener datos pertinentes y confiables en lapsos cortos. Pero esto conduce a lo mismo. Si desde el punto de vista del encuestado se establece una buena relación (relación de confianza, buena comprensión recíproca de los intríngulis) esto solamente podrá traducirse en efectos positivos tanto para el estadístico (en términos de tasa de respuesta, plazos, pertinencia y precisión de los datos suministrados…) como para todos los aspectos de interacción entre el servicio encuestador y el encuestado.

Es posible definir indicadores de calidad, en ocasiones antes de la realización de la encuesta (por medio de pruebas) pero más frecuentemente te después: tasa de respuesta (global o por pregunta) tiempo medio de respuesta9, ocasionalmente índices de satisfacción, etc.

La calidad de la encuesta, a priori: el punto de vista de la coordinación estadística

Aunque se van a encontrar ciertas características ya mencionadas, el prisma que aquí se utiliza es un poco diferente en cuanto al análisis de la calidad. Para ilustrarlo mencionaremos el caso de una encuesta que propuesta para que forme parte de las encuestas del sistema estadístico público.

En este caso se formulan dos preguntas:

- Los objetivos perseguidos, en términos de futuras estadísticas publicadas, justifica que se gasten recursos públicos llevando a cabo tal encuesta?

- El aparato instrumental estadístico vigente está bien adaptado para lograr esos objetivos?

La primera pregunta nos lleva ante todo a la noción de pertinencia de la encuesta.10 Representa ella un interés público? Quienes serán los usuarios? Para hacer qué? Sólo es posible pronunciarse sobre el particular mediante reuniones entre estadísticos y organizaciones profesionales involucradas de una u otra manera en el tema de la encuesta. En Francia los grupos de trabajo del CNIS (Consejo Nacional de la Información Estadística) que juegan ese papel y emiten lo que se denomina concepto de oportunidad. Cuando se llevan a cabo reuniones de los comités de usuarios de los resultados de la encuesta (de carácter no formal), también pueden pronunciarse sobre el interés de la encuesta.11 Tales comités juegan un papel importante antes del lanzamiento de las operaciones, pues dan sus conceptos sobre el formulario haciéndolo evolucionar para mayor utilidad futura mediante la eliminación de preguntas inútiles o redundantes. Son las reuniones técnicas, en las que de manera práctica se trata de estudiar de forma detallada el conjunto del formulario, función que los grupos de trabajo del CNIS no desempeñan.

La pertinencia no es la única que permite juzgar el interés de una encuesta. En efecto, en un plano político no se analiza individualmente una encuesta aislada. Ella forma parte de un conjunto, de un sistema de encuestas y registros administrativos, dentro de los cuales se le debe situar, tanto desde el punto de vista de su contenido (se verifica que no se obtenga la misma información en otra parte) como de las personas interrogadas (para evitar encuestar siempre a los mismos). Se busca pues la calidad conjunta del sistema estadístico. Esta labor de coordinación también involucra los grupos de trabajo del CNIS.

La segunda pregunta (sobre el instrumental estadístico) supone una respuesta positiva a la primera. De ser así queda claro el contexto: la encuesta se considera oportuna, se validan sus objetivos y contenidos. Se trata ahora de verificar que el plan de muestreo responda a los objetivos propuestos, que no se entrevisten demasiadas unidades, que se tomarán todas las precauciones necesarias en el momento de selección de la muestra (con lo que se logra una mejor distribución de la carga estadística entre las unidades entrevistadas), que el formulario esté bien adaptado (lisibilidad, existencia de la información, costo de respuesta aceptable). Sobre estos últimos aspectos se encuentran los criterios de calidad expuestos anteriormente, en particular con la necesidad de probar el formulario y de hacerlo releer por los futuros usuarios de los resultados de la encuesta. Aparece nuevamente la necesidad de dar una buena imagen del sistema estadístico público, en donde la forma de comunicación con los encuestados es materia de política estadística.

En Francia, el trabajo de supervisión de los instrumentos técnicos de la encuesta corresponde al comité de marca, que otorga o no un visto bueno. El Comité valora la calidad de la encuesta previamente a su realización, mediante el examen de una documentación resumida que presenta el productor12: informes de los comités de usuarios, informes de las pruebas del formulario, imprecisión condicionada por el muestreo, justificación del tema de la encuesta, del tamaño de la muestra, del calendario, etc. Francia no es la única en proceder de esta manera: los estadísticos australianos cuentan con la Cámara de Compensación Estadística, la cual realiza estos mismos trabajos y estudia la forma en que los resultados de la encuesta serán presentados y controlados. En todos los casos es claro que el productor debe suministrar un acervo de información, dentro de un marco de evolución a priori de la calidad de la encuesta.

La calidad de la realización de la encuesta: el punto de vista de la producción

A pesar de los progresos considerables de la informática, llevar a cabo una encuesta constituye una operación pesada, costosa y que presenta múltiples dificultades. Para trabajar en tales condiciones los responsables de la encuesta deben disponer de una serie de indicadores que les permita conocer permanentemente el estado del trabajo y también, cerca del final, cual será el grado de confiabilidad de los resultados obtenidos. En esta forma quien administra la encuesta actúa no sólo previamente (formulario, plan de muestreo, etc.), también interviene en forma concomitante (cuadro de control de la operación) y posterior (análisis de la confiabilidad de los resultados).

El directorio de referencia13, común en todas las encuestas de empresas y el primer elemento que entra en juego en el encadenamiento de las operaciones, constituye un elemento fundamental que servirá de base y sobre el que se seleccionarán las muestras. La calidad en este caso está ligada, obviamente, a la actualidad de las variables características de las unidades estudiadas. En un directorio de empresas, la proporción de NPDI (no presentes en la dirección indicada) es un criterio importante que condiciona la eficiencia de la recolección,14 y por ende la validez de la variable “dirección de recolección” se cuestiona. La tasa de “falso activo” (unidades muertas consideradas erróneamente como activas) aparece como un indicador crucial y que se utiliza a menudo en los Institutos Nacionales de Estadística. Además, la confiabilidad de la variable “actividad principal” es, en numerosos casos, esencial y de allí el interés de establecer una tasa de unidades o establecimientos mal clasificados.

Los primeros indicadores importantes para la producción se reducen a algunas fechas clave (fechas de envío y recepción de formularios) y a los conteos asociados con la administración de la encuesta. Esto comienza con el número de formularios enviados (a menudo en varias etapas). Se establece igualmente la situación de cada encuestado frente a la recolección, en términos de aptitud para responder, con lo cual se determinan la tasa de respuesta y algunos conteos simples, por categorías de respuestas. Se pueden presentar varias situaciones: La unidad acepta responder o puede rehusarse de manera explícita, puede no estar ubicada en la dirección indicada, lo cual juega un papel importante en la estadística de empresas para las cuales la recolección se efectúa a menudo por correo; en las encuestas a hogares muy frecuentemente realizadas con desplazamiento del encuestador, o telefónicamente, se distinguen los “imposible encontrar” y los ALT (ausentes por largo tiempo). La unidad puede resultar no apta para responder. Las encuestas a las empresas pueden exigir dos o tres comunicaciones. Se administrará así la no respuesta (que en la mayor parte de los casos no son ni rechazos ni NPDI) con las distintas fases de correo.

Se elaboran también indicadores elementales sobre la posición de la unidad frente al objeto de la encuesta, lo que puede inducir un cambio con relación a la base de muestreo. La unidad puede en alguna forma haber cambiado de status. Tal es el caso de una empresa que ha sido reestructurada (situación que se presenta también en estadísticas sociales cuando se presentan fusiones o particiones habitacionales) caso en el cual la delimitación de la unidad estadística se ha modificado. Esta situación de “fuera del objeto” puede presentarse en estadísticas económicas sobre cualquiera de las variables recolectables que definen el objeto: estado de actividad (la empresa puede estar muerta o dormida), actividad principal (caso muy frecuente), número de empleados, naturaleza jurídica.

Después de la recolección, paulatinamente tienen lugar la captura y la codificación, para las cuales se pueden considerar varias medidas de calidad, aunque generalmente no se realizan: tasa de error en la captura (lo cual exige un proceso doble de captura para una sub-muestra), tasa de error de codificación, manual o automática (lo cual exige también una doble codificación). La tasa de rechazo por la codificación automática (denominaciones imposibles de codificar automáticamente) puede obtenerse en forma inmediata.

En lo restante del proceso de producción debe resaltarse un aspecto reconocido como particularmente costoso: corrección, calibración e imputación de los datos (lo que los anglosajones denominan Data Editing and Imputation). Mencionadas operaciones, en las encuestas, pueden dar origen a numerosos metadatos: el hecho de que la variable haya sido o no verificada, que haya sido verificada o confirmada por el supervisor, la forma de rectificación empleada cuando éste sea el caso, etc.… La existencia misma de estas informaciones constituye una condición sine qua non del cálculo de indicadores muy útiles: por ejemplo, el porcentaje de unidades consideradas erróneas por el control (para cada variable), las partes respectivas de las unidades verificadas manualmente (respuestas confirmadas, respuestas modificadas), las diferencias entre los datos brutos y los datos modificados. Esto permite en particular establecer si no se presenta sobre-verificación de los formularios. Deberá aplicarse otros indicadores a la rectificación por imputación: tasa de unidades rectificadas, peso relativo en los agregados, peso de las unidades extrapoladas por no respuesta global, reparticiones por tipo de rectificación. Se establece así que parte de los agregados ha sido “inventada”.

Finalmente se encuentran, aunque se utilicen poco en esta fase, los cálculos de varianza (y cuando es posible los indicadores de sesgo) que tienen un interés evidente para la gestión de la producción. Se ha visto que el cálculo suele ser complicado en la práctica pues el error total es la suma de dos factores: muestreo y no-respuesta. Pero en la medida en que se trata de un indicador que sirva de guía a los supervisores (verificaciones y seguimiento de quienes no responden) es permisible recurrir a estimaciones burdas.15

Qué queda de todo esto? Se ha visto que durante la encuesta, los datos de gestión brindan a los responsables de la producción una tabla de control para tener permanentemente ideas claras sobre el desarrollo del proceso. Esto constituye simultáneamente una ayuda para saber hacia donde se debe encaminar el esfuerzo de la supervisión. Por ejemplo, si el objetivo es tener agregados por sector de actividad, se pueden determinar regularmente los coeficientes de variación por sector y orientar el esfuerzo (seguimiento de la no respuesta, verificaciones manuales) hacia los sectores en los cuales la precisión es más débil.

Una cuestión de compromiso

Los indicadores de control permiten administrar mejor el compromiso entre el costo1 de verificación de los formularios y el costo de una mala confiabilidad de los resultados. A mayor control mejor la calidad final de los resultados, En cambio, resulta sensiblemente inútil desde un punto de vista estadístico verificar muchos cuestionarios. En consecuencia, un control-ajuste de buena calidad es un proceso que encuentra un justo medio: tener una buena calidad final de los datos limitando la cantidad de verificaciones manuales. Es una diferencia considerable entre la calidad de las estadísticas y la calidad del proceso de producción, tal como lo concibe el responsable de la encuesta. Para él, una tasa de control manual baja será una prueba de calidad (mejora entre otros los plazos de difusión) en tanto que esta información no es necesariamente útil para establecer la confiabilidad de las estadísticas obtenidas.

1 Mencionamos anteriormente que el costo no debía hacer parte de la calidad de las estadísticas, desde el punto de vista del usuario de ellas. No debe verse una contradicción. En efecto, desde el punto de vista del responsable de la encuesta, el costo es evidentemente un criterio de calidad del proceso de producción que él administra. La calidad no es un concepto puro: la calidad de qué? La calidad para quién?

Los indicadores medidos (proporción de unidades fuera del objetivo, tasa de respuesta, unidades rectificadas, coeficientes de variación16) se van modificando a medida que se avanza en el proceso de producción y permiten construir tablas de control. Cuando la encuesta termina, sirven de indicadores de calidad de las estadísticas y tienen la ventaja de permitir la comparación de una encuesta con otra.

Debe señalarse que la elaboración de estos indicadores tiene un costo elevado y que es posible ganar tiempo mediante la normalización, introduciendo metodologías comunes. Tal como lo indica J.C. Labbat en su informe sobre estadísticas demográficas y sociales, el empleo de herramientas generales (CAPI, SICORE, CALMAR), además de las ventajas en términos de calidad, homogeneidad y eficiencia, facilita la producción de indicadores normalizados y asegura una mejor comparabilidad de estos indicadores.

CAPI, recolección asistida por computador: el encuestador no tiene formulario en papel sino un cuestionario electrónico, un computador portátil y un programa que permite la captura de la información y algunos controles.

SICORE, es un sistema informatizado de codificación de las respuestas a las encuestas. Es un programa de codificación automática (nombres de comunas, de profesiones…)

CALMAR, sigla francesa para “ajustar al margen”. Es un conjunto de instrucciones macro en SAS que permiten la reponderación (es decir, calcular nuevas ponderaciones a partir de las ponderaciones originales del muestreo) por medio de variables auxiliares.

La calidad total: el punto de vista del administrador

Se había mencionado inicialmente que el control de la calidad y la garantía de la calidad son los dos conceptos de base. En estadística, el informe sobre la calidad, tal como lo preconiza EUROSTAT corresponde a un proceso de garantía de la calidad: se trata claramente de proporcionar un marco normalizado para dar garantías a los usuarios.

El control de la calidad de las estadísticas debe observarse principalmente a nivel de la producción: se trata de controlar el proceso, de registrar, documentar, verificar y hacer evolucionar cada una de las operaciones que lo conforman. Esto es en sí un programa vastísimo.

La calidad total constituye una etapa posterior y podría decirse última. Los expertos en calidad han encontrado que el control y la garantía de la calidad son simplemente mecanismos y que el problema está en manejarlos correctamente, función que corresponde a la administración. Se observa que la implicación de la jerarquía de la empresa, desde la cabeza de la misma, permite introducir un proceso de calidad en la organización en su conjunto, movilizando así a todo el personal, lo cual justifica la expresión de gestión de la calidad total o de acuerdo con la sigla inglesa TQM. ¿Qué quiere decir esto en estadística? Ciertamente, la aproximación de TQM por ser global no puede aplicarse a una sola encuesta. Debe involucrar al conjunto del Instituto Nacional de Estadística, y tiene consecuencias sobre el trabajo de los agentes de la misma. Pero no le demos vueltas a este asunto, la TQM es, ante todo, una óptica de reducción de costos, de mejor manejo del conjunto, que busca incrementar la flexibilidad para dar fácilmente respuesta a la demanda e imponerse en un contexto competitivo. En el Instituto Nacional de Estadística, el administrador17 es el punto nodal de las contradicciones pues está frente a cuatro elementos imperativos que es difícil conciliar: la trilogía conocida de administración de personal, restricciones presupuestales y atención a las demandas de los usuarios, a la que se agrega la limitación a la carga que las encuestas representan para los encuestados.

La gestión de la calidad total constituye, para una organización, una operación pesada, una verdadera revolución cultural, condenada al fracaso sin la participación decidida de la alta jerarquía. Será también igualmente difícil de poner en práctica si no se cuenta con la participación del personal. Si bien es cierto que la sigla TQM provoca una cierta ironía, pues parecería hueca, las consecuencias de su aplicación son muy concretas: si existe una voluntad real la organización en su conjunto sufrirá modificaciones fuertes. Sus consecuencias sociológicas son importantes, pues el procedimiento de calidad es de doble filo (cf. Cochoy et al.): el asociar al personal y darle por escrito el reconocimiento explícito por su trabajo valoriza a los individuos pero, recíprocamente, brinda mayores posibilidades de control del trabajo individual.

La experiencia sueca

En Europa son los estadísticos suecos quienes se han orientado hacia la calidad total .Las razones son muy simples. Una gran reforma del Instituto Nacional de Estadística sueco tuvo lugar en 1993, con una competencia acrecentada, un presupuesto menor y una voluntad de privatización parcial de las actividades. Se presenta el contexto habitual para la adopción de un enfoque TQM: en estadística o en otra actividad, es frecuentemente la presión externa la que conduce a entrar en una lógica de calidad total. Después de la reforma, Statistics Sweeden se convirtió un 50% en una agencia gubernamental y un 50% en una especie de firma estadística privada. Se dice que está más orientada hoy hacia los usuarios y que sus procesos de producción son más eficaces.

Los objetivos mencionados eran: responder a las necesidades de los usuarios, mejorar la calidad de los procesos y de los productos, desarrollar un sistema de estadísticas oficiales, instaurar buenas relaciones con los entrevistados, motivar al personal en su conjunto para utilizar mejor sus capacidades. Debe señalarse que el enfoque TQM ha sido escogido por un país donde el contexto no es el mismo de Francia; la cuestión de la competencia es allí importante al tiempo que la noción de servicio público no está muy extendida.

Statistics Sweeden parece haber asimilado integralmente los cambios radicales en la forma de trabajar que trae consigo la gestión de la calidad total. Ha sido necesario que todo el personal se vincule, iniciando por la dirección. Se han producido más de 110 proyectos TQM en los cuales han estado involucradas 500 de los 1300 colaboradores. Muy rápidamente se evidenció que era inútil seleccionar proyectos para que fuesen TQM. Una vez dado el paso por el Instituto, no tenía mayor sentido distinguir los proyectos TQM.

La carga misma de responsabilidades de esta operación, y la renovación no se dio sin dolor. En un principio, en el seno del Instituto, el 60% estaba a favor, 20% en contra y 20% no opinaron. Aparecieron numerosas barreras sicológicas, con reacciones como: sabemos lo que quieren los usuarios, siempre hemos trabajado así, TQM es solamente una palabra de 3 letras. El principio fue difícil, con una fuerte resistencia al cambio y una carencia notable de entusiasmo. Se manifestó también en ese momento un problema de recursos y de carencia de formación para este cambio en los niveles intermedios de la jerarquía.

Cómo procedieron técnicamente para entrar en la lógica TQM? Para cada etapa del proceso se seleccionaron unas variables clave. Por ejemplo, para la reducción de la tasa de no respuesta se encuentra entre las variables clave: la tasa de no respuesta de un cierto número de categorías (región, sector) la tasa de no respuesta según el método de recolección empleado, el número promedio de llamadas y su evolución a lo largo del tiempo, el costo de recolección para el último decil de respondientes, la tasa de no respuesta parcial por variable…

Se hicieron operar, de manera sistemática, herramientas simples que permitían entender y controlar lo que estaba sucediendo: diagramas causa-efecto, diagramas de flujo ilustrando el proceso, medidas que permitieran determinar las variables criticas, tablas de clasificación de problemas ordenadas por dificultad decreciente, encuestas de satisfacción a los usuarios, largos y frecuentes encuentros de reflexión (tipo círculos de calidad).

Cada una de las fases de producción fue así objeto de un proyecto TQM. Algunos ejemplos: reducción de la no respuesta, verificación de datos, concepción del formulario, estimación de varianza, tratamiento de la no respuesta. La implicación de los supervisores en estos proyectos ha sido mucho más grande que en el pasado, principalmente en los grupos de reflexión en donde se busca recoger el mayor número de ideas sin ser criticado a priori. Lo que estos grupos han producido ha sido analizado por personas formadas en esta labor y que han otorgado un cierto número de calificaciones a estos proyectos, con un esquema fijado de antemano, entre ellos los premios suecos a la calidad.

El mejoramiento de la calidad

Adoptar medidas de calidad según criterios reconocidos es intrínsecamente atrayente, porque permite dar a los usuarios, a los “clientes”, la garantía de calidad del producto. Evidentemente, el hecho de poseer indicadores y documentaciones estandarizadas del proceso de producción estadística permite incrementar la calidad y visualizar este incremento.

De hecho, el mejoramiento de la calidad hace parte de las reflexiones sobre la calidad, pero no es aplicable si no se ha pensado ya en medidas estandarizadas. Es claro que no se puede evaluar la distancia en términos de calidad entre dos situaciones A y B (por ejemplo una encuesta de 1990 y la misma encuesta en 1998) si no se tienen indicadores sobre A y B comparables entre ellos.

La experiencia de los institutos nacionales de estadística sueco y británico indica que el solo hecho de descomponer el proceso de producción tarea18 por tarea (condición previa indispensable) ha permitido que surjan ciertos problemas que se ignoraban hasta ese momento (verificaciones redundantes, errores en las instrucciones de captura) algunos de los cuales se han podido resolver rápidamente. La primera etapa de mejoramiento consiste en identificar, en descubrir las principales fuentes de ineficiencia y de error.

Limitarse a los aspectos técnicos no es suficiente para hacer evolucionar el proceso hacia una calidad mayor. El factor humano es absolutamente esencial. El hecho de vincular personas a la documentación, a la estandarización de sus procedimientos, los lleva a ser conscientes de los diferentes aspectos de la calidad, a captar mejor el impacto de su actividad. Los estadísticos británicos y suecos han podido observar una influencia real de las medidas de calidad sobre el comportamiento de los supervisores de encuesta, lo cual lleva naturalmente a mejoras sustanciales.

En un plano metodológico, una manera corriente de proceder consiste en buscar cuales son las “mejores prácticas” (Current Best Practices) con el fin de utilizarlas como reemplazo de las técnicas corrientes. Para cada etapa importante (seguimiento de la no respuesta, métodos de imputación, macrocontroles), el Instituto Nacional de Estadística produce un manual de “mejores prácticas” que sirve enseguida como referencia para el tratamiento de las encuestas. Los manuales pueden evolucionar: innovar en métodos es un aspecto muy importante de la mejora de la calidad.

En términos de organización, la información sobre innovaciones en métodos no debe ser función del servicio encargado de la calidad. En un instituto nacional de estadística, debe distinguirse entre la “unidad de metodología” (que elabora los nuevos métodos, se informa permanente sobre lo que hacen entidades análogas, etc.) y la “unidad de calidad” que aplica los métodos propuestos por la unidad metodológica y organiza el conjunto del proceso de calidad.

En concreto, la mejora de la calidad supone:

- La definición de principios y objetivos claros y cuantificados para cada una de las etapas de la producción estadística.

- El análisis sin concesiones del funcionamiento real de las labores de cada etapa.

- La descripción de las técnicas existentes, en cada etapa, que podrán confrontarse posteriormente con lo que en realidad se hace.

- En forma más general si se propone una progresión global a largo plazo, el mejoramiento de la calidad exige un trabajo de coordinación, de normalización y de documentación sobre las técnicas utilizadas 19. Sin esto es difícil hablar de calidad. Es por medio de la referencia a normas reconocidas y documentadas, asociadas con la calidad final del producto estadístico que se puede formular la cuestión de la calidad del trabajo que en su producción interviene. Sin normas comunes, sin posibilidad de un juicio externo, cada uno puede definir aisladamente sus propios criterios de calidad (y otorgarse a si mismo los laureles).

¿Dónde estamos?

Ya no estamos en las grandes frases, ni en las ideas vacías. Tanto en Francia como en el resto de Europa existe una efervescencia verdadera en torno a la calidad, la cual se traduce en avances visibles, concretos.

El grupo de trabajo de Eurostat para la evaluación de la calidad de las estadísticas, ya mencionado, ha podido definir un informe tipo sobre la calidad que incluye indicadores cuantitativos y fichas de documentación sobre los procedimientos utilizados (el manejo del sesgo de no respuesta, por ejemplo). El enfoque, lo subrayamos, es el de garantizar la calidad. Este informe ha sido ensayado en varios países. Se ha reconocido la importancia de algunos de los indicadores al punto de que son exigidos en forma sistemática por Eurostat a los países miembros, en el marco de la reglamentación de las estadísticas de empresa, (coeficientes de variación debidos al muestreo y a la no respuesta, tasa de respuesta, errores sobre la base de muestreo, comparabilidad inter temporal). Existe también un grupo de liderazgo de la calidad (LEG) animado por los estadísticos suecos y que se ha orientado hacia los aspectos de la calidad total.20 La última mesa redonda sobre directorios de empresas dedicó la mayor parte de su tiempo a varios artículos de fondo sobre la calidad de los mismos. El coloquio anual sobre el tema de Data Editing, que tuvo lugar en Roma en 1999, ha sido objeto por primera vez de numerosos aportes sobre el impacto de los tratamientos (control, imputación) sobre la calidad de las estadísticas. Si se analiza la situación por países, se encuentran numerosos desarrollos alrededor de este tema, notablemente en Suecia, pero también en el Reino Unido, Holanda e Italia.

Nota sobre el mejoramiento permanente de los programas de tratamiento estadístico

Existe frecuentemente la tendencia a pensar que mejorar la calidad utilizando algunos instrumentos bien enfocados, como la modificación de las cadenas de producción y en particular los programas de informática, es en el fondo una operación bastante simple: es un error. Si se quiere hacer evolucionar los programas hacia la calidad se les debe diseñar en otra forma, en particular deben tener un grado de generalidad suficiente para ser adaptables (programación declarativa, parametrización, etc.).

Igualmente se piensa que el proceso de tratamiento de la información tiene por objeto obtener como “producto” único una base de datos individuales limpia; es también un error grave. Se deben tener dos productos: la base de datos y un conjunto de informaciones sobre el procedimiento, estas últimas permitirán posteriormente un mejoramiento. De esta manera el proceso se autogenera en parte.

Los instrumentos que permiten la modificación de la cadena de tratamiento deben tenerse en cuenta desde el principio; en cierta forma la cadena debe estar dotada de un ojo; de una capacidad de auto-observación; de la facultad de medir sus propias acciones, mejor aún, esta cadena de tratamiento debe ser fácilmente transformable. En otros términos, esto equivale a decir que se debe dar a los instrumentos la plasticidad necesaria para introducir cambios en el futuro.

Existen en Francia numerosos instrumentos de uso general, debidamente documentados, los cuales, como se ha mencionado, facilitan considerablemente el enfoque de la calidad. Además de CAPI, SICORE y CALMAR, ya citados, se deben también mencionar OCEAN para el muestreo de empresas, y CITRUS para la información sobre la reestructuración de las empresas. Finalmente, es importante mencionar que juegan un papel relevante para la estandarización tanto el desarrollo de las muestras maestras, en estadísticas demográficas y sociales, y SIRENE para las estadísticas empresariales.

Se ha definido, o se encuentran en este proceso, un cierto número de indicadores de calidad. Por ejemplo, el informe modelo (o informe tipo), en vigencia desde 1997, permite establecer un marco de análisis a los informes de la encuesta para evaluar su calidad “a priori”. El grupo de trabajo sobre la calidad de SIRENE, condujo a la redacción de un informe que propone principios generales e indicadores sobre la calidad de los directorios. Un “mapa de calidad”, destinado a las organizaciones profesionales que administran encuestas en las diferentes ramas de actividad de la industria, está en proceso de redacción. Muy recientemente se ha presentado a los servicios de recolección un modelo de informe sobre la calidad: el propósito es que el informe, después de diferentes ajustes, sirva de marco a los balances de calidad de las encuestas a las empresas.

En el plano metodológico se debe, en primera instancia, destacar el trabajo de fondo que se ha hecho sobre el cálculo de la varianza gracias al programa POULPE (de por sí un instrumento de calidad) y que ha hecho posible desarrollar el uso de cálculos de precisión en las encuestas a hogares. En cuanto a las estadísticas de empresa, los trabajos recientes se han orientado a la estimación de los falsos activos21, los indicadores de calidad en las encuestas anuales a empresas22 (EAE) y a la metodología de comparación entre fuentes (aplicada a la comparación de las EAE y los datos fiscales).

Finalmente, la posibilidad práctica de evaluar la calidad no está solamente asociada con los instrumentos sino también con los datos administrativos y con los metadatos que deben conservarse en las bases de datos de la encuesta. En este campo se dispone ya del DDS (diccionario de datos estadísticos). La generalización se juega a nivel de los datos. La coordinación se organiza bien por los estadísticos (tronco común de las encuestas a hogares, tronco común de las encuestas a empresas) o les es impuesta de hecho (es el caso de los registros administrativos: estado civil, declaraciones fiscales anuales, declaraciones de IVA, declaraciones anuales de datos sociales).

Controlar un proceso orientado al usuario

En el proceso de producción estadística, tal como hemos visto, intervienen diversos actores, animados por diferentes objetivos de calidad que les son propios, pero que deben contribuir conjuntamente a la calidad final de las estadísticas.

En primer lugar se constata que la calidad es, en realidad, el control de un proceso: saber qué se hace y por qué se hace, saber cuál es el flujo de operaciones sucesivas de donde surge el “producto” estadístico (trazabilidad), conocer los aspectos débiles y desde luego saber evaluar. Sin medida no hay calidad. Una vez se tiene el dominio del proceso, y que se ha establecido una batería de indicadores normalizados, resulta mucho más fácil interrogarse sobre el mejoramiento de la calidad, sobre las acciones que se deben realizar, y sobre la posibilidad de comparar dos productos estadísticos. En este momento en el INSEE no existe todavía una norma común (conceptual o de instrumentos, a pesar de que son muy numerosos los desarrollos de estos) sobre lo que fundamentalmente debe ser el proceso de la producción estadística.

Un segundo punto que no debe perderse de vista: el proceso de producción estadística no tiene sentido sino cuando está orientado al usuario (real o potencial) que quiere disponer de datos útiles, legibles, confiables, recientes y coherentes. En efecto, el interés por la cifra no se justifica, en lo esencial, sino por las acciones que puede sustentar. Este aspecto se encuentra a menudo fuera del universo del estadístico, aunque se insista sobre la pertinencia como criterio de calidad. El hecho es que tenemos una tendencia natural a no interrogarnos sobre las utilizaciones. Hay allí una paradoja, aunque no se pueda ciertamente limitar el trabajo del estadístico a la satisfacción de las necesidades de un conjunto predeterminado de usuarios23.

Por el momento, nuestros hábitos de trabajo excluyen un enfoque normativo y generalizado de la calidad. Las mentalidades cambian: es posible comprometerse hoy sobre un trabajo de fondo sobre la calidad de nuestras estadísticas. Este trabajo no será fructífero sin una voluntad común, en todos los niveles, apoyados en un enfoque institucionalizado. Una condición previa es la coordinación fuerte de los métodos. Deben adoptarse también principios comunes, principalmente sobre la conservación de metadatos y montar indicadores normalizados y comparables. Finalmente se necesita la difusión sistemática de estos resultados y las fichas de documentación metodológica.

1 Es la traducción del término inglés quality control. Conduce a múltiples equívocos principalmente con el de verificación de los productos a posteriori (mientras que el control de la calidad se materializa en el seno mismo del proceso de producción).

2 No se puede comparar la calidad de un auto Citroen 2 CV con la de un Rolls-Royce pues las necesidades que satisfacen son distintas.

3 Posteriormente y por razones de utilidad se hará referencia al sitio de la AFNOR (www.afnor.fr) en la sección de Estandarización.

4 En una primera versión del documento de Eurostat, el costo estaba incluido.

5 Debe observarse que una gran parte de los indicadores propuestos por Eurostat se aplica potencialmente a las estadísticas establecidas a partir de registros administrativos.

6 Vigente desde Julio de 1996

7 Para ello la homología de las formas cognoscitivas, materiales o no, es esencial pero difícil de manejar: en el fondo, debería asegurarse la correspondencia entre los esquemas mentales del entrevistado y del entrevistador, recurriendo eventualmente a instrumentos susceptibles de elaborar el producto “respuesta a la encuesta”. Sobre este tema ver L. Thévenot, Las inversiones de forma, Convenciones Económicas, Paris CEE/PUF, 1986.

8 Los encuestados, en particular las empresas, son cada vez más sensibles al hecho de ser tratadas como “subordinadas”.

9 En Holanda y Australia, entre otros, los cuestionarios enviados a las empresas se terminan sistemáticamente por una pregunta sobre el tiempo empleado en su diligenciamiento.

10 Es necesario distinguir entre la pertinencia de la encuesta y la pertinencia de las estadísticas. En el primer caso se busca establecer, en forma general, si el tema que aborda la encuesta es de interés; el término de oportunidad es el mas adecuado. En el segundo, una vez realizada la encuesta (que es supuestamente pertinente), se presentan innumerables posibilidades de cuadros y gráficos dentro de los cuales se deben escoger los útiles.

11 En ocasiones la existencia de comités está atada a las necesidades financieras (encuestas regionales, por ejemplo). Cada vez más estos grupos se constituyen con independencia de la condición financiera, con el objeto de hacer conocer un trabajo y promover la utilización de sus resultados, sea en estudios teóricos, sea en la toma de decisiones.

12 Cf. Un archivo prototipo del Comité de marca.

13 En el caso de las estadísticas económicas, el directorio de unidades económicas es SIRENE (sistema de identificación de establecimientos, equivalente en cierta forma al NIT colombiano, n.t.).

14 A tal punto que la tasa NPDI es un criterio básico para las empresas de mercadeo directo.

15 En particular hacer los cálculos con “la muestra de respondientes” sin más procesamientos. Es equivalente a considerar que los respondientes son una sub-muestra de la muestra original.

16 Todas estas medidas se deben realizar por categorías de la población y no sobre la población total.

17 La expresión es en particular vaga y se aplica más a los servicios estadísticos privados.

18 Los instrumentos administrativos de los procesos, denominados también como los flujos de trabajo, tienden a generalizarse y permiten representar gráficamente el proceso, visualizarlo mejor y administrarlo.

19 No se trata de normalizar las necesidades o las estadísticas producidas puesto que existen diferencias de consideración entre la estadística nacional y regional y hay una gran heterogeneidad en las necesidades regionales.

20 Grupo que se reunió en París en marzo de 2000.

21 Ver el artículo preparado por H. Mariotte para la última mesa redonda sobre los directorios de empresas.

22 Ver V. Lamour, Indicadores de Calidad para las encuestas anuales a las empresas, Dirección de Encuestas Anuales, Septiembre 1998.

23 Al contrario de la contabilidad empresarial que es "otra máquina de moler cifras".

Bibliografía

AFNOR - Gérer et assurer la qualité. Qualité et efficacité des organisations, Paris, Amor, 1996.

P. Arondel, R. Depoutot - Overview of Quality Issues when Dealing with Socio-Economic Products in an International Environment, Actes du congrés de l'ASU, Rennes, 1998.

CNIS - Dossier-type du Comité du label (configuration entreprises). Note CNIS n° 108/D130, marzo 1997.

F. Cochoy, J.-P. Garel, G. de Terssac - Comment I'écrit travaille l'Organisation: le cas des normes ISO 9000, Revue française de sociologie, XXXIX-4, pp. 673-699,1998.

L. Cruchant - La qualité, Que sais-je ? julio 1998.

P. Domergue - L'approche de la qualité 8 I'Insee, Note Insee n° 964/D201, mayo 1999.

P. Engstrom, L Granquist - Improving Quality by Modern Editing, UN / ECE Work Session on Statistical Data Editing. Rome, Working Paper N° 23, junio 1999.

Eurostat - Quality in Structural Business Statistics. N° D3/96/03, 1996.
Eurostat - Proposal far a Quality Report on Structural Business Statistics, N° D3/Quality/96/04 final, 1996.
Eurostat 3 réunion du CPS, LEG sur la qualité CPS 1999/32111/FR, marzo 1999.

G. Griffiths. S. Linacre - Quality Assurance for Business Surveys Business Survey Methods, Wiley, pp. 673-690,1995.

T. Holt & T. Jones - QuaIity Work and ConfIicting Quality Objectives 84 conférence des DGINS, Stockholm, 28-29 mayo 1998.

J.-C. Labat - Les indicateurs de qualité des opérations statistiques de la direction des statistiques démographiques et sociales, Rapport de mission, 1998.

L. Lyberg & al. - Survey Measurement and Process Quality, Wiley 1997.

A. Manzari, G. Della Rocca - A Generalizad System Based on a Simulation Approach to Test the Quality of Editing and Imputation Procedures, UN / ECE Work Session on Statistical Data Editing, Roma, Working Paper N° 13, junio 1999.

P. Rivière - Proposition de structure-type de bilan qualité pour les enquêtes auprès des entreprises, Note Insee n° 228/E210, octubre 1999.

M. Volle - Système de pilotage de I'entreprise (site Internet www.volle.com).
M. Volle - Rapport général sur I'évolution a moyen terme de I'appareil statistique français, présenté au CNIS en 1989.