Resumen
Este artículo culmina una serie de tres; los precedentes, publicados por Ib Revista de la Información Básica, trataron el enfoque costo-calidad en la producción estadística y los aspectos de calidad que le son propios, de una manera general. Se ha mostrado cómo el manejo de categorías sin codificación previa, la verificación y la depuración de los datos constituyen las operaciones principales de esta producción. En ellas es pertinente establecer un balance1 entre el costo (representado principalmente por la cantidad de recurso humano empleado) y la calidad (tomada en el sentido de la confiabilidad). En este artículo se busca establecer, en forma práctica, una serie de indicadores de calidad que permitan hacer el balance mencionado, tanto en materia de producción estadística propiamente dicha, como en el que atañe a los directorios. ¿Con qué criterios se les puede definir?, ¿cómo hacerlos operativos?, ¿cómo introducirlos en una organización existente? Y finalmente, ¿cuáles son los obstáculos que se deben superar?
Palabras claves
Enfoque costo-calidad, indicadores de seguimiento, indicadores de calidad, verificación, corrección de inconsistencias.
Abstract
This article ends a series of three; the previous ones were published by Ib. They were devoted to the cost-quality approach in the case of statistical productions and to general quality aspects in this activity. They have shown that coding open categories, verification and data editing are the main processes in data production. It is in particular adequate to establish for these processes, a trade-off between cost (measured by the amount of human resources assigned to their execution) and quality (here conceived in terms of reliability). The article presents, on practical grounds, a series of quality indicators to facilitate the analysis, not only for statistical production as such but also for basic reference registers. Which criteria define these indicators? How is it possible to make them operational? How to introduce them in an existing organization? And finally, which are the obstacles to overcome?
Key words
Cost-quality approach, follow-up indicators, quality indicators, data editing.
Introducción
Una de las grandes dificultades que el enfoque de calidad trae consigo es que obliga a cambiar de punto de vista, a modificar la percepción de las cosas. La consulta de la literatura existente no puede menos que sorprender por las definiciones utilizadas. La calidad, según esta literatura, es ante todo la aptitud de uso, la capacidad de satisfacer necesidades manifiestas o implícitas. No es pues, como alguien hubiera podido pensar, la conciencia profesional. Se puede dar el caso de trabajo concienzudo sin que, in fine, su resultado sea de calidad. La adopción de un enfoque de calidad implica, fundamentalmente, el replanteamiento de la práctica. Esto no supone ni una crítica a la experiencia adquirida ni un cuestionamiento de la voluntad de los agentes de hacer un buen trabajo. Es posible tener una organización en la cual cada uno sea competente y esté animado de las mejores intenciones, sin que el resultado global sea apropiado. Con el enfoque de calidad se trata de dejar el esquema en el cual uno se juzga a sí mismo, para pasar a una lógica de evaluación objetiva, fundada en criterios previamente definidos y asociados con una necesidad, con un propósito. Así, por ejemplo, dictaminar que los datos de una encuesta son “de buena calidad”, no tiene en principio sentido: todo depende de lo que se quiere hacer, de la utilización que se le va a dar.
Otra característica del enfoque de calidad es que se le debe considerar como un proceso continuo, lento, permanente. Obtener algún reconocimiento en un momento dado, por medio de una certificación de calidad, por ejemplo, no constituye en manera alguna un objetivo per se. Una fotografía de la situación en un momento particular no es prueba de que esta calidad perdurará. El enfoque y los indicadores de calidad deben, primordialmente, quedar integrados en el trabajo cotidiano.
Este enfoque debe, naturalmente, impulsar a quienes conciben las actividades para hacer objetivo el trabajo de producción, a formularse desde un principio las preguntas sobre la utilización2 de las estadísticas (o de los instrumentos de referencia) y también, como se verá más adelante, a que se replantee el esquema de la organización. Es importante, entre otras cosas, no olvidar jamás la máxima clásica de los analistas de la calidad: “El exceso de calidad es la negación de ella”.3 Hacer las cosas demasiado bien puede tener efectos negativos como costos adicionales y extensión de los plazos establecidos, que hacen parte de la calidad en estadística. Para evitar estas desviaciones, los metodólogos deben hacer objetivas las metas que quieren alcanzar y explícito lo que entienden por calidad. Para ello se requiere establecer una serie de indicadores de calidad, coordinados por la organización en su conjunto y puestos a disposición de todos. Es indispensable que los indicadores de calidad se entiendan, interpreten y calculen fácilmente.
En las líneas que siguen recordaremos, en primer lugar, el contexto, ligado estrechamente con el artículo anterior. Propondremos luego, una estructura para la creación de un sistema de indicadores, con un esquema que va de lo general (grandes dimensiones de la calidad), a lo particular (principios de los indicadores de calidad). Enseguida se darán las guías para construir un indicador práctico y calculable. Se planteará después, la cuestión de insertar este indicador en la organización, lo cual es indispensable para llegar a una verdadera industrialización y al empleo de los indicadores de calidad. Al final se vera cómo existen obstáculos, nada despreciables, que hacen delicado el establecimiento de tal sistema de organización.
1. El contexto: ¿de qué calidad estamos hablando?
En estadística la calidad abarca numerosos aspectos, y nos concentraremos aquí en algunos de ellos. Así pues, no se tratará de la “calidad del servicio” (por ejemplo de la calidad de recepción a usuarios), ni de la calidad de las publicaciones (cf. Los criterios de legibilidad y accesibilidad tal como los ha definido EUROSTAT).
Interesa la calidad de la producción de cifras para tener el control de este proceso. Se distinguen dos casos: la producción estadística y la administración de instrumentos de referencia.4 Se había visto en el artículo anterior que lo esencial de la producción estadística reside en verificar y depurar la información, y en corregir los errores introducidos por los sistemas que codifican automáticamente. Las mismas observaciones se pueden hacer cuando se elaboran instrumentos como los directorios: la parte esencial de la carga de trabajo y de las demoras inducidas provienen del manejo de aquello que no se ha podido tratar automáticamente. Existen puntos en común entre las dos producciones, pero lo que caracteriza la de los directorios es, entre otros, el carácter continuo de su producción (no hay operación de encuesta en un momento determinado), y el hecho de que la información se utiliza para fines diferentes del estadístico.
5
Queremos ubicarnos en el marco de indicadores de producción, llamados a regular el trabajo de verificar y depurar la información y a racionalizarlo sobre la base del tríptico costo-calidad-tiempo. Nuestro análisis no busca establecer indicadores de calidad de las estadísticas en general; nos concentraremos sobre indicadores que permitan un mejor control de la producción. Se trata, en realidad, de un verdadero barril de Danaides:6 en este fastidioso trabajo de la verificación no se sabe a ciencia cierta dónde y en función de qué, darlo por terminado; en qué orden se debe verificar y con qué objeto. El propósito es servirse de los indicadores para tomar decisiones importantes: terminar el proceso de verificación, asignarle recursos adicionales, aceptar una calidad menor en ciertos tramos de una investigación, etc. Se busca regular los procesos y saber ubicarse; dar una base sólida y rigurosa a la noción “datos de buena calidad”, sin dejar de lado el criterio del uso de la información.
Se ha mencionado anteriormente que esta noción depende de las variables y de los dominios de análisis pero, intuitivamente, hay una tendencia a concretar el tema mediante porcentajes de error observados: si los errores son numerosos se tiende a pensar que hay un problema de confiabilidad. En los análisis que hacen los responsables del proceso, esta visión está sesgada pero no pueden evitarlo. Por definición, no ven sino los datos que deben ser corregidos (para los que los tratamientos automáticos no han sido suficientes), los que tienen problemas, los casos anómalos, aunque puede haber una proporción muy importante de datos tratados automáticamente que no causan preocupación alguna. Tienen la impresión de que los datos presentan una gran cantidad de errores, sin que esto sea necesariamente objetivo, cuantificado. Se evidencia entonces la importancia de crear una medida sistemática, con la que se intente, de paso, hacer objetivo lo que quiere decir el término “error”. Aparece igualmente el interés por centrar el trabajo en variables y en dominios, pues será muy útil establecer las zonas menos confiables de la base de datos.
Es necesario destacar la distinción entre indicadores de calidad e indicadores de seguimiento. Cuando se habla de la tasa de avance de la verificación, del tiempo empleado, del número de casos que se deben tratar, estamos utilizando indicadores de seguimiento: responden a una lógica interna y, en ningún momento, constituyen indicadores de calidad puesto que no permiten, en forma alguna, visualizar el impacto del avance de la producción sobre la confiabilidad de los resultados estadísticos al término del proceso. Dicho en otra forma, no se ha tenido en cuenta la utilización final de los datos.
2. El diseño de un sistema de indicadores para la producción: proceso descendente
El establecimiento de indicadores de calidad constituye, en la práctica, un trabajo difícil. “Es necesario poner veinte veces el tejido en el telar”. La dificultad no reside en imaginar algunos indicadores; aunque no es simple, siempre es posible construir tales datos. El problema es garantizar que el conjunto de indicadores sea coherente, relativamente exhaustivo, y que represente el consenso de objetivos que los diseñadores quieren alcanzar… además, que sea calculable en la práctica. No se trata de hacer gala de habilidad metodológica, es más bien lo contrario: hacer lo simple y eficaz. No debe descartarse el peligro de largas listas de indicadores y de múltiples cuadros de cifras.
¿Cómo comenzar? No se debe acometer de inmediato la definición de los indicadores, no es conducente y hace perder la distancia requerida frente al problema. Es importante razonar respetando los diferentes niveles de abstracción. Se debe partir de “arriba”, es decir, de conceptos generales y descender progresivamente hacia los aspectos operativos, respetando en cada etapa que no se presenten filtraciones de un nivel de abstracción a otro.
Concretamente, tomando como ejemplo el caso de un directorio empresarial, se debe comenzar por la descripción de los aspectos que limitan la confiabilidad de este directorio. Por ejemplo, sobre-enumeración (indispensable controlar la correcta ubicación de las unidades inventariadas), sub-enumeración (procurar no olvidarla), inconsistencia de las variables de las unidades mismas. Se debe buscar ser exhaustivo en esta descripción.
En este momento se podrán distinguir dos categorías: En cuanto a la sobre-enumeración, puede crearse una categoría “doble contabilización”, donde se registrarán las unidades que aparecen dos veces en el directorio. Igualmente se podrá crear una categoría para “entradas falsas”. Debe darse la posibilidad de registrar la totalidad de los problemas, es decir de conformar una nomenclatura.
Finalmente, constituidas las categorías y sub-categorías, se deberán construir las bases de los indicadores (no los indicadores mismos). Para un directorio, por ejemplo, la tasa de los NPDI (no presentes en la dirección indicada); para una encuesta, el error de muestreo, la tasa de no respuesta, etc. Como puede verse en estos ejemplos, todavía estamos en un nivel de iniciación, no se da aún elemento alguno sobre la forma en que el indicador operacional quedará definido. Durante esta etapa, en ningún momento se trata de cuestionarse sobre la existencia misma de datos que permitan calcular un indicador. No se conocen, hasta aquí, las estructuras. Estamos todavía en un plano abstracto, definiendo simplemente lo que sería deseable hacer…, aunque posteriormente se constate que no se puede construir un indicador que corresponda con el principio deseado.
La etapa siguiente tiene una naturaleza completamente distinta; a partir de las bases de los indicadores se tratará de pasar a los indicadores operacionales. Es decir, el indicador se definirá por medio de una fórmula matemática que incluye una serie de variables (existentes o fabricadas).
3. Hacia los indicadores operacionales: campo, variable de interés, dominio objetivo…
Continuemos con el proceso descendente. Partimos de “arriba” y tenemos bases de indicadores aún difusos. Para cada base de indicador es necesario describir cómo se pasa a un indicador concreto. La idea fundamental es describir para cada indicador:7 su campo, la variable de interés sobre la que centra su atención, el conjunto de dominios objetivo para los cuales se calculará y, finalmente, su forma de cálculo.
El campo al cual se aplica el indicador (temporal o espacial) no es nada diferente de la población a la cual éste hace referencia, tanto en términos de tiempo (o del período de referencia) como de unidades estadísticas (hogares, individuos, empresas, establecimientos). Por ejemplo, empresas del sector industrial en diciembre 2004. Sobra decir que un indicador está referido a una variable de interés dada, existente (número de trabajadores de una empresa, condición -activa/no activa-) o derivada (doblemente contabilizada, por ejemplo).
La tabla de dominios objetivo (sub-poblaciones objeto de estudio) constituye un elemento vital para controlar el proceso de calidad. Este hecho impone que de antemano se hayan definido los objetivos asociados con la producción. En la medida en que estos dominios sean más finos (selectivos) y numerosos, los costos serán más elevados y se hará necesario sopesar el análisis entre dominios. Desde luego, la idea general es apoyarse sobre las necesidades de “los usuarios”. En la práctica estos usuarios son muy diferentes, no siempre son fáciles de identificar, pero están siempre ávidos en materia de datos. Es muy difícil fundamentar la totalidad de un trabajo sobre un conjunto heterogéneo de necesidades. En cuanto al nivel de detalle de las estadísticas, el estadístico tendrá la responsabilidad de realizar un compromiso adecuado entre el volumen de necesidades (o al menos las que se manifiestan para un nivel de detalle dado) y lo que es realizable con los medios disponibles, para definir finalmente el conjunto de dominios objetivo.
4. … y sobretodo, una forma de cálculo aplicable
Definidos el campo, la variable de interés, el dominio objetivo, resta la dimensión principal del indicador, su forma de cálculo. Es conveniente subrayar que la escogencia del término indicador no es un hecho fortuito, pues no se puede encontrar una verdadera medida de la calidad. Es una observación que ya se ha vuelto clásica: Si fuera posible medir perfectamente la confiabilidad de un directorio X, con relación a un directorio Y, entonces el directorio Y sustituiría al X, cuya producción carecería, en consecuencia, de interés. En el campo de datos estadísticos y administrativos no existe, en general, un directorio de referencia absoluto, indiscutible, sin error.8 Es indispensable tener esto en cuenta cuando construimos los indicadores. Hay que encontrar “atajos” que, sencillamente, permitan una aproximación a la base del indicador deseado.
Tomemos un ejemplo: ¿Cómo representar la idea de confiabilidad de la actividad principal de una empresa? Dado que no existe a priori una referencia externa, una alternativa sencilla es la de tomar la antigüedad de esa variable, es decir, el número de años durante los cuales no ha sido modificada. Es claro que a mayor antigüedad de la actividad principal, menor será la calidad de la variable. Es cierto que se trata de una información parcial, pero importante, que se basa sobre datos disponibles (fecha de validez). Otra posibilidad, cuando no hay referencias de base, sería la de crearla, consultando la información: ir y verificar el dato (llamar por teléfono, investigar en Internet o en Minitel, encuestar en el terreno), para una muestra. Esto trae consigo dos problemas: costo (razón por la que probablemente se limite el campo de investigación) y la confiabilidad de esta nueva medida (se requeriría de un experto, capaz de determinar en cada caso la actividad principal “buena”). Tras de estas observaciones se perfila una idea de sentido común: la construcción de un indicador de calidad operacional, se debe basar en datos disponibles o en informaciones adicionales que esté en condiciones de obtener. La debilidad en estas informaciones conduce a soluciones no satisfactorias intelectualmente… o a soluciones costosas, si se quiere realizar de todas maneras una investigación específica.
Para ser más exacto, a menudo el cálculo del indicador se realiza en dos fases. Se establece primero un cierto indicador de calidad individual, dato por dato (o unidad estadística por unidad estadística). Puede tratarse de una desviación con relación a un dato tomado como referencia, de la edad de los datos o de la medida de la coherencia en función de alguna norma.9 Puede también tratarse de datos binarios que indiquen si el dato ha sido o no corregido, si es faltante, anómalo, verificado por un operador, modificado por un operador, considerado aceptable por un experto, que la unidad este presente en la dirección indicada, que haya respondido, etc.
En una segunda fase, se efectúa una síntesis de esta información, realizando el cálculo en el campo que se ha fijado inicialmente y sobre cada dominio objetivo. Cuando se parte de un indicador binario, por ejemplo el hecho de haber sido o no respondido, el indicador de calidad será una proporción, en este caso la tasa de no respuesta, que es una agregación de indicadores binarios; esta proporción podrá ser simple (tasa de respuesta a una pregunta, tasa de unidades corregidas, tasa de NPDI, tasa de conformidad, tasa de doble contabilización…), o hacer uso de algunas variables binarias (tasa de unidades modificadas dentro de las consideradas anómalas).
Si los indicadores individuales son cuantitativos, se hará referencia a su distribución, con un indicador de tendencia central (media, mediana, máximo, cuantiles). Por ejemplo: rezago máximo de incorporación de los nacimientos en un registro, edad promedio de una actividad económica, noveno decil en las “calificaciones de coherencia”. Se puede referir también a indicadores de dispersión (muy frecuentemente coeficientes de variación), referidos a los datos mismos y no los indicadores de calidad, teniendo en cuenta las ponderaciones de las encuestas y otras características.
5. El caso de los instrumentos de referencia, el de la producción estadística: algunas pistas
En el caso de la administración de instrumentos de referencia, se pueden identificar cinco formas para construir los indicadores individuales:
- Utilizar fuentes de información externas contra las cuales se hará la comparación (registros administrativos, encuestas…). El indicador individual será, para cada dato, una medida de la distancia a la fuente que se supone es la referencia (con todas las reservas que esto puede traer consigo).
- Desarrollar una investigación específica, de tipo encuesta de mejora de directorio, y allí también basarse en la desviación, frente a esta nueva fuente de información, dato por dato.
- Analizar la coherencia interna en relación con otras variables del mismo directorio (tomar la relación entre ventas y personal empleado, por ejemplo): el indicador de calidad es ahora cualitativo, según la magnitud de la incoherencia.
- Analizar la coherencia temporal refiriéndose al valor de la variable en períodos precedentes (año, mes, trimestre,…), Se puede combinar coherencia temporal, interna y entre fuentes, para sintetizar todo con una calificación (nota).
- Apoyarse sobre el metadato individual. En particular se refiere a las fechas de validez de la información, que permite saber qué tan frescos son los datos, o toda fecha de actualización, que permite establecer el rezago de captura de un nuevo registro en el directorio.
En el caso de la producción estadística,10 existen indicadores de calidad basados en la coherencia interna del formulario, en la coherencia temporal, o en la desviación frente a otras fuentes (el caso de la codificación automática en donde se puede contar con la ayuda de un experto). A menudo son los indicadores de coherencia individual los que van a señalar al encargado de la producción cuáles son las unidades en las que debe intervenir. Los indicadores basados en metadatos también son de uso corriente (las tasas de respuesta a una pregunta, a todo un formulario) y muy útiles, sobretodo en la reformulación posterior de las categorías de respuesta.
Se puede también emplear indicadores de precisión, considerando diferentes fenómenos (error de muestreo, error de medición, error debido a la no respuesta)11 La experiencia muestra que tales indicadores, los coeficientes de variación principalmente, son muy poco utilizados para control de producción.12
Es importante no tratar de construir un indicador de precisión elaborado, por simple prurito metodológico. Se trata de tener instrumentos de control de la producción y no de la calidad “final”. Así pues, se puede calcular la precisión aproximada, razonando sobre la varianza de muestreo, “haciendo como si…” la muestra se limitara al subconjunto de los que responden, lo que exige, en consecuencia, ajustar los factores de expansión.
6. Puesta en práctica dentro de la organización: continuidad, el vínculo calidad acción…
Supongamos ahora que nuestros indicadores han sido definidos y que son operacionalmente calculables. El enfoque de calidad solamente presenta interés si puede ser objeto de comparaciones en el tiempo, de manera continua, perenne. Los indicadores no se calculan puntualmente sino de manera sistemática. Para lograrlo, para industrializar su producción, se requiere montar toda una infraestructura, una documentación metodológica, así sea sencilla, una aplicación informática cuyo mantenimiento esté garantizado y, primordialmente, una organización del trabajo claramente definida (repartición de roles y responsabilidades, intercambio de información entre grupos de trabajo, apoyo mediante acciones de formación). Esta infraestructura podrá también servir para tratar en la misma forma los indicadores de seguimiento de la producción (número de formularios procesados, tiempos empleados,…), que reflejan el estado de avance en el funcionamiento interno.
Esto no es todo. No se puede pensar en construir indicadores de calidad si no es posible mejorarlos. No presentarían interés si sólo sirvieran para hacer evidentes las fallas estructurales, sin posibilidad alguna de intervención. Es importante que las acciones correctivas sean susceptibles de mejora. Todo indicador que revele un comportamiento deficiente debería, en principio, desencadenar acciones a corto y mediano plazo. Esto es válido durante una fase de producción, en el caso de una encuesta. Por ejemplo, constatar, mediante indicadores de precisión, que las estadísticas de determinado sector de actividad son poco precisas, debería conducir a movilizar más personal para las tareas de verificar y corregir los formularios de ese sector. Estas acciones se pueden llevar a cabo entre dos fases o tipos de investigación. Por ejemplo, en un censo, los indicadores de calidad de la codificación de la variable profesión permiten la identificación de las categorías socio- profesionales que menos bien se manejan en las codificaciones automáticas. Se hará énfasis en ellas en el momento de ajustar las bases utilizadas por la codificación automática y mejorar así las encuestas subsiguientes. En el caso de los directorios, donde la actualización se hace de manera permanente y no por fases, las acciones son de naturaleza diferente. Se deberán plasmar en las encuestas de mejoramiento de directorios, orientándolas a enfocar mejor las variables de interés y las variables más críticas.
7. … pero también legibilidad
Para que el encadenamiento indicador deficiente acción correctiva sea eficaz, y para que los objetivos de apropiación colectiva y de continuidad puedan lograrse, la legibilidad de los datos sintéticos sobre la calidad se convierte en un aspecto esencial. Requiere un proceso de comunicación, una pedagogía adecuada, reuniones para conciliar puntos de vista, presentaciones, todo ello acompañado de acciones de formación y, desde luego, de la circulación de documentación adecuada. Dentro del cuerpo mismo de los informes de calidad, la legibilidad supone una presentación normalizada, títulos comprensibles, comparaciones con indicadores previamente analizados, verificación de los valores que parecen aberrantes, recorte de lo que no aporta información, preocupación permanente por la simplificación y producir comentarios a las series de indicadores.
El peligro es limitarse a la producción de cuadros con cifras, sin trabajar la forma, sin textos explicativos, considerando implícitamente que “no vale la pena pues todo el mundo entiende”. Se trata de un problema clásico, frecuente, revelador de una lógica interna que va en dirección contraria al enfoque de calidad. Nunca será excesiva la insistencia en este punto: el trabajo no se ha terminado con el cálculo de los indicadores. La parte esencial del trabajo es lo que se sigue de allí: administrar el conjunto de indicadores de manera sintética y comprensible en un solo documento. Se trata de una inversión permanente y no puntual. En consecuencia, si los informes de los balances de calidad tienen una cierta estabilidad en el tiempo (analizada su comparabilidad), esto no quiere decir que estén grabados en mármol. Se debe tratar de hacerlos evolucionar, enriqueciéndolos o simplificándolos para que, dentro de lo posible, sean legibles y eficaces.13
8. Obstáculos, ¿cuáles?
El establecimiento de los indicadores de calidad requiere una formalización profunda de los objetivos. Se encuentra , a menudo, que estos últimos pueden ser poco explícitos o en exceso variados y numerosos. Definir a priori un conjunto de objetivos reducido constituye una dificultad enorme. En el fondo, cada uno piensa que los indicadores pueden servir para todo tipo de uso y el hecho de limitar estos usos exige un compromiso fuerte, que produce, inevitablemente, descontento. Dados unos objetivos tampoco es posible tener cientos de indicadores. La relación de calidad buena es sintética. El hecho de prescindir de numerosos indicadores interesantes desgarra el alma de los diseñadores, quienes se ven obligados a eliminar lo que ellos mismos han creado.
Una vez los indicadores cobran existencia, hay que saber hacerlos aceptar como parte integrante del trabajo. Desde ese punto de vista, la expresión “operación calidad” puede ser reveladora de mal funcionamiento por dos razones. Sugiere, de una parte, que se trata de algo puntual, mientras que en el proceso de calidad no tiene sentido sino en la permanencia, en la mejora continua y permanente; de otra parte, deja suponer que el trabajo de calidad está separado de la producción, que no hace naturalmente parte de él, cuando en realidad lo propio de un proceso de esta naturaleza es de servir de aglutinador y no de tarea suplementaria, como si fuera “la joya de la corona”. Por ello la clave del éxito de los indicadores de calidad reside en su integración en la operación corriente, en su dilución total en el seno de la producción. Mientras se hable de la operación calidad; mientras los balances de calidad se vivan como un trabajo suplementario y no como una componente de éste, no se progresará. La idea de proceso, de continuidad, de perennidad, es característica de la calidad. Esto se opone a lo vano y espectacular de una operación puntual, que daría la ilusión de que se pueden limpiar los datos y mejorar sustancialmente las cosas por medio de operaciones simplistas.
Esto significa, concretamente, que los objetivos dados a la producción, (trátese de encuestas, directorios, tratamiento de fuentes externas) como los indicadores de calidad asociados, deben llegar a todos los actores involucrados, siguiendo el organigrama en forma descendente, con participación decidida de la jerarquía. Resulta interesante mencionar cómo en Francia, la nueva ley de Presupuesto impone progresivamente el enfoque de los indicadores de desempeño, lo cual puede ser un verdadero catalizador para el enfoque calidad.
Al mismo tiempo, no debemos olvidar que los indicadores y su seguimiento no deben dejar de lado la organización, el saber acumulado y la cultura existentes, los cuales dan gran importancia, en el INSEE y en muchos otros INE, a la minucia. No se trata de cambiar radicalmente la forma de trabajo, sino de hacer valer progresivamente otra perspectiva, de que se consideren de manera más marcada y sistemática los objetivos de calidad y la cuantificación de éstos. Dicho en otras palabras, la evolución de la “conciencia profesional” de cada uno, más abierta sobre el exterior y sobre la utilidad de lo que se produce.
A medida que se incorpore más y más en los valores y sea mejor digerido, más progresará el enfoque de la calidad: su éxito residirá, paradójicamente, en la canalización y la casi total desaparición del término.
1 “El enfoque costo-calidad para el mejoramiento del proceso de producción estadística”. Ib Revista de la Información Básica, Año 2, No. 3, traducción del artículo publicado por el autor en Courrier des Statistiques No. 105-106, junio 2003.
2 Debe observarse que este aspecto de la utilización y su papel central en el enfoque de la calidad, están claramente descritos en el artículo “Calidad y Estadística”. IB Revista de la Información Básica, Año 1, No.2, traducción del artículo publicado por el autor en Courrier des Statistiques No. 90, junio 1999.
3 Esto puede parecer paradójico: la idea, cuando se habla de calidad, es buscar justo lo necesario frente a una necesidad y nada más. Tratar de ir demasiado lejos, buscar una forma de excelencia a cualquier precio es nefasto. Sobre este punto los especialistas de la calidad hacen mucho énfasis.
4 Por instrumentos de referencia entendemos, por ejemplo, el directorio de empresas SIRENE, las bases de directorios de personas BRPP o la referenciación geográfica.
5 El uso de los directorios de empresa para fines administrativos parece ser una característica francesa.
6 NR (CdS) barril de Danaides: mitología griega. Las Danaides eran las cincuenta hijas del rey de Argos quienes, con excepción de Hipermnestra, asesinaron a sus esposos durante la noche de bodas... Fueron condenadas en los Infiernos a llenar un barril sin fondo. Sinónimo de un trabajo que no se puede concluir.
7 Para mayor precisión, Cf. "Cadre général pour la mise en place d'indicateurs de qualité dans un répertoire d'entreprises", Marco general para el establecimiento de indicadores de calidad en un directorio de empresas, Nota 127/E210, agosto 2000 INSEE. Se encuentra una versión en inglés en las memorias de la “Mesa Redonda sobre marcos de encuestas a empresas”. Auckland, noviembre 2000, disponible en el portal de Statistics New Zealand.
8 Boydens, I. “Informatique, normes et temps”, Informática, normas y tiempos,, Bruylant. 1999
9 Esto puede llevar a un indicador cualitativo que tenga en cuenta una supuesta coherencia con otras variables. Por ejemplo se puede tener un indicador de confiabilidad individual de la variable VALOR DE LAS VENTAS (VV) durante un período n. Se calculará para cada unidad la relación VVn / Vn-1, la relación entre ventas y personal empleado, entre ventas y valor agregado. En forma paralela se establecerán los intervalos de validez de estas relaciones y se analizará su distribución dominio por dominio. Se atribuirá a cada empresa una “calificación” que será función del número de casos en que la relación pertenece al intervalo de validez.
10 Existe toda una batería de indicadores de calidad definidos por EUROSTAT al final de los 90 en el marco de las actividades de un grupo de trabajo. Algunos se pueden utilizar para controlar la producción
11 Cf. El artículo de Philippe Brion « La prise en compte de la qualité dans les enquêtes auprès des enterprises ». La consideración de la calidad en las encuestas a empresas. Courrier des statistiques, 115.
12 Un ensayo sobre este tema, cf. “Inpact on mean squared error as an store to handle data editing”. El impacto sobre el error cuadrático medio como score para manejar la imputación de datos. INSEE. Documento de trabajo DSE No. 2002/10.
13 Por ejemplo, la estructura del balance de calidad de las encuestas a empresas ha evolucionado, principalmente en el aspecto de “precisión”. Inicialmente había interés en la distribución de los coeficientes de variación para el conjunto de dominios objetivo, para cada variable, y se solicitaba, la mediana, el noveno decil y el máximo de esta distribución. Finalmente esto era ilegible, se le ha reemplazado por el conjunto de los coeficientes de variación para todos los dominios objetivo.
|
