Resumen
La certificación de la Información Básica de carácter Estadístico, del sector Transporte, se llevó a cabo de acuerdo a los procesos establecidos previamente por el CANDANE para tal fin. Las etapas cumplidas fueron las de preparación de la evaluación; realización de la evaluación, y certificación con base en el informe de la Comisión de Expertos Independientes (CEI). El proceso culminó satisfactoriamente con la certificación de 17 operaciones estadísticas y la entrega de los respectivos certificados en una ceremonia solemne celebrada el 3 de mayo de 2007.
Abstract
The certification of Statistical Basic Information of the Transport Sector has taken place according to the procedures established by CANDANE for this objective. Three steps to reach such goal were followed: First, preparation of the evaluation guide and documentation of the statistical products that were subject to quality evaluation; second site evaluation by the Commission of Independent Experts, and third, decision on the certification based on the report by the commission. The process came to an end in a solemn ceremony held on 3 may, 2007, when 17 certificates of quality of statistical operations were delivered.
La certificación de estadísticas del transporte
El primer logro relacionado con el mandato que el gobierno nacional le dio al DANE de crear y poner en funcionamiento un sistema de aseguramiento de la calidad del información oficial básica se ha alcanzado al cabo de 6 meses de expedición del decreto 3851 de 2006.
La Resolución 661 le otorgó al CANDANE la responsabilidad de dar cumplimiento a lo dispuesto por el artículo 3° del Decreto 3851, respecto a la operación del Sistema de Aseguramiento de la Calidad. En desarrollo de esta disposición, el CANDANE coordinó las labores de inspección, observación, y certificación de las operaciones estadísticas y bases de datos de entidades generadoras de información básica que, dentro del sector, se propusieron obtener el Certificado de Calidad de la Información Básica, CI.
La evaluación de la primera gran área de la economía se llevó a cabo entre noviembre de 2006 y abril de 2007, teniendo como entidades objeto de evaluación aquellas pertenecientes al subsector Transporte, incluyendo todas las entidades adscritas y vinculadas, y que, a su vez, son productoras de información estadística que sirve para la toma de decisiones por parte de las autoridades competentes y para la definición y seguimiento de políticas sectoriales.
Esta primera experiencia ha sido de mucha utilidad tanto para el DANE como para las entidades del subsector transporte. Para el primero, porque a través del proceso de evaluación se validó la metodología adoptada que le permitió disponer de documentos e instrumentos de soporte probados para su aplicación estandarizada en posteriores evaluaciones. Para las entidades, porque éstas podrán no sólo identificar las deficiencias técnicas que inciden en la calidad de los productos estadísticos, sino porque también contarán ahora con recomendaciones emitidas por la Comisión de Expertos Independientes -CEI- que ayudarán a mejorar la calidad de la producción de información básica.
La evaluación y calificación de las operaciones estadísticas, que generan las estadísticas propiamente dichas, se realizó por parte de la CEI, con la colaboración y apoyo logístico del personal técnico de CANDANE.
De acuerdo con el Decreto 3851/2006, las bases de datos de las entidades generadoras de información, una vez evaluadas, deben obtener un certificado de calidad para su incorporación a la Infraestructura Colombiana de Datos -ICD-, desde donde se podrá acceder y utilizar la información estadística por parte de los usuarios, a través de un portal de difusión de la Internet identificado como COLOMBIESTAD lanzado recientemente. Con la información evaluada y certificada proveniente de las entidades del subsector Transporte se inicia la alimentación de la ICD tal y como estaba previsto.
2. Descripción del Proceso:
Etapa de preparación
El programa PENDES, en su primera etapa, realizó un inventario de las operaciones estadísticas de varios sectores de información y sus correspondientes subsectores. Para el caso, transporte pertenece al sector Economía de la información.
Son entidades que producen información: el Ministerio de Transporte, la Dirección General Marítima (DIMAR), la Unidad Administrativa Especial de la Aeronáutica Civil (Aerocivil), la Superintendencia de Puertos y Transporte (Supertransporte), el Instituto Nacional de Vías (INVIAS), el Instituto de Desarrollo Urbano (IDU), la Federación Colombiana de Municipios (Fedemunicipios), el Instituto Nacional de Concesiones, y el Departamento Administrativo Nacional de Estadística (DANE).
Todas las entidades fueron invitadas a participar de un Comité Técnico Conjunto - CTC-, coordinado por un Secretario Técnico, designado por el gerente del proyecto de Aseguramiento de Calidad de la Información Oficial Básica -ACIOB-. El objetivo del Comité es elaborar la documentación y los instrumentos de base para adelantar los procesos tendientes a la Certificación de la Información.
El Comité Técnico Conjunto -CTC-, según su función programada, cumplió con los propósitos esenciales planteados dentro del proceso. El primero consistía en elaborar la Guía de Evaluación en la que se determinan los criterios o dimensiones para evaluar la calidad por parte de la Comisión de Expertos Independientes -CEI-. EI segundo fue la selección de las operaciones objeto de evaluación y certificación con base en requisitos preestablecidos para cada operación estadística.
La Guía de Evaluación producida contemplaba el procedimiento para la valoración de la calidad de los datos estadísticos generados en cada operación escogida. Se debía examinar, en primera instancia, la gestión operativa de cada una de las entidades productoras de estadísticas del sector que fueron seleccionadas para esta primera visita, en tres aspectos fundamentales: Diseño, Procesos de producción estadística y Recursos disponibles (infraestructura, financieros, humanos, técnicos y tecnológicos) que coadyuvan a una producción estadística de calidad.
En segunda instancia, se debía evaluar el producto estadístico propiamente dicho desde el punto de vista del cumplimiento de los parámetros de evaluación descritos anteriormente. Cuando algún criterio se cumplía parcialmente, o no se cumplía, los miembros de la CEI verificaban los diferentes componentes del proceso de producción estadística donde se generaban las fallas, según fueran de diseño, recolección, procesamiento o difusión.
En cuanto a la selección de las operaciones a evaluar, ésta se hizo teniendo en cuenta los requisitos estipulados en la Guía para la evaluación, es decir:
- Que fuera una operación estadística
- Que la realizara una entidad del sector oficial, preferiblemente del subsector transporte.
- Que generara información estadística básica, estratégica para la toma de decisiones; para la fijación de políticas sectoriales y para el control y evaluación de la gestión administrativa. En general, que fuera de interés público.
- Adicionalmente, se incluyeron algunas operaciones estadísticas de utiidad para las Cuentas Nacionales producidas por el DANE.
Una de las tareas importantes de la secretaría técnica fue reunir, revisar y preparar el envío de cada uno de los documentos de soporte para ser remitidos oportunamente a los miembros de la CEI. Esta actividad consistió en que cada una de las entidades involucradas, llenó un formulario por cada operación estadística seleccionada, el cual se les entregó con anticipación acompañado de un instructivo de diligenciamiento. Estos instrumentos de información documental fueron enviados a las entidades con el propósito de que fueran estudiados y devueltos con los comentarios u observaciones descritas en el formato diseñado para el efecto. Posteriormente, una vez se corregían en CANDANE y se sometían a consideración y aprobación del CTC, se remitían nuevamente a la CEI, ahora con carácter de definitivos.
Visita de evaluación
La misión se realizó en dos fases en las que se efectuaron las visitas en sitio. La primera tuvo ocurrencia la semana del 5 al 9 de febrero semana de febrero de 2007, la segunda en la última semana de marzo. Las EPIB prepararon presentaciones para la CEI que incluían, para cada operación estadística objeto de evaluación, los temas contenidos en el formato de documentación. En síntesis, la presentación contenía aspectos relacionados con la estructura orgánico-funcional de la entidad, con énfasis en señalar las dependencias que realizan las labores de diseño de la operación, mostrando los documentos existentes (metodología de la operación, instructivos para desarrollar las diferentes etapas del proceso estadístico, los formatos y formularios utilizados, las fuentes de información, etc.). La presentación también explicaba los estándares o normalizaciones existentes (conceptos, clasificaciones nacionales e internacionales, cambios metodológicos, etc.)
Además, las presentaciones también resaltaban los procesos adelantados para generar la información estadística, desde la recolección hasta la difusión o publicación de los resultados y, en algunos casos, el diagrama de flujo donde se visualizan los procesos y los controles de calidad adoptados y ejecutados en cada evento estadístico.
Los funcionarios de las EPIB dieron a conocer los mecanismos que utilizan en los procesos de la operación estadística para identificar las necesidades actuales y futuras de la información, para producir datos en forma racional, eficiente y eficaz. Explicaban, igualmente, la forma como controlan la precisión y fiabilidad de los datos; las fechas programadas y ejecutadas en la difusión; la periodicidad de recolección y de publicación y las facilidades de acceso y disponibilidad de la información para los usuarios y los medios en los cuales se presenta la información.
Otro punto que examinaron los evaluadores fue la forma como las EPIB aplican las normas comunes y estándares internacionales respecto al alcance, las definiciones, las unidades, las nomenclaturas y las clasificaciones en las distintas encuestas y fuentes a fin de que sean comparables.
Asimismo, la CEI analizó la forma como se establece la conexión lógica, o integridad, de los resultados de diferentes operaciones estadísticas y la coherencia interna, o sea, en las series de tiempo. Finalmente, la CEI indagaba las razones por las cuales no se producen algunas estadísticas que son regularmente requeridas por el usuario. Cada uno de los miembros de la CEI tomaba nota de lo que consideraba pertinente para su labor de evaluación, y solicitaba los documentos de soporte y evidencias necesarias para comprobar la existencia real de determinadas acciones y procedimientos. También se visitaron las oficinas de producción estadística y se verificó la realización de los procesos, llenado de formatos; captura y procesamiento; bases de datos; la tecnología utilizada; represamientos de información y tratamientos administrativos y técnicos.
Al finalizar la sesión de evaluación diaria, los miembros de la CEI se reunían para redactar el reporte con los aspectos más relevantes, tanto positivos como negativos, encontrados durante la visita para cada uno de los criterios de análisis y redactaban las recomendaciones que, en conjunto, consideraron que se deberían introducir para mejorar o solucionar los problemas existentes en las operaciones evaluadas y calificaban de acuerdo a los criterios previamente establecidos.
El último día de la semana, al finalizar las visitas de evaluación, la CEI, con la colaboración del secretario técnico y el ingeniero del área de sistemas del DANE, que acompañó a los miembros de la CEI en las visitas, integraban los informes diarios en el Reporte Final.
Certificación
En la calificación de los parámetros de evaluación se contemplan dos grandes grupos:
1. La evaluación de gestión, que examina los procesos, los recursos y el diseño de la organización productora de información básica, tomando dicha organización en función de la producción estadística.
2. La evaluación de la calidad, que permite examinar la relevancia, la precisión y fiabilidad, la oportunidad y puntualidad, la accesibilidad y confiabilidad y, por último, la comparabilidad y coherencia de cada operación estadística. Al primer grupo se le concedió un 40%, y al segundo un 60%.
Los integrantes de la CEI calificaron el porcentaje de cumplimiento de cada uno de los parámetros de 0 (no cumplimiento) a 100 (cumplimiento total). Así, para el grupo 1 (Evaluación de gestión) se evaluaron los siguientes indicadores:
Para la fila Total Grupo 1, se suman todos los porcentajes de cumplimiento de cada uno de los parámetros.
De igual manera, para el grupo 2 (evaluación de calidad) se evaluaron los siguientes indicadores:
Para la fila Total Grupo 2, se suman todos los porcentajes de cumplimiento de cada uno de los parámetros.
Para la calificación final, se tiene:
(Total Grupo 1 * 0.40 ) + (Total Grupo 2 * 0.60) |
Y se obtiene la calificación total que determinará el grado de la calificación así:
Por debajo de la calificación 70, no se acredita la operación estadística.
El proceso de certificación se muestra en el siguiente gráfico:
3. Resultados de la evaluación del sector
fortalezas
La primera fortaleza está en el interés del sector en mejorar la calidad de los datos, y producir información básica que sirva para la planeación estratégica y la definición de políticas públicas y control de la gestión en el sector.
La segunda, consiste en la disponibilidad de registros administrativos que pueden ser aprovechados para la producción de información básica de carácter estadístico. Aunque en algunos casos falta sistematizar más la recolección de información, los registros están allí y pueden ser utilizados con mejoramiento de la eficacia y eficiencia de la administración.
Las personas encargadas de la producción de información en todas las entidades son muy comprometidas con sus instituciones y con los usuarios de la información. Por lo general, son funcionarios que llevan muchos años y han alcanzado un grado de especialización importante que les permite comprender el nivel de calidad que requieren sus usuarios.
Debilidades
La formación y capacitación de los funcionarios encargados de manejar los sistemas es esencial para la consecución de los estándares de calidad requeridos. Sin embargo, durante las visistas efectuadas se detectó la falta de programas de formación y capacitación.
La documentación de los procedimientos operativos de producción de información básica de carácter estadístico es débil, siendo que ésta resulta esencial para el correcto conocimiento del` sistema empleado por todos los funcionarios involucrados. Los procedimientos deben documentarse convenientemente, y controlarse las copias, de manera que todo el personal involucrado posea la última versión del manual operativo y se retiren las versiones obsoletas. La normalización de nomenclaturas debería preocupar más a los productores de información, de manera que se mejore la comparabilidad entre organismos nacionales e, inclusive, internacionales. Los expertos recomendaron la utilización de nomenclaturas internacionales comúnmente usadas, tales como las Resoluciones de la Comunidad Andina, las de la Organización de las Naciones Unidas, UNECE, OACI y la clasificación internacional para productos CIIU.
La publicación de los datos estadísticos básicos se da sin incluir los metadatos y características de la investigación estadística realizada, tales como el grado de cobertura, los errores cometidos y el grado de confianza. Esta información debería incluirse siempre junto con los resultados publicados. Para el usuario es fundamental una comprensión clara de la operación estadística.
Operaciones y bases de datos certificadas
4. Plan estadístico del sector transporte
Las operaciones estadísticas revisadas y calificadas por la CEI pueden servir de base para la formulación de un Plan de Estadísticas del Transporte que refleje las operaciones más importantes del subsector. Para la formulación de este plan, primero hay que identificar las estadísticas importantes y, posteriormente, revisar cuáles ya se recolectan. Aquellas importantes, pero que no se recolectan deberían ser incluidas en un plan de estadísticas.
Las estadísticas importantes son, en general, aquellas que permiten medir el comportamiento de un modo en particular, o del subsector en su conjunto. Estas estadísticas incluyen, por ejemplo, los flujos de carga totales y por origen - destino, lo mismo que movimiento de carga en puertos y aeropuertos.
Estadísticas importantes para medir el comportamiento del sector y los diferentes modos de transporte
Cuando se compara el requerimiento de estadísticas de la tabla anterior, frente a las operaciones estadísticas analizadas en las dos visitas de la CEI, se tiene que estas operaciones sólo cubren una parte de las estadísticas del sector, tal como se detalla a continuación:
Cubrimiento de las operaciones estadisticas analizadas por la cei frente al requerimiento de estadisticas importantes
Se observa así que hay estadísticas importantes para las cuales aún no se han identificado operaciones representativas. Tal es el caso de:
Flujos de carga por ferrocarril y modo fluvial
Flujo de pasajeros por carretera
Estadísticas importantes que tienen que ver con la oferta de transporte.
Un segundo grupo de estadísticas necesarias tiene que ver con la oferta de transporte. En este momento, los datos producidos se limitan al transporte de carga por carretera, operación generada por el Ministerio de Transporte. Dicha operación tiene que ver con el registro de vehículos de carga. La CEI considera que una estadística similar se deberá tener en cuenta para medir el transporte de pasajeros por carretera.
Finalmente, hay estadísticas que son importantes para temas específicos. Tal es el caso, por ejemplo, de las encuestas de costos operacionales del MT y la UAEAC y los registros de movimiento general aeroportuario y vías férreas de la ST y T.
Un Plan de Estadísticas de Transporte debería cubrir las siguientes etapas:
1. Revisar e identificar las estadísticas que son importantes para medir el comportamiento del sector tanto desde el punto de vista de la oferta como el de la demanda.
2. Revisar e identificar las estadísticas que son importantes para medir el comportamiento de temas específicos, por ejemplo el transporte urbano.
3. Confrontar el requerimiento de estadísticas frente a la diponibilidad de estadísticas generadas en las diferentes EPIB, teniendo en cuenta problemas tales como la recolección de una misma información por diferentes entidades (por ejemplo, en el sector portuario, DIMAR, el DANE y la Superintendencia basan su información en fuentes similares, pero cuando se compara el resultado del procesamiento, se presentan discrepancias en los valores resultantes) o la recolección de información que sólo tiene un cubrimiento parcial y que requiere ser complementada.
4. Con base en lo establecido en el punto anterior, plantear el plan de estadísticas.
La utilidad de las operaciones estadísticas debe analizarse dentro del contexto de las estadísticas producidas por las diferentes EPIB. Algunas de las estadísticas revisadas tienen una representatividad nacional pero otras sólo tienen una representatividad parcial. Tal situación puede observarse en la tabla 4, donde se señalan con una X aquellas estadísticas con cubrimiento nacional y con el símbolo Ö aquellas que tienen un cubrimiento parcial.
En el caso de la infraestructura vial, tanto Inco como Invías administran redes de carreteras. Por esta razón, una estadística vial producida por Inco sólo daría una visión parcial de las vías a cargo del nivel nacional. En cambio, cuando se combina la información de ambas entidades se puede tener una visión completa de la infraestructura y su condición. Igual sucede con la infraestructura ferroviaria en lo que respecta a la red concesionada y la red no concesionada.
Una situación similar se presenta con la información de tránsito en las carreteras. Por una parte, Inco recibe la información de los peajes ubicados en las concesiones (365 días), y por otra Invías recibe la información de los peajes en las carreteras no concesionadas (365 días). Independientemente cada operación estadística sólo provee información parcial pero, en su conjunto, pueden ofrecer una visión global del tránsito en las carreteras nacionales. Igual sucede con el pesaje de vehículos, el cual es efectuado tanto por Invías como por los concesionarios de Inco. El cuadro de abajo muestra en resumen dicha situación.
Información básica en el subsector transporte - nivel nacional
Notas:
1/ Aerocivil es el nombre como generalmente se conoce a la Unidad Administrativa de Aeronáutica Civil - UAEAC.
2/ Cormagdalena es una institución creada por la Constitución de 1981. Su área de influencia está vinculada a la cuenca del río Magdalena.
Miembros de la Comisión de Expertos Idependientes -CEI- para la evaluación del subsector transporte:
JESÚS DOMINGO ALEIXANDRE: Ingeniero de Caminos Canales y Puertos por la Universidad Politécnica de Madrid, (España). Es consultor Senior de la empresa INARTEC, S.L., Ingenieros Consultores; Director Técnico de la Asociación Latinoamericana de Calidad Portuaria; Profesor adscrito al departamento de Ingeniería e Infraestructura de los Transportes de la Universidad Politécnica de Valencia, (España); Asesor del Proyecto Andestad por parte de la Unión Europea y varias consultorías en calidad del transporte y mejoramiento de la competitividad.
GERMÁN OSPINA OVALLE: Ingeniero Civil de la Universidad Javeriana de Bogotá, Maestría en Ingeniería Civil de la Universidad de Purdue (especialidad en transporte) Cursos especiales en evaluación de proyectos en el Instituto de Desarrollo Económico del Banco Mundial (EDI) y de Operación de Cooperativas de Transporte en el Centro de Estudios Cooperativos y Laborales de Israel. Ha estado vinculado por más de 30 años al sector transporte como funcionario de la Administración Pública, funcionario internacional en el la CAN, y consultor privado a nivel nacional e internacional.
NELSON CADENA FRANCO: Administrador de Empresas de la Universidad del Rosario, en Bogotá, con especialización en Mercadeo. Consultor Independiente, Gerente de Consultoría en Servicie Uno Andina y del Caribe, Gerente Comercial de Transer. Adscrito a la red de consultores de la Cámara de Comercio de Armenia y la corporación CARANA. Miembro activo de la Asociación Colombiana de Logística (ACOLOG), Colfecar, IAC de Colombia.
El grupo base del proyecto ACIOB está conformado por: DIEGO BARRIOS LEQUERICA Gerente del Proyecto de Certificación del Aseguramiento de la Calidad de la Información Básica. Economista con postgrado en Alta Gerencia. Experiencia de más de 15 años en implementación de esquemas de certificación de la calidad.
JOSÉ RAFAEL ALBA: Ingeniero Agrónomo de la Universidad Nacional. Experiencia de más de 10 años como coordinador en el desarrollo y operación de estudios estadísticos del subsector transporte en el Departamento Administrativo Nacional de Estadística –DANE -.
|
