Atrás |
LA EVALUACIÓN DEL GOBIERNO ELECTRÓNICO
I.- INTRODUCCIÓN
En la actualidad ya no hay gobierno ni administración pública que no haya formulado e implantado proyectos de e-Gobierno. Es tal el desarrollo en este ámbito, que hoy resulta sencillo hallar referencias acerca de las acciones de e-Gobierno en cualquier parte del mundo y en distintos niveles. En contraste con esta abundancia informativa acerca del accionar en e-Gobierno, no es fácil hallar información evaluativa acerca de los resultados e impacto de las iniciativas. Este desequilibrio puede explicarse teniendo en cuenta que el interés de políticos y técnicos suele centrarse mucho más en el diseño y puesta en marcha de iniciativas que en el análisis de sus resultados y de los aspectos críticos que condicionan su desempeño y su sostenibilidad en el tiempo. Conocer los resultados de planes, programas y proyectos de e-Gobierno es cada vez más necesario para tomar decisiones estratégicas que conduzcan a mejorarlos y a lograr una auténtica consecución de sus objetivos. Sin embargo, si bien ninguna evaluación es sencilla, aún menos lo es la valoración de iniciativas de e-Gobierno, las cuales exhiben complicaciones peculiares emergentes de las especificidades de las estrategias de e-Gobierno. Efectivamente, en primer lugar, la transversalidad del e-Gobierno tiene importantes implicaciones a la hora de realizar una evaluación, por un lado, porque dificulta la obtención de información que ya es de por sí difícil en cualquier tipo de evaluación y, por el otro, por la necesidad de consultar fuentes de información diversas, heterogéneas y a veces contradictorias, con escasez de recursos y de tiempo. En segundo lugar, aun cuando fuera posible acceder a datos relevantes y fiables, la evaluación también podría resultar difícil debido a la escasez de experiencias evaluativas exitosas en e-Gobierno que contribuyan a orientar los nuevos análisis y contrastar sus resultados y hallazgos. En tercer lugar, dado que muchas iniciativas de e-Gobierno han puesto énfasis en la creación y desarrollo de páginas web, las metodologías de evaluación se han limitado, muchas veces, a elaborar baterías de indicadores que focalizan en la disponibilidad y nivel de sofisticación de estas ofertas. Este tipo de ejercicio, denominado “benchmarking”, da lugar a “rankings” no siempre asociados al desempeño de las iniciativas. En este sentido, la evaluación a partir de ese tipo de indicadores es insuficiente y se hace necesario reconocer que una estrategia de evaluación eficaz debe comprender otros instrumentos de análisis. Finalmente, la corta existencia de muchas de las intervenciones objeto de valoración así como su constante evolución en el tiempo puede limitar, primero, la evaluación de su impacto y, segundo, la posibilidad del equipo evaluador de presentar un informe lo más actualizado posible. A pesar de los obstáculos mencionados, la apuesta por la evaluación de proyectos de e-Gobierno -con diversidad de características, modelos y herramientas- es ya una realidad en diversos entornos. Por otra parte, cada experto manifiesta –en función de sus creencias y expectativas- una percepción peculiar de la utilidad de las evaluaciones realizadas y de la validez de los métodos empleados. Las entrevistas que se presentan a continuación dan cuenta de algunas importantes cuestiones en relación a la evaluación de programas de e-Gobierno y, al hacerlo, exhiben claras manifestaciones de las referidas diferencias.
II.- ENTREVISTAS
Entrevista a Jeffrey Roy
1.- ¿Cuál es la utilidad de evaluar los programas de e-Gobierno La evaluación de programas de e-Gobierno proporciona información acerca de lo que funciona, de lo que no funciona y del por qué. Esa información es imprescindible para el aprendizaje, la adaptación y el progreso, particularmente en un campo relativamente nuevo como el e-Gobierno.
2.- ¿Cómo percibes que ha evolucionado la evaluación de los programas de e-Gobierno en los últimos años? Durante la década pasada, el campo de la evaluación del e-Gobierno se amplió sustancialmente en todo el mundo, incorporando nuevas metodologías e iniciativas, tanto en el plano académico como en el de aplicación.
3.- ¿Qué metodologías de evaluación del e-Gobierno se utilizan más en la actualidad? ¿Puedes proporcionar algún ejemplo? Uno de los benchmarks más citados es el Global Survey de la Naciones Unidas, cuya edición más reciente corresponde al año 2010. Un apéndice de este informe se refiere a la metodología de relevamiento, basada particularmente en identificar sitios gubernamentales en línea de cada país y en evaluarlos con una metodología estándar. Un enfoque más cualitativo está dado por el informe anual de Accenture, quizás algo sesgado por estar basado en entrevistas con funcionarios de los gobiernos que representan prácticamente un conjunto de casos de auto-evaluación. En los últimos años se ha adicionado una encuesta de evaluación por parte de los ciudadanos, que permite comparar las respuestas de los propios gobiernos con los de sus ciudadanos.
4.- ¿Cuál es tu opinión acerca de la efectividad evaluativa del benchmarking? Dado que el benchmarking está concebido para apreciar la evolución de las mediciones de desempeño en el tiempo, es útil cuando se lo repite periódicamente, más que una sola vez. Dado que la cantidad y complejidad de de las variables contextuales en juego dificultan el “benchmarking” en el sector público, los análisis regionales (como los de la Unión Europea) suelen ser más útiles que aquellos con alcance global.
5.- ¿Qué actores crees que deberían participar en la evaluación de programas de e-Gobierno? ¿Por qué? En la evaluación de programas de e-Gobierno deberían participar una amplia gama de interesados, desde los responsables de estrategias de e-Gobierno hasta los destinatarios y usuarios de esas estrategias. Es imprescindible disponer de una amplia gama de puntos de vista para poder asumir una perspectiva holística acerca del desempeño del e-Gobierno, sus resultados e impactos.
6.- ¿Cuáles son las dificultades más críticas o significativas a la hora de evaluar un programa de e-Gobierno? Las mayores dificultades residen en las diferencias entre los sistemas de gobierno y, en el mundo, en las diferencias en los niveles de riqueza relativa entre regiones. Otro gran reto reside en definir con precisión los alcances del e-Gobierno (servicios, participación ciudadana, buen gobierno, etc.). Dado que seguramente se profundizarán los análisis acerca de la adaptación y el desempeño general de los gobiernos en el mundo digital, se requieren definiciones precisas, especialmente para análisis comparativos. Por otra parte, el e-Gobierno también puede ser evaluado en distintos niveles dentro de los gobiernos: como proyecto, como agencia, como integridad, etc.
7.- ¿Cuáles son los vacíos, limitaciones y falencias qué percibes en la evaluación de programas de e-Gobierno? ¿Qué recomendarías a los responsables de las evaluaciones en cuanto a su diseño? En el Global Survey de la ONU, la ausencia de datos cualitativos -como los provenientes de entrevistas- se constituye en una limitación que es difícil de superar dado su alcance global. Muchos estudios de evaluación padecen de carencia o insuficiencia de datos acerca de costes e inversiones, lo que representa un relevante vacío. Aprecio que cualquier evaluación, para ser útil y holística, debe equilibrar criterios de eficiencia y efectividad e incluir tanto métricas estáticas como dinámicas que contribuyan al aprendizaje y al potencial relacional tanto dentro de los gobiernos como entre los diversos interesados.
8.-Teniendo en cuenta las experiencias de evaluación de e-Gobierno que conoces ¿Qué lecciones podrían extraerse? Tener algo es mejor que nada. La clave para el debate, la discusión y el sucesivo perfeccionamiento reside en la transparencia acerca de la metodología y las limitaciones de cada estudio.
9.- Desde una perspectiva conceptual: ¿Cómo crees que podrían consolidarse la investigación y la literatura relativa a la evaluación de e-Gobierno? No estoy seguro de que la investigación y la literatura deban estabilizarse; tal vez deberían expandirse y ampliarse continuamente. Si bien la aparición de revistas dedicadas específicamente al e-Gobierno ha contribuido a proporcionar un cierto marco, el e-Gobierno es fundamentalmente amplio e interdisciplinario, por lo que no podría –o no debería- encaminarse hacia una “consolidación”. Ver verisón original en Inglés
Entrevista a J. Ramón Gil-García
1.- ¿Cuál es la utilidad de evaluar los programas de e-Gobierno Si entendemos por e-Gobierno al uso de cualquier tipo de TIC por parte de los gobiernos, podemos apreciar que muchos países en el mundo han invertido grandes cantidades de recursos en el diseño e implementación de iniciativas de e-Gobierno. Evaluar estas iniciativas es muy importante para entender los resultados obtenidos -o no- en términos de los beneficios buscados para los ciudadanos, las empresas y para los mismos gobiernos.
2.- ¿Cómo percibes que ha evolucionado la evaluación de los programas de e-Gobierno en los últimos años? Considero que las evaluaciones de proyectos específicos de e-Gobierno se han comenzado a realizar cada vez más y de manera más integral, con una mejora lenta y paulatina. Sin embargo, a nivel de programas o políticas públicas nacionales, estatales o locales, no se dispone aún de marcos de evaluación que ayuden a entender mejor la situación global y de esa forma sirvan para adoptar mejores decisiones. Lo que se tiene hasta el momento son “rankings”, que si bien pueden ser útiles para mostrar avances, por ejemplo, de los países, aportan escasa información en términos de capacidades necesarias y acciones que los países deberían emprender para mejorar su situación.
3.- ¿Qué metodologías de evaluación del e-Gobierno se utilizan particularmente en la actualidad? ¿Puedes proporcionar algún ejemplo? Como comenté en mi respuesta anterior, lo que actualmente se está evaluando y cada vez en forma más extensiva son las iniciativas o proyectos específicos de e-Gobierno. Existen diversas metodologías para este tipo de evaluación, pues también depende de la fase del proyecto en que se esté llevando a cabo; ya sea al inicio, durante el transcurso o al finalizar el proyecto. Una metodología que puede ser muy útil sobre todo al inicio del proyecto y antes de decidir hacer una inversión significativa es la desarrollada por el “Center for Technology in Government” de la Universidad Estatal de Nueva York en Albany. Una guía gratuita para usar esta metodología se encuentra en el siguiente enlace: http://www.ctg.albany.edu/publications/guides/smartit2
4.- En la actualidad se realizan anualmente, en el mundo, más de cincuenta ejercicios sistematizados de benchmarking orientados a medir el progreso en e-Gobierno. ¿Cuál es tu opinión acerca de la efectividad evaluativa de ese tipo de ejercicios? Como comenté anteriormente, aprecio el interés por este tipo de ejercicios, pero creo que tienen una utilidad sumamente limitada para una mejor toma de decisiones por parte de los gobiernos. Para que una evaluación sea realmente útil para los gobiernos y no únicamente una forma de comparación entre países, estados o localidades, es necesario que su metodología incluya no sólo las características de las iniciativas, sino también los resultados logrados en términos de beneficios e impactos, así como los determinantes, factores o capacidades que permitieron lograr ciertas características y no otras. El Dr. Luis F. Luna-Reyes y su servidor -con apoyo de la CEPAL- hemos propuesto de forma preliminar un Modelo Multidimensional de Medición del e-Gobierno, al cual puede accederse a través del siguiente enlace:
5.- ¿Qué actores crees que deberían participar en la evaluación de programas de e-e-Gobierno? ¿Por qué? Considero que para realizar una verdadera evaluación del e-Gobierno deben incluirse al menos tres tipos de actores: a) beneficiarios del e-Gobierno o programas en otras áreas de política pública que estén usando TIC, b) servidores públicos y funcionarios electos encargados de tomar decisiones e implementar proyectos que usen TIC en cualquier área del gobierno, y c) expertos en e-Gobierno que puedan aportar ideas y metodologías para lograr una evaluación más integral y útil del e-Gobierno. Creo que esto es importante en cualquier iniciativa de e-Gobierno, pero especialmente en las que van más allá de un solo proyecto y buscan la evaluación integral de los esfuerzos de un país, estado o localidad en cuanto a sus iniciativas y políticas de e-Gobierno.
6.- ¿Cuáles son las dificultades más críticas a la hora de evaluar un programa de e-Gobierno? Considero que lo más difícil es evaluar los logros del e-Gobierno en relación al contexto, es decir, considerando las capacidades iniciales de los gobiernos y algunos factores contextuales relevantes. Las evaluaciones que sólo incluyen las características de las aplicaciones de e-Gobierno tienden a comparar gobiernos que no necesariamente persiguen los mismos objetivos o tienen las mismas capacidades organizacionales para poder llevar a cabo las iniciativas.
7.- ¿Qué recomendarías a los responsables de las evaluaciones de programas de e-Gobierno en cuanto a diseño? Como lo comenté anteriormente, considero que es necesario llevar a cabo evaluaciones integrales del e-Gobierno que consideren: a) las capacidades iniciales de los gobiernos, b) sus logros en términos de características de sus aplicaciones y sistemas y c) sus resultados en términos de impactos y beneficios.
8.- ¿Qué lecciones extraerías de las experiencias de evaluación de e-Gobierno que conoces? La principal lección es que las TIC no son ni deberían ser consideradas como un fin en sí mismas, sino como un importante medio para llevar a cabo labores sustantivas del gobierno, tales como educación, salud o protección del medio ambiente. El potencial del e-Gobierno para contribuir a mejorar la eficacia, eficiencia, calidad de servicios, transparencia, participación ciudadana o rendición de cuentas, debe ser usado estratégicamente para apoyar distintas funciones y áreas relevantes de política pública. El énfasis no debería concentrarse únicamente en los portales en Internet, que es lo que mucha gente entiende por e-Gobierno.
9.- ¿Cómo crees que la investigación puede contribuir a mejorar la evaluación de e-Gobierno? Considero que resulta imposible evaluar integralmente al e-Gobierno si no se tienen claros ciertos conceptos clave como sus características, sus factores de éxito y sus resultados esperados y logrados. Todos estos conceptos deberían ser derivados de estudios recientes, adecuadamente fundados y articulados de forma sistemática de acuerdo a los objetivos de la evaluación y tratando de que los resultados de la misma sean útiles para tomar mejores decisiones y lograr que el uso de TIC no sólo mejore los gobiernos, sino también beneficie a la ciudadanía y a la sociedad en su conjunto. Si bien la evaluación del e-Gobierno puede ser nutrida por estudios sobre evaluación en otros sectores, es muy importante considerar las particularidades y especificidades que se han aprendido en el campo del e-Gobierno al momento de diseñar y desarrollar modelos de evaluación.
Entrevista a Frank Bannister
1.- ¿Cuál es la utilidad de evaluar los programas de e-Gobierno Al igual que el “dot.com”, el e-Gobierno ha padecido los efectos de un exceso de euforia inducida y muchos proyectos no estuvieron a la altura de las expectativas generadas. Los gobiernos deben mostrar ahora a los contribuyentes que la “entrega de valor por dinero” del gasto público en TIC tiene resultados comparables al del gasto en salud o en educación. Durante los últimos veinte años se han visto demasiados casos de “desastre” en materia de e-Gobierno y un número aún mayor de decepciones. Resulta evidente que la evaluación de las iniciativas de e-Gobierno es hoy básica y necesaria.
2.- ¿Cómo percibes que ha evolucionado la evaluación de los programas de e-Gobierno en los últimos años? La evaluación no ha evolucionado en gran medida. Se ha realizado algunos trabajos interesantes, a menudo por profesionales y no por académicos. El trabajo de Jenner en el sistema de justicia penal del Reino Unido ha sido interesante. Personalmente, entre las evaluaciones del uso de las TIC en el sector público que he visto en los últimos cinco años, no puedo calificar a ninguna como buena (puedo evocar varias, pero no las considero buenas). Una dificultad particular es que la evaluación en la esfera pública es mucho más complicada que en el sector privado porque hay un mayor número de protagonistas, actores e interesados, y porque los resultados son más difíciles de medir.
3.- ¿Qué metodologías de evaluación del e-Gobierno se utilizan más en la actualidad? ¿Puedes proporcionar algún ejemplo? No tengo conocimiento de metodologías que se hayan utilizado específicamente en el sector público, con excepción de la “provisión de valor por el dinero gastado” (“Value for Money”, VFM), cuya antigüedad supera largamente los treinta años. Si bien conozco otros intentos, ninguno de ellos se ha manifestado como exitoso. Ha habido algunos trabajos interesantes de Jenner (mencionado anteriormente) sobre la “realización de beneficios”, pero se trata de una cuestión algo diferente. Existen numerosos ejercicios de “medición comparativa” (benchmarking) que no son auténticas evaluaciones.
4.- ¿Cuál es tu opinión acerca de la efectividad evaluativa de los ejercicios de benchmarking orientados a medir el progreso en e-Gobierno? Soy bastante escéptico acerca de las mediciones comparativas (véase al respecto mi artículo en 2007 en IRAS), si bien estuve involucrado (hasta hace 18 meses) en el rediseño de uno de los benchmarks internacionales líderes. Los benchmarks son riesgosos, dado que si sus criterios son erróneos (o sesgados por determinados intereses), pueden distorsionar gravemente los valores y las prácticas de los ejecutores. Por otra parte, suelen motivar cambios especulativos de corto plazo en la faz visible de los sistemas, en vez de procesos dirigidos a fortalecer los componentes de la infraestructura, cuyos resultados aparecen con el tiempo -tras procesos prolongados, laboriosos y sostenidos- y son difíciles de medir. Esta fue, por ejemplo, una de las debilidades en los benchmarks de CapGemini relativos a la Unión Europea durante el período 2000-2006. Los benchmarks son a menudo inconsistentes.
5.- ¿Qué actores crees que deberían participar en la evaluación de programas de e-Gobierno? ¿Por qué? Como en cualquier evaluación, se necesitan evaluadores profesionales con las competencias necesarias incluyendo los principales protagonistas, actores e interesados, especialistas en costos y, por supuesto, usuarios.
6.- ¿Cuáles son las dificultades más críticas o significativas a la hora de evaluar un programa de e-Gobierno? En la evaluación de programas de e-Gobierno se presentan los mismos tipos de obstáculos y dificultades que en cualquier programa público: los múltiples actores y partes interesadas, los objetivos en conflicto, la dificultad para medir resultados. Un problema común es que las evaluaciones se basan en mediciones de insumos y productos, cuando deberían basarse en mediciones de insumos y resultados. Lo que ocurre es que los resultados son siempre mucho más difíciles de medir que los productos, y esta es la razón por la que la evaluación del e-Gobierno suele concentrarse en la eficiencia, mucho más que en la efectividad.
7.- ¿Cuáles son los vacíos, limitaciones y falencias qué percibes en la evaluación de programas de e-Gobierno? ¿Qué recomendarías a los responsables de las evaluaciones en cuanto a su diseño? Personalmente no creo que la evaluación del e-Gobierno se haya convertido en algo habitual como para señalar vacíos, limitaciones y falencias que deberían superarse. Ciertamente, estas evaluaciones no son habituales en mi país. Existen casos cuyo análisis es obligatorio, habiéndose realizado unas pocas evaluaciones “post mortem” de casos “desastrosos”. Pero no es fácil evaluar post-hoc, dado que las personas prefieren mirar hacia adelante más que hacia atrás. Personalmente he realizado una evaluación integral del desempeño de un gran sistema de prestaciones, a pedido de un importante y bien gestionado departamento de la Administración. Pero aún allí, con un entorno netamente favorable, hemos tenido serios problemas por la carencia o la ausencia de datos necesarios. En particular, a menudo es difícil determinar con precisión cuáles fueron los costos o identificar los principales beneficios de una inversión, porque los sistemas no suelen registrar esa información.
8.-Teniendo en cuenta las experiencias de evaluación de e-Gobierno que conoces ¿Qué lecciones podrían extraerse? La lección central que puedo extraer es que el proceso de evaluación del e-Gobierno es terriblemente arduo y difícil. Por otra parte, exhibe una notoria tendencia hacia la “politización”.
9.- Desde una perspectiva académica o conceptual: ¿Cómo crees que podrían consolidarse la investigación y la literatura relativa a la evaluación de e-Gobierno? Para ayudar a averiguar qué está pasando, tal vez sería oportuno convocar a una importante conferencia internacional sobre Evaluación del e-Gobierno como tema central. También podría ayudar la edición de un libro, o la edición de números especiales sobre la temática en revistas altamente calificadas. Ver versión original en Inglés
III.- CONCLUSIONES
Las entrevistas de Jeffrey Roy, J. Ramón Gil-García y Frank Bannister ponen sobre la mesa varios aspectos relevantes acerca de la evaluación de iniciativas de e-Gobierno. En primer lugar, se manifiesta una significativa coincidencia acerca de la necesidad de evaluar los programas y proyectos de e-Gobierno. Ya no es suficiente dejar constancia de los beneficios que dichas iniciativas proporcionan a las administraciones públicas implicadas y a los usuarios en términos, por ejemplo, de ahorro de tiempos o posibilidad de ofrecer servicios sofisticados e integrados. Es importante valorar también cuál es la “rentabilidad” de los proyectos emprendidos. Sin embargo, medir los costes y los beneficios de las iniciativas de e-Gobierno en términos monetarios es harto complicado, dada la pluralidad de actores implicados y el cúmulo de variables a tener en cuenta. Esta realidad, que no sólo complica el análisis económico, sino también el de otras dimensiones, ha dado lugar a una evolución lenta de la evaluación en esta esfera que, quizá, haya sido más eficaz en relación a proyectos concretos que a políticas o marcos nacionales de e-Gobierno. En segundo lugar, y como ya señaláramos en la introducción de esta sección, sin perjuicio de la existencia de diferentes metodologías de evaluación, entre las que podemos destacar el análisis de páginas web, la medición de costes y beneficios en términos económicos, la evaluación organizacional o la valoración de la satisfacción del usuario, se manifiesta una excesiva tendencia hacia la utilización de sistemas de indicadores para determinar el éxito de las iniciativas de e-Gobierno. Como se desprende de las entrevistas realizadas, no acaba de haber acuerdo acerca de la utilidad real de estos ejercicios. En cualquier caso, es cierto que los benchmarkings presentan ciertas dificultades que son resultado, a nuestro parecer, de su inconsistencia (un mismo estudio puede no ser comparable en el tiempo como consecuencia de la evolución de la metodología o del contexto tecnológico), de su coste (si hay que utilizar fuentes primarias, la elaboración de rankings puede resultar extremadamente cara), de la complejidad del concepto de e-Gobierno (que es mucho más que tramitación en línea), de la falta de consideración de las especificidades y prioridades de los contextos nacionales (que dan de sentido a las iniciativas de e-Gobierno) o del carácter de la toma de decisiones que de ellos puede desprenderse (normalmente, a corto plazo y teniendo como objetivo el avance en las calificaciones en los mismos rankings). Un aspecto en que los entrevistados manifiestan una clara coincidencia es en la necesidad de implicar a diferentes actores en la evaluación del e-Gobierno. A este respecto, si bien cada uno de los expertos propone diferentes colectivos que deberían estar presentes en el análisis, nos interesa especialmente la respuesta proporcionada por el Dr. Gil-García para quien una evaluación debería tomar en consideración los puntos de vista de los usuarios/beneficiarios finales, de los responsables (políticos y técnicos, añadiríamos nosotros) de las iniciativas de gobierno electrónico y de los expertos en la materia, que pueden ayudar a afinar y perfeccionar las metodologías utilizadas así como a interpretar, quizá más objetivamente, los resultados obtenidos. Pero, como ya adelantáramos, la evaluación de las iniciativas de e-Gobierno no es tarea sencilla. A algunas de las limitaciones apuntadas con anterioridad, los entrevistados añaden nuevos retos entre los que cabe, particularmente, resaltar la dificultad de definir con precisión qué es y qué no es e-Gobierno, de comprender y valorar los contextos en que tienen lugar los proyectos, de realizar diagnósticos útiles, de analizar los resultados en términos de impacto (es decir, en el largo plazo) y de eludir las interferencias políticas en los procesos de evaluación. Finalmente, también nuestros entrevistados exhiben unanimidad a la hora de confirmar el lento avance de la disciplina en el ámbito académico. Así, afirman que la evaluación de e-Gobierno, desde un punto de vista científico, debe aún ampliarse y, posteriormente, consolidarse. Para ello, hay que tener en cuenta dos elementos fundamentales: Por un lado, todo lo que ya se ha estudiado acerca del concepto de e-Gobierno desde una perspectiva interdisciplinaria y, por el otro, las lecciones provenientes de las evaluaciones en otras esferas públicas. Esperamos que esta sección haya contribuido a ampliar las perspectivas de los interesados en la evaluación de programas de e-Gobierno, como una actividad clave para diseñar nuevos proyectos y para corregir la marcha de los ya implantados. Mila Gascó Hernández
Para ver el perfil de los entrevistados y coordinadora haga clic aquí
|
