I. Introducción
La creciente complejidad de los problemas sociales demanda un Estado con mayor capacidad analítica que permita a la política y la burocracia tomar mejores decisiones que beneficien al conjunto de la ciudadanía. La producción, procesamiento y gestión de información basada en datos de calidad es clave para nutrir los diálogos sobre política pública tanto desde su diseño como durante su implementación con el propósito ineludible de mejorar la vida de las personas. Por su parte, pensar y ejecutar respuestas integrales y efectivas demanda a la política y el funcionariado un amplio dominio de análisis de fuentes diversas que contribuyan a tomar rumbos informados y basados en evidencia de calidad entendida como:
el efecto conjunto de datos, pruebas, argumentos y emociones que coinciden en señalar un desempeño similar de una política o programa, dentro de un discurso y en un contexto de poder. (Cardozo Brum 2021, 223)
Generar información pública y utilizarla para adoptar mejores decisiones en materia de planes y programas es una preocupación internacional (Leew y Furubo 2008; Sanderson 2002) tanto como lo es la naturaleza política de la toma de decisiones basada en evidencia (Parkhurst 2017). La gestión de la pandemia por COVID-19 durante 2020 y 2021 mostró cómo el conocimiento experto es una base sólida que puede contribuir a dar respuestas dinámicas a fenómenos cambiantes.
La evaluación de las políticas públicas como función estratégica de un Estado innovador tiene el potencial de facilitar los procesos de reflexión y generación de conocimiento tanto como los de debate informado y la adopción de decisiones estratégicas que son clave para enfrentar los problemas sociales y promover el desarrollo nacional. La divulgación de métodos para el análisis de las dinámicas sociales que son cada vez más consistentes y robustos son un activo del mundo científico que la política pública puede utilizar. Es necesario que el Estado capitalice y adopte esas tecnologías como propias en beneficio de la comunidad.
Sin embargo, en América Latina los sistemas de producción y uso de información de políticas públicas son generalmente limitados en comparación con los de países desarrollados. Además, la evaluación suele ser retrospectiva en lugar de prospectiva y suele enfocarse en medir el cumplimiento de metas en lugar de evaluar el impacto real de las políticas. La capacidad técnica y los recursos también son limitados y dependen más de la voluntad política del liderazgo que de instituciones consolidadas dedicadas a la evidencia.
Con todo, se dieron esfuerzos en algunos países como México, Colombia, Chile y Brasil entre otros para mejorar la información sobre el desempeño y el impacto de planes y programas a través del desarrollo de sistema de monitoreo y evaluación con el objetivo, sobre todo, de aumentar la transparencia y la participación ciudadana (Aquilino et al. 2016).
En Argentina, a pesar de esfuerzos puntuales, todavía las capacidades institucionales para diseñar, planificar, implementar, monitorear y evaluar políticas son heterogéneas entre ministerios y agencias de gobierno. Por eso, también es heterogénea la calidad de las intervenciones. Las políticas públicas producen escasa información para medir su impacto social, los datos no están sistematizados por el nivel central y su recolección depende de la voluntad de los líderes políticos o técnicos tanto como del financiamiento ad hoc que consigan. Los cuatro subsistemas existentes de monitoreo y evaluación coordinan poco entre sí, algunas veces se superponen y su capacidad para elaborar evaluaciones robustas es despareja como se verá más adelante.
En ese contexto, la experiencia de diseño e implementación de la estrategia de evaluación del financiamiento internacional de la Subsecretaría de Relaciones Financieras Internacionales para el Desarrollo (SSRFID) del Gobierno Argentino apunta a generar conocimiento propio sobre los resultados que logra la acción estatal a través del apoyo del financiamiento internacional. El presente documento tiene por objetivo sistematizar la experiencia puesta en marcha entre 2019 y 2023 teniendo en cuenta los cambios políticos que sucedieron durante el gobierno del presidente Alberto Fernández. La SSRFID que originalmente estuvo en la órbita de la Secretaría de Asuntos Estratégicos (SAE) de la Presidencia de la Nación al comienzo del gobierno en 2019[2], pasó a depender funcionalmente del Ministerio de Economía de la Nación (MECON) a través de la Secretaría Asuntos Económicos y Financieros Internacionales en 2022[3] tal como lo hacía durante gobiernos anteriores. Si bien estos cambios tuvieron impacto en la dependencia funcional de la SSRFID, la estrategia se mantuvo tal como fue pensada y se adaptó a las diferentes estructuras y prioridades políticas.
El objetivo es documentar las acciones emprendidas para fomentar la toma de decisiones informada en materia de financiamiento internacional, reflexionar sobre logros y desafíos en el marco de la política nacional de evaluación y apoyar la conversación sobre el rol de la evidencia en el sistema político argentino.
El trabajo está estructurado en cuatro secciones. El primer apartado contextualiza la función de evaluación de políticas en el Estado Argentino (1991-2023) y presenta un balance de desafíos y oportunidades para fortalecer el sistema nacional de evaluación. El segundo apartado documenta la lógica desarrollada para poner en marcha la estrategia de evaluación de programas con financiamiento internacional desde la SSRFID describiendo su enfoque de evaluación, sus herramientas y metodologías, el tipo de implementación y la articulación institucional necesaria para llevarla a cabo, el diseño institucional y la organización de sus funciones y competencias, y los posibles usos de sus resultados. El tercer apartado da cuenta de los aprendizajes identificados hasta el momento. El último apartado consolida los principales desafíos de esta práctica evaluativa y deriva algunos elementos para la política nacional de evaluación.
II. La función de evaluación de políticas públicas en el Estado Nacional Argentino (1991-2023): aproximaciones sucesivas
Contar con sistemas de monitoreo y evaluación (M&E) institucionalizados de políticas públicas es fundamental para asegurar la producción de información de calidad que permita aportar al diseño, implementación y ejecución de planes y programas para lograr mejores intervenciones que lleguen de manera efectiva a toda la población. Particularmente, en momentos de crisis como el ocasionado por la pandemia por COVID-19, la gestión de la información es clave para orientar las políticas y los programas.
Desde la década de 1990, las actividades de evaluación concentraron la atención de académicos y de referentes sociales y políticos en América Latina. Los Estados realizaron diferentes esfuerzos para impulsar la práctica de la evaluación y la producción de evidencia para la toma de decisiones sea con una orientación predominantemente positivista[4] o constructivista[5] en el sentido que les da Cardozo Brum (2021). La creación de sistemas de M&E de políticas públicas al interior del Estado es una preocupación ascendente en la agenda pública (Feinstein 2012; 2015). No obstante, la legitimidad y sostenimiento de estos espacios para garantizar su institucionalidad no resulta tarea sencilla (Leeuw y Furubo 2008).
También la institucionalización de los sistemas de M&E de políticas ganó impulso como problema entre académicos, referentes sociales y políticos durante los últimos 30 años en toda América Latina y continúa siendo una preocupación ascendente en la agenda de la gestión pública. Diferentes expertos documentaron el desarrollo dispar de los procesos de consolidación de los sistemas de monitoreo y evaluación en la región (Cunill Grau y Ospina Bozzi 2008; Zaltsman 2006; García López y García Moreno 2010; Pérez Yarahuán y Maldonado Trujillo 2015; Aquilino et al. 2017). Asimismo, otros alertaron de posibles vicios y problemas tales como la reducción del sistema a un área determinada -aislada y poco transversal- y la producción de información valiosa para la mejora del desempeño individual y organizacional pero no para las políticas públicas (Leeuw y Furubo 2008).
La existencia de un sistema de M&E supone arreglos institucionales estables que permitan que el ejercicio de ambas funciones no se desarrolle de manera puntual o aislada sino de forma regular. En términos teóricos, un alto grado de institucionalización implica contar con información evaluativa de manera permanente; con organizaciones y actores con capacidades y funciones que aseguran su desarrollo e institucionalidad a lo largo del tiempo; y con la existencia de una perspectiva epistemológica compartida respecto de lo que supone la evaluación y su práctica entre otros elementos (Lahey 2010; Neirotti et al. 2015; Kusek y Rist 2005; Aquilino et al. 2017). Quizás este punto es el que menos acuerdo genera para la política de la toma de decisiones. Contar con un sistema establecido también presume que los decisores políticos, gestores y ciudadanos utilizan la información generada (Lázaro 2015).
En otras palabras, es deseable que el sistema de M&E forme parte habitual del ciclo de política pública y sostenga un diálogo profundo con tomadores de decisión y hacedores. Pero ¿cómo podemos caracterizar el sistema de M&E a nivel nacional? ¿Cuál es su diseño institucional y funcional? ¿Cuáles son sus resultados? ¿Cómo afecta al diseño e implementación de la estrategia de evaluación del financiamiento internacional?
II.1. Marco legal e institucional de la función de evaluación: el gasto público como objeto evaluativo
La función de evaluación de políticas en el Estado argentino se apoya sobre tres leyes marco aprobadas en la década del noventa. Estas leyes tienen un fuerte foco en la evaluación del gasto público: a) la Ley de Administración Financiera y Sistemas de Control del Sector Público Nacional (N° 24.156, de 1992) que establece la obligación de realizar el seguimiento físico-financiero de los programas presupuestarios; b) la Ley del Sistema Nacional de Inversiones Públicas (N° 24.354, de 1994) que establece la obligación de hacer monitoreo y evaluación (M&E) de los programas y proyectos de inversión pública y; c) la Ley de Administración Federal de los Recursos Públicos (N° 25.152, de 1999) donde se establecen las medidas a las cuales se deberán ajustar los poderes del Estado Nacional para la administración de los recursos públicos.
En años recientes se sancionaron dos nuevas leyes que implican cambios para la función de evaluación: d) la Ley de Acceso a la Información Pública (N° 27.275[6], de 2016) que busca a partir de la transparencia activa la publicación completa, actualizada, por medios digitales y en formatos abiertos de las evaluaciones y e) la Ley de creación de la Oficina de Presupuesto del Congreso (N° 27.343[7], de 2016) que exige la práctica evaluativa para los programas y proyectos de ley en materia presupuestaria.
Así, las primeras leyes que enmarcan la función de evaluación en el Estado Nacional son parciales y responden al paradigma de evaluación del gasto que, si bien es valioso, deja de lado enfoques que analizan el impacto de la acción estatal sobre las condiciones de vida de los ciudadanos. Las normas que siguieron se ocupan más del acceso a la información sobre los productos de evaluaciones realizadas o la exigencia de realizarlas en el ámbito del Poder Legislativo. Sin embargo, una ley global orientada a promover y conducir una política nacional que consolide el sistema nacional de evaluación para el conjunto de la Administración Pública Nacional (APN) está todavía pendiente. El sistema nacional de evaluación carece de direccionalidad política.
II.2. La organización funcional: subsistemas desintegrados y capacidades heterogéneas para evaluaciones aisladas
Además de la ausencia de marco regulatorio, en Argentina no existe un órgano especializado que sea rector de la función de evaluación y se responsabilice por el despliegue de la política y el sistema de M&E como en otros países federales del continente como pueden ser Canadá, México, Brasil (Aquilino et al. 2017).
Se entiende por órgano rector a una agencia de gobierno que cumpla las siguientes funciones: i) fijar objetivos y metas del sistema; ii) definir prioridades y metodologías; iii) asignar responsabilidades y funciones; iv) distribuir los recursos necesarios para su cumplimiento; v) regular actividades de acuerdo con estándares de calidad, niveles de cobertura y financiamiento; vi) monitorear y evaluar el avance de actividades y el alcance de metas. (Acuña y Repetto 2009, 14-15)
Desde lo formal, la Jefatura de Gabinete de Ministros (JGM)[8] tiene desde la reforma constitucional de 1994 la misión de intervenir en el proceso de M&E, articular los sistemas de evaluación sectoriales y desarrollar un sistema de seguimiento de los programas de gobierno con indicadores claves de políticas prioritarias para la toma de decisiones. Si bien no se dio continuidad estratégica desde el nivel central a esa responsabilidad, sí se fueron conformando cuatro sistemas. Dos de nivel sectorial: i) el de programas y políticas sociales,
ii) el de planes sectoriales de las jurisdicciones; y dos de nivel transversal: iii) el de programas presupuestarios, y iv) el de programas y proyectos con financiamiento internacional (Aquilino et al. 2019).
Para programas y políticas sociales, la rectoría en materia de M&E es ejercida actualmente por el Consejo Nacional de Coordinación de Políticas Sociales (CNCPS) dependiente de la Presidencia de la Nación. El Decreto N° 292/2018 asignó dichas funciones al CNCPS a través del Sistema de Evaluación y Monitoreo de Programas Sociales (SIEMPRO) en tanto lo designa como organismo responsable de elaborar y ejecutar el Plan Anual de Monitoreo y Evaluación de cumplimiento obligatorio para las políticas, planes, programas y proyectos sociales financiados con fondos del tesoro nacional o con financiamiento proveniente de organismos internacionales. El SIEMPRO tiene asignada esta función desde 1997.
Para los planes sectoriales es posible identificar un sistema orientado al monitoreo de metas y actividades asociadas a programas y proyectos que forman parte de los planes de las distintas jurisdicciones de la APN. Hasta fines de 2019 estuvo a cargo de la Dirección Nacional de Gestión por Resultados de la ex Secretaría de Modernización de la JGM (luego Ministerio) que estableció una metodología común y una plataforma para la carga de información. Sin embargo, este sistema presentaba un bajo nivel de institucionalización en tanto no todas las jurisdicciones de la APN lo utilizaban. A partir de la gestión 2019-2023, este rol lo ocupó la iniciativa Mapa de la Acción Estatal (MAE), una plataforma en línea liderada por la Secretaría de Gestión y Empleo Público para dar apoyo a la planificación, seguimiento y evaluación de planes y programas sectoriales.
Referido a los programas presupuestarios es posible identificar un sistema orientado a realizar monitoreo financiero y de metas físicas que es ejecutado por la Oficina Nacional de Presupuesto (ONP) de la Secretaría de Hacienda del Ministerio de Economía (ex Hacienda). Las contrapartes para dicha tarea son los Centros de Coordinación de Información Física que se encuentran dentro de las áreas de servicios administrativos financieros de las diversas jurisdicciones. Además, la información de seguimiento se publica en el sitio Presupuesto Abierto[9].
En los programas y proyectos con financiamiento internacional, el M&E presenta un alto nivel de institucionalización probablemente debido a los incentivos que ofrecen las contrapartes financieras internacionales, los organismos internacionales de crédito (OIC), que tienen en su agenda un fuerte peso para el ejercicio de evaluaciones[10], realizan evaluaciones de manera sistemática, prevén en sus préstamos presupuestos específicos para la conducción de evaluaciones y destinan esfuerzos y recursos a desarrollar las capacidades nacionales de evaluación. Hasta fines de 2019 la rectoría del subsistema fue ejercida de manera conjunta por la Dirección Nacional de Programas con Financiamiento Externo de la Secretaría de Evaluación Presupuestaria, Inversión Pública y Participación Público Privada (PPP) de la JGM en conjunto con la Subsecretaría de Relaciones Financieras Internacionales de la Secretaría de Finanzas del Ministerio de Hacienda. Con la nueva gestión, esa tarea quedó primero en cabeza de la SAE y luego retornó al MECON como mencionamos más arriba.
A continuación, se presenta una tabla que resume los cuatro subsistemas de M&E en la APN. Como puede verse se articulan desde un punto de vista sectorial (políticas ministeriales) y transversal (de acuerdo a las fuentes de financiamiento).
Tabla 1. Subsistemas de M&E de la APN
|
Sistemas |
Rectoría |
Alcance |
|
|
Sectoriales |
i) Programas y políticas sociales |
CNCPS SIEMPRO |
Planes y programas de Ministerios de Desarrollo Social; Trabajo, Empleo y Seguridad Social, Salud, Educación con financiamiento nacional e internacional |
|
ii) Planes sectoriales de las jurisdicciones |
Jefatura de Gabinete de Ministros |
Planes y programas de todos los ministerios con financia-miento nacional e internacional |
|
|
Transver-sales |
iii) Programas presupuestarios |
ONP Ministerio de Economía |
Presupuesto nacional |
|
iv) programas y proyectos con financiamiento internacional |
Subsecretaría de Relaciones Financieras Internaciona-les para el Desarrollo |
Planes y programas implementados por todos los ministerios con financiamiento internacional. |
|
Fuente: elaboración propia con base en Aquilino et al, 2019.
Adicionalmente se realizan evaluaciones de planes, programas y proyectos en los organismos descentralizados de la APN sin coordinación horizontal a nivel estratégico y operativo. Para el caso de los ministerios nacionales, la tarea de las principales estructuras evaluativas tuvo dos efectos positivos. Se lograron: a) el desarrollo paulatino de una cultura evaluativa y b) la necesidad de incorporar la práctica reflexiva en la gestión pública. Sin embargo, persiste el desafío de generar mejores condiciones de integración horizontal y vertical entre dichas estructuras (Neirotti et al, 2015). Además, presupuestos específicos para llevar adelante esta tarea es clave para garantizar su continuidad y calidad. Sin embargo, esta condición no existe de manera unificada.
II.3. Balance de capacidades estatales para la evaluación de las políticas públicas en Argentina: innovaciones y oportunidades
Con todo, podemos identificar algunos elementos para tener en cuenta en materia de avances hacia la construcción de una política y la mayor integración de un sistema nacional de evaluación.
Las innovaciones en materia de acceso a la información pública (Ley N° 27.275), rectoría y M&E de la política social (Decreto N° 292/2018) y evaluación de impacto regulatoria (Ley N° 27.343) son avances significativos en materia normativa porque definen a la actividad evaluativa como obligatoria, sujeta a determinados estándares y habilitan canales para su difusión pública.
El anuncio del 1 de marzo de 2020 en ocasión de la presentación del informe sobre el estado de la Nación en la apertura de sesiones legislativas del Congreso Nacional es un fuerte respaldo político al desarrollo de un organismo central: con el objetivo de aumentar la productividad social de la inversión pública, el Presidente propuso la creación de una Agencia Federal de Evaluación del Impacto de las Políticas Públicas. Este compromiso reconocía la importancia de crear políticas públicas basadas en evidencia y de ejecutar planes y programas anclados en el conocimiento experto para mejorar la efectividad del Estado. Por otro lado, la Agencia fue incorporada como una de las 25 metas de las 5 misiones país a lograr en 1.000 días por el Consejo Económico y Social (CES).
La cantidad absoluta de áreas con funciones de M&E en los subsistemas transversales y sectoriales tanto como su jerarquía (Secretaría, Dirección, Programa, Organismo) y foco (planificación, monitoreo, evaluación) varían mucho entre gobiernos y no permanecen estables entre los cambios de administración[11] lo que tampoco garantiza una continuidad estratégica. Esto muestra, además, la ausencia de un consenso de Estado sobre la relevancia de funciones críticas para la gestión pública como son las mencionadas.
Se verifica además un esfuerzo importante en la generación e integración de sistemas de información y se cuenta con mejores herramientas para los subsistemas presupuestario[12] y social[13] para la ejecución del M&E. El caso que más se destaca es el del Ministerio de Salud en donde si bien los programas principales ya contaban con sistemas en funcionamiento, se trabajó en la integración de cada uno de estos desarrollos a través de una plataforma común que permite la interoperabilidad de la información. Además, se realizaron esfuerzos de control de calidad de la información mediante, por ejemplo, desarrollos puntuales de integración con plataformas provinciales para evitar la doble carga de información y, por lo tanto, la prevalencia de errores y la validación de información personal con el Registro Nacional de las Personas.
Pese a estos avances, se registran desafíos pendientes:
Por un lado, la falta de una política nacional ordenadora de la función de M&E en la APN prevalece. Ello repercute en la fragmentación de la función de M&E y la superposición de distintos sistemas transversales, la baja conexión de los sistemas sectoriales y la descoordinación entre los sistemas de M&E de los distintos ministerios nacionales. Existe el desafío de generar mejores condiciones de integración de dichas estructuras (Neirotti et al. 2015).
Por otro lado, la rectoría de evaluación de la política social asignada al CNCPS a través del SIEMPRO se ve debilitada por al menos dos motivos: la escasez de financiamiento propio para implementar el Plan Anual de M&E, y el bajo nivel de conocimiento entre las jurisdicciones sociales de los lineamientos metodológicos definidos por el SIEMPRO para realizar el M&E.
Como mostramos en trabajos anteriores (Aquilino et al. 2020; Aquilino 2015), la ausencia de organismos centrales por jurisdicción con funciones de M&E implica que dichas tareas se practican de manera heterogénea según sector o programa. No existen planes o criterios para realizar evaluaciones unificadas dentro de cada jurisdicción ni entre jurisdicciones ni entre subsistemas. Las decisiones sobre qué evaluar y cómo hacerlo por lo general están descentralizadas a nivel de los programas y dependen de los requerimientos de los organismos internacionales que se enfocan mucho más en la rendición de cuentas que en el rediseño de planes y programas. A su vez, la ausencia de áreas especializadas implica la inexistencia de contrapartes identificables para implementar lineamientos comunes en materia de M&E entre las distintas jurisdicciones. Existen escasos incentivos para que las jurisdicciones reformulen sus metas físicas incluidas en los presupuestos anuales, de manera que permitan realizar seguimientos a nivel de políticas particulares y sirvan en sí como insumos para evaluaciones.
Resulta muy desigual el acceso a la información de planes y programas nacionales ejecutados por las provincias. Por ejemplo, en las dificultades asociadas a la centralización de información por parte del gobierno nacional en casos en donde los programas son implementados por las provincias. Se verifica que la información recibida y su calidad dependen de la provincia y del equipo de trabajo del programa en particular. En algunos casos es por falta de capacidades instaladas o de trayectoria de trabajo común entre los equipos nacionales y provinciales o por afinidades políticas. Por lo general no hay mecanismos institucionalizados para que las provincias reporten información sobre la implementación de los programas en sus jurisdicciones (Amaya y Aquilino 2015).
Actualmente no hay mecanismos institucionalizados de uso de la información del M&E. No se identificaron instancias en las que se presentan los resultados a partir de los cuales se tomen decisiones y se definan compromisos. A su vez, siguen sin comunicarse de manera sistemática y pública los resultados de los estudios y evaluaciones que se realizan ya sea vía organismos internacionales o de manera puntual por las jurisdicciones.
III. La estrategia de evaluación del financiamiento internacional: una contribución a las decisiones estratégicas
En ese contexto de falta de regulación y directrices, el liderazgo político de la SSRFID se propuso continuar fortaleciendo el subsistema de evaluación del financiamiento internacional a través de una evaluación sistemática, ordenada y transparente de la estrategia de financiamiento internacional de la República Argentina en clave de las prioridades estratégicas de gobierno definidas y aplicadas en el marco del proceso de priorización estratégica del financiamiento internacional. Además, se buscó mejorar la capacidad de rectoría y gestión de la SSRFID a través del fortalecimiento del seguimiento y monitoreo de la cartera de programas y proyectos con financiamiento internacional. Adicionalmente, se identificó el objetivo de reunir información valiosa para entender la contribución del financiamiento externo al logro de: a) los 17 Objetivos de Desarrollo Sostenible (ODS); los ejes prioritarios de Gobierno definidos como las misiones país del CES; b) y c) la instalación de capacidades en el Estado Nacional. Como resultado también se buscó derivar aprendizajes para informar el diseño de una Agencia Federal de Políticas Públicas.
Con base en el diagnóstico sobre los sistemas nacionales de M&E, la orientación estratégica de la conducción política, las misiones, responsabilidades primarias y secundarias y capacidades técnicas se propusieron tres criterios ordenadores para el fortalecer el sistema transversal de evaluación de programas y proyectos con financiamiento externo:
1. Soberanía de los datos públicos: pasar de agendas de evaluación fijadas por las prioridades del financiamiento externo a una agenda de evaluación ordenada según las prioridades nacionales.
2. Evaluación de la contribución general al proyecto país: pasar de la evaluación particular a nivel de los programas y proyectos con financiamiento internacional a la evaluación articulada de la contribución del financiamiento a la estrategia nacional de desarrollo según fuente de financiamiento, sector de políticas, jurisdicción, etc.
3. Construcción de capacidades estatales: pasar de la valoración de intervenciones puntuales a la evaluación sistemática del valor público instalado por la estrategia de financiamiento internacional.
III.1. Enfoque y objetivos: evaluación para la gestión de decisiones estratégicas
La SSRFID tiene la responsabilidad de liderar las relaciones, negociaciones y representación del país ante los organismos financieros internacionales de crédito de los que la Nación forma parte; coordinar y gestionar los préstamos con organismos internacionales, multilaterales, bilaterales y regionales de crédito. Además, es la encargada de efectuar el seguimiento de las prioridades en términos productivos y sociales y las relaciones interjurisdiccionales vinculadas con la gestión y ejecución del financiamiento proveniente de organismos internacionales de crédito y gestionar sistemas de información destinados a optimizar la ejecución de los programas con los organismos financieros internacionales de crédito, en coordinación con las áreas competentes. Es de su competencia también supervisar la administración de programas y proyectos con financiamiento externo del Sector Público Nacional y efectuar su evaluación y control.
Considerando ese mandato, la SSRFID se propuso desarrollar e implementar una estrategia de evaluación del financiamiento internacional que contribuya a generar información relevante para:
1. Fortalecer el proceso de priorización estratégica de programas con financiamiento internacional en su alineamiento con los lineamientos prioritarios de gobierno.
2. Entender el aporte de la estrategia de financiamiento internacional al logro de los ODS.
3. Conocer los logros que alcanzan los programas y proyectos con financiamiento internacional en términos de fortalecimiento institucional del Estado argentino.
Las estrategias de M&E pueden focalizarse en monitoreo, en evaluación o en una combinación de las dos funciones. La alternativa entre el monitoreo y la evaluación plantea una tensión entre un enfoque puesto en la descripción y un enfoque puesto en la explicación de las intervenciones sociales que son los programas y proyectos de desarrollo. Dichos enfoques no son excluyentes, sino complementarios entre sí y los sistemas que se focalizan exclusivamente en uno solo de ellos suelen presentar ciertas desventajas y debilidades (Leeuw y Furubo 2009). En la primera etapa de diseño e implementación, se puso en marcha un enfoque predominantemente evaluativo para ser aplicado por la SSRFID ya que la función de monitoreo estaba funcionando correctamente con una Dirección Nacional[14] a su cargo. Esto permitió contar con información profunda vinculada a entender los procesos y resultados de los programas y proyectos para contribuir a mejorarlos. Se estructuró alrededor de tres dimensiones de acuerdo con la calificación de su objeto de análisis, evaluaciones: 1) prioritarias, 2) estratégicas, y 3) clave. Así:
La dimensión prioritaria pretende identificar la contribución de la estrategia de financiamiento internacional al logro de los objetivos y metas definidos por el Gobierno Argentino en el marco de la Agenda Mundial para el Desarrollo Sostenible 2030.
Por ejemplo, la síntesis de evidencia regional sobre Programas de Transferencias Condicionadas y No Condicionadas y la metaevaluación de estudios y el análisis de brechas de evidencia sobre el Plan Argentina contra el Hambre fue un estudio que consolidó los resultados identificados por varios análisis previos ofreciendo una mirada más sistémica sobre las intervenciones en Seguridad Alimentaria (ODS 2. Hambre y Seguridad Alimentaria; Misión Comunidad del Cuidado y Seguridad Alimentaria del CES). Además, puso de relieve tanto los hallazgos como las vacancias de evidencia en los impactos y resultados de la política sobre pobreza, indigencia, ingresos, hábitos alimenticios y nutrición, niñez y discapacidad lo que permite orientar futuras intervenciones y sus evaluaciones.
 |
|
|
|
|
Las evaluaciones centradas en la dimensión estratégica buscan identificar el aporte de la estrategia de financiamiento internacional al logro de los objetivos fundamentales del gobierno. Algunas de las que están en curso se mencionan en el Anexo 2.
Las evaluaciones clave para el fortalecimiento institucional intentan conocer los logros que alcanza la estrategia de financiamiento internacional en términos de gobernanza y fortalecimiento institucional para desarrollar información estratégica y agregada sobre las fuentes de financiamiento internacional para apoyar el diseño de políticas públicas internacionales e institucionales de acuerdo con las prioridades de Gobierno.
Por ejemplo, la evaluación final del Programa de Seguridad Ferroviaria en la Región Metropolitana Buenos Aires (RMBA)[15] financiado por FONPLATA pone en valor la relevancia estratégica del financiamiento internacional para una política de desarrollo que cuenta con un marco institucional de mediano plazo y que fue comenzada por el Gobierno precedente en 2018.
Recuadro 2. Evaluación final del Programa de Seguridad Ferroviaria en RMBA (FONPLATA)
|
Objetivo: Evaluar el diseño y la implementación del Programa de Apoyo al Programa de Seguridad Ferroviaria en la Región Metropolitana de Buenos Aires (RMBA), y su contribución a la gobernanza de la región metropolitana. |
|
|
Hallazgos |
Recomendaciones |
|
Las inversiones muestran afecta-ciones significativas que establecen un piso mínimo de confiabilidad que el sistema no podía anteriormente garantizar. Las obras incluidas son relevantes y pertinentes para conso-lidar y acrecentar los estándares de seguridad en el ferrocarril metropo-litano. |
Los proyectos de cooperación deben delimitar su objeto y las actividades que le serán imputables, con el propósito de distinguir mejor la in-cidencia del apoyo del FONPLATA en el cumplimiento de las activi-dades e inversiones, pero sobre todo, en el alcance de metas estratégicas para el país y para el organismo de financiamiento internacional. |
|
Si bien el Proyecto tiene una dirección adecuada, está diseñado de una forma en que es muy difícil medir sus efectos. No es posible establecer con claridad el grado de obtención de las metas de resultado deseadas (sí hay cumplimiento de metas de producto). |
Elaborar un Programa Integral de Seguridad Operativa para toda la Red Ferroviaria Metropolitana, un estudio sobre las tecnologías a adoptar, sus orígenes y estándares, unificando especificaciones técni-cas. |
|
El mecanismo de financiamiento denominado proporcional de inversiones, que funciona como mecanismo de reembolso de gastos del Tesoro Nacional, resultó en general positivo por distintos motivos, pero atendiendo también distintas perspectivas |
Adoptar un sistema normativo unificado y actualizado y revisar el Reglamento Interno Técnico Operativo (RITO), incorporando nuevas prácticas y procedimientos producto de la incorporación de nuevos sistemas y tecnologías. |
|
Los procesos se llevaron a cabo de forma adecuada y de acuerdo con la normativa nacional de ejecución de obras. Los informes de auditoría no formulan objeciones de relevancia, considerando la complejidad de los procedimientos involucrados. |
Perfeccionar el juicio de atribución de los logros a las actividades del proyecto y los indicadores utilizados: aquellos referidos a la operación, los referidos a los accidentes y los referidos a la infraestructura. Un mejor diseño permitirá una mejor evaluación. |
Fuente: elaboración propia.
De acuerdo a los objetivos y características de los programas, las evaluaciones examinan una o más de tales dimensiones, para lo cual podrán recurrir a diferentes tipos de métodos y técnicas que sigan los más altos estándares internacionales entre los que se destacan evaluaciones conjuntas (OCDE, 2007)[16], metaevaluaciones y evaluaciones agregadas de diseño, procesos, resultados e impacto entre otras.
Se definió que la información producida es utilizada por la SSRFID para fortalecer la priorización estratégica, informar el análisis, planeamiento, seguimiento y evaluación permanente de los ejes prioritarios de gobierno y mejorar el uso estratégico del financiamiento internacional. Se planificó, además, una estrategia de difusión para comunicar los hallazgos de manera focalizada según grupos de práctica sobre los temas sectoriales.
La SSRFID actualmente está llevando adelante esta tarea con un equipo interdisciplinario conformado ad hoc que actúa de manera funcional[17], y puso en marcha mecanismos de coordinación y gobernanza de la estrategia con actores institucionales e internacionales relevantes. Las acciones que se realizan en referencia a este punto son las que apoyen el despliegue y contribuyen a garantizar la calidad de la tarea de la evaluación estratégica. Coordinan permanentemente con la estructura formal de la SSRFID, sus Directores Nacionales y las jurisdicciones nacionales y provinciales que interactúan con el proceso de priorización.
III.2. Del diseño a la implementación: factores operacionales de cobertura, alcance, temporalidad y metodologías de la estrategia
La estrategia de evaluación de la SSRFID tiene distintos tipos de cobertura, alcance y temporalidad en función de los objetivos definidos anteriormente. La cobertura se entiende como el universo de intervenciones a ser evaluadas (programas y proyectos, organismos, políticas y lineamientos estratégicos). El alcance se define en término de los aspectos que se evaluarán (diseño, procesos, resultados, impacto). La temporalidad refiere el momento en el cual la evaluación tendrá lugar respecto de la ejecución del programa (durante o ex post). Las estrategias metodológicas son amplias pudiendo combinarse las de tipo cualitativa y cuantitativa, de acuerdo a lo pertinente para cada tipo de estudio, la disponibilidad de datos para responder a las preguntas previstas y bajo la premisa que los diseños están mayormente bajo la responsabilidad de los Agentes Evaluadores. Sin embargo, la SSRFID puede sugerir diseños metodológicos específicos —como se verá más abajo— en caso de programas con interés particular debido a la multiplicidad o repetición del financiamiento.
Inicialmente, la estrategia de evaluación preveía alcanzar a todos los programas con financiamiento proveniente de Organismos Multilaterales de Crédito (OIC). Actualmente, se incorpora un componente de evaluación únicamente en aquellos programas considerados de inversión y de cuyo desarrollo y resultados se considera necesaria la obtención de información estratégica.
En términos de alcance, la estrategia se enfoca en evaluar (a través de criterios estándares o desde la teoría del programa): i) el diseño de la intervención, ii) los procesos de gestión y coordinación para la ejecución de los programas y proyectos, iii) las capacidades institucionales, iv) los resultados de desarrollo o el v) el impacto que logre el programa en el bienestar de la población. El alcance se define para cada programa en función del grado de evaluabilidad que presente y la matriz de orientación de evaluaciones conforme a criterios definidos. La matriz de orientación es una guía para definir cómo las evaluaciones de programas, fuentes de financiamiento o sectores de política permiten implementar la estrategia de evaluación.
Desde el punto de vista metodológico despliega una estrategia amplia con un enfoque mixto con estrategias cualitativas y cuantitativas. Pueden ocurrir ex ante, durante o ex post a la ejecución de los programas y proyectos[18]. La matriz de orientación también es el instrumento que define este aspecto de las evaluaciones. Prioriza cinco enfoques principales: evaluabilidad, líneas de base, procesos, resultados e impacto. Las metaevaluaciones resultaron un recurso valioso para casos de múltiples financiamientos sobre una misma iniciativa pública, para orientar los estudios, enfocarlos en lo relevante y evitar solapamientos. En todos los casos se adoptan estándares internacionales para las distintas metodologías.
Desde lo operacional, la estrategia de evaluación se despliega a través de una actividad específica dentro de aquellos programas y proyectos con financiamiento multilateral y regional seleccionados por la SSRFID[19]. Se lleva adelante a través de Agentes Evaluadores, en conjunto y coordinación con las jurisdicciones implementadoras de los programas y proyectos con financiamiento externo. Se trata de evitar la duplicidad de evaluaciones con los sistemas sectoriales.
Inicialmente, la SSRFID había adoptado el rol de subejecutora para la ejecución de las evaluaciones. Esto implicaba la suscripción de convenios de transferencia y medidas presupuestarias coordinadas con el ejecutor. Luego, ante la decisión de economizar los esfuerzos de coordinación administrativa, se optó por sostener el rol de responsable técnico-metodológico en la SSRFID y mantener la unicidad en la ejecución fiduciaria. El rol de responsable técnico-metodológico incluye actualmente:
● el cálculo del monto de evaluación;
● la elaboración de las preguntas de evaluación en coordinación con actores relevantes;
● la producción de los términos de referencia para la contratación del Agente Evaluador;
● la confección de la matriz de valoración de costo y calidad de las propuestas;
● la determinación del universo de Agentes Evaluadores;
● la participación en el comité de evaluación de propuestas;
● la colaboración en la negociación del contrato con el Agente Evaluador;
● el seguimiento, la supervisión y la aprobación técnica de los productos entregables;
● la responsabilidad sobre los usos y difusión de la evaluación, etc.
Este esquema resulta costo-efectivo y ha demostrado que, mediante esta medida de flexibilización en la implementación de la política, se reimpulsó y fortaleció su continuidad, incorporando la posibilidad de mantener la ejecución financiera de las actividades de evaluación en el Organismo Ejecutor y aprovechar las estructuras administrativas allí instaladas.
III.3. De la organización a los procesos de trabajo: instrumentos propios para la implementación
La estrategia de evaluación del financiamiento externo es conducida en el ámbito de la SSRFID con el apoyo de la Dirección Operativa de Financiamiento Internacional (DOFI). Entre sus funciones principales se encuentran: a) asistir en las acciones de evaluación durante las etapas de diseño, formulación, implementación y cierre de los programas y proyectos; b) asumir la responsabilidad de determinar las especificaciones y marcos para las propuestas metodológicas, c) la elaboración de los Términos de Referencia de contrataciones para las respectivas acciones de evaluación, d) participar de las Comisiones Evaluadoras, entre otros aspectos. El equipo técnico es pequeño y cuenta con los siguientes perfiles: coordinación, gestión estratégica (planificación, implementación y evaluación), gestión operativa y soporte interno.
La estrategia alcanza a determinados programas y proyectos con financiamiento internacional que hayan sido aprobados a partir de 2020 de la cartera multilateral y regional incluyendo al Banco Interamericano de Desarrollo (BID), Banco Mundial (BIRF), Banco de Desarrollo de América Latina (CAF), FONPLATA - Banco de Desarrollo, Fondo Internacional para el Desarrollo Agrícola (FIDA), Banco Centroamericano de Integración Económica (BCIE).
El presupuesto inicial destinado a realizar las evaluaciones se establece de acuerdo con una Matriz de Cálculo de Fondos para Evaluación elaborada por la SSRFID. Dicha Matriz contempla cinco criterios para el cálculo de asignación mínima de fondos para Evaluación: i) significatividad económica del proyecto, ii) sensibilidad del objeto, iii) alcance geográfico, iv) plazo temporal y v) relevancia estratégica en alineación con ODS y ejes prioritarios de gobierno. A cada criterio se le asigna un factor de ajuste sobre el monto total del Programa.
La definición de los niveles y los tipos de evaluación se lleva adelante acompañando el proceso de priorización de programas y proyectos (Decisión Administrativa N° 162/2019: Circuito de Gestión Administrativa. Aprobación). La gestión integral y la articulación de las evaluaciones estratégicas con los ejecutores, OIC y Agentes Evaluadores, se lleva adelante en la Unidad de Evaluación Estratégica del Financiamiento Externo (UEEFE), un área funcional dependiente de la SSRFID, en coordinación con los Organismos Ejecutores.
III.4. De los usos potenciales de la información producida
Con todo, se espera que la información generada por las evaluaciones lideradas por la SSRFID en sus diferentes dimensiones sea utilizada para la toma de decisiones en un conjunto de procesos vinculados tanto a aspectos internos como externos a la gestión del Estado. Los resultados de las evaluaciones pueden tener tres tipos de uso: a) instrumental, b) conceptual y/o c) simbólico (Levinton y Hughes, 1981):
● Por uso instrumental entendemos la mejora de los programas y proyectos, para establecer vínculos con la formulación presupuestaria o para emprender acciones específicas en el marco del proceso de priorización. También para fundar la decisiones que se toman durante la negociación con los OIC informando el diseño y coordinando la evaluación.
● Por uso conceptual nos referimos a ejercicios realizados para la difusión de la información, específicamente entre los actores relevantes en la conducción de los programas y las políticas objeto de las evaluaciones. La estrategia probó ser relevante para la conversación con los organismos sectoriales “dueños” del área de políticas que recibirá financiamiento.
● El uso simbólico se entiende como la utilización que, si bien no genera cambios específicos en programas o políticas, o aprendizaje y conocimiento entre actores relevantes, está asociada a los esfuerzos por lograr la permanencia de políticas o programas, o a la continuidad o legitimidad política y administrativa de los gobiernos en turno (Maldonado Trujillo et al; 2017). Todavía no se comprueba un uso de este tipo probablemente debido a la madurez que necesita lograr la estrategia.
Si bien no existe suficiente evidencia sobre el uso conceptual y simbólico de las evaluaciones si sabemos que en cuanto al uso instrumental en América Latina:
…los estudios disponibles señalan que, en la mayoría de los casos, la falta de credibilidad fue uno de los factores clave para explicar el bajo nivel de utilización. Entre los elementos que afectan la credibilidad de la evaluación destacan la calidad de los datos, el origen de la evaluación —ya que en muchos casos se realiza desde el propio gobierno— y la falta de mecanismos de retroalimentación. Otro factor relevante es la actitud del gobierno y del legislativo en turno respecto a los procesos de seguimiento y evaluación. Hasta 2007, gran parte de estos sistemas en la región latinoamericana había tenido un impacto escaso y pocas consecuencias directas en los resultados. (Cunill-Grau y Ospina 2008, 32)
Para fortalecer el uso constante de las evaluaciones, la SSRFID propone una estrategia orientada a articular la oferta y demanda de evaluaciones a través de procesos ya existentes en la APN sin generar nuevos circuitos que canalizan el flujo de resultados y hallazgos. Además, para los procesos internos, se propone un esquema de seguimiento a las recomendaciones (en desarrollo). En este sentido, algunos de los posibles usos sobre circuitos ya existentes con sus respectivos usuarios se detallan en la tabla que sigue:
Tabla 5. Usos y usuarios de las evaluaciones
|
Organismo |
Usos (procesos) |
Usuarios (actores) |
|
Ministerio de Economía |
● Monitoreo de metas físicas y financieras del presupuesto ● Programación Presupuestaria ● Seguimiento de la gestión |
Oficina Nacional de Presupuesto |
|
SSRFID |
● Planificación y gestión de operaciones ● Priorización de programas y proyectos ● Negociación de programas y proyectos ● Ejecución de programas y proyectos ● Monitoreo de desembolsos trimestral ● Gestión de desembolsos ● Cierre |
Subsecretario Directores Nacionales y Operativos |
|
Misiones: ● Identificación ● Negociación ● Monitoreo y Evaluación |
Organismos Internacionales de Crédito |
|
|
● Seguimiento de misiones y metas |
Consejo Económico y Social |
|
|
Jefatura de Gabinete de Ministros |
● Informe de gestión mensual al Congreso |
Subsecretaría de Relaciones Parlamentarias |
|
● Informe sobre el estado de la Nación |
Ciudadanía APN Legisladores |
|
|
● Coordinación, monitoreo y evaluación del presupuesto nacional ● Inversión pública |
Secretaría de evaluación presupuestaria |
|
|
Consejo Nacional de Coordinación de Políticas Sociales |
● Plan Anual de Evaluación |
Sistema de Información, Evaluación y Monitoreo de programas sociales |
|
Organismos ejecutores |
● Planificación sectorial ● Definición del perfil del proyecto ● Monitoreo y evaluación |
Ministerios Organismos de la APN |
|
Congreso Nacional |
● Plan Anual de Evaluación |
Oficina de Presupuesto del Congreso Comisiones Parlamentarias |
|
Organizaciones no Gubernamentales |
● Análisis de Políticas Públicas ● Rendición de Cuentas ● Formulación de Propuestas de Políticas Públicas |
Áreas de Evaluación y Formulación de Políticas Públicas |
|
Sistema científico- tecnológico |
● Estudio de Políticas Públicas ● Formulación de Propuestas de Políticas Públicas |
Instituciones universitarias de estudio de Políticas Públicas |
|
Organismos Internacionales de Crédito |
● Medición de efectividad en el Desarrollo ● Formulación de estrategias país |
Sectores de Planeamiento, Monitoreo y Evaluación de Programas |
Fuente: elaboración propia.
IV. Aprendizajes parciales sobre la ejecución de la estrategia de evaluación del financiamiento internacional
Avanzar en la construcción de información estratégica de alto valor social sobre un aspecto clave de la política nacional como es el financiamiento internacional es fundamental para fortalecer la posición del Estado argentino en la negociación del crédito externo.
Con la estrategia implementada bajo la rectoría de la SSRFID, el subsistema de M&E de programas y proyectos con financiamiento internacional se vió fortalecido a través de tres acciones concretas: liderazgo de aquello que debe ser evaluado (soberanía de los datos públicos), análisis sistemático de la contribución del financiamiento internacional al proyecto país; generación de evidencia para la construcción de capacidades estatales. De ese proceso que tuvo lugar entre 2019 y 2023 se pueden sintetizar algunos aprendizajes y otros desafíos pendientes hacia futuro.
Entre los aprendizajes se destacan:
1. La decisión política de máximo nivel es la base de la estrategia de evaluación. El Presidente había fijado el desafío (en la Asamblea Legislativa de 2020) de entender el sentido de la inversión para la productividad social: “resolver el desafío que habíamos encontrado: un Estado del siglo XXI con herramientas del siglo XX” lo cual habilitó una iniciativa específica para generar información.
2. La vacancia de información estratégica sobre el desempeño y la contribución de los programas y proyectos con financiamiento internacional al desarrollo nacional necesitaba ser cubierta para responder a la pregunta ¿qué efectos concretos y medibles tiene en la vida de las personas los programas y proyectos con financiamiento internacional? Contar con una estrategia es el primer paso para resolver, en el tiempo y con los consensos necesarios entre futuras administraciones, esa necesidad.
3. En el marco internacional en el que opera la SSRFID es necesario mantener un diálogo informado y basado en evidencia como exige la conversación global sobre la efectividad del desarrollo. Contar con información generada por las evaluaciones permite conocer efectos de programas y proyectos con financiamiento internacional: sobre los ODS, las áreas prioritarias de desarrollo nacional y las capacidades estatales. Esto facilita la argumentación informada en los procesos de negociación internacionales con especialistas en evaluación de los OIC.
Tabla 6. Interlocutores de evaluación en los OIC
|
OIC |
Unidad |
Tipo de evaluaciones |
|
BID |
Oficina de Evaluación y Supervisión Vicepresidencia de Sectores y Conocimiento Oficina País |
Estrategias de país Sectoriales Proyectos |
|
BM |
Grupo de Evaluación Independiente Oficina País |
Programas País Sectoriales Desempeño de proyectos |
|
CAF |
Dirección de aportes al desarrollo y medición de impacto |
Proyectos Sectoriales |
|
FONPLATA |
Unidad de Efectividad en el desarrollo |
Proyectos |
|
FIDA |
Oficina de Evaluación Independiente |
Operaciones |
|
BCIE |
Oficina de Evaluación Independiente |
Operaciones país |
4. El proceso de priorización de programas y proyectos es un momento clave para asegurar una relación virtuosa entre ejecución y evaluación de programas. Permite identificar sobre cuáles programas y proyectos existen evidencias de resultados concretos y sobre cuáles no. Esa evidencia, adecuadamente comunicada y utilizada, permite una toma de decisiones más informada y un uso estratégico de los recursos públicos y del financiamiento internacional.
5. Es crítico incorporar la actividad de evaluación estratégica en los documentos precontractuales y contractuales; articular con organismos internacionales, los ejecutores (ministerios y provincias) y los Agentes Evaluadores. Dos de cada tres programas priorizados cuentan con actividades de evaluación alineadas a las prioridades estratégicas. En esa línea, Carla Giorno, encargada de las negociaciones con los OIC por el área de evaluación:
...lo que permitió materializar la estrategia fue la inclusión del rol de la evaluación del financiamiento internacional en los perfiles de los programas, lo que se trasladó a los decretos de aprobación de los modelos de contratos y por último la incorporación por medio de las negociaciones con los OIC y los ejecutores como cláusulas en los contratos, los anexos y el detalle de las prácticas a realizarse dentro de los manuales/ reglamentos operativos.
Este set de documentos compuesto por: perfil del programa priorizado, decreto aprobando modelo de contrato y documentos contractuales con el rol de evaluación estratégica incluido, lo entiendo como el sustrato material de todo lo que a partir de esos compromisos internacionales asumidos, llevan a la SSRFID a la implementación de la estrategia. Este sustrato material implica el acuerdo de voluntades de todos los actores. No es menor contar haber incorporado esta estrategia en más de 80 programas con aporte externo. (Entrevista personal)
6. Es necesario contar con equipo técnico calificado para la realización de evaluaciones que participe durante todo el ciclo de los programas y proyectos de cooperación internacional: priorización, negociación, misiones técnicas y cuente con sus propios procesos y herramientas de trabajo. La SSRFID no tenía la capacidad instalada para facilitar esta función.
7. Diseñar evaluaciones privilegiando conocer los efectos en la vida de las personas contribuye a aumentar el uso de sus resultados.
Con relación a los desafíos que todavía tiene la estrategia de evaluación emergen algunos de índole política y operativa para su consolidación institucional:
1. Reglamentar la estrategia de evaluación en un instrumento que la consolide en el espacio institucional del Ministerio de Economía de la Nación. Si bien el desarrollo y comunicación de los objetivos y la racionalidad de las evaluaciones existe, no se plasmó todavía en una norma que promueve su continuidad en el tiempo. Si permanece como práctica pero sin respaldo normativo aumenta el riesgo de su reemplazo o falta de continuidad frente al ciclo político.
2. Consolidar un equipo de trabajo dentro del organigrama de la SSRFID. Si bien fue posible poner en marcha la estrategia de evaluación, a medida que avance la elaboración de diseños evaluativos, productos e informes será necesario contar con personal altamente capacitado para establecer un diálogo de calidad con los OIC (que tienen espacios potentes de evaluación), los Ministerios sectoriales y usuarios institucionales de los hallazgos y recomendaciones.
3. Afinar los criterios de aplicación de la estrategia es fundamental para su sostenibilidad en el tiempo. Haber reducido el universo de programas con evaluación - de todos a algunos - fue una decisión importante. Profundizar para que los elementos que hacen a la selección reflejen la decisión política y operativa es un desafío a enfrentar que permitirá aumentar la legitimidad y transparencia de las evaluaciones y sus resultados.
4. Aumentar la potencia de las bases de datos. Una deuda de toda la APN es el acceso a bases de datos interoperables que permitan bajar, leer y re interpretar las miradas que ofrece la información administrativa. Sin esa posibilidad, las evaluaciones se ven limitadas metodológicamente para avanzar hacia estudios de impactos intertemporales que permitan combinar diferentes indicadores. El rol de la estrategia de evaluación del financiamiento internacional tiene que apuntar a fortalecer ese diálogo en conjunto con el ecosistema de evaluación nacional.
5. Mejorar la coordinación con el ecosistema evaluador de toda la APN es clave para no superponer esfuerzos y ordenar el flujo de recursos de los distintos actores hacia las evaluaciones estratégicas que respondan a necesidades de rendición de cuentas, diseño de nuevas intervenciones y corrección de las que están en marcha. La articulación con los otros dos subsistemas sectoriales, el de programas y políticas sociales y el planes sectoriales de las jurisdicciones, tanto como con el otro transversal en cabeza del MECON, el de programas presupuestarios, es crítico para no superponer esfuerzos y recursos públicos en ausencia de un organismo rector del sistema nacional de evaluación.
6. Contribuir a crear una mirada sistémica para la política nacional de evaluación. La falta de una visión y marco común compartido por el sector público sobre qué es y cómo se hace evaluación es una vacancia que un sistema nacional de evaluación fortalecido con una Agencia de Evaluación de Políticas Públicas podrían contribuir a llenar como institución rectora. Los aprendizajes de la experiencia de la SSRFID pueden contribuir en este sentido.
7. Adaptar y traducir las evaluaciones y sus resultados a los formatos y lenguajes necesarios para facilitar su uso instrumental y conceptual en los distintos niveles y sectores de la SSRFID y hacia las distintas audiencias. Tal como lo expresa Alejandro García, responsable de la gestión integral de las evaluaciones:
Las evaluaciones finalizadas hasta el momento han probado que sus resultados pueden tener utilidad real para la mejora del diseño de futuras operaciones, cualquiera sea su financiamiento. Sin embargo, no debemos ahorrar esfuerzos en la presentación de estos resultados en distintos formatos, plataformas, extensiones, jergas, etc. de modo tal de potenciar su capacidad de permear en distintos usuarios. (Entrevista personal)
V. La producción y gestión de evidencia como política de Estado: algunas conclusiones
En un contexto de fragmentación y desarrollo desigual de los distintos sistemas de evaluación de políticas existentes en la APN, la política de evaluación enfrenta algunos retos vinculados con su marco legal, su gobernabilidad e institucionalidad, su financiamiento y su uso sostenido.
Es necesario hacer un traspaso desde el enfoque de la evaluación del gasto a la evaluación del impacto y los resultados de las políticas públicas. Esto implica innovar en el diseño institucional y los mecanismos necesarios para aumentar el ciclo de producción y uso de información pública de calidad con foco en la sustentabilidad y soberanía de los datos públicos.
Además, es oportuno construir un consenso de Estado sobre la mirada evaluativa que instale, sostenga y promueve la valoración sistemática, de mediano y largo plazo, contracíclica del calendario político e intertemporal de los impactos y resultados que logra (o no) la acción estatal en las personas y el territorio. Para eso, es necesario avanzar en algunos aspectos clave.
Una ley. Es fundamental que el Congreso Nacional debata y legisle una política nacional que vigorice el sistema nacional de evaluación; que brinde a los tomadores de decisión procesos y herramientas que produzcan información crítica para apoyar el diseño, formulación y ejecución de las intervenciones, la elaboración del presupuesto; y que apoye a la alta gerencia pública en el monitoreo del desempeño de sus acciones y genere aprendizajes para la mejora. Es imperioso avanzar hacia un sistema nacional de evaluación que proporcione la información necesaria para analizar el plan de gobierno y contribuya con la asignación del presupuesto para rendir cuentas al Poder Legislativo, la sociedad civil, la ciudadanía y la comunidad internacional.
Una agencia. Diseñar e implementar una unidad responsable de planificar, coordinar y ejecutar la política nacional de evaluación en el marco de una ley nacional de evaluación aprobada por el Congreso, como la que anunció el Presidente durante el informe sobre el estado de la Nación en 2020. Este organismo tendría, además, el desafío de integrar las intervenciones, avances y conocimiento existentes para mejorar el sistema nacional de evaluación. Su institucionalización es vital para consolidar la función evaluadora, para lo cual se deben cumplir algunos requisitos, entre los cuales sobresale contar con la debida autonomía institucional, técnica y financiera. Es necesario avanzar hacia una mayor capacitación y conocimiento técnico en temáticas vinculadas con el monitoreo y la evaluación en la APN.
Parámetros comunes. Las mejoras de diseño de las políticas públicas pueden plantearse como tarea conjunta entre el organismo evaluador (fijando reglas de operación) y los planificadores sectoriales (aplicándolas). Así, se pueden establecer reglas para la elaboración de planes y programas de gobierno que mejoren la calidad de su diseño: parametrizar aspectos indispensables: formulación (objetivos, resultados, indicadores, productos, fuentes de información, etc.), diseño de sistemas de información (matrices de monitoreo y evaluación, registro y archivo), metodologías (cuantitativos y/o cualitativas) y uso que se dará a la información producida; aumentar la evaluabilidad, vinculando la función de evaluación desde la planificación, asegurar implementación y presupuesto; establecer estrategias de recolección de datos y vinculación con actores clave, y asignar presupuesto específico para tareas de M&E de manera consistente. Esto permitirá contar con un flujo de datos constante, para tomar decisiones durante la implementación y analizar impactos en el mediano plazo.
Mejor información. Es necesario aumentar la articulación con el Instituto Nacional de Estadísticas y Censos, para que las evaluaciones dialoguen con los datos existentes en un mismo lenguaje, y hagan interpretables los resultados que analizan. Además, una mayor coordinación de los sistemas aportaría a la sustentabilidad de cada uno. De otro modo, cada programa gestiona su propio desarrollo, lo que resulta en sistemas incompatibles, con altos costos de mantenimiento y distintos criterios de funcionamiento.
Uso extensivo de resultados. Contar con mecanismos operativos para que los programas y políticas adopten las recomendaciones y respondan a las observaciones de las evaluaciones a través de incentivos institucionales específicos que superen el factor presupuestario es decisivo. Brindar información pública de calidad y ampliar la difusión de los resultados de las evaluaciones que se realizan nutriría el debate político con conocimiento y evidencia. La comunicación de los resultados permitiría no solo transparentar el sistema de reporte sino también integrar a la gestión el conocimiento que el M&E producen.
Referencias
Ackerman, John. 2006. Estructura institucional para la rendición de cuentas: lecciones internacionales y reformas futuras. México.
Acuña, Carlos y Fabián Repetto. 2009. “Un aporte metodológico para comprender (y mejorar) la lógica político institucional del combate a la pobreza en América Latina”. En Democracia y política pública en América Latina: del análisis a la implementación, coordinado por F. Mariñez Navarro y V. Garza Cantú, págs. 97-144. México: Porrúa – EGAP – CERALE.
Aquilino, Natalia. 2015. “Hacia una política nacional de evaluación”. Documento de Políticas Públicas / Recomendación Nº151. Buenos Aires: CIPPEC.
Aquilino, Natalia, Agustina Suaya y Eva Arias. 2015. “Hacia un análisis de evaluabilidad de planes y programas sociales: un estudio sobre 33 iniciativas implementadas en Argentina”. Studia Politicæ 34: 37-72.
Aquilino, Natalia, Mónica Ballescá, Fernanda Potenza y Jimena Rubio. 2017. “¿Todos los caminos conducen a Roma? Análisis comparado en la institucionalización de la evaluación”. Documento de Trabajo Nº 159. Buenos Aires: CIPPEC.
Aquilino, Natalia, Fernanda Potenza y Jimena Rubio. 2018. “10 decisiones para construir un sistema de monitoreo y evaluación de políticas públicas”. Documento de Trabajo N° 166. Buenos Aires: CIPPEC.
Aquilino, Natalia, Jimena Rubio y María Laffaire. 2020. “Agencia Federal de Evaluación: antecedentes y desafíos institucionales”. Documento de Políticas Públicas / Recomendación Nº220. Buenos Aires: CIPPEC.
Amaya, Paula y Natalia Aquilino (comps.), Eva Arias (ed.). 2015. Mapa Diagnóstico de la Evaluación en Argentina. Red Argentina de Evaluación – EvaluAR.
Bolaños González, Jimmy. 2010. “Bases Conceptuales de la rendición de cuentas y el rol de las Entidades Fiscalizadoras Superiores”. Revista Nacional de Administración 1 (1): 109-138.
Cardozo Brum, Myriam Irma. 2021. Evidencia: conceptos y usos en la evaluación de políticas y programas públicos. Ciudad de México: Departamento de Política y Cultura, Universidad Autónoma Metropolitana Xochimilco.
Cunill Grau, Nuria y Sonia Ospina Bozzi. 2008. Fortalecimiento de los sistemas de monitoreo y evaluación (M&E) en América Latina: Estudio comparativo de doce países. Caracas, Venezuela: CLAD.
Feinstein, Osvaldo. 2008. “Institucionalización de la evaluación en Iberoamérica: desafíos y oportunidades”. Ponencia presentada en el XIII Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública. Buenos Aires, Argentina.
———. 2009. “National Evaluation Capacity: Lessons Learned and a Conceptual Scheme”. Presentación preparada para la conferencia UNDP’s Evaluation Office, Casablanca Conference on National Evaluation Towards an enabling environment for evaluation capacity at the national level: what type of support is needed? New York.
———. 2012. “La institucionalización de la evaluación de las políticas públicas en América Latina”. Presupuesto y Gasto Público 68: 41-52.
———. 2015. “Sobre el desarrollo de los sistemas de evaluación en América Latina y el Caribe”. Revista del CLAD Reforma y Democracia 62: 193-210.
García López, Roberto y Mauricio García Moreno. 2010. La gestión para resultados en el desarrollo. Avances y desafíos en América Latina y el Caribe. Washington: BID.
Kaufmann, Jorge, Mario Sanginés y Mauricio García Moreno (eds.). 2015. Construyendo gobiernos efectivos. Logros y retos de la gestión pública para resultados en América Latina y el Caribe. BID.
Lahey, Robert. 2010. “The Canadian M&E System: Lessons Learned from 30 Years of Development”. ECD Working Papers Series 23. Washington: IEG World Bank.
Lázaro, Blanca. 2015. “Estudio comparado sobre institucionalización de la evaluación en Europa y en América Latina”. Colección Estudios 15.
Leeuw, Frans y Jan-Eric Furubo. 2008. “Evaluation Systems: What Are They and Why Study Them?” Evaluation 4 (2): 157-169.
Leviton, Laura. 2003. “Evaluation Use: Advances, Challenges and Application”. American Journal of Evaluation 24: 525-535.
Leviton, Laura. y Edward F. Hughes. 1981. “Research on the utilization of evaluations: A review and synthesis”. Evaluation Review 5 (4): 525-548.
Mackay, Keith. 2000. “Fortalecimiento de la capacidad de evaluación. Guía para el diagnóstico y marco para la acción”. Evaluation Capacity Development Working Paper Series. Washington DC: Banco Mundial.
———. 2006. “Desarrollo de la capacidad de Evaluación. Institucionalización de los sistemas de seguimiento y evaluación para mejorar la gestión del sector público”. Serie de documentos de trabajo sobre desarrollo de la capacidad de evaluación 15. Washington DC: Banco Mundial.
———. 2007. Cómo crear sistemas de SyE que contribuyan a un buen gobierno. Washington DC: Banco Mundial.
———. 2010. Marco Conceptual del Sistema de Monitoreo y Evaluación. Banco Mundial.
Maldonado Trujillo, Claudia y Gabriela Pérez Yarahuán. 2008. Antología sobre Evaluación. La construcción de una disciplina. Ciudad de México: CIDE.
Neirotti, Nerio, María Eugenia Brissón y Matías Mattalini. 2015. “Tiempo de retorno del Estado: Realidades y desafíos del seguimiento y evaluación de políticas y programas en Argentina”. En Panorama de los sistemas nacionales de monitoreo y evaluación en América Latina, editado por G. Pérez y C. Maldonado, págs. 31-70. México: CIDE.
Oszlak, Oscar. 2003. “¿Responsabilización o Respondibilidad?: El sujeto y el objeto de un estado responsable”. Ponencia presentada en el Octavo Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, del 28 al 31 de octubre de 2003, Ciudad de Panamá.
Parkhurst, Justin. 2017. The politics of evidence: from evidence-based policy to the good governance of evidence. Routledge Studies in Governance and Public Policy. Oxon, UK: Routledge.
Pérez Yarahuán, Gabriela y Claudia Maldonado Trujillo. (eds.). 2015. Panorama de los sistemas nacionales de monitoreo y evaluación en América Latina. México: CIDE.
Red Argentina de Evaluación (EvaluAR). 2015. Hacia un mapa diagnóstico de la evaluación en Argentina. Buenos Aires.
Sanderson, Ian. 2002. Evaluation, Policy Learning and Evidence-Based Policy Making. Blackwell Publishers.
Schmitter, Philippe. 2004. “The ambiguous virtues of accountability”. Journal of democracy 15 (4): 47-60.
Serafinoff, Valeria. 2017. “Sistemas de evaluación: de la teoría a la implementación”. Revista Estado Abierto 1 (2).
Zaltsman, Ariel. 2006. “Experiencia con la institucionalización de sistemas de monitoreo y evaluación en cinco países latinoamericanos: Argentina, Chile, Colombia, Costa Rica y Uruguay”. Serie de Documentos de Trabajo N°16. Grupo de Evaluación Independiente del Banco Mundial.