A pesar que en la década de los noventa se hizo explícita en la gestión pública la importancia de los sistemas de monitoreo y evaluación de proyectos sociales, ellos son aún limitados y en muchos casos deficientes. Si se toma en cuenta que, en el año 2000, cerca de unos US$770 millones se destinaron a la ejecución de proyectos y programas sociales, no cabe duda que evaluar y cuantificar la efectividad de tales desembolsos es de vital relevancia. Ello permitirá identificar y aprender de aquellos programas con mayor rentabilidad social y enmendar rumbos en aquellos de dudosa efectividad. Así, dada la escasez de recursos, resulta necesario tener presente que la inversión y gasto social debe hacerse de manera no sólo eficaz sino también eficiente.

Por tanto, los esfuerzos por implementar sistemas de evaluación y monitoreo de programas sociales no sólo deben incrementarse; también debe asegurarse la calidad de los mismos. De lo contrario, poca o ninguna utilidad tendrán. Es en este marco que se presenta la siguiente propuesta de investigación, la cual será una contribución en la búsqueda de metodologías rigurosas de evaluación de programas sociales que mejor respondan a nuestra realidad y nuestras necesidades como país.

Se abordarán las siguientes preguntas centrales de todo proceso de evaluación: ¿Qué se mide?, ¿Cómo se mide?, ¿Cuándo se mide?, ¿Quién mide?, y ¿Por cuánto tiempo se mide? De esta manera, para los diseñadores de programas existirá una clara descripción de cómo incorporar la evaluación del programa como un elemento paralelo al programa en sí mismo. Los ejecutores, encontrarán las herramientas necesarias para implementar algunos procesos de la evaluación y poder dialogar y exigir calidad al evaluador externo, cuando este sea el caso. Y los evaluadores encontrarán una discusión sobre las ventajas y limitaciones de las distintas metodologías de evaluación y la manera cómo se deben computar los diversos estimadores de impacto.

Objetivos

El estudio recorrerá de manera exhaustiva las posibilidades metodológicas y las técnicas que resultan aplicables a los programas sociales en una realidad como la nuestra. Esta exploración de alternativas planteadas en la literatura permitirá poner al alcance de ejecutores y evaluadores locales sofisticadas técnicas econométricas y estadísticas sugeridas e identificará las bondades y limitaciones de cada una de ellas.

A partir de lo anterior, se propone elaborar un documento autocontenido que sirva a los diseñadores, ejecutores y evaluadores de programas sociales como base para la construcción de sus propios Manuales de Operaciones en Evaluación de Programas Sociales, especialmente en programas de empleo. Esta herramienta que se plantea crear será de vital importancia para el monitoreo y la evaluación de programas sociales, y pretende convertirse en un referente y manual obligado dentro de la bibliografía local sobre la materia.

Con un nivel aún mayor de especificidad, se propone la aplicación del marco conceptual, metodológico y técnico en un programa en particular: el Programa de Capacitación Laboral Juvenil, ProJoven. Ello permitirá mostrar de manera aplicada el proceso completo de evaluación. Con las técnicas econométricas que se desarrollarán se estará en capacidad de cuantificar el efecto de ProJoven sobre el acceso al empleo, la calidad del mismo y los ingresos de los usuarios del programa. En la comunidad académica local ya existe cierto nivel de consenso en el sentido de que una cuantificación precisa de los efectos del programa requiere del uso de muestras de grupos de control con características similares a las de los beneficiarios. En este sentido, la experiencia de ProJoven se convierte en el primer referente local para un tratamiento técnicamente correcto del problema.

Un aspecto muy importante de la evaluación de programas sociales, relacionado con la selección de muestras de beneficiarios y controles, y que aun no ha sido explorado a profundidad, es el relacionado con lo que la literatura denomina Ashenfelter´s dip, para señalar que puede existir una correlación entre una caída temporal en los ingresos y la decisión de participar en los programas de empleo.

En general, los participantes de programas sociales presentan ciertos sesgos de selección, es decir, existen diferencias en características entre participantes y no participantes. Algunas de estas diferencias son observables por el econometrista -y por lo tanto es posible utilizar técnicas de apareamiento para conseguir muestras de beneficiarios y controles similares- pero algunas otras no, lo que origina un problema de comparabilidad entre las muestras de beneficiarios y controles. Tomar en cuenta estas diferencias pre-programa, entonces, resulta vital en la evaluación de impacto y, por tanto, se considera como un objetivo adicional analizar y comparar técnicas alternativas para enfrentar este problema.

Metodología

La metodología a utilizar para el desarrollo de la investigación propuesta contempla como primer paso una exhaustiva revisión bibliográfica sobre metodologías y técnicas de evaluación de programas sociales, en particular de aquellos vinculados a la mejora de la inserción laboral y de los ingresos de los beneficiarios. Asimismo, está revisión bibliográfica buscará determinar cuales han sido las prácticas comunes en materia de evaluación de impacto de los programas sociales en el país.

En segundo lugar, a partir de un claro entendimiento de las ventajas y limitaciones de las diversas metodologías de evaluación y medición de impacto de programas sociales, se estará en capacidad de proponer una metodología adecuada para una economía con características como la nuestra. Se pondrá especial énfasis en describir todos los pasos que debe incluir una rigurosa evaluación de impacto, desde el diseño de instrumentos adecuados para el recojo de información y la determinación de las muestras de usuarios y controles, hasta la manera cómo deben calcularse los diversos estimadores de impacto propuestos en la literatura. Asimismo, se dejará en claro para cada etapa del proceso de evaluación los potenciales problemas que debe enfrentar el evaluador y las opciones para enfrentarlos.

En tercer lugar, se desarrollará empíricamente el proceso de evaluación para el programa de capacitación laboral juvenil PROJoven. Para ello se utilizará la información recopilada por dicho programa correspondiente a la sexta convocatoria. La información disponible contempla tanto una línea de base con información sociolaboral para una muestra de cerca de 2000 beneficiarios, como información seis meses después de terminado el programa para los mismos individuos. A partir de dicha información se estará en capacidad de estimar empíricamente el impacto del programa PROJoven en diversas variables, entre ellas ingresos, tasas de empleo, y segregación ocupacional.

La estimación empírica a realizarse incluirá un análisis comparativo de los diversos estimadores de impacto propuestos y la sensibilidad de los mismos a las técnicas de emparejamiento y selección de beneficiarios y controles. Se utilizarán tanto técnicas de emparejamiento (matching), como el uso de probabilidades de participación en el programa (propensity scores), la distancia euclidiana o variantes de ella, entre otros.