Pruebas internacionales de logros de aprendizaje:
impacto sobre los procesos de mejoramiento de la calidad de la educación
y criterios para guiar las decisiones sobre la participación del Perú
y otros países de América Latina.
Patricia Arregui
Guillermo Ferrer
(GRADE)
|
|
|
| Términos de Referencia Iniciales | |
|
|
Al iniciarse los años 2000, la mayoría de los países latinoamericanos
cuenta por lo menos con un sistema inicial de evaluación de logros escolares
nacionales vía algún tipo de pruebas estandarizadas de rendimiento.
Salvo unos pocos casos excepcionales o esfuerzos aislados, la mayor parte de
esos sistemas se iniciaron recién en los noventa. En muchos casos, y
por diversidad de razones, los esfuerzos no han sido del todo sostenidos, pese
al apoyo técnico y financiero brindado en casi todos los casos por diversos
organismos internacionales.
Si se fuerza un balance de situación en un contexto admitidamente bastante
heterogéneo, puede decirse que, pese a esos grandes esfuerzos y avances,
en la mayoría de los países de América Latina no se cuenta
aún con mecanismos permanentes, sólidamente institucionalizados,
de establecimiento y revisión de metas de aprendizaje y de medición
de su logro, mecanismos que estén claramente enmarcados en políticas
y normas respecto al uso que se dará a la información resultante
y que sean parte de un conjunto de políticas claras de responsabilización
por los resultados del sistema escolar.
Las debilidades técnicas de los instrumentos de medición y evaluación,
el análisis bastante limitado y escaso de los datos recabados, las estrategias
no siempre claramente definidas para la difusión de los resultados y
el seguimiento de su impacto sobre el resto del sistema educativo, y, consecuentemente,
la difusión y uso limitados de esos resultados aquejan en mayor o menor
grado a casi todos los países de la región. El caso del Perú
resulta paradigmático en este sentido.
La evaluación y medición de los resultados de aprendizaje escolar
son componentes clave de la gestión de cualquier sistema educativo, y
han sido incluidas como "componentes" de los esfuerzos en curso para
el mejoramiento de la calidad de la educación en nuestro país.
Se supone que esos procesos pueden brindar a todos los actores del sistema,
proveedores y beneficiarios, información importante que les permitan
detectar las debilidades y fortalezas del sistema, medir el alcance e impacto
de los esfuerzos de política realizados, y tomar decisiones racionales
sobre los cambios necesarios para mejorar la calidad de los servicios educativos.
En el Perú se diseñó un sistema de evaluación de
logros escolares en el marco del programa de Mejoramiento de la Calidad de la
Educación. Se aplicaron pruebas de logros en lenguaje y matemáticas
a muestras representativas a nivel nacional de estudiantes urbanos y rurales
en 1996 y 1998. En este último año, también rindieron pruebas
en ciencias histórico sociales y en ciencias naturales muestras urbanas
de alumnos de varios grados primarios y secundarios. Los resultados, aún
no publicados, así como su relación con diversos factores que
podrían dar cuenta de las diferencias de logros entre distintos grupos
de estudiantes, vienen siendo analizados por la Unidad de Medición de
la Calidad del Ministerio de Educación, y han sido parcialmente analizados
y utilizados por el Banco Mundial para un estudio sobre las perspectivas de
la educación en nuestro país al empezar el nuevo siglo.
El desarrollo de capacidades evaluativas así como la vigencia de una
cultura de la evaluación son procesos bastante incipientes en el Perú.
Estos procesos no se han visto fortalecidos por otros de gestión pública
vigentes en casi ningún sector de actividad del Estado durante el pasado
decenio. La escasez de recursos humanos adecuadamente calificados y la ausencia
de planes de largo plazo para desarrollar esas capacidades profesionales e institucionales,
además de la renuencia del gobierno a hacer públicos indicadores
que puedan revelar retornos insuficientes a los esfuerzos realizados desde el
Estado por mejorar la calidad educativa, han retrasado el desarrollo de este
importante componente de la cultura moderna de gestión.
Los procesos de globalización de la economía y de la sociedad
están afectando también los procesos educativos en todas las regiones
del mundo. Una manifestación de estas tendencias es la internacionalización
de facto de ciertos estándares de logros de aprendizaje, que afectan
la competitividad de los países y, se supone, las capacidades de su ciudadanía
para mejorar sus propias condiciones y calidad de vida.
Recientemente han surgido muchas recomendaciones provenientes de organismos
internacionales y regionales, en el sentido de que es conveniente que los países
latinoamericanos participen en esas pruebas internacionales de logros académicos.
Esas recomendaciones suelen sustentarse con el argumento de que los datos comparativos
son muy útiles para informar a los países de su posición
relativa y su competitividad vis-a-vis sus competidores en el mercado global
de bienes y servicios. Están también basadas en el argumento de
que las pruebas internacionales garantizan más alta calidad técnica
y eficiencia que los sistemas nacionales.
La utilidad potencial o efectiva de las comparaciones internacionales de logro
académico para informar políticas educativas no es, sin embargo,
algo sobre lo cual exista total acuerdo en la literatura actual. No se ha recogido
ni sistematizado suficiente evidencia empírica sobre la difusión
que los países han dado a la información recogida en las pruebas
internacionales, ni sobre la manera en que han utilizado esa información
para promover el mejoramiento de sus políticas, planes, programas y prácticas
educativas.
Ante esta falta de evidencia, y ante la posibilidad de que el Perú y/u
otros países de la región comiencen a privilegiar la participación
en pruebas internacionales sin la debida consideración previa sobre la
necesidad de consolidar el desarrollo de sus propios sistemas y capacidades
de evaluación y medición, GRADE se propone iniciar una indagación
sistemática sobre los riesgos y beneficios de esta participación,
y sobre las condiciones técnicas y políticas en que debiera realizarse.
Objetivos
Este estudio tiene como objetivos: reunir evidencia empírica, y proponer
y difundir criterios que orienten las decisiones y la preparación en
el Perú y otros países latinoamericanos respecto a su posible
participación en pruebas internacionales de logros de aprendizaje. El
propósito del estudio es contribuir a que dicha participación
-de resultar recomendable o, de alguna manera, ineludible- pueda servir efectivamente
para el mejoramiento de la gestión y resultados de los procesos educativos
en el país, así como en otros países de la región
que recién se incorporan a este tipo de programas, a la vez que se tomen
medidas para minimizar impactos negativos que dichas actividades pudieran eventualmente
acarrear.
La información que se extraiga del presente estudio constituirá
un aporte original a la bibliografía actual sobre políticas de
evaluación educativa, y podrá utilizarse como insumo para decisiones
sobre políticas de evaluación de la calidad educativa en el Perú
y en América Latina. Más concretamente, el estudio buscará
determinar la relevancia, posibles beneficios y riesgos, y condiciones en que
debería decidirse la participación en pruebas internacionales
de rendimiento académico en países en desarrollo que aún
no han consolidado sus propios sistemas nacionales de evaluación.
Metodología
Este estudio explorará la relación entre participación
en pruebas internacionales de logros de aprendizaje y el uso de sus resultados
para la evaluación y diseño de políticas y programas nacionales
dirigidas al mejoramiento de la calidad de la educación. Por participación
nos referimos a una serie de procesos y actividades que suponemos han tenido,
o debieron tener lugar antes, durante y después de la aplicación
de los instrumentos de medición de logros, y que constituyen las condiciones
técnicas y políticas a las que haremos referencia en este documento.
En primer lugar, se llevará a cabo una revisión de toda la bibliografía
relevante sobre pruebas internacionales, y los documentos técnicos y
de difusión producidos por las pruebas internacionales más importantes
aplicadas durante los últimos diez años en las cuales haya participado
en algún momento alguno de los países de América Latina.
Con ello, se identificarán sistematizarán todas las variables
sobre las cuales pretende tener impacto la aplicación y difusión
de resultados de las diversas pruebas internacionales
Luego, se realizará la identificación de los actores clave, institucionales
o individuales, que influyeron o decidieron sobre la participación (o
no participación, según el caso) de países de la región
y de una selección de otros países en desarrollo (a ser identificados
durante la revisión bibliográfica), y de los cuadros organizacionales
o profesionales que participaron en su aplicación y análisis.
GRADE cuenta ya con un número considerable de contactos en diferentes
organizaciones, quienes podrán recomendar a expertos y funcionarios como
informantes en diferentes países. Se creará una base de datos
con todos los contactos logrados.
Sobre la base de la bibliografía relevada y del tipo de contactos logrados,
se afinarán los constructos y las variables del estudio. Asimismo, se
revisarán las preguntas de una primera encuesta a ser aplicada a los
informantes seleccionados, y se anticiparán las categorías conceptuales
principales que servirán de matriz para codificar y ordenar los datos
recogidos. Dado que la cantidad de informantes posibles no permitiría
la aplicación de encuestas piloto, se contratará a un consultor
externo, directamente involucrado con el diseño o administración
de pruebas internacionales, para verificar la fiabilidad, validez y claridad
de las preguntas de dicha encuesta, así como sobre la orientación
general y progresivo afinamiento del estudio.
Adicionalmente, Se realizarán entrevistas telefónicas a los encuestados
para aclarar datos o para profundizar temas relacionados a las respuestas ofrecidas
en el cuestionario. Todas las entrevistas serán grabadas en cinta de
audio, previa autorización de los participantes. Asimismo, se aplicarán
cuestionarios de consulta vía e-mail.
Los datos recogidos en las encuestas y entrevistas serán analizados y
clasificados, de modo que con ellos se puedan establecer y describir las relaciones
entre las variables estudiadas.
Por último, se redactará un informe final. Este consistirá
en una descripción comparativa del impacto de los resultados de pruebas
internacionales en las políticas educativas de los países estudiados,
y recomendaciones para la toma de decisiones sobre la participación en
pruebas internacionales de rendimiento académico.