Sistemas de evaluación estandarizados en Centroamérica:
Una revisión bibliográfica

1 ABACOenRed. Correo Electrónico: winnie@abacoenred.com, ORCID: https://orcid.org/0000-0002-7606-9376

INTRODUCCIÓN

Los organismos internacionales de financiamiento como Banco Mundial (BM), Banco Interamericano de Desarrollo (BID), Organización de las Naciones Unidas para la Educación, la Ciencia y la Cultura (UNESCO), Organización para la Cooperación y el Desarrollo Económico (OECD), han recomendado desde los años 90 la implementación de sistemas de evaluación estandarizados a gran escala para saber qué se está aprendiendo en la escuela (Clarke y Luna-Bazaldua, 2021). Atribuyendo a estos sistemas ‘objetividad’ en la medición de los resultados de aprendizaje (Tristán y Pedraza, 2017). A partir de 2015 las evaluaciones estandarizadas a gran escala adquieren mayor urgencia con los Objetivos de Desarrollo Sostenible (ODS), específicamente el número 4, que apunta hacia la educación con calidad y el alcance de ‘competencias’ en lectura y matemática como uno de los indicadores de dicha calidad. Aunque no hay una definición explícita de ‘calidad educativa’, esta está implícita como algo que deben garantizar los países para alcanzar desarrollo económico y requiere de todos los sectores para ser efectiva (Banco Mundial, 2013).  En consecuencia, en el informe sobre desarrollo mundial se propone aumentar las aplicaciones de evaluaciones estandarizadas a gran escala para garantizar el desarrollo económico (World Bank, 2018).

Clarke y Luna-Bazaldua (2021) en un compendio del Banco Mundial, refieren a tres tipos de evaluación: medir y monitorear el aprendizaje de forma permanente, examinaciones generales para pasar de un nivel a otro y evaluaciones a gran escala, incluyendo el sistema emergente de Evaluaciones Dirigidas por Ciudadanos (CLA¹ por sus siglas en inglés) que son aplicadas casa a casa. Es importante resaltar que en este artículo se aborda únicamente evaluaciones estandarizadas a gran escala (internacional) que son aplicadas en la escuela. El objetivo es conocer las evaluaciones aplicadas en Centroamérica y su implicación en el concepto de calidad educativa. Este artículo es el inicio de una investigación más amplia que busca proponer características para un sistema de evaluación nacional en Nicaragua, contextualizado, creado e implementado por la comunidad.

En la primera parte de este artículo se detalla el concepto de evaluaciones estandarizadas a gran escala y sus características de implementación. A continuación, se analizan los sistemas a gran escala implementados en Centroamérica y su relación con organismos internacionales que definen y financian a dichos sistemas. Finalmente, se representa un debate en torno al concepto de estandarización, con el objetivo de conocer su implicación a nivel de la concepción de calidad educativa.

Para llevar a cabo este estudio se realizó una búsqueda de literatura relacionada al tema a través de Scopus, encontrando 302 revistas educativas. De estas, se identificaron 3 repositorios directamente relacionados con evaluaciones educativas, que se presentan a continuación:

RELIEVE - Revista Electrónica de Investigación y Evaluación Educativa². Es una de las revistas de la universidad de Granada y primera revista electrónica de España. Particularmente publica acerca de investigación y evaluación educativa. Esta revista en diferentes volúmenes dio como resultado 6 artículos acerca de evaluaciones a gran escala. Ninguno de ellos relacionado con Centroamérica sino principalmente enfocados en el Programa Internacional de Evaluaciones (PISA³) aplicado a otros países.

Large Scale Assesment in education ⁴ es una publicación conjunta de la Asociación Internacional para la Evaluación del Rendimiento Educativo (IEA) y del Servicio de Pruebas Educativas (ETS por sus siglas en inglés). Los artículos que se consideran para su publicación en esta revista son aquellos que hacen uso de las bases de datos publicadas por los programas nacionales e internacionales de evaluación a gran escala. En este repositorio se encontró 8 artículos con la palabra clave “Centroamérica” pero al revisarlos solamente 2 se relacionan realmente con la región en el tema de evaluaciones que es el que interesa para este artículo.

También se realizó una búsqueda en Google académico donde se encontraron varios artículos en español de distintas revistas. Entre los artículos revisados se aborda PISA, que es uno de los sistemas de evaluación mayores a gran escala, que solamente se implementa en tres países de Centroamérica; Costa Rica, Panamá y El Salvador. También, en dicho buscador académico, se encontraron artículos sobre las críticas a los sistemas de evaluación a gran escala.

Además, se realizó una búsqueda en las páginas web del Banco Mundial, UNESCO, OECD y BID, ya que son los organismos que financian y elaboran documentos que se han considerado oficiales para guiar la implementación de las evaluaciones estandarizadas a gran escala.

Definición de evaluaciones estandarizadas a gran escala

El Centro para la Investigación e Innovación Educativa (CERI) de OECD (2008) describe que existen evaluaciones sumativas que sirven para saber qué se aprende y si se cumplen estándares de aprendizaje para optar a la certificación escolar y evaluaciones formativas para conocer el progreso de estudiantes e identificar necesidades. Un tipo de evaluaciones sumativas en incremento son las evaluaciones internacionales como PISA que “ha sido importante para comparar sistemas educativos nacionales para desarrollarlos en otros países” (p.1).

De esta definición es posible comprender dos cosas: que las evaluaciones internacionales y en general las sumativas no promueven mejorar a partir de las necesidades de las y los estudiantes y que promueven la comparación entre países sin tomar en cuenta características propias que influyen en el aprendizaje.

En términos formales técnicos, las evaluaciones son pruebas de selección múltiple y preguntas de respuestas abiertas cortas. Estas se aplican, ya sea a una muestra de estudiantes o a todos los estudiantes de una escuela, en determinado grado o edad. Las escuelas también son seleccionadas con base en el objetivo a alcanzar, ya sea comparar entre escuelas y/o asignar recursos o simplemente conocer su desempeño. Respecto a la forma de aplicarlas, pueden ser en papel o en computadora. (Clarke y Luna-Bazaldua, 2021) Para que los resultados sean de mayor utilidad, los instrumentos deben partir del contenido curricular de cada país y es importante para esto contar con el apoyo de las autoridades estatales y un equipo implementador capacitado para coordinar, analizar y divulgar los resultados. (Clarke y Luna-Bazaldua, 2021)   

Por otro lado, las evaluaciones a gran escala proveen datos generales acerca del aprendizaje alcanzado por estudiantes en diferentes sistemas educativos, en áreas específicas de un currículo, para edades y niveles específicos. Los resultados de estas evaluaciones pueden convertirse en insumos para transformar prácticas y políticas educativas tanto nacionales como globales. (Clarke y Luna-Bazaldua, 2021).
La generación de datos y la posibilidad de utilizarlos como insumos para políticas es la razón que motiva a los países a participar. Tal como se declara en la página del Ministerio de Educación de Nicaragua, esto ofrece una radiografía acerca del progreso educativo⁵.  Sin embargo, como veremos más adelante estos no son los principales objetivos de estos sistemas. A nivel de relaciones locales, las evaluaciones basadas en resultados es lo que Torres, Palhares y Afonso (2018) identifican como la orientación del sistema hacia un mandato meritocrático puesto que la escuela se ve forzada a mostrar determinados resultados para ser ‘competente’. Similar, Gómez (2015) plantea que la estandarización “favorece la privatización del sistema escolar y se crean otros escenarios de mayor profundización de la educación como un bien de mercado en tanto que la evaluación se utiliza con frecuencia para desacreditar a la educación pública, comparándola con la privada” (p. 102).

Siguiendo la lógica de mostrar resultados hacia afuera, las evaluaciones estandarizadas a gran escala son conocidas también como modelos de Rendición de Cuentas (Kamens y Benavot, 2011, como se citó en Parcerisa y Verger 2016):

Este mecanismo más allá de enfocarse en el progreso del aprendizaje está enfocado en la comparación, el control y limita la responsabilidad de aprender hacia los maestros en vez de analizarlo como un proceso complejo de múltiples causas y actores.

Evaluaciones estandarizadas en Centroamérica

Las evaluaciones a gran escala realizadas a nivel de escuelas en los países de la región centroamericana son recientes, los primeros pilotajes a nivel mundial que involucraron a Latinoamérica inician en 1963, liderados por la Asociación Internacional para la Evaluación del Rendimiento Educativo (IEA). El único país de la región que participó fue Chile. Estas primeras iniciativas surgieron desde la preocupación por un aprendizaje principalmente enfocado en la comprensión literal y no lo suficientemente en la interpretación (Bloom, 1973).  

Las evaluaciones en Centroamérica, en formato regional, datan de los años 90 con el Laboratorio Latinoamericano de Evaluación de la Calidad de la Educación (LLECE). Este fue fundado en 1994 y es parte de la Oficina Regional de Educación para América Latina y el Caribe de UNESCO y a partir de 1997 está a cargo del Estudio Regional Comparativo y Explicativo (ERCE) en todas sus versiones. Antes de LLECE, a finales de los años 80 existieron ejercicios de evaluación a gran escala a nivel regional, como fue el caso del Proyecto de Eficiencia de la Educación Primaria (PEEP) en Honduras, financiado por la Agencia Estadounidense para el Desarrollo Internacional (USAID por sus siglas en inglés) (FEREMA, 2017) y las pruebas nacionales en Costa Rica (Cavieres, 2008). Esto coincide con la época de creación del “Programa de análisis de indicadores de sistemas educativos (INES por sus siglas en inglés), un programa estadístico global de OCDE para comparar resultados entre países que conforman la organización (Lundgren 2013).

Algunos años después surge PISA, Este es un sistema de evaluación a gran escala que mide habilidades de lectura, matemática y ciencias en estudiantes de 15 años. Los países de Centroamérica que han participado hasta 2018 son Costa Rica y Panamá. PISA es administrado por la OCDE⁶ y financiado por el BID. (OCDE, s.f.). Para optar a la implementación de PISA como país es requisito pagar una cuota alta distribuida en aproximadamente 70,000 euros por año durante tres años, además, nombrar un responsable de país apto para comunicarse de forma fluida en inglés y elaborar todos los reportes del proyecto en inglés. Es probable que, entre otras razones no conocidas, estas sumen para explicar por qué Nicaragua ha decidido no participar.

Llama la atención que el financiamiento de PISA proviene del BID ya que al contrastar este hecho con las estrategias nacionales del BID para cada país de Centroamérica se constata que ninguna apunta al financiamiento de algún aspecto educativo dentro de las áreas prioritarias para cada país, estas están enfocadas más hacia la infraestructura, ambiente, salud, entre otras (Liévano de Marques, M y Melo, C., 2012; Jaramillo, F., Gutiérrez, P., Quintero, N., Cabezas, R., Suero, K., Acevedo, M., Lennon, J., 2019; Barrios, J., Carrión, A., Quintero, N., Ruiz, J., Escobar, J., Acevedo, M., Okumura, M., Castro, C., Alonso, L., Carrión, A., Montenegro, F., Prat, J., Quintero, N., Ruiz-Arranz, M., Teixeira, G.,  2021; Quintero, Prat, Carrión, Del Carmen G, 2018). Aún más interesante es que el BID no solamente financia PISA, sino que como se menciona antes, participa dentro de los miembros asesores de LLECE, instancia que dirige las evaluaciones en Centroamérica. Una posible hipótesis es que financiar evaluaciones a nivel de país implicaría negociaciones de implementación con cada país, mientras que financiar un proyecto global le da mayor legitimidad al proyecto y mayor poder de decisión al organismo. Tal como plantea Ramos (2020), “los sistemas de evaluación internacional instalan una especie de gobierno global que rediseña los sistemas educativos” (p.162).
La tabla a continuación resume los sistemas de evaluaciones estandarizadas a gran escala descritos anteriormente:

Tabla 1 Principales sistemas de evaluación a gran escala en Centroamérica

Fuente: Elaboración propia con base en Clarck, M y Luna-Bazaldua, (2021), FEREMA (2017) y LLECE (2022)

Tal como se observa en el cuadro, el último estudio comparativo fue ERCE 2019, en el que participaron 16 países: Argentina, Brasil, Colombia, Costa Rica, Cuba, Ecuador, El Salvador, Guatemala, Honduras, México, Nicaragua, Panamá, Paraguay, Perú, República Dominicana y Uruguay. De acuerdo a los datos de UNESCO (2019) aproximadamente 160.000 estudiantes de 3° y 6° grado respondieron las pruebas durante 2019, en una muestra representativa de alrededor de 4.000 escuelas.

En línea con la idea de una gobernanza global de la educación, UNESCO (2020) describe en los resultados del análisis curricular que la intención de la prueba es trabajar en el aprendizaje a nivel de región y no solamente de país, poder mirar los resultados de los demás y orientar los propios. En línea con los objetivos 2030 el desarrollo sostenible requiere de ‘ciudadanos globales’, es decir con aprendizajes estándar. La siguiente tabla presenta dichos componentes estándar que evalúa la prueba ERCE 2019.

Tabla 2 Áreas que evalúa la prueba ERCE 2019

Fuente: Elaboración propia con base en UNESCO (2019)

Evaluaciones en Centroamérica: más allá de lo visibl

Con el Objetivo de Desarrollo Sostenible número 4 “educación de calidad”, las evaluaciones a gran escala obtienen la legitimidad que necesitaban para ser implementadas a nivel global porque se asume como necesidad el monitoreo del aprendizaje mediante los criterios nombrados en el ODS 4.1.1 (UNESCO, 2019): “Proporción de niños y jóvenes: (a) en los grados 2/3; (b) al final de la primaria; y (c) al final del primer ciclo de secundaria que alcanzan al menos un nivel mínimo de competencia en (i) lectura y (ii) matemáticas, por sexo”.

Para saber cuál es el aprendizaje que los países deben aspirar a alcanzar se creó el Marco Global de Competencias (GPF por sus siglas en inglés) en 2019. Este define los niveles mínimos de competencia en lectura y matemática que los estudiantes deben tener de segundo a sexto grado. El GPF fue elaborado por 28 personas de distintos países con base en un marco de contenidos globales de la UNESCO y marcos de contenido de distintos países. Es válido mencionar que el documento de este marco global de competencias no existe en idioma español a pesar de que es utilizado para todos los países. Así lo estipula (UNESCO, 2019) “Esto proveerá el marco para comparar resultados entre distintas evaluaciones, tanto dentro de países como entre países, para reportar cumplimiento al ODS 4.1.1” (p.4).
Asimismo, se crearon otras iniciativas como la Plataforma para la Evaluación de Aprendizajes (LEAP por sus siglas en inglés) del Banco Mundial y la Alianza Global para el Monitoreo de Aprendizajes (GAML por sus siglas en inglés) de UNESCO.

La comparación de resultados de aprendizaje entre países es el principal objetivo de las evaluaciones a gran escala. Pero, ¿Qué implica comparar?

La relación entre “mejores resultados” y “vibrante sector privado” no es casualidad. Cruz (2021) plantea que en Honduras, entre “las medidas del Programa de Modernización del Estado se menciona entre otros puntos: “Democratizar la educación mediante la incorporación de los diferentes sectores sociales y económicos en la toma de decisiones, en la ejecución de acciones y de las políticas” (p.147). Esta iniciativa iniciada en los años 90 representó para Honduras el inicio de una relación financiera que dio acceso a los organismos internacionales a la política educativa, resultando entre otras iniciativas la Unidad Externa de Medición de la Calidad de la Educación (UMCE), encargada de aplicar pruebas estandarizadas. A través de este ejemplo es posible ver cómo se va tejiendo la relación entre las evaluaciones y los préstamos internacionales, revelando una instrumentalización de la educación como condición para acceder al mercado financiero.

El reporte de alcance de aprendizajes, más allá de ser una acción metodológica, es una acción comparativa de resultados obtenidos en diferentes países. Es posible inferir que la comparación más allá de resultados positivos en el aprender está relacionada con la situación económica del país, ya que los países son categorizados entre aquellos que cumplen con condiciones de inversión y aquellos que requieren mayores acciones para poder invertir en ellos, tal como se ilustra en los párrafos anteriores y posteriores. Por ejemplo, Altinok (2018) explica que una de las visiones que prioriza a la educación para el crecimiento económico plantea la inversión en estudiantes que obtienen mejores resultados, para a través de ellos impulsar el avance tecnológico.

El debate de la estandarización a nivel pedagógico-metodológico

Hemos analizado la comparación desde una perspectiva política y económica, pero es necesario también revisar qué implica en términos técnico-pedagógicos para la concepción de calidad a través del método de estandarización.  

Específicamente, las pruebas ERCE - 2019 se construyeron con base en los libros de texto de los países participantes. Se aplicaron entre 69 y 84 ítems en 3° grado y entre 84 y 112 ítems en 6°, distribuidos en distintos cuadernillos, pudiendo así evaluar de manera más completa las distintas áreas, sin generar pruebas demasiado extensas para estudiantes.

Además, se elaboraron cinco cuestionarios contextuales que difieren entre grados, así como entre actores, por ej.: familiares, docentes, directores. Para el grado superior existe también un instrumento que mide 3 de las 5 competencias sociales de Goleman (2000): empatía, autorregulación escolar y apertura a la diversidad.

A pesar de los múltiples factores que podrían incidir en los resultados, generando errores, las pruebas deben garantizar objetividad, validez y confiabilidad (Tristán y Pedraza, 2017) Sin embargo, “buena parte de los problemas que se imputan a las pruebas estandarizadas están relacionados precisamente con carencias en la validez” (Jornet- Meliá, 2017 p.7). A pesar de que se menciona que las pruebas ERCE han hecho esfuerzos por tener los instrumentos más contextualizados a la realidad latinoamericana a través de la revisión curricular, los contenidos (ver tabla 2) siguen siendo limitados respecto a las realidades multiculturales de la región.

El problema de la falta de validez no se manifiesta únicamente en la evaluación a gran escala sino en todo el enfoque de aprendizaje basado en resultados, puesto que conlleva a perder de vista e incluso negar los diversos procesos para llegar a una o múltiples soluciones. Otro aspecto, quizás el más importante en el contexto en discusión, es en cuanto a la concepción de calidad educativa. Popham (1999) explica tres razones por las que la estandarización no es adecuada para medir calidad: (1) “Desajustes entre la enseñanza y la medición” que se refiere a la diversidad curricular. Por ejemplo, en Nicaragua sabemos que el currículo tiene 70% de contenido obligatorio y 30% de contenido contextualizado por maestros y estudiantes. Si analizamos este caso en todos los países de la región se hace imposible representar tanta diversidad en una sola prueba.

(2) “Tendencia psicométrica a eliminar ítems importantes para las pruebas” este punto se refiere al descarte de ítems que obtienen un alto número de respuestas positivas, entonces probablemente se esté eliminando un contenido que los estudiantes han dedicado mucho tiempo en aprender. Esto también niega que los niveles de aprendizaje no dependen necesariamente del grado que estudiantes cursan sino de un sinnúmero de condiciones, desde biológicas hasta materiales.

(3) “causalidades confundidas” se refiere a que no todas las causas que expliquen el acierto o falla en las pruebas estandarizadas están relacionadas con calidad. Más bien solo una que es la relacionada con lo que se aprende en la escuela, pero a esto se suma las habilidades intelectuales desarrolladas en el estudiante y lo que aprende fuera de la escuela. Las pruebas estandarizadas incluyen también ítems que no miden aprendizajes de la escuela, sino análisis basado en su tipo de inteligencia como estrategia para dispersar los puntajes.
Como mencionamos en el subtema anterior, el caso de Honduras fue un ejemplo de cómo los esfuerzos por estandarizar estuvieron directamente ligados a intereses financieros. Cavieres (2008) discute, desde el contexto de Costa Rica, otra crítica de la estandarización relacionada con los límites que esto impone al currículo de estudio, impidiendo profundizar en otras áreas.

La siguiente tabla presenta los conceptos de calidad educativa de distintos países centroamericanos identificados en sus planes nacionales de desarrollo más recientes.

Tabla 3 conceptos de calidad educativa en Centroamérica

Fuente: Elaboración propia con base en los planes nacionales de desarrollo de países de Centroamérica

A pesar de que los países apuestan por la creación de sistemas de evaluación propios, en muchos casos sus criterios (como nivel de competencia en lectura y matemática) provienen tanto de los ODS como de los resultados de pruebas internacionales. Por ejemplo, el plan de Honduras describe como dato inquietante el resultado bajo en matemática, aunque se trata de un resultado de 1997. En el caso de República de Costa Rica (2019) el plan cita: “Las temáticas referentes a cobertura en preescolar, pruebas internacionales y NINIS están contempladas en los Objetivos de Desarrollo Sostenibles” (p.267). Explicitando que su referencia responde a los ODS.

Si hablamos de calidad no es posible significarla desligada del contexto, por lo tanto, es necesario implementar no simplemente evaluaciones sino valoraciones que tomen en cuenta los contextos de comunidades, barrios y hogares en su sentido multidimensional. Para las preguntas de hogares es importante tomar en cuenta los protagonistas porque tendrán los elementos para significar los resultados, inclusive es necesario invitarlos al proceso de interpretación de estos resultados. Es importante estar consciente que una calificación final en una prueba no puede ser el único criterio de calidad educativa. Es necesario considerar los antecedentes en los procesos de aprendizaje en cada niño y niña, antecedentes que solo conocen los mismos estudiantes y quienes conviven con ellos.

CONCLUSIONES

Los sistemas de evaluación estandarizada a gran escala son pruebas para evaluar los aprendizajes alcanzados por estudiantes de determinados grados escolares dentro de todo un país o en distintos países al mismo tiempo. Utilizando un mismo instrumento, estos resultados se comparan para definir lo que los países con resultados más bajos deben retomar de los países con resultados altos y a partir de ahí definir políticas educativas. Se identificó un elemento esencial de las evaluaciones estandarizadas a gran escala: ‘comparar para competir’, hecho que conduce también a un fenómeno meritocrático de sanción y recompensa a escuelas y docentes.  

A nivel global, este hecho subordina también a los países al acceso a financiamiento económico en dependencia de sus resultados; utilizando la idea de calidad educativa como condicionante. Además, se establecen criterios que determinan lo que se debe aprender en todos los países bajo una idea de educación global que responda al desarrollo sostenible; lo que pone en riesgo la calidad educativa como proceso, con particularidades diversas. Entre las principales críticas a la estandarización están el desafío para garantizar validez, las limitaciones para integrar contenidos diversos y la exclusión de los múltiples factores que influyen en los resultados de las evaluaciones y del aprendizaje en general.

REFERENCIAS BIBLIOGRÁFICAS