La evaluación de la calidad educativa: posibles riesgos

Ante la complejidad del concepto de “Calidad Educativa” ¿Es posible evaluarla objetivamente? ¿Cuáles son los obstáculos que se oponen? ¿Es válida la homogenización de una evaluación estandarizada? ¿Es útil considerar la evaluación sólo de productos finales? En cuanto a las finalidades de las evaluaciones ¿Se preocupan solamente por obtener mejoras?

Como cabría esperar, el énfasis que en estos momentos se otorga a la evaluación de sistemas, instituciones y procesos educativos no está exento de críticas importantes, formuladas desde ángulos muy diversos. Simplificando, podrían señalarse dos tipos principales de argumentos que alertan sobre las limitaciones de los procesos de evaluación de la calidad educativa y sobre sus posibles riesgos. Entre los primeros se encuentran las críticas centradas en las debilidades de los sistemas de evaluación empleados en la actualidad y que, consecuentemente, ponen en duda la capacidad de muchas de las evaluaciones realizadas para mejorar los procesos educativos. La segunda línea argumental va más allá de la constatación de las dificultades técnicas de los sistemas, cuestionando incluso su sentido y finalidad, al considerar que las evaluaciones pueden estar cumpliendo una serie de funciones ocultas en nuestras sociedades.

Comenzando por los riesgos, desde la primera perspectiva mencionada, es decir, la crítica a los sistemas y procesos de evaluación, se señala en primer lugar la imposibilidad o, al menos, la extrema dificultad de alcanzar evaluaciones objetivas de procesos difícilmente tangibles, como son los educativos. No se trata tan sólo de la objetividad del evaluador, que puede ser cuestionable en muchas ocasiones, sino del propio supuesto de que la calidad se puede objetivar y apreciar externamente, sin conocer los procesos internos. Además, las evaluaciones de instituciones educativas se basan en que la realidad es fragmentable y puede separarse en elementos o variables aisladas, lo que hace perder de vista la coherencia entre las mismas, que supone por sí misma un factor de calidad.

Además de lo anterior, es necesario considerar que la evaluación de indicadores individualmente considerados no tiene en cuenta la estabilidad en la unión o ilación de los mismos. Por otra parte, en las evaluaciones se plantea la posibilidad de la generalización, cuando lo cierto es que cada institución es diferente. Los sistemas o pruebas de evaluación homogeneizadas olvidan esta variabilidad y no atienden a la diversidad.

Adicionalmente, la gran mayoría de los sistemas de evaluación parten de una estructura preestablecida, en la que no hay espacio para los cambios y que suele centrarse en los resultados cuantificables del proceso de enseñanza. En esta línea, E. Cano nos recuerda que es muy complejo medir la calidad del producto o resultado educativo, sobre todo cuando se habla de eficiencia externa, es decir, del éxito con el que se logran los objetivos amplios o generales que la sociedad deposita en la educación. Sin embargo, aún resulta mucho más difícil medir un proceso. Hay distintos públicos que exigen o necesitan cosas distintas del servicio educativo. Además, los resultados en educación pueden relacionarse con realidades distintas, que no sólo son el rendimiento, como la satisfacción, la adquisición y extensión del conocimiento, las actitudes hacia el aprendizaje, la producción de hábitos mentales, etc.

También A. Tiana considera que debemos ir más allá de los resultados académicos, cuya inmediatez puede convertirlos en una trampa simplificadora:

"La evaluación, entendida como una simple revisión de los productos finales, hace perder de vista la consideración del centro como un ecosistema que permite explicar y dar sentido al funcionamiento general y a los procesos que desarrollan la actividad. De la misma manera, la consideración de una de las partes pierde sentido aislada de la referencia al todo y de su vinculación con el contexto".

El segundo grupo de argumentos, centrado en las finalidades de los procesos de evaluación, coinciden en señalar que aunque explícitamente el objetivo de los mismos es la mejora, en realidad en las evaluaciones existen finalidades latentes, como el control sobre los actores del proceso educativo, la justificación de decisiones tomadas sobre la base de otros criterios o la distribución de recursos. Desde este planteamiento, cuando se argumenta la necesidad de que los centros educativos rindan cuentas a la sociedad, no se tiene en cuenta la dificultad de delimitar qué es lo que deben conocer los ciudadanos y para qué. Si sólo se conocen los resultados o productos, sin conocer las variables de entrada, la información no será válida e incluso estará distorsionada.

Además, aunque aparentemente los sistemas de evaluación den cabida a las personas implicadas en los procesos educativos, lo cierto es que se evalúa desde arriba, prescindiendo de ellos, por lo que la evaluación se convierte en un poderoso mecanismo de control social.

En palabras de A. Bolívar:

"Se ha logrado crear expectativas infundadas de que la evaluación de centros y del sistema escolar pueda ser el medio para incrementar la calidad, pero ... la evaluación no es más que un instrumento retórico que sirve para legitimar el funcionamiento actual de los centros, para justificar las reformas o para utilizarse como mecanismo de producción de verdad, en el sentido en que crea realidades".

También en esta línea se considera que la utilización de sistemas de evaluación en el marco del incremento de la autonomía para las instituciones educativas puede suponer una manera indirecta de mantener el control político sobre el sistema educativo, ya que "siempre existe la posibilidad de que el poder que la descentralización cede por una parte, la evaluación pueda quitarlo por otra" (H. N. Weiler).

Extraído de:

Reflexiones en torno a la evaluación de la calidad educativa

Tendencias Pedagógicas 10, 2005

Inmaculada Egido Gálvez

Universidad Autónoma de Madrid

Una mirada técnica sobre las Evaluaciones de Calidad Educativa

El sistema debe generar información que permita mejorar, en el camino del cumplimiento de sus objetivos ¿Se están generando en forma adecuada? ¿Se comunican por los carriles adecuados? ¿Están debidamente conectadas las evaluaciones, con el resto del sistema? ¿Qué debe orientar las revisiones técnicas de las evaluaciones?

 

La mayoría de los sistemas educativos latinoamericanos ha incorporado dispositivos y estrategias de evaluación al repertorio de políticas que constituyeron sus reformas en la década del ‘90. Los modos de organización, los niveles alcanzados, el tipo de instrumentos, la periodicidad, y otras variables, muestran diferencias entre ellos. Pero lo cierto es que la evaluación se instaló como una política y adquirió un fuerte reconocimiento social.

Más allá de las diferencias encontradas, pueden observarse elementos comunes entre los diferentes países, que dan cuenta de las opciones técnicas adoptadas, o de las que más allá de haber sido definidas explícitamente, resultaron de los modelos de implementación puestos en marcha.

En ninguno de los casos se han observado variaciones significativas de los resultados a lo largo del período de implementación. Los niveles de acierto se han mantenido estables tanto en relación a los indicadores cuantitativos cuanto a los cualitativos. Es posible afirmar que los alumnos siguen logrando niveles similares de aciertos en el mismo tipo de ítems. Estos resultados podrían permitir dos tipos de inferencias iniciales, en el sentido de que los cambios curriculares en particular y los programas de reforma en general, no han impactado los aprendizajes que los alumnos adquieren en las aulas, o que las preguntas que estamos formulando no son capaces de captar las diferencias que se están produciendo.

La mayoría de los sistemas han trabajado con mayor dedicación en la producción de información que en el análisis de la misma y en su comunicación a los actores. La región ha implementado millones de pruebas por año, pero es relativamente escasa la cantidad de información que se ha producido, al menos la que se ha utilizado para la reformulación de políticas o estrategias pedagógicas.

No se ha logrado que los docentes incorporen los resultados de los dispositivos como insumo de trabajo para la reformulación de su tarea. Esto tampoco ha ocurrido en los propios ministerios que las implementan. Los equipos de currículum o de capacitación no hacen de los resultados un insumo principal de su trabajo. Los operativos de evaluación aparecen como elementos con gran autonomía del resto de las políticas implementadas.

Los resultados se han comunicado, casi exclusivamente, a través de los medios de comunicación masiva. Se han difundido los promedios nacionales con mayor o menor desagregado, pero en muy pocos casos se han construido informes que puedan orientar el trabajo de la escuela o, al menos, que las escuelas los vivan así. Se han resaltado los casos extraordinarios, se han comparado con la línea histórica de los mismos. En los casos en que se ha trabajado en la distribución, la temporalidad de dicha devolución es tal, que se vuelve difícil transformarla en estrategias de mejoramiento institucional. Los informes llegan tarde o, al menos, desajustados con la posibilidad de transformarlos en herramientas de planeamiento.

Las escuelas han vivido los operativos como dispositivos externos a los que han dedicado mayor o menor tiempo de preparación, pero en muy pocos casos han percibido esas actividades como propias de la institución.

Los ítems de contenidos evaluados han sido construidos en el contexto de un proceso de transformación curricular de gran alcance, razón por la cual resulta difícil evaluar los resultados de dichos ejercicios.

La comunicación de los resultados ha transmitido la sensación del deterioro, la idea de que los sistemas educativos son muy poco eficientes en términos de calidad, y que se encuentran en un proceso de deterioro respecto de los resultados que obtenían en el pasado.

Es preciso relativizar muchas de las críticas que se efectúan sobre los equipos técnicos. Lo cierto es que la región no contaba con ningún tipo de experiencia previa acerca de la organización de operativos de este tipo y la experiencia europea se daba en contextos muy diferentes, al menos de menor heterogeneidad y en condiciones de organización del Estado mucho más sólidas.

Al mismo tiempo, los equipos técnicos no contaron con directivas políticas que les permitieran orientar el trabajo. El pedido de organizar dispositivos de evaluación no contó con el planteo de direccionalidades claras respecto de lo que se haría con dichos resultados, del impacto que se pretendía generar con los mismos, etcétera. Pero, en el caso de los equipos, éstos tampoco lo demandaron y en este sentido es interesante reflexionar acerca de los grados de autonomía de los equipos técnicos y los riesgos que esto genera.

El avance técnico parece haber sido construido con autonomía de las decisiones de sentido. De hecho, la variación de los instrumentos desde el comienzo de su implementación es baja. Las que se produjeron han tenido que ver con ajustes estadísticos o técnico-pedagógicos. EL elemento innovador apareció en el caso de algunos dispositivos internacionales que incorporaron nuevos modelos y contenidos a los instrumentos.

En síntesis, la reflexión acerca de nuevas decisiones técnicas, ajustes y revisiones que se realizan, debe estar precedida de las reflexiones y decisiones políticas que orienten el trabajo técnico posterior.

A diez años de la implementación de estos dispositivos de evaluación, parece interesante comenzar por una indagación profunda de los resultados, un intento de encontrar pistas que aporten a una revisión de las políticas implementadas y de las nuevas que se elaboren. Resulta importante formular un análisis profundo de los resultados, realizarlo con participación de los actores del sistema, y construir la cultura de la evaluación como insumo para el debate y la construcción de políticas educativas.

En cuanto a las estrategias de futuro, es necesaria una revisión que aproveche los avances alcanzados. Puede resultar riesgosa la tradición de fractura en el modelo de construcción de programas de política que ha tenido la región. No se trata de producir una nueva ruptura, se trata de un proceso de construcción, de re-orientar, de potenciar la herramienta en función de los objetivos que se definan. Latinoamérica requiere institucionalizar sus operativos de evaluación, incluyendo en dicha institucionalización los propios mecanismos de revisión y re-orientación de las decisiones técnicas. Y esos mecanismos deben ganar coherencia con los objetivos de política que se definan.

Extraído de:

Evaluar las evaluaciones

Gustavo Iaies

En: Evaluar las evaluaciones

Una mirada política acerca de las evaluaciones de Calidad Educativa

IIPE UNESCO

En la sección “Biblioteca” hay un link hacia el PDF completo

Una visión acerca de las relaciones entre las evaluaciones educativas y los actores

¿Se sienten los docentes involucrados en las Evaluaciones de Calidad Educativa?  ¿Sienten estas evaluaciones como propias? ¿Piensan que son justas? Los tomadores de decisiones ¿Las usan para confrontar con los docentes?

Las evaluaciones de calidad son uno de los componentes de las políticas encaradas en la década del `90 que más críticas reciben entre los docentes y los directores. Sin duda, el modelo de implementación y construcción no ha logrado que los mismos se sientan incluidos en dicho proceso.

Este dato resulta interesante de ser analizado por el hecho de que tal como lo explica el artículo de Emilio Tenti, la visión crítica no se extiende a la política de evaluación como tal, sino al modo en que la misma fue implementada. Los docentes parecen acordar con la idea de evaluar, aunque tienen sus diferencias con el modo en que dichas evaluaciones se han implementado.

Por otro lado, manifiestan que la tarea de evaluar es de las que más dificultades les generan dentro del repertorio de las que implica su propio trabajo. En este sentido, parece interesante observar el hecho de que ellos mismos parecen requerir una reflexión más profunda de para qué evaluar y cómo hacerlo, y esa reflexión no debería estar divorciada de la que se formula alrededor de los operativos de evaluación en un sentido más general, como política global del sistema.

Al mismo tiempo, la propia exposición a la que la escuela se ha visto sometida por la comunicación masiva de los resultados, las sospechas que ha generado en la sociedad acerca de la capacidad de los docentes de garantizar aprendizajes significativos de sus alumnos, la puesta en duda de la idoneidad de los mismos para su tarea, pueden explicar la mirada crítica acerca de los dispositivos de evaluación de la calidad.

Sin duda, las evaluaciones son vividas como un elemento externo que, de algún modo, se interpone entre las autoridades y las escuelas. Deja a los docentes solos y rompe cierta visión de unidad del sistema. Como expresó Javier Bonilla: “Se nota un grado de exterioridad muy grande entre el aparato de evaluación y el de gestión habitual del sistema. La pregunta es cómo hacemos para que el dispositivo sea vivido como un dispositivo interno. Cómo hacemos para que el aparato de evaluación sea amigable para la cultura del sistema educativo”. La sola idea de dos aparatos a los que se debe volver “amigables” y hacerlos dialogar entre sí, implica una ruptura en la lógica de un sistema que se ha caracterizado por importantes grados de endogamia, como es el sistema educativo. Las evaluaciones aparecen como un dispositivo externo al propio sistema, que han adquirido el poder de validar o no sus acciones y efectos. La escuela parecía un ámbito invulnerable y ha quedado sometida a un procedimiento que no sólo la evalúa, sino que expone los resultados de dichas evaluaciones al conjunto de la sociedad.

El hecho de que la discusión previa de las evaluaciones acerca del sentido haya resultado tan débil, hace que tampoco hayan podido participar los docentes de la misma. La revisión que se realiza de las mismas, la discusión de sentido en la que se avance, debe incluirlos, debe contar con ellos en el análisis del “para qué” y del “cómo”. En caso contrario, resulta complejo construir una “amigabilidad” a posteriori. Lo cierto es que la posibilidad de lograr que el sistema viva a los dispositivos como propio, debe incluir la participación de la discusión del para qué, que sienta como propios los objetivos que se proponen.

El Jefe de la división educación del BID, Juan Carlos Navarro, señaló en el Seminario: “Los docentes sienten que entran en un juego en el que los dados están cargados contra ellos (...) Creen que es justo que sean evaluados, no están en contra de esto, por principio”. Tal como afirmamos anteriormente, se trata de comprender que la revisión de sentido en materia de políticas de evaluación, va a incluir tanto las cuestiones sustantivas como las metodológicas, y que la participación de los actores en las distintas instancias de ese proceso es fundamental. Por otro lado, es preciso que los tomadores de decisiones sean transparentes, en el sentido de que no se está construyendo un dispositivo para confrontar con los docentes, sino uno capaz de producir los insumos que permitan mejorar la calidad y la equidad, en los aprendizajes de los alumnos.

Extraído de:

Evaluar las evaluaciones

Gustavo Iaies

En: Evaluar las evaluaciones

Una mirada política acerca de las evaluaciones de Calidad Educativa

IIPE UNESCO

En la sección “Biblioteca” hay un link hacia el PDF completo

Factores que explican los resultados escolares

La Evaluación Educativa queda justificada, en la medida que pueda convertirse en información para ser usada en procesos de mejora. Conocer los factores que determinan los aprendizajes ayuda a comprender ¿Cuáles son? ¿Están en el ámbito escolar? ¿O en el familiar?

Durante los últimos 40 años los investigadores educacionales alrededor del mundo han producido grandes avances en la tarea de desentrañar los factores que explican los resultados escolares, medidos por el logro de aprendizaje de sus alumnos. A esta altura existe un amplio consenso entre los especialistas. Los factores explicativos son dos: el entorno sociofamiliar de los alumnos y la efectividad de la escuela.

¿Cuánto pesan, respectivamente, estos factores en la varianza de los resultados observados entre establecimientos? En el caso de los países desarrollados, los estudios atribuyen un peso de 80% y de 20%, respectivamente, a la familia y la escuela. En América Latina, los pesos asignados son 60% y 40%, respectivamente, subrayándose con ello el hecho de que allí donde hay más pobreza la escuela adquiere, asimismo, mayor importancia.

Suele pensarse que el factor socio-familiar estaría determinado exclusiva o principalmente por el nivel de ingresos del hogar. En verdad, este factor es mucho más complejo que eso. Tiene que ver con el “mundo de vida” en que nace y se desarrolla el niño. Ciertamente, el status socioeconómico de los padres es importante. Pero aún más decisivo parece ser, en el caso de niños provenientes de hogares de escasos recursos, la organización de la familia, su clima afectivo, la socialización lingüística o la adquisición temprana de actitudes y motivaciones.

Variables de entorno familiar que inciden en los logros de aprendizaje

Ocupación, ingreso y nivel educacional de los padres.

Infraestructura física del hogar y grado de hacinamiento.

Recursos del hogar (libros, diccionarios, escritorio, computadora).

Organización familiar y clima afectivo del hogar.

Capital social de la familia, vecindario, comunidad y pares.

Alimentación y salud durante los primeros años de vida del niño.

Prácticas de socialización temprana.

Desarrollo lingüístico y régimen de conversaciones en el hogar.

Rutinas diarias, desarrollo de actitudes y motivación.

Acceso a, y calidad de, la enseñanza preescolar.

Elección de escuela.

Armonía entre códigos culturales de la familia y la escuela.

Estrategias de aprendizaje y conocimiento previo adquiridos.

Comunicación familia-escuela.

Involucramiento familiar en las tareas escolares.

Uso del tiempo en el hogar y durante las vacaciones.

Y en el caso de las escuelas, ¿cuáles insumos afectan el rendimiento de los alumnos? ¿Hay algunos que importan más que otros? Una revisión efectuada por Fuller y Clarke, sobre la base de más de 300 estudios realizados sobre sistemas escolares de países en desarrollo, permite apreciar qué porcentaje de dichos estudios muestran una asociación positiva entre el respectivo insumo y los resultados obtenidos por los alumnos, una vez que se controla por su nivel socioeconómico.

Insumos asociados positivamente a resultados

Profesor conoce la materia

Biblioteca escolar Tiempo dedicado a la enseñanza Alimentación del niño

Tamaño del colegio

Frecuencia tareas hogar

Monitoreo frecuente del alumno

Calidad de infraestructura

Disponibilidad de textos

Tiempo preparación clase

Capacitación docente en servicio

Docente con educación superior

Experiencia del docente

Años de escolarización del profesor

Gasto por alumno

Laboratorio ciencia en escuela

Nivel salarial del profesor

Tamaño del curso

Sin embargo, si se adopta una perspectiva metodológica más restringida y exigente, la efectividad de la escuela aparece determinada, principalmente, por la efectividad del profesor en la sala de clase. En general, se estima que el efecto escuela depende, en alrededor de 2/3 partes, de la calidad de la docencia impartida. A su turno, ésta se halla determinada, en orden decreciente de importancia, por las siguientes variables: las prácticas de enseñanza del docente en la sala de clase; el desarrollo profesional docente (dominio de la materia que enseña y capacidad de enseñar a alumnos de diverso origen sociofamiliar) y los insumos (tamaño del curso, educación inicial y experiencia del profesor).

Particular importancia adquiere en el contexto de los procesos de reforma educacional el impacto que podría tener el gasto por alumno sobre los resultados o logros escolares. La evidencia internacional muestra lo siguiente: si se combina el puntaje promedio obtenido por los alumnos de varios países, participantes en PISA, con el gasto acumulado por alumno hasta los 15 años, expresado en dólares de valor equivalente, se observa en primer lugar que sí existe una asociación entre ambas variables, aunque con diferencias como permite ver la distribución de los países incluidos en torno a la línea de tendencia. En seguida, se constata que sólo unos pocos países –Corea e Irlanda aparecen allí- obtienen altos resultados (por encima de 500 puntos, que es el puntaje promedio de los países de la OECD participantes) con un gasto que en la escala se sitúa por debajo de la mitad del rango entre 0 y 80 mil dólares (PPC). Estos países, se hallan naturalmente bien arriba de la línea de tendencia. Hay un segundo grupo de países que se aproxima al cuadrante anterior de gasto austero y alto rendimiento: República Checa, Polonia, Hungría y Grecia. Por otro lado, ningún país de gasto superior a 40 mil dólares se ubica en el cuadrante suroeste, por ende, de alto gasto y resultado inferior al puntaje promedio de la OECD. Por el contrario, los países de alto gasto se concentran en el cuadrante noreste, aunque algunos están por encima y otros por debajo de la línea de tendencia. Finalmente, los países de América Latina se agrupan todos en la posición suroeste –de bajo gasto y bajos resultados- aunque con diferencias entre ellos. En efecto, a pesar de estar todos por debajo de la línea de tendencia, México está en términos relativos menos mal que Argentina, ésta que Chile y éste que Brasil.

¿Existe algún elemento adicional que pudiera ayudar a explicar el diferente desempeño de los países? Si nos atenemos solamente a los factores externos o de contexto, el mejor candidato parece ser el nivel de desigualdad de las distintas sociedades. En efecto, los países con mayor desigualdad –medida por el Coeficiente de Gini- tienen más dificultad para producir buenos resultados escolares, incluso si son ricos, como sucede en el caso de los EE.UU., justamente porque deben compensar un mayor déficit de origen sociofamiliar. Por el contrario, sólo obtienen buenos resultados países con un nivel bajo de desigualdad, con la excepción de Indonesia, que apenas acumula un gasto de 1.164 dólares (calculados con PPC) en sus alumnos de 15 años, 50 veces menos que Australia, por ejemplo, o 1/15 del gasto de Chile. Es interesante observar, asimismo, que de los países de la muestra, Chile ostenta el más alto nivel de desigualdad, ubicándose en general todos los países latinoamericanos participantes en PISA en el cuadrante sureste, el de alta desigualdad con bajo rendimiento.

Si se considera el conjunto de antecedentes aquí presentados, emerge con nitidez la enorme complejidad del proceso de producción de resultados educacionales. En este proceso influyen diversos factores y múltiples variables. Entre aquéllos, como se señaló, los más importantes son el entorno sociofamiliar de los alumnos y la escuela. Entre las variables son decisivas aquéllas que caracterizan el hogar como agencia de transmisión de capital cultural, por un lado, y las que inciden sobre la efectividad de los establecimientos escolares, por el otro. Por último, destaca el hecho de que allí donde los hogares son grandemente desiguales, la tarea educativa enfrenta también mayores problemas y desafíos. En estos casos la cultura nacional –y su elaboración “micro” a nivel de la familia, los pares y la comunidad- juegan un papel importante, como parece indicar el caso de los países del sudeste asiático. En efecto, la cultura nacional y sus elaboraciones “micro” pueden, ya bien contribuir a facilitar y reforzar la labor de la escuela o, al contrario, ser neutrales frente a ella u obstaculizarla.

En cuanto a las posibilidades de compensar educacionalmente las desigualdades de origen sociofamiliar de los alumnos, ellas sólo pueden materializarse allí donde la mayoría de las escuelas que atienden a niños y jóvenes provenientes de hogares en situación vulnerable son efectivas. Como muestra ampliamente la literatura especializada, sólo éstas logran mejores resultados para sus alumnos que aquellos que podrían anticiparse considerando su origen sociofamiliar.

Ninguna de estas complejidades y dificultades forma parte, sin embargo, de los habituales análisis periodísticos sobre resultados educacionales. Como vimos, éstos se limitan a resaltar unidimensionalmente el producto final de estos procesos –es decir, resultados como puntajes- y a ubicarlos en un esquemático ranking de países o tipos de establecimientos, suprimiendo toda referencia al contexto en que dichos resultados se obtienen. Con esto se banaliza la información que aportan los estudios nacionales e internacionales de medición del desempeño escolar y, lo que es más grave, se distorsiona la deliberación pública y se limitan sus efectos, debilitándose de esta forma uno de los mecanismos más poderosos que poseen las democracias para abordar y resolver problemas colectivos.

Extraído de:

Límites de la lectura periodística de resultados educacionales

José Joaquín Brunner

En: Evaluar las evaluaciones

Una mirada política acerca de las evaluaciones de Calidad Educativa

IIPE UNESCO

En la sección “Biblioteca” hay un link hacia el PDF completo

Reflexiones sobre las Evaluaciones de Calidad Educativa

¿Qué evalúan las evaluaciones estandarizadas? ¿Calidad Educativa? ¿Pobreza?  ¿Son puestas bajo la lupa las cuestiones relevantes? Las respuestas, si bien dadas pensando en el contexto mexicano, tienen valor para muchos otros

¿Qué estamos evaluando?

Resumo mi respuesta, en forma algo simplista y cruda, diciendo que evaluamos algunas de las dimensiones de la calidad educativa, pero dejando fuera varias de las más importantes, que lo hacemos de manera imprecisa, y que no llegamos a las causas.

Hasta hace muy pocos años, la situación de la mayor parte de los sistemas de evaluación educativa de los países de la región era justamente la que se ha mencionado antes: solamente se contaba con datos sobre alumnos, maestros, escuelas y presupuestos, con lo que se podían estimar indicadores de cobertura, eficiencia terminal y costo alumno en forma gruesa, ya que por lo general no se controlaba la calidad de los procesos de recolección de información, no se manejaban datos por edad, con lo que sólo podían construirse tasas brutas y no netas y se manejaban sólo cohortes aparentes.

Los esfuerzos que han hecho muchos de nuestros países en la última década han incluido, por una parte, mejoras en los sistemas de información y, por otra, el desarrollo de sistemas de pruebas nacionales para valorar los aprendizajes de los alumnos. Estos esfuerzos son importantes, sin duda, pero aún están por consolidarse y adolecen de fallas claras, explicables por la falta de una tradición en el campo y la consecuente escasez de recursos humanos especializados.

Pecando tal vez de simplismo, creo que en la región atendemos la cobertura y la eficiencia terminal en forma imperfecta y el nivel de aprendizaje de los alumnos en áreas curriculares y grados clave, pero por lo general limitándose a niveles cognitivos bajos. La contraparte obvia, lo que no estamos evaluando, incluye áreas curriculares adicionales, niveles cognitivos superiores, aspectos actitudinales y valorales, procesos tanto pedagógicos como de gestión y lo relativo a equidad.

En las escuelas se evalúan muchas de estas cosas, desde luego, pero no parece haber procedimientos para valorar tales dimensiones o aspectos de la calidad de manera permanente y sistemática en el nivel nacional. Debe añadirse que muchas veces las evaluaciones que hacemos no tienen, en un grado suficiente, las características técnicas mencionadas de validez y confiabilidad.

Por lo que se refiere a validez, la ausencia de controles de las variables relevantes del contexto pueden hacer que midamos en realidad pobreza, cuando creemos medir calidad de las escuelas. En este sentido en la región es muy raro todavía el uso de las poderosas técnicas actuales, como los modelos jerárquicos lineales, que permiten identificar la influencia de los factores del entorno distinguiéndolos, por ejemplo, de los de la escuela, el aula y el propio alumno.

En cuanto a confiabilidad, es también raro el uso de metodologías psicométricas avanzadas, como los modelos de la teoría de la respuesta al reactivo, que permiten contar con escalas más precisas, comparables en el tiempo, que cuidan la unidimensionalidad y evitan el sesgo de manera más adecuada que las técnicas de la teoría clásica de las pruebas. Debe añadirse que, hasta hace poco tiempo, no era raro que se manejaran pruebas que no empleaban en forma rigurosa siquiera los principios de la teoría clásica. Las técnicas de valor agregado son también muy poco conocidas.

¿Qué de lo evaluado resulta significativo?

En principio los mecanismos de evaluación existentes son todos significativos y, aun en ausencia de los que se sugiere añadir, contienen potencialmente elementos útiles para el mejoramiento de los sistemas educativos. Sin embargo, es frecuente que aún esos elementos se desaprovechen y sólo sirvan para acumular datos en anuarios estadísticos destinados a empolvarse en los estantes, sin que los responsables de tomar decisiones, y mucho menos los maestros, los conozcan y utilicen para retroalimentar su quehacer.

Esto quiere decir que, además de mejorar los actuales mecanismos de evaluación y de enriquecerlos con nuevos elementos, es necesario un importante esfuerzo de difusión de resultados y de capacitación de los usuarios para que estén en condiciones de entender y aprovechar los resultados de las evaluaciones.

¿Por qué las reformas realizadas en los 90 no se ven traducidas en los resultados?

Esta pregunta parte de un supuesto que no me parece incuestionable: que las reformas educativas implementadas en América Latina en los ‘90 no han dado resultados.

Los niveles educativos de nuestros países son el resultado de un enorme conjunto de factores, incluyendo unos tan complejos como el explosivo incremento demográfico que hizo del subcontinente la región de mayor crecimiento poblacional en toda la historia hasta mediados del siglo XX, la pobreza que aflige a gran parte de la población y la diversidad étnica y lingüística. Otros factores igualmente complejos incluyen el carácter autoritario de muchos regímenes políticos, las estructuras sindicales y burocráticas, y la desigualdad ancestral de nuestras sociedades.

Los cambios educativos, por otra parte, son complejos también y, en el mejor de los casos, llevan mucho tiempo; no pueden ser el resultado rápido de esfuerzos simples.

Por ello, aun si en verdad las reformas de los años 90 no han dado resultados, podrían encontrarse diversas explicaciones. Las políticas educativas de la región han adolecido, en muchos casos, de serias deficiencias en diversos aspectos: en el diagnóstico en que se sustentan, muchas veces incompleto e impreciso; en el diseño de los programas, muchas veces simplista, apostando demasiado a pocos elementos de los que se espera más de lo que pueden dar; y, tal vez, sobre todo, en la implementación.

No es fácil, en efecto, que las reformas lleguen hasta el nivel más importante, el de la escuela y el aula. Para ello se requiere de tiempo y, además, de estrategias muy finas que aseguren la participación de los maestros. Desgraciadamente, es más frecuente encontrar estrategias simplistas e implementaciones apresuradas que procesos cuidadosos y respetuosos de los actores de base y de la complejidad de la cuestión.

No debería sorprender, por consiguiente, que los resultados obtenidos disten mucho de los esperados. Pero el punto que quiero destacar es que no tenemos evidencia suficiente para afirmar de manera contundente que las reformas de los ‘90 no han tenido resultados. Hay, sin duda, indicios importantes en tal sentido, pero los sistemas de evaluación de que disponemos no sustentan afirmaciones tajantes.

En particular, creo que en México hay elementos para sostener que el nivel de aprendizaje ha mejorado ligeramente en los últimos años; que el impacto del gasto público en educación básica está siendo mayor para los tres deciles más pobres de la población, contra lo que ocurría antes; y que los programas compensatorios emprendidos a principios de los 90 han logrado reducir la deserción en medio rural y mejorar los niveles educativos en las zonas más desfavorecidas.

Por lo demás, la gran desigualdad que caracteriza a nuestras sociedades hace que necesitemos evaluaciones más precisas, que tengan en cuenta el peso de los factores del entorno, tanto en razón del principio de equidad, como para valorar en su justa medida los avances que puedan darse en contextos diferentes, en los que la mejora es más o menos difícil.

Conclusión

La última pregunta es, a mi juicio, la más importante que he tratado de responder, tanto por lo que expresamente plantea, como por lo que sugiere de manera implícita. Ampliando lo dicho hasta ahora trataré de aportar algunas ideas al respecto.

La experiencia de las reformas educativas implementadas en los países de mayor desarrollo económico ha dejado lecciones importantes, en la dirección ya apuntada: no deben esperarse cambios espectaculares; las mejoras educativas se consiguen en lapsos de tiempo largos, y mediante esfuerzos sistemáticos y complejos, no gracias a recetas mágicas simples o panaceas.

Hoy sabemos también que no debe exagerarse la importancia de los recursos materiales; estos son importantes, sin duda, sobre todo hasta ciertos umbrales mínimos, y tal vez más en cuanto a la regularidad o continuidad de su existencia que en cuanto a su monto absoluto. Pero parece claro que tanto y más importan los procesos a través de los que se utilizan los recursos: procesos pedagógicos especialmente en el interior del aula, procesos más amplios de gestión en el nivel nacional y regional y, sobre todo, en cada escuela, donde el trabajo del equipo docente, el liderazgo del director y la participación de los padres de familia han mostrado ser fundamentales.

Para poder responder con bases sólidas a la pregunta sobre el éxito o el fracaso de las reformas educativas necesitamos, pues, en mi opinión, contar con sistemas de evaluación bastante más sólidos, aunque no mucho más costosos que los existentes, que nos den la información clave, de que hoy carecemos, sobre las diferentes dimensiones de la calidad educativa de nuestros países en forma continuada y permanente.

Es posible que nos llevemos algunas sorpresas agradables, en el sentido de que los esfuerzos realizados hasta ahora han dado algunos resultados, no espectaculares, pero sí razonables, en una perspectiva histórica y comparativa en el plano internacional.

También es posible que se confirme la idea de que no ha habido resultados positivos. En este caso, si tenemos buenos sistemas de evaluación tendremos también elementos para saber por qué ha ocurrido tal cosa, y para diseñar programas de mejora más adecuados.

Extraído de:

Una mirada técnico-pedagógica acerca de las evaluaciones de calidad educativa

Felipe Martínez Rizo

En: Evaluar las evaluaciones

Una mirada política acerca de las evaluaciones de Calidad Educativa

IIPE UNESCO

En la sección “Biblioteca” hay un link hacia el PDF completo

Hacia una búsqueda de sentido de las Evaluaciones de Calidad Educativa

Las Evaluaciones de Calidad Educativa ocupan un lugar en los medios de comunicación, y en la agenda de discusiones políticas, pero ¿Estamos todos de acuerdo respecto de su sentido? ¿Para qué evaluar? ¿Qué hacer con los resultados?  ¿Es necesaria un discusión al respecto?

La propuesta de realizar una mirada política de las evaluaciones de calidad ha permitido revisar distintos aspectos de estas políticas y proponer miradas novedosas de las mismas. Sin duda, la intuición respecto de que no podía empezarse la revisión por una mirada exclusivamente técnica es la acertada. El debate con los tomadores de decisiones les permite salir del “enojo” con el instrumento y pasar a la apropiación de los mismos respecto de su direccionalidad y conceptualización. Resulta claro que en materia de evaluación hemos carecido de una toma de decisiones política, de sentido, y que en realidad hemos asistido a una “no política”. Es decir, las decisiones no tomadas fueron ocupadas por opciones técnicas.

Probablemente este fenómeno no sea exclusivo de las políticas de evaluación de calidad, pero en este caso adquiere especial relevancia por el peso político que han tenido las mismas en los medios de comunicación, en los espacios políticos y en la visión que las sociedades han construido sobre el estado de la educación. Aunque en cierta medida estas políticas pueden ser consideradas un caso común entre las que impulsaron las reformas de la década del ‘90, el hecho de la construcción de discursos técnicos con cierta autonomía de la reflexión política y, en algún caso, de la construcción de sentido compartida con los actores, parece ser una consecuencia más generalizada.

Lo cierto es que en el caso de las políticas de evaluación, resulta importante volver a evaluarlas desde la lógica de la revisión de sentido. Y en este punto, es una responsabilidad de los equipos políticos de los ministerios esta definición, que no puede encontrarse aislada del resto de las decisiones de política educativa. Esa revisión debe incluir, en el caso particular de la evaluación, respuestas a las preguntas de:

• ¿Para qué evaluamos?

• ¿Qué evaluamos?

• ¿Cómo lo hacemos?

• ¿Quiénes participan del proceso de construcción?

• ¿Qué información comunicamos a cada uno de los distintos actores del proceso?

• ¿Qué hacemos con los resultados?

Estas preguntas, que pueden parecer elementales, permitirán ordenar las revisiones técnicas que se realicen. Será distinto afirmar que se evalúa para establecer parámetros de comparación que obliguen a las escuelas a mejorar, que sostener que se lo hace para mejorar el conocimiento del sistema de modo de ajustar las estrategias de política.

Será distinto evaluar a los docentes como modo de mejorar sus estrategias de carrera y de formación, que hacerlo solamente para establecer premios y castigos.

Estas decisiones permitirán decidir por dispositivos muestrales o censales, por instrumentos individuales, grupales, por ítems cerrados o abiertos, etcétera. Lo cierto es que es fundamental recuperar los modos de construir políticas de sentido, definición de fundamentos que puedan sostener los acuerdos técnicos posteriores.

Algunas de estas reflexiones se propone abrir un debate sobre las evaluaciones que sume miradas y resulte un modo de enriquecer la política educativa en general y la de evaluación en particular.

Extraído de:

Evaluar las evaluaciones

Gustavo Iaies

En: Evaluar las evaluaciones

Una mirada política acerca de las evaluaciones de Calidad Educativa

IIPE UNESCO

En la sección “Biblioteca” hay un link hacia el PDF completo

¿Qué deberíamos evaluar para que la evaluación sirva para mejorar la calidad?

¿Puede reducirse la Calidad Educativa a un limitado número de conocimientos y habilidades? ¿Es suficiente con una prueba de aprendizajes?  ¿Qué otras dimensiones podemos considerar? ¿Cuál es el sentido de “Evaluar un sistema”?

Ante un auditorio interesado en la educación no es necesario abundar en lo relativo a la importancia de su calidad y su evaluación. Pero teniendo en cuenta la diversidad de concepciones de estas dos nociones (calidad y evaluación) juzgo necesario explicitar mis propias ideas al respecto, de modo que las respuestas que ofreceré para las tres preguntas siguientes cobren sentido pleno.

Tratando, pues, de responder a esta primera pregunta, afirmo que, idealmente, una evaluación adecuada para que sirva realmente para mejorar la calidad educativa sería una muy amplia, que incluyera todas las dimensiones de la calidad; todas las áreas del currículo; los aspectos cognitivos pero también los actitudinales y valorales; no sólo niveles de dominio elementales, sino también los más elevados; insumos, pero también procesos y productos; los diversos actores y niveles organizacionales del sistema educativo; y que, además, incluyera el análisis de los factores que inciden en la calidad, de manera que dé bases para el diseño y la implementación de políticas.

Desarrollo el primero de los elementos anteriores: una buena evaluación deberá comprender todas las dimensiones de la calidad.

Sabemos que las políticas educativas han puesto el acento sucesivamente en la atención de la cobertura, luego en la eficiencia terminal y, más recientemente, en el nivel de aprendizaje alcanzado por los alumnos y en la equidad del servicio educativo. La coincidencia de la secuencia anterior de tales políticas en muchos países de la región latinoamericana y otras partes del mundo no es casual: responde, desde luego, a la similar evolución del contexto demográfico, económico, social y cultural.

Es frecuente que el término calidad se defina en forma restringida, limitándolo a lo que se refiere a los niveles de aprendizaje. En este sentido se dice que, tras centrar la atención en la cobertura y la eficiencia, ahora las políticas educativas ponen el énfasis en la calidad. Otra manera de usar la palabra, que juzgo preferible, le da un sentido más amplio, que se aplica también a las políticas de cobertura y eficiencia terminal.

Un concepto amplio de calidad, en efecto, no puede dejar fuera las dimensiones de cobertura y eficiencia, aunque no pueda limitarse a ellas y deba incluir además el nivel de aprendizaje, entre otras cosas.

Un concepto amplio de calidad debe incluir, en mi opinión, varias dimensiones que, en forma sintética, pueden expresarse diciendo que un sistema educativo de calidad es aquél que:

• Establece un currículo adecuado a las necesidades de la sociedad, incluyendo las de una mayor productividad económica, pero también otras necesidades básicas en una perspectiva de desarrollo integral, como las que tienen que ver con la democracia política, el respeto de los derechos humanos, el desarrollo de la ciencia, el cuidado del medio ambiente y la preservación y enriquecimiento de la diversidad cultural. Esta dimensión puede definirse con la expresión relevancia de los objetivos curriculares.

• Logra que la más alta proporción posible de destinatarios acceda a la escuela, que permanezca en ella hasta el final del trayecto previsto y que egrese alcanzando los objetivos de aprendizaje establecidos. Esta dimensión incluye, pues, la cobertura y la eficiencia terminal, así como el nivel de aprendizaje, y en términos sistémicos coincide con la eficacia interna del sistema.

• Consigue que los aprendizajes logrados por los alumnos sean asimilados por éstos en forma duradera y deriven en comportamientos sociales sustentados en los valores de libertad, equidad, solidaridad, tolerancia y respeto a las personas, que son fructíferos para la sociedad y para el propio individuo, quien podrá así alcanzar un desarrollo pleno en los diversos roles que habrá de desempeñar como trabajador, productor, consumidor, padre de familia, elector, servidor público, lector y telespectador, entre otros; en pocas palabras, como ciudadano cabal. En términos sistémicos esta dimensión es la de la eficacia ex terna o impacto del sistema.

• Cuenta, para lograr lo anterior, con recursos humanos y materiales suficientes, y los aprovecha de la mejor manera posible, evitando despilfarros y derroches. Es fácil apreciar que esta es la dimensión eficiencia del sistema.

• Tiene en cuenta la desigual situación de alumnos y familias, de las comunidades en que viven y las escuelas mismas, y ofrece apoyos especiales a quienes lo requieren, para que los objetivos educativos sean alcanzados por el mayor número posible. Esta última dimensión es la de equidad.

Conceptualizada así, multidimensionalmente, la educación será de calidad si es relevante, si tiene eficacia interna y externa, si tiene un impacto positivo en el largo plazo, si es eficiente en el uso de los recursos y si busca la equidad.

Considero que es mejor este concepto amplio de calidad que uno restringido, porque creo que nadie creerá que un sistema educativo es de calidad si atiende sólo a una fracción de la población en edad de acceder a cierto nivel, o si pierde en el camino a muchos de los alumnos que lo comienzan, aunque los que terminan lo hagan con altos niveles de aprendizaje.

Los otros componentes de una buena evaluación son claros: todas las áreas del currículo, comenzando por supuesto con Lectoescritura y Matemáticas, pero sin limitarse a ellas, sino contemplando, al menos en el mediano plazo, las ciencias naturales y las del hombre, la educación física y artística, etc.

Deberán incluirse los aspectos cognitivos pero también los actitudinales y valorales, ya que la educación no sólo pretende desarrollar los primeros, sino también, y con creciente énfasis, los segundos, cuya importancia para la vida en una sociedad democrática y culta se reconoce cada vez más. Obviamente, no sólo deberán valorarse niveles de aprendizaje elementales, como memorización, sino también los más elevados, de razonamiento propio, juicio crítico y creatividad.

Una buena evaluación no podrá limitarse a los insumos del sistema, si bien no puede olvidarlos, ya que sin ellos no es posible medir la eficiencia del sistema, pero habrá de considerar también los productos, para valorar la eficacia, y los procesos, como parte de una aproximación explicativa que indague en lo relativo a las causas de la situación descrita, con lo que se dará sustento sólido al diseño y la implementación de acciones de mejoramiento.

Con un enfoque integral como el que se propone, la evaluación tomará en cuenta no sólo a los alumnos, sino también a los maestros, los directores y supervisores y las autoridades educativas, así como los diferentes niveles de organización de un sistema complejo como el educativo, en cada uno de los cuales hay una problemática específica, y oportunidades particulares de intervención: el aula, la escuela singular, la zona o distrito escolar, el municipio, la región, provincia o entidad federativa, y el país.

Una buena evaluación, además, deberá caracterizarse por las cualidades técnicas de cualquier medición buena, que se resumen en la validez y la confiabilidad, en sus diversas facetas: que se mida realmente lo que se pretende medir, y que se haga de manera que los resultados sean comparables en el espacio y en el tiempo.

Subrayo que la evaluación no puede reducirse a la aplicación de pruebas de aprendizaje. Estas son, sin duda, necesarias para la medición de los resultados de la enseñanza, pero la valoración de otros aspectos implica la construcción de indicadores con otro tipo de datos, tomados de otras fuentes, como los sistemas de información estadística o estudios ad hoc.

Es claro que esta es una visión ideal, que en sentido estricto es imposible llevar a la práctica, pues exigiría una cantidad de trabajo y un volumen de recursos enorme para recolectar la información necesaria.

Pero si no se tiene este punto de referencia es fácil caer en el error opuesto, que en la realidad se ha dado en muchos lugares: el de reducir el sistema de evaluación a los elementos más fácilmente disponibles, con lo que sólo se dispone de datos gruesos y burdos sobre el número de alumnos inscritos en el sistema al inicio y al fin de un ciclo, el de maestros y escuelas, el presupuesto asignado a las escuelas y poco más.

Por ello creo que es importante manejar una visión ideal de lo que debería ser la evaluación como referente para el desarrollo de un sistema concreto; con tal punto de referencia, y con ayuda de las metodologías de investigación y evaluación educativa desarrolladas en las últimas décadas, es factible diseñar sistemas mucho más finos que los habituales, con requerimientos de recursos al alcance de los sistemas educativos reales.

No está de más precisar que diversos tipos de evaluación son competencia de diversas instancias. En particular conviene distinguir la evaluación de individuos de la de los sistemas como tales. La evaluación de los alumnos en lo individual, por ejemplo, es y sin duda seguirá correspondiendo a los maestros y las escuelas en que están los alumnos; la evaluación de los maestros en lo individual corresponde y corresponderá seguramente a los directores y supervisores.

La evaluación a la que me refiero en este escrito es, precisamente, la del sistema educativo en cuanto tal. Se trata, pues, de una evaluación de nivel macro, que no sustituye a las evaluaciones individuales, sino que las complementa, iluminando un ángulo diferente de la realidad educativa.

Extraído de:

Una mirada técnico-pedagógica acerca de las evaluaciones de calidad educativa

Felipe Martínez Rizo

En: Evaluar las evaluaciones

Una mirada política acerca de las evaluaciones de Calidad Educativa

IIPE UNESCO

En la sección “Biblioteca” hay un link hacia el PDF completo