miércoles, 23 de octubre de 2013

Una mirada técnica sobre las Evaluaciones de Calidad Educativa


El sistema debe generar información que permita mejorar, en el camino del cumplimiento de sus objetivos ¿Se están generando en forma adecuada? ¿Se comunican por los carriles adecuados? ¿Están debidamente conectadas las evaluaciones, con el resto del sistema? ¿Qué debe orientar las revisiones técnicas de las evaluaciones?

 

La mayoría de los sistemas educativos latinoamericanos ha incorporado dispositivos y estrategias de evaluación al repertorio de políticas que constituyeron sus reformas en la década del ‘90. Los modos de organización, los niveles alcanzados, el tipo de instrumentos, la periodicidad, y otras variables, muestran diferencias entre ellos. Pero lo cierto es que la evaluación se instaló como una política y adquirió un fuerte reconocimiento social.

Más allá de las diferencias encontradas, pueden observarse elementos comunes entre los diferentes países, que dan cuenta de las opciones técnicas adoptadas, o de las que más allá de haber sido definidas explícitamente, resultaron de los modelos de implementación puestos en marcha.

En ninguno de los casos se han observado variaciones significativas de los resultados a lo largo del período de implementación. Los niveles de acierto se han mantenido estables tanto en relación a los indicadores cuantitativos cuanto a los cualitativos. Es posible afirmar que los alumnos siguen logrando niveles similares de aciertos en el mismo tipo de ítems. Estos resultados podrían permitir dos tipos de inferencias iniciales, en el sentido de que los cambios curriculares en particular y los programas de reforma en general, no han impactado los aprendizajes que los alumnos adquieren en las aulas, o que las preguntas que estamos formulando no son capaces de captar las diferencias que se están produciendo.

La mayoría de los sistemas han trabajado con mayor dedicación en la producción de información que en el análisis de la misma y en su comunicación a los actores. La región ha implementado millones de pruebas por año, pero es relativamente escasa la cantidad de información que se ha producido, al menos la que se ha utilizado para la reformulación de políticas o estrategias pedagógicas.

No se ha logrado que los docentes incorporen los resultados de los dispositivos como insumo de trabajo para la reformulación de su tarea. Esto tampoco ha ocurrido en los propios ministerios que las implementan. Los equipos de currículum o de capacitación no hacen de los resultados un insumo principal de su trabajo. Los operativos de evaluación aparecen como elementos con gran autonomía del resto de las políticas implementadas.

Los resultados se han comunicado, casi exclusivamente, a través de los medios de comunicación masiva. Se han difundido los promedios nacionales con mayor o menor desagregado, pero en muy pocos casos se han construido informes que puedan orientar el trabajo de la escuela o, al menos, que las escuelas los vivan así. Se han resaltado los casos extraordinarios, se han comparado con la línea histórica de los mismos. En los casos en que se ha trabajado en la distribución, la temporalidad de dicha devolución es tal, que se vuelve difícil transformarla en estrategias de mejoramiento institucional. Los informes llegan tarde o, al menos, desajustados con la posibilidad de transformarlos en herramientas de planeamiento.

Las escuelas han vivido los operativos como dispositivos externos a los que han dedicado mayor o menor tiempo de preparación, pero en muy pocos casos han percibido esas actividades como propias de la institución.

Los ítems de contenidos evaluados han sido construidos en el contexto de un proceso de transformación curricular de gran alcance, razón por la cual resulta difícil evaluar los resultados de dichos ejercicios.

La comunicación de los resultados ha transmitido la sensación del deterioro, la idea de que los sistemas educativos son muy poco eficientes en términos de calidad, y que se encuentran en un proceso de deterioro respecto de los resultados que obtenían en el pasado.

Es preciso relativizar muchas de las críticas que se efectúan sobre los equipos técnicos. Lo cierto es que la región no contaba con ningún tipo de experiencia previa acerca de la organización de operativos de este tipo y la experiencia europea se daba en contextos muy diferentes, al menos de menor heterogeneidad y en condiciones de organización del Estado mucho más sólidas.

Al mismo tiempo, los equipos técnicos no contaron con directivas políticas que les permitieran orientar el trabajo. El pedido de organizar dispositivos de evaluación no contó con el planteo de direccionalidades claras respecto de lo que se haría con dichos resultados, del impacto que se pretendía generar con los mismos, etcétera. Pero, en el caso de los equipos, éstos tampoco lo demandaron y en este sentido es interesante reflexionar acerca de los grados de autonomía de los equipos técnicos y los riesgos que esto genera.

El avance técnico parece haber sido construido con autonomía de las decisiones de sentido. De hecho, la variación de los instrumentos desde el comienzo de su implementación es baja. Las que se produjeron han tenido que ver con ajustes estadísticos o técnico-pedagógicos. EL elemento innovador apareció en el caso de algunos dispositivos internacionales que incorporaron nuevos modelos y contenidos a los instrumentos.

En síntesis, la reflexión acerca de nuevas decisiones técnicas, ajustes y revisiones que se realizan, debe estar precedida de las reflexiones y decisiones políticas que orienten el trabajo técnico posterior.

A diez años de la implementación de estos dispositivos de evaluación, parece interesante comenzar por una indagación profunda de los resultados, un intento de encontrar pistas que aporten a una revisión de las políticas implementadas y de las nuevas que se elaboren. Resulta importante formular un análisis profundo de los resultados, realizarlo con participación de los actores del sistema, y construir la cultura de la evaluación como insumo para el debate y la construcción de políticas educativas.

En cuanto a las estrategias de futuro, es necesaria una revisión que aproveche los avances alcanzados. Puede resultar riesgosa la tradición de fractura en el modelo de construcción de programas de política que ha tenido la región. No se trata de producir una nueva ruptura, se trata de un proceso de construcción, de re-orientar, de potenciar la herramienta en función de los objetivos que se definan. Latinoamérica requiere institucionalizar sus operativos de evaluación, incluyendo en dicha institucionalización los propios mecanismos de revisión y re-orientación de las decisiones técnicas. Y esos mecanismos deben ganar coherencia con los objetivos de política que se definan.



Extraído de:
Evaluar las evaluaciones
Gustavo Iaies
En: Evaluar las evaluaciones
Una mirada política acerca de las evaluaciones de Calidad Educativa
IIPE UNESCO
En la sección “Biblioteca” hay un link hacia el PDF completo

sábado, 12 de octubre de 2013

Una visión acerca de las relaciones entre las evaluaciones educativas y los actores


¿Se sienten los docentes involucrados en las Evaluaciones de Calidad Educativa?  ¿Sienten estas evaluaciones como propias? ¿Piensan que son justas? Los tomadores de decisiones ¿Las usan para confrontar con los docentes?


Las evaluaciones de calidad son uno de los componentes de las políticas encaradas en la década del `90 que más críticas reciben entre los docentes y los directores. Sin duda, el modelo de implementación y construcción no ha logrado que los mismos se sientan incluidos en dicho proceso.

Este dato resulta interesante de ser analizado por el hecho de que tal como lo explica el artículo de Emilio Tenti, la visión crítica no se extiende a la política de evaluación como tal, sino al modo en que la misma fue implementada. Los docentes parecen acordar con la idea de evaluar, aunque tienen sus diferencias con el modo en que dichas evaluaciones se han implementado.

Por otro lado, manifiestan que la tarea de evaluar es de las que más dificultades les generan dentro del repertorio de las que implica su propio trabajo. En este sentido, parece interesante observar el hecho de que ellos mismos parecen requerir una reflexión más profunda de para qué evaluar y cómo hacerlo, y esa reflexión no debería estar divorciada de la que se formula alrededor de los operativos de evaluación en un sentido más general, como política global del sistema.

Al mismo tiempo, la propia exposición a la que la escuela se ha visto sometida por la comunicación masiva de los resultados, las sospechas que ha generado en la sociedad acerca de la capacidad de los docentes de garantizar aprendizajes significativos de sus alumnos, la puesta en duda de la idoneidad de los mismos para su tarea, pueden explicar la mirada crítica acerca de los dispositivos de evaluación de la calidad.

Sin duda, las evaluaciones son vividas como un elemento externo que, de algún modo, se interpone entre las autoridades y las escuelas. Deja a los docentes solos y rompe cierta visión de unidad del sistema. Como expresó Javier Bonilla: “Se nota un grado de exterioridad muy grande entre el aparato de evaluación y el de gestión habitual del sistema. La pregunta es cómo hacemos para que el dispositivo sea vivido como un dispositivo interno. Cómo hacemos para que el aparato de evaluación sea amigable para la cultura del sistema educativo”. La sola idea de dos aparatos a los que se debe volver “amigables” y hacerlos dialogar entre sí, implica una ruptura en la lógica de un sistema que se ha caracterizado por importantes grados de endogamia, como es el sistema educativo. Las evaluaciones aparecen como un dispositivo externo al propio sistema, que han adquirido el poder de validar o no sus acciones y efectos. La escuela parecía un ámbito invulnerable y ha quedado sometida a un procedimiento que no sólo la evalúa, sino que expone los resultados de dichas evaluaciones al conjunto de la sociedad.

El hecho de que la discusión previa de las evaluaciones acerca del sentido haya resultado tan débil, hace que tampoco hayan podido participar los docentes de la misma. La revisión que se realiza de las mismas, la discusión de sentido en la que se avance, debe incluirlos, debe contar con ellos en el análisis del “para qué” y del “cómo”. En caso contrario, resulta complejo construir una “amigabilidad” a posteriori. Lo cierto es que la posibilidad de lograr que el sistema viva a los dispositivos como propio, debe incluir la participación de la discusión del para qué, que sienta como propios los objetivos que se proponen.

El Jefe de la división educación del BID, Juan Carlos Navarro, señaló en el Seminario: “Los docentes sienten que entran en un juego en el que los dados están cargados contra ellos (...) Creen que es justo que sean evaluados, no están en contra de esto, por principio”. Tal como afirmamos anteriormente, se trata de comprender que la revisión de sentido en materia de políticas de evaluación, va a incluir tanto las cuestiones sustantivas como las metodológicas, y que la participación de los actores en las distintas instancias de ese proceso es fundamental. Por otro lado, es preciso que los tomadores de decisiones sean transparentes, en el sentido de que no se está construyendo un dispositivo para confrontar con los docentes, sino uno capaz de producir los insumos que permitan mejorar la calidad y la equidad, en los aprendizajes de los alumnos.


Extraído de:
Evaluar las evaluaciones
Gustavo Iaies
En: Evaluar las evaluaciones
Una mirada política acerca de las evaluaciones de Calidad Educativa
IIPE UNESCO
En la sección “Biblioteca” hay un link hacia el PDF completo

martes, 1 de octubre de 2013

Factores que explican los resultados escolares


La Evaluación Educativa queda justificada, en la medida que pueda convertirse en información para ser usada en procesos de mejora. Conocer los factores que determinan los aprendizajes ayuda a comprender ¿Cuáles son? ¿Están en el ámbito escolar? ¿O en el familiar?


Durante los últimos 40 años los investigadores educacionales alrededor del mundo han producido grandes avances en la tarea de desentrañar los factores que explican los resultados escolares, medidos por el logro de aprendizaje de sus alumnos. A esta altura existe un amplio consenso entre los especialistas. Los factores explicativos son dos: el entorno sociofamiliar de los alumnos y la efectividad de la escuela.

¿Cuánto pesan, respectivamente, estos factores en la varianza de los resultados observados entre establecimientos? En el caso de los países desarrollados, los estudios atribuyen un peso de 80% y de 20%, respectivamente, a la familia y la escuela. En América Latina, los pesos asignados son 60% y 40%, respectivamente, subrayándose con ello el hecho de que allí donde hay más pobreza la escuela adquiere, asimismo, mayor importancia.

Suele pensarse que el factor socio-familiar estaría determinado exclusiva o principalmente por el nivel de ingresos del hogar. En verdad, este factor es mucho más complejo que eso. Tiene que ver con el “mundo de vida” en que nace y se desarrolla el niño. Ciertamente, el status socioeconómico de los padres es importante. Pero aún más decisivo parece ser, en el caso de niños provenientes de hogares de escasos recursos, la organización de la familia, su clima afectivo, la socialización lingüística o la adquisición temprana de actitudes y motivaciones.

Variables de entorno familiar que inciden en los logros de aprendizaje
Ocupación, ingreso y nivel educacional de los padres.
Infraestructura física del hogar y grado de hacinamiento.
Recursos del hogar (libros, diccionarios, escritorio, computadora).
Organización familiar y clima afectivo del hogar.
Capital social de la familia, vecindario, comunidad y pares.
Alimentación y salud durante los primeros años de vida del niño.
Prácticas de socialización temprana.
Desarrollo lingüístico y régimen de conversaciones en el hogar.
Rutinas diarias, desarrollo de actitudes y motivación.
Acceso a, y calidad de, la enseñanza preescolar.
Elección de escuela.
Armonía entre códigos culturales de la familia y la escuela.
Estrategias de aprendizaje y conocimiento previo adquiridos.
Comunicación familia-escuela.
Involucramiento familiar en las tareas escolares.
Uso del tiempo en el hogar y durante las vacaciones.

Y en el caso de las escuelas, ¿cuáles insumos afectan el rendimiento de los alumnos? ¿Hay algunos que importan más que otros? Una revisión efectuada por Fuller y Clarke, sobre la base de más de 300 estudios realizados sobre sistemas escolares de países en desarrollo, permite apreciar qué porcentaje de dichos estudios muestran una asociación positiva entre el respectivo insumo y los resultados obtenidos por los alumnos, una vez que se controla por su nivel socioeconómico.

Insumos asociados positivamente a resultados
Profesor conoce la materia
Biblioteca escolar Tiempo dedicado a la enseñanza Alimentación del niño
Tamaño del colegio
Frecuencia tareas hogar
Monitoreo frecuente del alumno
Calidad de infraestructura
Disponibilidad de textos
Tiempo preparación clase
Capacitación docente en servicio
Docente con educación superior
Experiencia del docente
Años de escolarización del profesor
Gasto por alumno
Laboratorio ciencia en escuela
Nivel salarial del profesor
Tamaño del curso

Sin embargo, si se adopta una perspectiva metodológica más restringida y exigente, la efectividad de la escuela aparece determinada, principalmente, por la efectividad del profesor en la sala de clase. En general, se estima que el efecto escuela depende, en alrededor de 2/3 partes, de la calidad de la docencia impartida. A su turno, ésta se halla determinada, en orden decreciente de importancia, por las siguientes variables: las prácticas de enseñanza del docente en la sala de clase; el desarrollo profesional docente (dominio de la materia que enseña y capacidad de enseñar a alumnos de diverso origen sociofamiliar) y los insumos (tamaño del curso, educación inicial y experiencia del profesor).

Particular importancia adquiere en el contexto de los procesos de reforma educacional el impacto que podría tener el gasto por alumno sobre los resultados o logros escolares. La evidencia internacional muestra lo siguiente: si se combina el puntaje promedio obtenido por los alumnos de varios países, participantes en PISA, con el gasto acumulado por alumno hasta los 15 años, expresado en dólares de valor equivalente, se observa en primer lugar que sí existe una asociación entre ambas variables, aunque con diferencias como permite ver la distribución de los países incluidos en torno a la línea de tendencia. En seguida, se constata que sólo unos pocos países –Corea e Irlanda aparecen allí- obtienen altos resultados (por encima de 500 puntos, que es el puntaje promedio de los países de la OECD participantes) con un gasto que en la escala se sitúa por debajo de la mitad del rango entre 0 y 80 mil dólares (PPC). Estos países, se hallan naturalmente bien arriba de la línea de tendencia. Hay un segundo grupo de países que se aproxima al cuadrante anterior de gasto austero y alto rendimiento: República Checa, Polonia, Hungría y Grecia. Por otro lado, ningún país de gasto superior a 40 mil dólares se ubica en el cuadrante suroeste, por ende, de alto gasto y resultado inferior al puntaje promedio de la OECD. Por el contrario, los países de alto gasto se concentran en el cuadrante noreste, aunque algunos están por encima y otros por debajo de la línea de tendencia. Finalmente, los países de América Latina se agrupan todos en la posición suroeste –de bajo gasto y bajos resultados- aunque con diferencias entre ellos. En efecto, a pesar de estar todos por debajo de la línea de tendencia, México está en términos relativos menos mal que Argentina, ésta que Chile y éste que Brasil.

¿Existe algún elemento adicional que pudiera ayudar a explicar el diferente desempeño de los países? Si nos atenemos solamente a los factores externos o de contexto, el mejor candidato parece ser el nivel de desigualdad de las distintas sociedades. En efecto, los países con mayor desigualdad –medida por el Coeficiente de Gini- tienen más dificultad para producir buenos resultados escolares, incluso si son ricos, como sucede en el caso de los EE.UU., justamente porque deben compensar un mayor déficit de origen sociofamiliar. Por el contrario, sólo obtienen buenos resultados países con un nivel bajo de desigualdad, con la excepción de Indonesia, que apenas acumula un gasto de 1.164 dólares (calculados con PPC) en sus alumnos de 15 años, 50 veces menos que Australia, por ejemplo, o 1/15 del gasto de Chile. Es interesante observar, asimismo, que de los países de la muestra, Chile ostenta el más alto nivel de desigualdad, ubicándose en general todos los países latinoamericanos participantes en PISA en el cuadrante sureste, el de alta desigualdad con bajo rendimiento.

Si se considera el conjunto de antecedentes aquí presentados, emerge con nitidez la enorme complejidad del proceso de producción de resultados educacionales. En este proceso influyen diversos factores y múltiples variables. Entre aquéllos, como se señaló, los más importantes son el entorno sociofamiliar de los alumnos y la escuela. Entre las variables son decisivas aquéllas que caracterizan el hogar como agencia de transmisión de capital cultural, por un lado, y las que inciden sobre la efectividad de los establecimientos escolares, por el otro. Por último, destaca el hecho de que allí donde los hogares son grandemente desiguales, la tarea educativa enfrenta también mayores problemas y desafíos. En estos casos la cultura nacional –y su elaboración “micro” a nivel de la familia, los pares y la comunidad- juegan un papel importante, como parece indicar el caso de los países del sudeste asiático. En efecto, la cultura nacional y sus elaboraciones “micro” pueden, ya bien contribuir a facilitar y reforzar la labor de la escuela o, al contrario, ser neutrales frente a ella u obstaculizarla.

En cuanto a las posibilidades de compensar educacionalmente las desigualdades de origen sociofamiliar de los alumnos, ellas sólo pueden materializarse allí donde la mayoría de las escuelas que atienden a niños y jóvenes provenientes de hogares en situación vulnerable son efectivas. Como muestra ampliamente la literatura especializada, sólo éstas logran mejores resultados para sus alumnos que aquellos que podrían anticiparse considerando su origen sociofamiliar.

Ninguna de estas complejidades y dificultades forma parte, sin embargo, de los habituales análisis periodísticos sobre resultados educacionales. Como vimos, éstos se limitan a resaltar unidimensionalmente el producto final de estos procesos –es decir, resultados como puntajes- y a ubicarlos en un esquemático ranking de países o tipos de establecimientos, suprimiendo toda referencia al contexto en que dichos resultados se obtienen. Con esto se banaliza la información que aportan los estudios nacionales e internacionales de medición del desempeño escolar y, lo que es más grave, se distorsiona la deliberación pública y se limitan sus efectos, debilitándose de esta forma uno de los mecanismos más poderosos que poseen las democracias para abordar y resolver problemas colectivos.


Extraído de:
Límites de la lectura periodística de resultados educacionales
José Joaquín Brunner
En: Evaluar las evaluaciones
Una mirada política acerca de las evaluaciones de Calidad Educativa
IIPE UNESCO
En la sección “Biblioteca” hay un link hacia el PDF completo

sábado, 21 de septiembre de 2013

Reflexiones sobre las Evaluaciones de Calidad Educativa


¿Qué evalúan las evaluaciones estandarizadas? ¿Calidad Educativa? ¿Pobreza?  ¿Son puestas bajo la lupa las cuestiones relevantes? Las respuestas, si bien dadas pensando en el contexto mexicano, tienen valor para muchos otros


¿Qué estamos evaluando?
Resumo mi respuesta, en forma algo simplista y cruda, diciendo que evaluamos algunas de las dimensiones de la calidad educativa, pero dejando fuera varias de las más importantes, que lo hacemos de manera imprecisa, y que no llegamos a las causas.

Hasta hace muy pocos años, la situación de la mayor parte de los sistemas de evaluación educativa de los países de la región era justamente la que se ha mencionado antes: solamente se contaba con datos sobre alumnos, maestros, escuelas y presupuestos, con lo que se podían estimar indicadores de cobertura, eficiencia terminal y costo alumno en forma gruesa, ya que por lo general no se controlaba la calidad de los procesos de recolección de información, no se manejaban datos por edad, con lo que sólo podían construirse tasas brutas y no netas y se manejaban sólo cohortes aparentes.

Los esfuerzos que han hecho muchos de nuestros países en la última década han incluido, por una parte, mejoras en los sistemas de información y, por otra, el desarrollo de sistemas de pruebas nacionales para valorar los aprendizajes de los alumnos. Estos esfuerzos son importantes, sin duda, pero aún están por consolidarse y adolecen de fallas claras, explicables por la falta de una tradición en el campo y la consecuente escasez de recursos humanos especializados.

Pecando tal vez de simplismo, creo que en la región atendemos la cobertura y la eficiencia terminal en forma imperfecta y el nivel de aprendizaje de los alumnos en áreas curriculares y grados clave, pero por lo general limitándose a niveles cognitivos bajos. La contraparte obvia, lo que no estamos evaluando, incluye áreas curriculares adicionales, niveles cognitivos superiores, aspectos actitudinales y valorales, procesos tanto pedagógicos como de gestión y lo relativo a equidad.

En las escuelas se evalúan muchas de estas cosas, desde luego, pero no parece haber procedimientos para valorar tales dimensiones o aspectos de la calidad de manera permanente y sistemática en el nivel nacional. Debe añadirse que muchas veces las evaluaciones que hacemos no tienen, en un grado suficiente, las características técnicas mencionadas de validez y confiabilidad.

Por lo que se refiere a validez, la ausencia de controles de las variables relevantes del contexto pueden hacer que midamos en realidad pobreza, cuando creemos medir calidad de las escuelas. En este sentido en la región es muy raro todavía el uso de las poderosas técnicas actuales, como los modelos jerárquicos lineales, que permiten identificar la influencia de los factores del entorno distinguiéndolos, por ejemplo, de los de la escuela, el aula y el propio alumno.

En cuanto a confiabilidad, es también raro el uso de metodologías psicométricas avanzadas, como los modelos de la teoría de la respuesta al reactivo, que permiten contar con escalas más precisas, comparables en el tiempo, que cuidan la unidimensionalidad y evitan el sesgo de manera más adecuada que las técnicas de la teoría clásica de las pruebas. Debe añadirse que, hasta hace poco tiempo, no era raro que se manejaran pruebas que no empleaban en forma rigurosa siquiera los principios de la teoría clásica. Las técnicas de valor agregado son también muy poco conocidas.

¿Qué de lo evaluado resulta significativo?
En principio los mecanismos de evaluación existentes son todos significativos y, aun en ausencia de los que se sugiere añadir, contienen potencialmente elementos útiles para el mejoramiento de los sistemas educativos. Sin embargo, es frecuente que aún esos elementos se desaprovechen y sólo sirvan para acumular datos en anuarios estadísticos destinados a empolvarse en los estantes, sin que los responsables de tomar decisiones, y mucho menos los maestros, los conozcan y utilicen para retroalimentar su quehacer.

Esto quiere decir que, además de mejorar los actuales mecanismos de evaluación y de enriquecerlos con nuevos elementos, es necesario un importante esfuerzo de difusión de resultados y de capacitación de los usuarios para que estén en condiciones de entender y aprovechar los resultados de las evaluaciones.

¿Por qué las reformas realizadas en los 90 no se ven traducidas en los resultados?
Esta pregunta parte de un supuesto que no me parece incuestionable: que las reformas educativas implementadas en América Latina en los ‘90 no han dado resultados.
Los niveles educativos de nuestros países son el resultado de un enorme conjunto de factores, incluyendo unos tan complejos como el explosivo incremento demográfico que hizo del subcontinente la región de mayor crecimiento poblacional en toda la historia hasta mediados del siglo XX, la pobreza que aflige a gran parte de la población y la diversidad étnica y lingüística. Otros factores igualmente complejos incluyen el carácter autoritario de muchos regímenes políticos, las estructuras sindicales y burocráticas, y la desigualdad ancestral de nuestras sociedades.

Los cambios educativos, por otra parte, son complejos también y, en el mejor de los casos, llevan mucho tiempo; no pueden ser el resultado rápido de esfuerzos simples.
Por ello, aun si en verdad las reformas de los años 90 no han dado resultados, podrían encontrarse diversas explicaciones. Las políticas educativas de la región han adolecido, en muchos casos, de serias deficiencias en diversos aspectos: en el diagnóstico en que se sustentan, muchas veces incompleto e impreciso; en el diseño de los programas, muchas veces simplista, apostando demasiado a pocos elementos de los que se espera más de lo que pueden dar; y, tal vez, sobre todo, en la implementación.

No es fácil, en efecto, que las reformas lleguen hasta el nivel más importante, el de la escuela y el aula. Para ello se requiere de tiempo y, además, de estrategias muy finas que aseguren la participación de los maestros. Desgraciadamente, es más frecuente encontrar estrategias simplistas e implementaciones apresuradas que procesos cuidadosos y respetuosos de los actores de base y de la complejidad de la cuestión.

No debería sorprender, por consiguiente, que los resultados obtenidos disten mucho de los esperados. Pero el punto que quiero destacar es que no tenemos evidencia suficiente para afirmar de manera contundente que las reformas de los ‘90 no han tenido resultados. Hay, sin duda, indicios importantes en tal sentido, pero los sistemas de evaluación de que disponemos no sustentan afirmaciones tajantes.

En particular, creo que en México hay elementos para sostener que el nivel de aprendizaje ha mejorado ligeramente en los últimos años; que el impacto del gasto público en educación básica está siendo mayor para los tres deciles más pobres de la población, contra lo que ocurría antes; y que los programas compensatorios emprendidos a principios de los 90 han logrado reducir la deserción en medio rural y mejorar los niveles educativos en las zonas más desfavorecidas.

Por lo demás, la gran desigualdad que caracteriza a nuestras sociedades hace que necesitemos evaluaciones más precisas, que tengan en cuenta el peso de los factores del entorno, tanto en razón del principio de equidad, como para valorar en su justa medida los avances que puedan darse en contextos diferentes, en los que la mejora es más o menos difícil.

Conclusión
La última pregunta es, a mi juicio, la más importante que he tratado de responder, tanto por lo que expresamente plantea, como por lo que sugiere de manera implícita. Ampliando lo dicho hasta ahora trataré de aportar algunas ideas al respecto.

La experiencia de las reformas educativas implementadas en los países de mayor desarrollo económico ha dejado lecciones importantes, en la dirección ya apuntada: no deben esperarse cambios espectaculares; las mejoras educativas se consiguen en lapsos de tiempo largos, y mediante esfuerzos sistemáticos y complejos, no gracias a recetas mágicas simples o panaceas.

Hoy sabemos también que no debe exagerarse la importancia de los recursos materiales; estos son importantes, sin duda, sobre todo hasta ciertos umbrales mínimos, y tal vez más en cuanto a la regularidad o continuidad de su existencia que en cuanto a su monto absoluto. Pero parece claro que tanto y más importan los procesos a través de los que se utilizan los recursos: procesos pedagógicos especialmente en el interior del aula, procesos más amplios de gestión en el nivel nacional y regional y, sobre todo, en cada escuela, donde el trabajo del equipo docente, el liderazgo del director y la participación de los padres de familia han mostrado ser fundamentales.

Para poder responder con bases sólidas a la pregunta sobre el éxito o el fracaso de las reformas educativas necesitamos, pues, en mi opinión, contar con sistemas de evaluación bastante más sólidos, aunque no mucho más costosos que los existentes, que nos den la información clave, de que hoy carecemos, sobre las diferentes dimensiones de la calidad educativa de nuestros países en forma continuada y permanente.

Es posible que nos llevemos algunas sorpresas agradables, en el sentido de que los esfuerzos realizados hasta ahora han dado algunos resultados, no espectaculares, pero sí razonables, en una perspectiva histórica y comparativa en el plano internacional.




También es posible que se confirme la idea de que no ha habido resultados positivos. En este caso, si tenemos buenos sistemas de evaluación tendremos también elementos para saber por qué ha ocurrido tal cosa, y para diseñar programas de mejora más adecuados.



Extraído de:
Una mirada técnico-pedagógica acerca de las evaluaciones de calidad educativa
Felipe Martínez Rizo
En: Evaluar las evaluaciones
Una mirada política acerca de las evaluaciones de Calidad Educativa
IIPE UNESCO
En la sección “Biblioteca” hay un link hacia el PDF completo

martes, 10 de septiembre de 2013

Hacia una búsqueda de sentido de las Evaluaciones de Calidad Educativa


Las Evaluaciones de Calidad Educativa ocupan un lugar en los medios de comunicación, y en la agenda de discusiones políticas, pero ¿Estamos todos de acuerdo respecto de su sentido? ¿Para qué evaluar? ¿Qué hacer con los resultados?  ¿Es necesaria un discusión al respecto?


La propuesta de realizar una mirada política de las evaluaciones de calidad ha permitido revisar distintos aspectos de estas políticas y proponer miradas novedosas de las mismas. Sin duda, la intuición respecto de que no podía empezarse la revisión por una mirada exclusivamente técnica es la acertada. El debate con los tomadores de decisiones les permite salir del “enojo” con el instrumento y pasar a la apropiación de los mismos respecto de su direccionalidad y conceptualización. Resulta claro que en materia de evaluación hemos carecido de una toma de decisiones política, de sentido, y que en realidad hemos asistido a una “no política”. Es decir, las decisiones no tomadas fueron ocupadas por opciones técnicas.

Probablemente este fenómeno no sea exclusivo de las políticas de evaluación de calidad, pero en este caso adquiere especial relevancia por el peso político que han tenido las mismas en los medios de comunicación, en los espacios políticos y en la visión que las sociedades han construido sobre el estado de la educación. Aunque en cierta medida estas políticas pueden ser consideradas un caso común entre las que impulsaron las reformas de la década del ‘90, el hecho de la construcción de discursos técnicos con cierta autonomía de la reflexión política y, en algún caso, de la construcción de sentido compartida con los actores, parece ser una consecuencia más generalizada.

Lo cierto es que en el caso de las políticas de evaluación, resulta importante volver a evaluarlas desde la lógica de la revisión de sentido. Y en este punto, es una responsabilidad de los equipos políticos de los ministerios esta definición, que no puede encontrarse aislada del resto de las decisiones de política educativa. Esa revisión debe incluir, en el caso particular de la evaluación, respuestas a las preguntas de:

• ¿Para qué evaluamos?
• ¿Qué evaluamos?
• ¿Cómo lo hacemos?
• ¿Quiénes participan del proceso de construcción?
• ¿Qué información comunicamos a cada uno de los distintos actores del proceso?
• ¿Qué hacemos con los resultados?

Estas preguntas, que pueden parecer elementales, permitirán ordenar las revisiones técnicas que se realicen. Será distinto afirmar que se evalúa para establecer parámetros de comparación que obliguen a las escuelas a mejorar, que sostener que se lo hace para mejorar el conocimiento del sistema de modo de ajustar las estrategias de política.

Será distinto evaluar a los docentes como modo de mejorar sus estrategias de carrera y de formación, que hacerlo solamente para establecer premios y castigos.
Estas decisiones permitirán decidir por dispositivos muestrales o censales, por instrumentos individuales, grupales, por ítems cerrados o abiertos, etcétera. Lo cierto es que es fundamental recuperar los modos de construir políticas de sentido, definición de fundamentos que puedan sostener los acuerdos técnicos posteriores.

Algunas de estas reflexiones se propone abrir un debate sobre las evaluaciones que sume miradas y resulte un modo de enriquecer la política educativa en general y la de evaluación en particular.



Extraído de:
Evaluar las evaluaciones
Gustavo Iaies
En: Evaluar las evaluaciones
Una mirada política acerca de las evaluaciones de Calidad Educativa
IIPE UNESCO
En la sección “Biblioteca” hay un link hacia el PDF completo

sábado, 31 de agosto de 2013

¿Qué deberíamos evaluar para que la evaluación sirva para mejorar la calidad?


¿Puede reducirse la Calidad Educativa a un limitado número de conocimientos y habilidades? ¿Es suficiente con una prueba de aprendizajes?  ¿Qué otras dimensiones podemos considerar? ¿Cuál es el sentido de “Evaluar un sistema”?



Ante un auditorio interesado en la educación no es necesario abundar en lo relativo a la importancia de su calidad y su evaluación. Pero teniendo en cuenta la diversidad de concepciones de estas dos nociones (calidad y evaluación) juzgo necesario explicitar mis propias ideas al respecto, de modo que las respuestas que ofreceré para las tres preguntas siguientes cobren sentido pleno.

Tratando, pues, de responder a esta primera pregunta, afirmo que, idealmente, una evaluación adecuada para que sirva realmente para mejorar la calidad educativa sería una muy amplia, que incluyera todas las dimensiones de la calidad; todas las áreas del currículo; los aspectos cognitivos pero también los actitudinales y valorales; no sólo niveles de dominio elementales, sino también los más elevados; insumos, pero también procesos y productos; los diversos actores y niveles organizacionales del sistema educativo; y que, además, incluyera el análisis de los factores que inciden en la calidad, de manera que dé bases para el diseño y la implementación de políticas.

Desarrollo el primero de los elementos anteriores: una buena evaluación deberá comprender todas las dimensiones de la calidad.

Sabemos que las políticas educativas han puesto el acento sucesivamente en la atención de la cobertura, luego en la eficiencia terminal y, más recientemente, en el nivel de aprendizaje alcanzado por los alumnos y en la equidad del servicio educativo. La coincidencia de la secuencia anterior de tales políticas en muchos países de la región latinoamericana y otras partes del mundo no es casual: responde, desde luego, a la similar evolución del contexto demográfico, económico, social y cultural.

Es frecuente que el término calidad se defina en forma restringida, limitándolo a lo que se refiere a los niveles de aprendizaje. En este sentido se dice que, tras centrar la atención en la cobertura y la eficiencia, ahora las políticas educativas ponen el énfasis en la calidad. Otra manera de usar la palabra, que juzgo preferible, le da un sentido más amplio, que se aplica también a las políticas de cobertura y eficiencia terminal.
Un concepto amplio de calidad, en efecto, no puede dejar fuera las dimensiones de cobertura y eficiencia, aunque no pueda limitarse a ellas y deba incluir además el nivel de aprendizaje, entre otras cosas.

Un concepto amplio de calidad debe incluir, en mi opinión, varias dimensiones que, en forma sintética, pueden expresarse diciendo que un sistema educativo de calidad es aquél que:
• Establece un currículo adecuado a las necesidades de la sociedad, incluyendo las de una mayor productividad económica, pero también otras necesidades básicas en una perspectiva de desarrollo integral, como las que tienen que ver con la democracia política, el respeto de los derechos humanos, el desarrollo de la ciencia, el cuidado del medio ambiente y la preservación y enriquecimiento de la diversidad cultural. Esta dimensión puede definirse con la expresión relevancia de los objetivos curriculares.

• Logra que la más alta proporción posible de destinatarios acceda a la escuela, que permanezca en ella hasta el final del trayecto previsto y que egrese alcanzando los objetivos de aprendizaje establecidos. Esta dimensión incluye, pues, la cobertura y la eficiencia terminal, así como el nivel de aprendizaje, y en términos sistémicos coincide con la eficacia interna del sistema.

• Consigue que los aprendizajes logrados por los alumnos sean asimilados por éstos en forma duradera y deriven en comportamientos sociales sustentados en los valores de libertad, equidad, solidaridad, tolerancia y respeto a las personas, que son fructíferos para la sociedad y para el propio individuo, quien podrá así alcanzar un desarrollo pleno en los diversos roles que habrá de desempeñar como trabajador, productor, consumidor, padre de familia, elector, servidor público, lector y telespectador, entre otros; en pocas palabras, como ciudadano cabal. En términos sistémicos esta dimensión es la de la eficacia ex terna o impacto del sistema.

• Cuenta, para lograr lo anterior, con recursos humanos y materiales suficientes, y los aprovecha de la mejor manera posible, evitando despilfarros y derroches. Es fácil apreciar que esta es la dimensión eficiencia del sistema.

• Tiene en cuenta la desigual situación de alumnos y familias, de las comunidades en que viven y las escuelas mismas, y ofrece apoyos especiales a quienes lo requieren, para que los objetivos educativos sean alcanzados por el mayor número posible. Esta última dimensión es la de equidad.

Conceptualizada así, multidimensionalmente, la educación será de calidad si es relevante, si tiene eficacia interna y externa, si tiene un impacto positivo en el largo plazo, si es eficiente en el uso de los recursos y si busca la equidad.

Considero que es mejor este concepto amplio de calidad que uno restringido, porque creo que nadie creerá que un sistema educativo es de calidad si atiende sólo a una fracción de la población en edad de acceder a cierto nivel, o si pierde en el camino a muchos de los alumnos que lo comienzan, aunque los que terminan lo hagan con altos niveles de aprendizaje.

Los otros componentes de una buena evaluación son claros: todas las áreas del currículo, comenzando por supuesto con Lectoescritura y Matemáticas, pero sin limitarse a ellas, sino contemplando, al menos en el mediano plazo, las ciencias naturales y las del hombre, la educación física y artística, etc.

Deberán incluirse los aspectos cognitivos pero también los actitudinales y valorales, ya que la educación no sólo pretende desarrollar los primeros, sino también, y con creciente énfasis, los segundos, cuya importancia para la vida en una sociedad democrática y culta se reconoce cada vez más. Obviamente, no sólo deberán valorarse niveles de aprendizaje elementales, como memorización, sino también los más elevados, de razonamiento propio, juicio crítico y creatividad.

Una buena evaluación no podrá limitarse a los insumos del sistema, si bien no puede olvidarlos, ya que sin ellos no es posible medir la eficiencia del sistema, pero habrá de considerar también los productos, para valorar la eficacia, y los procesos, como parte de una aproximación explicativa que indague en lo relativo a las causas de la situación descrita, con lo que se dará sustento sólido al diseño y la implementación de acciones de mejoramiento.

Con un enfoque integral como el que se propone, la evaluación tomará en cuenta no sólo a los alumnos, sino también a los maestros, los directores y supervisores y las autoridades educativas, así como los diferentes niveles de organización de un sistema complejo como el educativo, en cada uno de los cuales hay una problemática específica, y oportunidades particulares de intervención: el aula, la escuela singular, la zona o distrito escolar, el municipio, la región, provincia o entidad federativa, y el país.
Una buena evaluación, además, deberá caracterizarse por las cualidades técnicas de cualquier medición buena, que se resumen en la validez y la confiabilidad, en sus diversas facetas: que se mida realmente lo que se pretende medir, y que se haga de manera que los resultados sean comparables en el espacio y en el tiempo.

Subrayo que la evaluación no puede reducirse a la aplicación de pruebas de aprendizaje. Estas son, sin duda, necesarias para la medición de los resultados de la enseñanza, pero la valoración de otros aspectos implica la construcción de indicadores con otro tipo de datos, tomados de otras fuentes, como los sistemas de información estadística o estudios ad hoc.

Es claro que esta es una visión ideal, que en sentido estricto es imposible llevar a la práctica, pues exigiría una cantidad de trabajo y un volumen de recursos enorme para recolectar la información necesaria.

Pero si no se tiene este punto de referencia es fácil caer en el error opuesto, que en la realidad se ha dado en muchos lugares: el de reducir el sistema de evaluación a los elementos más fácilmente disponibles, con lo que sólo se dispone de datos gruesos y burdos sobre el número de alumnos inscritos en el sistema al inicio y al fin de un ciclo, el de maestros y escuelas, el presupuesto asignado a las escuelas y poco más.

Por ello creo que es importante manejar una visión ideal de lo que debería ser la evaluación como referente para el desarrollo de un sistema concreto; con tal punto de referencia, y con ayuda de las metodologías de investigación y evaluación educativa desarrolladas en las últimas décadas, es factible diseñar sistemas mucho más finos que los habituales, con requerimientos de recursos al alcance de los sistemas educativos reales.

No está de más precisar que diversos tipos de evaluación son competencia de diversas instancias. En particular conviene distinguir la evaluación de individuos de la de los sistemas como tales. La evaluación de los alumnos en lo individual, por ejemplo, es y sin duda seguirá correspondiendo a los maestros y las escuelas en que están los alumnos; la evaluación de los maestros en lo individual corresponde y corresponderá seguramente a los directores y supervisores.

La evaluación a la que me refiero en este escrito es, precisamente, la del sistema educativo en cuanto tal. Se trata, pues, de una evaluación de nivel macro, que no sustituye a las evaluaciones individuales, sino que las complementa, iluminando un ángulo diferente de la realidad educativa.




Extraído de:
Una mirada técnico-pedagógica acerca de las evaluaciones de calidad educativa
Felipe Martínez Rizo
En: Evaluar las evaluaciones
Una mirada política acerca de las evaluaciones de Calidad Educativa
IIPE UNESCO
En la sección “Biblioteca” hay un link hacia el PDF completo

martes, 20 de agosto de 2013

Reacciones de la prensa ante las evaluaciones de Calidad Educativa

La prensa no es un mero “medio” entre los hechos y las personas, tiene capacidad de “crear realidades” al sostiene intereses de algunos sectores. Muchas veces utiliza las Evaluaciones de Calidad Educativa para denostar el sistema educativo, con la finalidad de provocar su desfinanciamiento (En este caso defiende los intereses de los que no quieren hacer su aporte, las clases dominantes), pero siempre se maneja con una lógica ¿Cuáles son los principios de esta lógica?



A comienzos del mes de julio del año 2003 se dieron a conocer, también en Chile, los resultados de la Prueba PISA (Programa Internacional de Evaluación de Estudiantes) administrada a alumnos de 15 años de 43 países. En el caso de Chile, los titulares de prensa que informaban sobre dichos resultados fueron lapidarios:

• “Chile obtiene bajo resultado en educación”
• “Estudio internacional muestra graves fallas en comprensión de lectura de escolares chilenos”
• “Preocupa mala nota de Chile en educación”
• “El nuevo analfabetismo”
• “Remezón por mala nota de Chile en la prueba educacional PISA”
• “Descalabro en rendimiento escolar: soluciones al «hoyo negro» en educación chilena”.

Sin excepción, entonces, la noticia recibió el tratamiento de un hecho dramático, adverso, calamitoso, catastrófico. Lo interesante es que la catástrofe, así entendida, viene anunciándose, con previsible regularidad, cada año, ya bien a propósito de las mediciones nacionales de la calidad educacional o de los exámenes internacionales en que Chile ha participado. Se trata, por tanto, desde el punto de vista periodístico, de una rutina que, a esta altura, se encuentra bien establecida.

A su turno, la lectura catastrofista da paso a un escenario donde, habitualmente, la prensa destaca tres “hechos”. Primero, que a nivel mundial Chile se hallaría ubicado en el furgón de cola de la educación; segundo, que existiría una grave crisis en la educación chilena; tercero, que ésta afectaría particularmente a la educación pública.

Así titulado y definido el escenario educativo nacional, la prensa se encarga a continuación -en los días siguientes a la publicación de la noticia- de interpretar las causas del mal diagnosticado.

En primer lugar, la prensa aprovecha la propia publicación de la noticia para incluir elementos interpretativos, ya sea en el párrafo que sigue al título o en el cuerpo de aquélla. Un buen ejemplo de subtítulo interpretativo es éste: “Especialistas dicen que es la hora de revertir las políticas aplicadas hasta ahora, enfatizando el trabajo en la sala de clases”. Un ejemplo llamativo de desarrollo interpretativo de la noticia en su cuerpo es el siguiente: “Por lo menos las autoridades reconocen que la educación chilena, junto a otras de América Latina, está en pésimas condiciones de competencia académica, lo que se ratifica con la prueba PISA. Para Chile, la situación es más patética debido a la triplicación de los recursos a partir de 1990, lo que hoy implica más del 7% del PIB para este sector social, en el cual el Estado coloca dos billones de pesos. Pero hay nulo avance en calidad en 12 años de esfuerzo gubernamental y 8 de reforma educacional”.

En segundo lugar, la prensa editorializa sobre los resultados y ofrece, por esta vía, su propio análisis de la situación. Por ejemplo, bajo el encabezamiento “Educación de nivel latinoamericano”, un diario de la capital señala: “La situación de nuestra economía y la solidez de la democracia chilena nos han llevado muchas veces a mirar con distancia a América Latina. Y aunque hay razones para sentir orgullo, éste, a veces, raya en la soberbia. El estudio PISA, reciente mente divulgado, nos devuelve bruscamente a la realidad. Él evalúa las habilidades lectoras de los estudiantes de 15 años en 43 países, cinco de ellos latinoamericanos. Chile tiene un logro que equivale a 410 puntos, esto es, 90 por debajo del promedio general del informe. Su rendimiento general, estadísticamente, no difiere del que alcanzan México, Argentina y Brasil; estos cuatro países superan a Perú, el quinto latinoamericano, que, a su vez, obtiene el rendimiento más deficiente de todos los países participantes”.

En tercer lugar, la prensa entrevista a expertos cuyas opiniones deben interpretar los negativos resultados. Regularmente, el Ministro de Educación es entrevistado para que reaccione frente a la noticia. Inevitablemente, su respuesta adopta la forma de una “reacción defensiva”, como cuando frente a los resultados del PISA la autoridad chilena expresa: “Entre los países desarrollados nos sacamos un 3; entre los países latinoamericanos, un 6”. Por su lado, los expertos tienden, ya a confirmar la construcción negativa de la noticia ofrecida por la prensa o, por el contrario, la suavizan y explican. En el primer caso, por ejemplo, se halla la experta que tras señalar “que en Chile la calidad de la educación no ha obtenido los resultados esperados”, luego agrega “que es posible concluir que medidas como la jornada escolar completa obligatoria, cambios curriculares, mejoramiento de las condiciones de los profesores y otros programas centralizados que han llevado a un gasto de más de 2 billones de pesos no están teniendo los resultados que se esperaban”. En el otro caso se halla el experto cuya opinión es que “falta poco para revertir los resultados de la prueba PISA”, argumentando que “la experiencia en 66 escuelas críticas en 2001 demostró que, cuando se aplican métodos adecuados de enseñanza, los resultados cambian rápidamente”.

En suma, el tratamiento periodístico de los resultados de las pruebas de logro escolar apenas alcanza a revelar que nos encontramos frente a un ámbito saturado de interpretaciones contradictorias, donde se enfrentan dialécticamente distintas visiones de la educación, de las políticas educacionales y de sus resultados. Tampoco dicho tratamiento se preocupa de transparentar que, en las interpretaciones ofrecidas, se conjugan elementos de realidad, preferencias ideológicas y las agendas de los diversos actores que acceden, por medio de la prensa, a la esfera pública. En fin, un ingenuo pacto implícito de objetivismo hace aparecer como que en realidad las cosas son como se presentan en la noticia o en las interpretaciones congregadas en torno a ésta.
La situación no es distinta en otras latitudes del mundo, con excepción de aquellos pocos países cuyos resultados en las pruebas internacionales son excepcionalmente altos y, por ende, aparecen habitualmente en los primeros lugares del ranking mundial.

Quizá de modo inevitable, entonces, la prensa, impulsada por su propia visión de mundo como sucesión de acontecimientos o eventos noticiables y su lógica adversaria, se vea llevada a producir un tratamiento simplista y sesgado de hechos complejos como son los resultados de las pruebas que miden el desempeño de los sistemas educacionales.

¿Cuáles son las reglas que determinan dicho tratamiento? Sin pretender un grado de exhaustividad, pueden señalarse al menos las siguientes tres reglas que, en conjunto, parecen explicar una alta proporción de los efectos anteriormente descritos.

1. La regla de la reducción llamativa. Todo acontecimiento complejo debe ser reducido a su mínima expresión y convertido en un signo de exclamación que capte el interés del lector. En el caso que nos preocupa, como han señalado Ferrer y Arregui: “sólo importa la posición relativa de logro en el escenario internacional y no la abundante información sobre factores sociales, escolares y personales asociados al rendimiento […] La prensa, particularmente, tiende a desconocer los aspectos más complejos y auténticamente informativos de los resultados y sólo destaca las posiciones en el ranking, a menudo con títulos dramáticos y escandalosos”. No sólo los titulares de la noticia, sino su tratamiento completo, se subordinan a esta regla. Conforme a ella, el valor comunicacional de la noticia debe encontrarse en los síntomas del hecho reportado; no en sus causas, declaradas siempre “demasiado intrincadas” como para ser incluidas o como para despertar el interés del público.

2. La regla de la descontextualización facilitadora. Cualquier hecho social, para que se lo pueda tratar como noticia, debe ser arrancado de la enmarañada red dentro del cual se produce. Luego, no sólo se reducen los resultados a meras posiciones de ranking sino que, simultáneamente, se los aísla, cortándolos de los factores de contexto que los generan y que, por lo mismo, deben ser parte de su explicación. En efecto, para partir por lo más simple, no da lo mismo comparar países con distinto nivel de desarrollo; digamos, Finlandia, con un ingreso per capita de 24 mil dólares, y Chile, con uno de 4,6 mil dólares. Para la educación este es un antecedente fundamental. Así, por ejemplo, un 60% de la variación de los puntajes promedio obtenidos por los países participantes en PISA se puede predecir a partir de su ingreso por habitante. Asimismo, debe considerarse el grado de desigualdad existente en cada una de las sociedades. Las diferencias socio-familiares entre hogares son, efectivamente, el mayor obstáculo para una educación con resultados homogéneos de calidad. Como señala el propio informe PISA, un entorno socio-familiar desfavorable “parece ser uno de los factores más poderosos que influyen en el desempeño de las escalas de aptitudes para la lectura, matemática y ciencias”. Los niveles de desigualdad medidos por el Coeficiente de Gini explican un 26% de la variación en el desempeño promedio de los países. En seguida debe considerarse el gasto por alumno en que incurren los países, que es un reflejo de su nivel de desarrollo. Efectivamente, el gasto educacional acumulado hasta los 15 años explica un 54% de la variación entre países medida en su desempeño medio. En América Latina, el gasto así medido apenas alcanza a un tercio o menos del gasto promedio de los países de la OECD.

3. La regla de la homogeneidad cultural. Los resultados de una actividad social cualquiera serían independientes de la cultura en que se producen. En otras palabras: ¡la cultura no importa! En este caso específico, como bien señalan Ferrer y Arregui en el artículo antes citado, la prensa -al efectuar sus análisis e interpretaciones-, no considera “las grandes diferencias culturales entre los alumnos de diferentes países”; ni al interior de una misma sociedad, según estratos socioculturales (que un reciente estudio afirma explicarían alrededor de un 50% de la varianza en los resultados escolares que se manifiesta entre escuelas en Chile), ni entre sociedades con diferentes tradiciones y constelaciones culturales, como pueden ser las culturas de los países del sudeste asiático, de los países nórdico-europeos o de Europa Central y del Este. Contrariamente pues a todo lo que sostienen las ciencias sociales contemporáneas -esto es, de que la cultura sí importa-, paradojalmente en el ámbito de la educación y el aprendizaje, donde más se podría esperar que ella incida, su influencia es borrada de un plumazo, para dar paso a una suerte de universalidad global y abstracta de los efectos y los procesos escolares.

Bajo estas reglas, no debiera llamar la atención que la prensa produzca el tipo de noticias e interpretaciones sobre resultados escolares caracterizado al inicio de esta presentación, sobre todo en el caso de pruebas internacionales. Tales noticias e interpretaciones tenderán por necesidad a ser descontextualizadas, a reducir por tanto el peso de la sociedad y sus desigualdades; a apuntar sólo a los síntomas, reduciendo la complejidad del logro escolar a una tabla de ganadores y perdedores, en una aritmética social de escaso valor; y a presentar la carrera de rendimientos entre los alumnos del mundo (aunque nunca el universo real de comparación incluya a más de un 20% de los países y territorios del mundo) como si dicha competencia se llevara a cabo sobre una tabla rasa, donde todos compiten en igualdad de condiciones y sin que intervengan factores socioeconómicos y culturales de ninguna especie.



Extraído de:
Límites de la lectura periodística de resultados educacionales
José Joaquín Brunner
En: Evaluar las evaluaciones
Una mirada política acerca de las evaluaciones de Calidad Educativa
IIPE UNESCO

Related Posts Plugin for WordPress, Blogger...

Busca en mis sitios