sábado, 21 de septiembre de 2013

Reflexiones sobre las Evaluaciones de Calidad Educativa


¿Qué evalúan las evaluaciones estandarizadas? ¿Calidad Educativa? ¿Pobreza?  ¿Son puestas bajo la lupa las cuestiones relevantes? Las respuestas, si bien dadas pensando en el contexto mexicano, tienen valor para muchos otros


¿Qué estamos evaluando?
Resumo mi respuesta, en forma algo simplista y cruda, diciendo que evaluamos algunas de las dimensiones de la calidad educativa, pero dejando fuera varias de las más importantes, que lo hacemos de manera imprecisa, y que no llegamos a las causas.

Hasta hace muy pocos años, la situación de la mayor parte de los sistemas de evaluación educativa de los países de la región era justamente la que se ha mencionado antes: solamente se contaba con datos sobre alumnos, maestros, escuelas y presupuestos, con lo que se podían estimar indicadores de cobertura, eficiencia terminal y costo alumno en forma gruesa, ya que por lo general no se controlaba la calidad de los procesos de recolección de información, no se manejaban datos por edad, con lo que sólo podían construirse tasas brutas y no netas y se manejaban sólo cohortes aparentes.

Los esfuerzos que han hecho muchos de nuestros países en la última década han incluido, por una parte, mejoras en los sistemas de información y, por otra, el desarrollo de sistemas de pruebas nacionales para valorar los aprendizajes de los alumnos. Estos esfuerzos son importantes, sin duda, pero aún están por consolidarse y adolecen de fallas claras, explicables por la falta de una tradición en el campo y la consecuente escasez de recursos humanos especializados.

Pecando tal vez de simplismo, creo que en la región atendemos la cobertura y la eficiencia terminal en forma imperfecta y el nivel de aprendizaje de los alumnos en áreas curriculares y grados clave, pero por lo general limitándose a niveles cognitivos bajos. La contraparte obvia, lo que no estamos evaluando, incluye áreas curriculares adicionales, niveles cognitivos superiores, aspectos actitudinales y valorales, procesos tanto pedagógicos como de gestión y lo relativo a equidad.

En las escuelas se evalúan muchas de estas cosas, desde luego, pero no parece haber procedimientos para valorar tales dimensiones o aspectos de la calidad de manera permanente y sistemática en el nivel nacional. Debe añadirse que muchas veces las evaluaciones que hacemos no tienen, en un grado suficiente, las características técnicas mencionadas de validez y confiabilidad.

Por lo que se refiere a validez, la ausencia de controles de las variables relevantes del contexto pueden hacer que midamos en realidad pobreza, cuando creemos medir calidad de las escuelas. En este sentido en la región es muy raro todavía el uso de las poderosas técnicas actuales, como los modelos jerárquicos lineales, que permiten identificar la influencia de los factores del entorno distinguiéndolos, por ejemplo, de los de la escuela, el aula y el propio alumno.

En cuanto a confiabilidad, es también raro el uso de metodologías psicométricas avanzadas, como los modelos de la teoría de la respuesta al reactivo, que permiten contar con escalas más precisas, comparables en el tiempo, que cuidan la unidimensionalidad y evitan el sesgo de manera más adecuada que las técnicas de la teoría clásica de las pruebas. Debe añadirse que, hasta hace poco tiempo, no era raro que se manejaran pruebas que no empleaban en forma rigurosa siquiera los principios de la teoría clásica. Las técnicas de valor agregado son también muy poco conocidas.

¿Qué de lo evaluado resulta significativo?
En principio los mecanismos de evaluación existentes son todos significativos y, aun en ausencia de los que se sugiere añadir, contienen potencialmente elementos útiles para el mejoramiento de los sistemas educativos. Sin embargo, es frecuente que aún esos elementos se desaprovechen y sólo sirvan para acumular datos en anuarios estadísticos destinados a empolvarse en los estantes, sin que los responsables de tomar decisiones, y mucho menos los maestros, los conozcan y utilicen para retroalimentar su quehacer.

Esto quiere decir que, además de mejorar los actuales mecanismos de evaluación y de enriquecerlos con nuevos elementos, es necesario un importante esfuerzo de difusión de resultados y de capacitación de los usuarios para que estén en condiciones de entender y aprovechar los resultados de las evaluaciones.

¿Por qué las reformas realizadas en los 90 no se ven traducidas en los resultados?
Esta pregunta parte de un supuesto que no me parece incuestionable: que las reformas educativas implementadas en América Latina en los ‘90 no han dado resultados.
Los niveles educativos de nuestros países son el resultado de un enorme conjunto de factores, incluyendo unos tan complejos como el explosivo incremento demográfico que hizo del subcontinente la región de mayor crecimiento poblacional en toda la historia hasta mediados del siglo XX, la pobreza que aflige a gran parte de la población y la diversidad étnica y lingüística. Otros factores igualmente complejos incluyen el carácter autoritario de muchos regímenes políticos, las estructuras sindicales y burocráticas, y la desigualdad ancestral de nuestras sociedades.

Los cambios educativos, por otra parte, son complejos también y, en el mejor de los casos, llevan mucho tiempo; no pueden ser el resultado rápido de esfuerzos simples.
Por ello, aun si en verdad las reformas de los años 90 no han dado resultados, podrían encontrarse diversas explicaciones. Las políticas educativas de la región han adolecido, en muchos casos, de serias deficiencias en diversos aspectos: en el diagnóstico en que se sustentan, muchas veces incompleto e impreciso; en el diseño de los programas, muchas veces simplista, apostando demasiado a pocos elementos de los que se espera más de lo que pueden dar; y, tal vez, sobre todo, en la implementación.

No es fácil, en efecto, que las reformas lleguen hasta el nivel más importante, el de la escuela y el aula. Para ello se requiere de tiempo y, además, de estrategias muy finas que aseguren la participación de los maestros. Desgraciadamente, es más frecuente encontrar estrategias simplistas e implementaciones apresuradas que procesos cuidadosos y respetuosos de los actores de base y de la complejidad de la cuestión.

No debería sorprender, por consiguiente, que los resultados obtenidos disten mucho de los esperados. Pero el punto que quiero destacar es que no tenemos evidencia suficiente para afirmar de manera contundente que las reformas de los ‘90 no han tenido resultados. Hay, sin duda, indicios importantes en tal sentido, pero los sistemas de evaluación de que disponemos no sustentan afirmaciones tajantes.

En particular, creo que en México hay elementos para sostener que el nivel de aprendizaje ha mejorado ligeramente en los últimos años; que el impacto del gasto público en educación básica está siendo mayor para los tres deciles más pobres de la población, contra lo que ocurría antes; y que los programas compensatorios emprendidos a principios de los 90 han logrado reducir la deserción en medio rural y mejorar los niveles educativos en las zonas más desfavorecidas.

Por lo demás, la gran desigualdad que caracteriza a nuestras sociedades hace que necesitemos evaluaciones más precisas, que tengan en cuenta el peso de los factores del entorno, tanto en razón del principio de equidad, como para valorar en su justa medida los avances que puedan darse en contextos diferentes, en los que la mejora es más o menos difícil.

Conclusión
La última pregunta es, a mi juicio, la más importante que he tratado de responder, tanto por lo que expresamente plantea, como por lo que sugiere de manera implícita. Ampliando lo dicho hasta ahora trataré de aportar algunas ideas al respecto.

La experiencia de las reformas educativas implementadas en los países de mayor desarrollo económico ha dejado lecciones importantes, en la dirección ya apuntada: no deben esperarse cambios espectaculares; las mejoras educativas se consiguen en lapsos de tiempo largos, y mediante esfuerzos sistemáticos y complejos, no gracias a recetas mágicas simples o panaceas.

Hoy sabemos también que no debe exagerarse la importancia de los recursos materiales; estos son importantes, sin duda, sobre todo hasta ciertos umbrales mínimos, y tal vez más en cuanto a la regularidad o continuidad de su existencia que en cuanto a su monto absoluto. Pero parece claro que tanto y más importan los procesos a través de los que se utilizan los recursos: procesos pedagógicos especialmente en el interior del aula, procesos más amplios de gestión en el nivel nacional y regional y, sobre todo, en cada escuela, donde el trabajo del equipo docente, el liderazgo del director y la participación de los padres de familia han mostrado ser fundamentales.

Para poder responder con bases sólidas a la pregunta sobre el éxito o el fracaso de las reformas educativas necesitamos, pues, en mi opinión, contar con sistemas de evaluación bastante más sólidos, aunque no mucho más costosos que los existentes, que nos den la información clave, de que hoy carecemos, sobre las diferentes dimensiones de la calidad educativa de nuestros países en forma continuada y permanente.

Es posible que nos llevemos algunas sorpresas agradables, en el sentido de que los esfuerzos realizados hasta ahora han dado algunos resultados, no espectaculares, pero sí razonables, en una perspectiva histórica y comparativa en el plano internacional.




También es posible que se confirme la idea de que no ha habido resultados positivos. En este caso, si tenemos buenos sistemas de evaluación tendremos también elementos para saber por qué ha ocurrido tal cosa, y para diseñar programas de mejora más adecuados.



Extraído de:
Una mirada técnico-pedagógica acerca de las evaluaciones de calidad educativa
Felipe Martínez Rizo
En: Evaluar las evaluaciones
Una mirada política acerca de las evaluaciones de Calidad Educativa
IIPE UNESCO
En la sección “Biblioteca” hay un link hacia el PDF completo

martes, 10 de septiembre de 2013

Hacia una búsqueda de sentido de las Evaluaciones de Calidad Educativa


Las Evaluaciones de Calidad Educativa ocupan un lugar en los medios de comunicación, y en la agenda de discusiones políticas, pero ¿Estamos todos de acuerdo respecto de su sentido? ¿Para qué evaluar? ¿Qué hacer con los resultados?  ¿Es necesaria un discusión al respecto?


La propuesta de realizar una mirada política de las evaluaciones de calidad ha permitido revisar distintos aspectos de estas políticas y proponer miradas novedosas de las mismas. Sin duda, la intuición respecto de que no podía empezarse la revisión por una mirada exclusivamente técnica es la acertada. El debate con los tomadores de decisiones les permite salir del “enojo” con el instrumento y pasar a la apropiación de los mismos respecto de su direccionalidad y conceptualización. Resulta claro que en materia de evaluación hemos carecido de una toma de decisiones política, de sentido, y que en realidad hemos asistido a una “no política”. Es decir, las decisiones no tomadas fueron ocupadas por opciones técnicas.

Probablemente este fenómeno no sea exclusivo de las políticas de evaluación de calidad, pero en este caso adquiere especial relevancia por el peso político que han tenido las mismas en los medios de comunicación, en los espacios políticos y en la visión que las sociedades han construido sobre el estado de la educación. Aunque en cierta medida estas políticas pueden ser consideradas un caso común entre las que impulsaron las reformas de la década del ‘90, el hecho de la construcción de discursos técnicos con cierta autonomía de la reflexión política y, en algún caso, de la construcción de sentido compartida con los actores, parece ser una consecuencia más generalizada.

Lo cierto es que en el caso de las políticas de evaluación, resulta importante volver a evaluarlas desde la lógica de la revisión de sentido. Y en este punto, es una responsabilidad de los equipos políticos de los ministerios esta definición, que no puede encontrarse aislada del resto de las decisiones de política educativa. Esa revisión debe incluir, en el caso particular de la evaluación, respuestas a las preguntas de:

• ¿Para qué evaluamos?
• ¿Qué evaluamos?
• ¿Cómo lo hacemos?
• ¿Quiénes participan del proceso de construcción?
• ¿Qué información comunicamos a cada uno de los distintos actores del proceso?
• ¿Qué hacemos con los resultados?

Estas preguntas, que pueden parecer elementales, permitirán ordenar las revisiones técnicas que se realicen. Será distinto afirmar que se evalúa para establecer parámetros de comparación que obliguen a las escuelas a mejorar, que sostener que se lo hace para mejorar el conocimiento del sistema de modo de ajustar las estrategias de política.

Será distinto evaluar a los docentes como modo de mejorar sus estrategias de carrera y de formación, que hacerlo solamente para establecer premios y castigos.
Estas decisiones permitirán decidir por dispositivos muestrales o censales, por instrumentos individuales, grupales, por ítems cerrados o abiertos, etcétera. Lo cierto es que es fundamental recuperar los modos de construir políticas de sentido, definición de fundamentos que puedan sostener los acuerdos técnicos posteriores.

Algunas de estas reflexiones se propone abrir un debate sobre las evaluaciones que sume miradas y resulte un modo de enriquecer la política educativa en general y la de evaluación en particular.



Extraído de:
Evaluar las evaluaciones
Gustavo Iaies
En: Evaluar las evaluaciones
Una mirada política acerca de las evaluaciones de Calidad Educativa
IIPE UNESCO
En la sección “Biblioteca” hay un link hacia el PDF completo

sábado, 31 de agosto de 2013

¿Qué deberíamos evaluar para que la evaluación sirva para mejorar la calidad?


¿Puede reducirse la Calidad Educativa a un limitado número de conocimientos y habilidades? ¿Es suficiente con una prueba de aprendizajes?  ¿Qué otras dimensiones podemos considerar? ¿Cuál es el sentido de “Evaluar un sistema”?



Ante un auditorio interesado en la educación no es necesario abundar en lo relativo a la importancia de su calidad y su evaluación. Pero teniendo en cuenta la diversidad de concepciones de estas dos nociones (calidad y evaluación) juzgo necesario explicitar mis propias ideas al respecto, de modo que las respuestas que ofreceré para las tres preguntas siguientes cobren sentido pleno.

Tratando, pues, de responder a esta primera pregunta, afirmo que, idealmente, una evaluación adecuada para que sirva realmente para mejorar la calidad educativa sería una muy amplia, que incluyera todas las dimensiones de la calidad; todas las áreas del currículo; los aspectos cognitivos pero también los actitudinales y valorales; no sólo niveles de dominio elementales, sino también los más elevados; insumos, pero también procesos y productos; los diversos actores y niveles organizacionales del sistema educativo; y que, además, incluyera el análisis de los factores que inciden en la calidad, de manera que dé bases para el diseño y la implementación de políticas.

Desarrollo el primero de los elementos anteriores: una buena evaluación deberá comprender todas las dimensiones de la calidad.

Sabemos que las políticas educativas han puesto el acento sucesivamente en la atención de la cobertura, luego en la eficiencia terminal y, más recientemente, en el nivel de aprendizaje alcanzado por los alumnos y en la equidad del servicio educativo. La coincidencia de la secuencia anterior de tales políticas en muchos países de la región latinoamericana y otras partes del mundo no es casual: responde, desde luego, a la similar evolución del contexto demográfico, económico, social y cultural.

Es frecuente que el término calidad se defina en forma restringida, limitándolo a lo que se refiere a los niveles de aprendizaje. En este sentido se dice que, tras centrar la atención en la cobertura y la eficiencia, ahora las políticas educativas ponen el énfasis en la calidad. Otra manera de usar la palabra, que juzgo preferible, le da un sentido más amplio, que se aplica también a las políticas de cobertura y eficiencia terminal.
Un concepto amplio de calidad, en efecto, no puede dejar fuera las dimensiones de cobertura y eficiencia, aunque no pueda limitarse a ellas y deba incluir además el nivel de aprendizaje, entre otras cosas.

Un concepto amplio de calidad debe incluir, en mi opinión, varias dimensiones que, en forma sintética, pueden expresarse diciendo que un sistema educativo de calidad es aquél que:
• Establece un currículo adecuado a las necesidades de la sociedad, incluyendo las de una mayor productividad económica, pero también otras necesidades básicas en una perspectiva de desarrollo integral, como las que tienen que ver con la democracia política, el respeto de los derechos humanos, el desarrollo de la ciencia, el cuidado del medio ambiente y la preservación y enriquecimiento de la diversidad cultural. Esta dimensión puede definirse con la expresión relevancia de los objetivos curriculares.

• Logra que la más alta proporción posible de destinatarios acceda a la escuela, que permanezca en ella hasta el final del trayecto previsto y que egrese alcanzando los objetivos de aprendizaje establecidos. Esta dimensión incluye, pues, la cobertura y la eficiencia terminal, así como el nivel de aprendizaje, y en términos sistémicos coincide con la eficacia interna del sistema.

• Consigue que los aprendizajes logrados por los alumnos sean asimilados por éstos en forma duradera y deriven en comportamientos sociales sustentados en los valores de libertad, equidad, solidaridad, tolerancia y respeto a las personas, que son fructíferos para la sociedad y para el propio individuo, quien podrá así alcanzar un desarrollo pleno en los diversos roles que habrá de desempeñar como trabajador, productor, consumidor, padre de familia, elector, servidor público, lector y telespectador, entre otros; en pocas palabras, como ciudadano cabal. En términos sistémicos esta dimensión es la de la eficacia ex terna o impacto del sistema.

• Cuenta, para lograr lo anterior, con recursos humanos y materiales suficientes, y los aprovecha de la mejor manera posible, evitando despilfarros y derroches. Es fácil apreciar que esta es la dimensión eficiencia del sistema.

• Tiene en cuenta la desigual situación de alumnos y familias, de las comunidades en que viven y las escuelas mismas, y ofrece apoyos especiales a quienes lo requieren, para que los objetivos educativos sean alcanzados por el mayor número posible. Esta última dimensión es la de equidad.

Conceptualizada así, multidimensionalmente, la educación será de calidad si es relevante, si tiene eficacia interna y externa, si tiene un impacto positivo en el largo plazo, si es eficiente en el uso de los recursos y si busca la equidad.

Considero que es mejor este concepto amplio de calidad que uno restringido, porque creo que nadie creerá que un sistema educativo es de calidad si atiende sólo a una fracción de la población en edad de acceder a cierto nivel, o si pierde en el camino a muchos de los alumnos que lo comienzan, aunque los que terminan lo hagan con altos niveles de aprendizaje.

Los otros componentes de una buena evaluación son claros: todas las áreas del currículo, comenzando por supuesto con Lectoescritura y Matemáticas, pero sin limitarse a ellas, sino contemplando, al menos en el mediano plazo, las ciencias naturales y las del hombre, la educación física y artística, etc.

Deberán incluirse los aspectos cognitivos pero también los actitudinales y valorales, ya que la educación no sólo pretende desarrollar los primeros, sino también, y con creciente énfasis, los segundos, cuya importancia para la vida en una sociedad democrática y culta se reconoce cada vez más. Obviamente, no sólo deberán valorarse niveles de aprendizaje elementales, como memorización, sino también los más elevados, de razonamiento propio, juicio crítico y creatividad.

Una buena evaluación no podrá limitarse a los insumos del sistema, si bien no puede olvidarlos, ya que sin ellos no es posible medir la eficiencia del sistema, pero habrá de considerar también los productos, para valorar la eficacia, y los procesos, como parte de una aproximación explicativa que indague en lo relativo a las causas de la situación descrita, con lo que se dará sustento sólido al diseño y la implementación de acciones de mejoramiento.

Con un enfoque integral como el que se propone, la evaluación tomará en cuenta no sólo a los alumnos, sino también a los maestros, los directores y supervisores y las autoridades educativas, así como los diferentes niveles de organización de un sistema complejo como el educativo, en cada uno de los cuales hay una problemática específica, y oportunidades particulares de intervención: el aula, la escuela singular, la zona o distrito escolar, el municipio, la región, provincia o entidad federativa, y el país.
Una buena evaluación, además, deberá caracterizarse por las cualidades técnicas de cualquier medición buena, que se resumen en la validez y la confiabilidad, en sus diversas facetas: que se mida realmente lo que se pretende medir, y que se haga de manera que los resultados sean comparables en el espacio y en el tiempo.

Subrayo que la evaluación no puede reducirse a la aplicación de pruebas de aprendizaje. Estas son, sin duda, necesarias para la medición de los resultados de la enseñanza, pero la valoración de otros aspectos implica la construcción de indicadores con otro tipo de datos, tomados de otras fuentes, como los sistemas de información estadística o estudios ad hoc.

Es claro que esta es una visión ideal, que en sentido estricto es imposible llevar a la práctica, pues exigiría una cantidad de trabajo y un volumen de recursos enorme para recolectar la información necesaria.

Pero si no se tiene este punto de referencia es fácil caer en el error opuesto, que en la realidad se ha dado en muchos lugares: el de reducir el sistema de evaluación a los elementos más fácilmente disponibles, con lo que sólo se dispone de datos gruesos y burdos sobre el número de alumnos inscritos en el sistema al inicio y al fin de un ciclo, el de maestros y escuelas, el presupuesto asignado a las escuelas y poco más.

Por ello creo que es importante manejar una visión ideal de lo que debería ser la evaluación como referente para el desarrollo de un sistema concreto; con tal punto de referencia, y con ayuda de las metodologías de investigación y evaluación educativa desarrolladas en las últimas décadas, es factible diseñar sistemas mucho más finos que los habituales, con requerimientos de recursos al alcance de los sistemas educativos reales.

No está de más precisar que diversos tipos de evaluación son competencia de diversas instancias. En particular conviene distinguir la evaluación de individuos de la de los sistemas como tales. La evaluación de los alumnos en lo individual, por ejemplo, es y sin duda seguirá correspondiendo a los maestros y las escuelas en que están los alumnos; la evaluación de los maestros en lo individual corresponde y corresponderá seguramente a los directores y supervisores.

La evaluación a la que me refiero en este escrito es, precisamente, la del sistema educativo en cuanto tal. Se trata, pues, de una evaluación de nivel macro, que no sustituye a las evaluaciones individuales, sino que las complementa, iluminando un ángulo diferente de la realidad educativa.




Extraído de:
Una mirada técnico-pedagógica acerca de las evaluaciones de calidad educativa
Felipe Martínez Rizo
En: Evaluar las evaluaciones
Una mirada política acerca de las evaluaciones de Calidad Educativa
IIPE UNESCO
En la sección “Biblioteca” hay un link hacia el PDF completo

martes, 20 de agosto de 2013

Reacciones de la prensa ante las evaluaciones de Calidad Educativa

La prensa no es un mero “medio” entre los hechos y las personas, tiene capacidad de “crear realidades” al sostiene intereses de algunos sectores. Muchas veces utiliza las Evaluaciones de Calidad Educativa para denostar el sistema educativo, con la finalidad de provocar su desfinanciamiento (En este caso defiende los intereses de los que no quieren hacer su aporte, las clases dominantes), pero siempre se maneja con una lógica ¿Cuáles son los principios de esta lógica?



A comienzos del mes de julio del año 2003 se dieron a conocer, también en Chile, los resultados de la Prueba PISA (Programa Internacional de Evaluación de Estudiantes) administrada a alumnos de 15 años de 43 países. En el caso de Chile, los titulares de prensa que informaban sobre dichos resultados fueron lapidarios:

• “Chile obtiene bajo resultado en educación”
• “Estudio internacional muestra graves fallas en comprensión de lectura de escolares chilenos”
• “Preocupa mala nota de Chile en educación”
• “El nuevo analfabetismo”
• “Remezón por mala nota de Chile en la prueba educacional PISA”
• “Descalabro en rendimiento escolar: soluciones al «hoyo negro» en educación chilena”.

Sin excepción, entonces, la noticia recibió el tratamiento de un hecho dramático, adverso, calamitoso, catastrófico. Lo interesante es que la catástrofe, así entendida, viene anunciándose, con previsible regularidad, cada año, ya bien a propósito de las mediciones nacionales de la calidad educacional o de los exámenes internacionales en que Chile ha participado. Se trata, por tanto, desde el punto de vista periodístico, de una rutina que, a esta altura, se encuentra bien establecida.

A su turno, la lectura catastrofista da paso a un escenario donde, habitualmente, la prensa destaca tres “hechos”. Primero, que a nivel mundial Chile se hallaría ubicado en el furgón de cola de la educación; segundo, que existiría una grave crisis en la educación chilena; tercero, que ésta afectaría particularmente a la educación pública.

Así titulado y definido el escenario educativo nacional, la prensa se encarga a continuación -en los días siguientes a la publicación de la noticia- de interpretar las causas del mal diagnosticado.

En primer lugar, la prensa aprovecha la propia publicación de la noticia para incluir elementos interpretativos, ya sea en el párrafo que sigue al título o en el cuerpo de aquélla. Un buen ejemplo de subtítulo interpretativo es éste: “Especialistas dicen que es la hora de revertir las políticas aplicadas hasta ahora, enfatizando el trabajo en la sala de clases”. Un ejemplo llamativo de desarrollo interpretativo de la noticia en su cuerpo es el siguiente: “Por lo menos las autoridades reconocen que la educación chilena, junto a otras de América Latina, está en pésimas condiciones de competencia académica, lo que se ratifica con la prueba PISA. Para Chile, la situación es más patética debido a la triplicación de los recursos a partir de 1990, lo que hoy implica más del 7% del PIB para este sector social, en el cual el Estado coloca dos billones de pesos. Pero hay nulo avance en calidad en 12 años de esfuerzo gubernamental y 8 de reforma educacional”.

En segundo lugar, la prensa editorializa sobre los resultados y ofrece, por esta vía, su propio análisis de la situación. Por ejemplo, bajo el encabezamiento “Educación de nivel latinoamericano”, un diario de la capital señala: “La situación de nuestra economía y la solidez de la democracia chilena nos han llevado muchas veces a mirar con distancia a América Latina. Y aunque hay razones para sentir orgullo, éste, a veces, raya en la soberbia. El estudio PISA, reciente mente divulgado, nos devuelve bruscamente a la realidad. Él evalúa las habilidades lectoras de los estudiantes de 15 años en 43 países, cinco de ellos latinoamericanos. Chile tiene un logro que equivale a 410 puntos, esto es, 90 por debajo del promedio general del informe. Su rendimiento general, estadísticamente, no difiere del que alcanzan México, Argentina y Brasil; estos cuatro países superan a Perú, el quinto latinoamericano, que, a su vez, obtiene el rendimiento más deficiente de todos los países participantes”.

En tercer lugar, la prensa entrevista a expertos cuyas opiniones deben interpretar los negativos resultados. Regularmente, el Ministro de Educación es entrevistado para que reaccione frente a la noticia. Inevitablemente, su respuesta adopta la forma de una “reacción defensiva”, como cuando frente a los resultados del PISA la autoridad chilena expresa: “Entre los países desarrollados nos sacamos un 3; entre los países latinoamericanos, un 6”. Por su lado, los expertos tienden, ya a confirmar la construcción negativa de la noticia ofrecida por la prensa o, por el contrario, la suavizan y explican. En el primer caso, por ejemplo, se halla la experta que tras señalar “que en Chile la calidad de la educación no ha obtenido los resultados esperados”, luego agrega “que es posible concluir que medidas como la jornada escolar completa obligatoria, cambios curriculares, mejoramiento de las condiciones de los profesores y otros programas centralizados que han llevado a un gasto de más de 2 billones de pesos no están teniendo los resultados que se esperaban”. En el otro caso se halla el experto cuya opinión es que “falta poco para revertir los resultados de la prueba PISA”, argumentando que “la experiencia en 66 escuelas críticas en 2001 demostró que, cuando se aplican métodos adecuados de enseñanza, los resultados cambian rápidamente”.

En suma, el tratamiento periodístico de los resultados de las pruebas de logro escolar apenas alcanza a revelar que nos encontramos frente a un ámbito saturado de interpretaciones contradictorias, donde se enfrentan dialécticamente distintas visiones de la educación, de las políticas educacionales y de sus resultados. Tampoco dicho tratamiento se preocupa de transparentar que, en las interpretaciones ofrecidas, se conjugan elementos de realidad, preferencias ideológicas y las agendas de los diversos actores que acceden, por medio de la prensa, a la esfera pública. En fin, un ingenuo pacto implícito de objetivismo hace aparecer como que en realidad las cosas son como se presentan en la noticia o en las interpretaciones congregadas en torno a ésta.
La situación no es distinta en otras latitudes del mundo, con excepción de aquellos pocos países cuyos resultados en las pruebas internacionales son excepcionalmente altos y, por ende, aparecen habitualmente en los primeros lugares del ranking mundial.

Quizá de modo inevitable, entonces, la prensa, impulsada por su propia visión de mundo como sucesión de acontecimientos o eventos noticiables y su lógica adversaria, se vea llevada a producir un tratamiento simplista y sesgado de hechos complejos como son los resultados de las pruebas que miden el desempeño de los sistemas educacionales.

¿Cuáles son las reglas que determinan dicho tratamiento? Sin pretender un grado de exhaustividad, pueden señalarse al menos las siguientes tres reglas que, en conjunto, parecen explicar una alta proporción de los efectos anteriormente descritos.

1. La regla de la reducción llamativa. Todo acontecimiento complejo debe ser reducido a su mínima expresión y convertido en un signo de exclamación que capte el interés del lector. En el caso que nos preocupa, como han señalado Ferrer y Arregui: “sólo importa la posición relativa de logro en el escenario internacional y no la abundante información sobre factores sociales, escolares y personales asociados al rendimiento […] La prensa, particularmente, tiende a desconocer los aspectos más complejos y auténticamente informativos de los resultados y sólo destaca las posiciones en el ranking, a menudo con títulos dramáticos y escandalosos”. No sólo los titulares de la noticia, sino su tratamiento completo, se subordinan a esta regla. Conforme a ella, el valor comunicacional de la noticia debe encontrarse en los síntomas del hecho reportado; no en sus causas, declaradas siempre “demasiado intrincadas” como para ser incluidas o como para despertar el interés del público.

2. La regla de la descontextualización facilitadora. Cualquier hecho social, para que se lo pueda tratar como noticia, debe ser arrancado de la enmarañada red dentro del cual se produce. Luego, no sólo se reducen los resultados a meras posiciones de ranking sino que, simultáneamente, se los aísla, cortándolos de los factores de contexto que los generan y que, por lo mismo, deben ser parte de su explicación. En efecto, para partir por lo más simple, no da lo mismo comparar países con distinto nivel de desarrollo; digamos, Finlandia, con un ingreso per capita de 24 mil dólares, y Chile, con uno de 4,6 mil dólares. Para la educación este es un antecedente fundamental. Así, por ejemplo, un 60% de la variación de los puntajes promedio obtenidos por los países participantes en PISA se puede predecir a partir de su ingreso por habitante. Asimismo, debe considerarse el grado de desigualdad existente en cada una de las sociedades. Las diferencias socio-familiares entre hogares son, efectivamente, el mayor obstáculo para una educación con resultados homogéneos de calidad. Como señala el propio informe PISA, un entorno socio-familiar desfavorable “parece ser uno de los factores más poderosos que influyen en el desempeño de las escalas de aptitudes para la lectura, matemática y ciencias”. Los niveles de desigualdad medidos por el Coeficiente de Gini explican un 26% de la variación en el desempeño promedio de los países. En seguida debe considerarse el gasto por alumno en que incurren los países, que es un reflejo de su nivel de desarrollo. Efectivamente, el gasto educacional acumulado hasta los 15 años explica un 54% de la variación entre países medida en su desempeño medio. En América Latina, el gasto así medido apenas alcanza a un tercio o menos del gasto promedio de los países de la OECD.

3. La regla de la homogeneidad cultural. Los resultados de una actividad social cualquiera serían independientes de la cultura en que se producen. En otras palabras: ¡la cultura no importa! En este caso específico, como bien señalan Ferrer y Arregui en el artículo antes citado, la prensa -al efectuar sus análisis e interpretaciones-, no considera “las grandes diferencias culturales entre los alumnos de diferentes países”; ni al interior de una misma sociedad, según estratos socioculturales (que un reciente estudio afirma explicarían alrededor de un 50% de la varianza en los resultados escolares que se manifiesta entre escuelas en Chile), ni entre sociedades con diferentes tradiciones y constelaciones culturales, como pueden ser las culturas de los países del sudeste asiático, de los países nórdico-europeos o de Europa Central y del Este. Contrariamente pues a todo lo que sostienen las ciencias sociales contemporáneas -esto es, de que la cultura sí importa-, paradojalmente en el ámbito de la educación y el aprendizaje, donde más se podría esperar que ella incida, su influencia es borrada de un plumazo, para dar paso a una suerte de universalidad global y abstracta de los efectos y los procesos escolares.

Bajo estas reglas, no debiera llamar la atención que la prensa produzca el tipo de noticias e interpretaciones sobre resultados escolares caracterizado al inicio de esta presentación, sobre todo en el caso de pruebas internacionales. Tales noticias e interpretaciones tenderán por necesidad a ser descontextualizadas, a reducir por tanto el peso de la sociedad y sus desigualdades; a apuntar sólo a los síntomas, reduciendo la complejidad del logro escolar a una tabla de ganadores y perdedores, en una aritmética social de escaso valor; y a presentar la carrera de rendimientos entre los alumnos del mundo (aunque nunca el universo real de comparación incluya a más de un 20% de los países y territorios del mundo) como si dicha competencia se llevara a cabo sobre una tabla rasa, donde todos compiten en igualdad de condiciones y sin que intervengan factores socioeconómicos y culturales de ninguna especie.



Extraído de:
Límites de la lectura periodística de resultados educacionales
José Joaquín Brunner
En: Evaluar las evaluaciones
Una mirada política acerca de las evaluaciones de Calidad Educativa
IIPE UNESCO

sábado, 10 de agosto de 2013

La evaluación de Calidad Educativa como fetiche

Las Evaluaciones de Calidad Educativa han adquirido cierto nivel de publicación en los medios, que excede lo esperable en su ámbito natural. Muchas veces son utilizados por los medios, con fines que no son los de mejorar la Calidad ¿Se han convertido en un objeto de adoración? ¿Pueden llegar a convertirse en un fin en si mismas?


La evaluación educativa se convirtió en un método insuficiente, exagerado, fetichista y formalista. Pero a la vez es una herramienta utilísima para gobernantes y ciudadanos, y no hay por qué arrojarla al rincón de los trastos inservibles. Puede seguir. Debe seguir. ¿O acaso la política prescindirá, por ejemplo, de las encuestas de intención de voto, a pesar de que registren solamente fotos de lo que pasa y su instantaneidad no tenga la riqueza de una película?

La evaluación incomoda a los ministros de Educación porque se convirtió en una trampa de la cual ellos son las víctimas. Primero la sobredimensionaron y ahora no saben cómo escaparse. Y no importa si las cosas van mal o bien. La evaluación, para los ministros, representa la fatalidad de que las cosas aparecen públicamente mal aunque vayan bien. Más aún: como los ciudadanos carecen de instrumentos científicos de medición sobre la calidad de la educación -otros, claro, además de su relación concreta y familiar con el sistema educativo-, terminan esperando el momento de la difusión de resultados con una ansiedad que en realidad no experimentan realmente.

Un ejemplo son las famosas listas de los colegios mejor evaluados. Una vez por año se publican y entonces se pone en marcha el circuito informativo de los medios de comunicación.

• Los diarios informan sobre la lista.
• A la mañana siguiente, un programa de radio llama a la directora para preguntarle por qué en un pueblo perdido del interior argentino, sin recursos económicos ni asistencia pedagógica, ella y su comunidad educativa consiguieron el milagro.
• Por la tarde viaja el equipo de un canal de televisión. Esta vez la nota son los alumnos. ¿Qué tendrán ellos de raros, pobrecitos?
• Y a la noche todo terminó. El circuito devoró su alimento y sólo habrá que esperar a que el apetito vuelva a abrirse, seguramente con informaciones que no provienen de la educación.

A veces, la evaluación se refiere a la calidad de los docentes. O a cómo son los maestros cuando no se exponen en clase: qué leen, cómo viven, qué comen, cuánto ganan, qué valores sustentan, hasta qué punto superaron la discriminación, cómo están formados, qué sentido tienen la patria y la democracia para los encargados de formar a los chicos en la educación sistemática. En este caso, el circuito será distinto, porque además de la información juega con fuerza la relación entre los docentes como colectivo gremial y el Estado como patrón empleador. El circuito anterior quedará “contaminado” por una doble sensación. Los docentes dirán que la evaluación no es intelectualmente honesta porque el fin del Estado-patrón es el recorte de derechos adquiridos. El Estado argumentará que los docentes como colectivo de empleados están haciendo una utilización gremial de resultados que sólo tenían como fin saber el estado real de la educación en un determinado momento.

Si la evaluación queda limitada al primer circuito o a constituirse en un elemento más de la puja entre los maestros y el gobierno pero todos tienen conciencia de que ahí no se acaba el mundo, no habrá problema alguno. Sin dramas extraordinarios, el show continuará, porque siempre debe seguir.

El ruido se produce cuando la evaluación cumple su papel de profecía autocumplida y asciende en el ranking de la agenda pública hasta parangonarse con la mismísima política educativa.

Esa es la fetichización tan temida. La imagen termina reemplazando al objeto y ya nadie puede saber de qué se habla cuando las cosas no eran tan difíciles.

¿Por qué la evaluación es un producto de consumo tan digerible para los medios? Muy sencillo. Hay tres razones que tienen que ver con la mañana del periodismo y con la tensión natural entre periodismo y poder político.

Razón número uno: la evaluación permite ver cómo el gobierno se mide a sí mismo.
Número dos: si hay fracaso evidente, permite fastidiar al gobierno con un arma creada por la propia administración del Estado.
Número tres: si el fracaso no es evidente, es posible interpretarlo como tal.

Pero también hay razones que no tienen que ver con las mañas y la picardía. Razones que dan la pauta de posibles alternativas al sobredimensionamiento de la evaluación educativa.
Razón número uno: las listas de colegios corporizan la educación en instituciones de carne y hueso.
Número dos: acercan la educación a la verdad de cómo es percibida, es decir, como un elemento central de la vida cotidiana.
 Número tres: ofrecen una variante a la cobertura educativa tradicional del periodismo, a menudo atada a los problemas presupuestarios, el pago de los docentes y la permanencia o no del ministro de turno.
Número cuatro: brindan historias, individuales y colectivas, sugieren rarezas, plantean misterios e incógnitas.

El riesgo de la evaluación como fetiche es que, lo mismo que sucedió con la economía, termine vaciando la política. Que sea un sucedáneo educativo de los fundamentals económicos y quede cristalizada como una ideología vacía que funciona como espejo deformado de la realidad.

¿Quién podría negar la utilidad de evaluar los números macro de la economía? Incluso antes de Maastricht, pero sobre todo desde el tratado de Maastricht de 1991, por el que Europa se autoimpuso una serie de exigencias económicas, el análisis económico tiene en cuenta, entre otras variables, la relación entre deuda y producto bruto interno, tasa de inflación y déficit fiscal. Pero a partir de ese punto el problema es doble.

Por un lado, la descripción suele terminar en una forma de prescripción.
Por otro, esa descripción es forzosamente limitada. Un ejemplo es el déficit fiscal argentino. En diferentes momentos de los últimos años la Argentina hubiera podido ser miembro de la Unión Europea. Pero la Argentina no queda en Europa, y además los organismos multilaterales de crédito cuestionaron los grandes números a causa del déficit fiscal, que el economista Salvador Treber calcula a moneda constante, tomado a pesos del 2001, con una media anual de 66.657 millones de pesos para el período 1998-2000.

La cifra sola no dice nada. No tiene en cuenta, por ejemplo, el endeudamiento externo, fruto a su vez de la entrada de capitales en su mayoría especulativos, atraídos con altas tasas de interés y transformados muy pronto en una impagable deuda en dólares. Una visión más profunda, como la del ex vicepresidente del Banco Mundial Joseph Stiglitz, indica que los fundamentals entendidos con esa limitación no permiten comprender la realidad. En el caso argentino, según Stiglitz resulta imposible comprender el déficit fiscal sin tener en cuenta que el bache no se debe tanto al gasto público como a la privatización repentina y sin salvaguardias del sistema de jubilación de reparto o público. La discusión, naturalmente, excede el plano académico. Dado el origen distinto del déficit, una cosa es diagramar políticas pensando que el único problema es el gasto provincial, y otra diseñarlas teniendo en cuenta la inconveniente relación, que en la Argentina llega hasta la identidad absoluta, entre bancos y administradoras de fondos de pensión.

Al margen de este hecho, el rubro “Remuneraciones” se mantuvo en un 33 por ciento, mientras que el rubro “Intereses de la deuda” pasaba del 12 al 16 por ciento.
O sea: el número permite sólo sobrevolar la realidad y compararla en grueso. Es como un juego. Inútil, como todo juego, además, pero sin una pizca de lúdico. El análisis más profundo, en cambio, tiene la desgracia de los matices, que suelen ser engorrosos, pero la utilidad de la sintonía fina.

La educación es, por definición, un fenómeno de largo plazo. Es imposible mejorarla de un día para otro. Por fortuna, claro, también es imposible empeorarla de un día para otro. La evaluación de la calidad educativa, pero sobre todo su difusión, su conversión en instrumento público, se encuentran con ese dato inamovible de la realidad, pero a la vez están tironeadas por la urgencia fabricada en los últimos años en todo el mundo.

Ante este panorama negro, ¿la evaluación difundida igual que en los últimos años tiene alguna utilidad? Es evidente que sí. Resulta interesante tomar, en el caso argentino, no los resultados de la evaluación sino los títulos de las coberturas de prensa para ver qué datos se convirtieron en historia o en noticia y llegaron así a los ciudadanos.

• Los adolescentes tienen más dificultad para leer un texto periodístico que uno literario. Por ejemplo, no saben distinguir la argumentación de la noticia y carecen de los recursos para interrogar al texto.
• Los colegios más caros no son los primeros en el ranking de Lengua y Matemática.
• Entre los primeros hay más privados que estatales.
• El nivel socioeconómico de los alumnos es determinante tanto en Matemática como en Lengua. A nivel nacional, los hijos de padres con educación secundaria o terciaria obtuvieron en 2001 un 69 por ciento de respuestas correctas, mientras que los hijos de padres con escolarización primaria llegaron al 51 por ciento. A nivel de la Capital Federal, las cifras un dan 74,5 contra un 56,6 por ciento.
• Aun así, la escuela no reproduce exactamente ni en términos regionales ni en términos sociales la cristalización de la Argentina en una sociedad cada vez menos plebeya. La diferencia promedio en 2001 llegaba al 14 por ciento, en una sociedad más polarizada que lo que esa cifra puede indicar, como lo revela la existencia, en ese momento, de más de un 40 por ciento de pobres dentro del total de población. El secretario de Educación de la ciudad de Buenos Aires lo resumió así: “Entre un pobre que se recibió de abogado y un rico que también se recibió hay menos diferencia que entre un pobre que dejó de estudiar y un rico que estudió”. Conviene recordar que en 2001, a diferencia de años anteriores, el Ministerio de Educación no puso el énfasis en los rankings de escuelas sino en los factores sociales que inciden en la calidad educativa. En palabras del subsecretario de Educación de ese entonces, Gustavo Iaies, “lo importante es que las escuelas sepan cuáles son los factores que más inciden en la obtención de buenos resultados para que los pongan en marcha”.

• A veces, también, la evaluación educativa fue interpretada por algunos medios como si los editores fueran controladores de un organismo de crédito y surgieron títulos como “La escuela no cumple con los objetivos mínimos”.
• En la Capital Federal, nuevamente, el 88 por ciento de los chicos que llegan a tercer año terminan la secundaria.
• Los alumnos rinden mejor en Matemática que en Lengua.
• La Argentina no está peor que el resto de América latina, pero América latina está al final del pelotón mundial.
• Es ilustrativo ver cómo interpretan los directivos de los colegios los resultados de cada evaluación:
• Se quejan de los sueldos docentes.
• Explican que los sueldos bajos influyen sobre la concentración, que resulta insuficiente, porque genera lo que en la Argentina se conocía como “profesor-taxi”, aunque obviamente se trata de un nombre-paradoja.
• Los directivos de escuelas públicas envidian a sus colegas de las privadas porque suponen que el pago a los docentes es sensiblemente superior.

En otras ocasiones, el reflejo periodístico de las evaluaciones apunta a lo particular particularísimo. Al caso. A la historia. Al costado humano.

Con la evaluación de 1998 en la Argentina proliferaron los artículos de admiración por los resultados de las escuelas del interior del país. La mejor primaria pública fue la escuela número 49 de Dorila, en La Pampa, en la zona centro-sur del país. Los alumnos del pueblo de 244 habitantes habían alcanzado un promedio de 91,43 puntos en Lengua y Matemática. Una profesora explicó los resultados notables por el trabajo personalizado: no había más de 16 chicos por aula. La directora contó que todos los días un ómnibus recorre 205 kilómetros para traer y llevar a 25 chicos que viven en los campos de los alrededores. También dijo que no había deserción porque cuando un chico faltaba las maestras iban hasta la casa a preguntar qué estaba ocurriendo en la familia.

También en 1998, la mejor escuela secundaria fue una técnica de San Nicolás, en el cinturón industrial que une Buenos Aires con Rosario, al norte de la Capital Federal. Los diarios reflejaron que los alumnos, en su mayoría de barrios periféricos, triunfaron en las pruebas, según el director, por su trabajo y por el empeño de los docentes.

Es fácil imaginar el reparo ante estos casos. ¿No se está, acaso, en presencia de algo en principio tan poco científico como el ejemplo? ¿La rareza, insumo básico de cualquier trabajo periodístico, no oculta la regularidad, objetivo máximo de una medición imparcial y objetiva? ¿No existe el riesgo de que las peculiaridades tapen una visión más profunda sobre la educación?

Naturalmente, los peligros están al alcance de la mano. Pero conviene apuntar que son los mismos de cualquier evaluación, e incluso de cualquier descripción de la realidad. En buena medida por razones ideológicas, la caída del Muro de Berlín y el famoso final de los grandes relatos supuso, para muchos científicos sociales, la desconfianza estructural hacia todo tipo de análisis cualitativo y una absolutización del valor de lo cuantitativo, lo internacionalmente comparable a través de índices, otra vez los grandes números.

Para que quede claro: no es que lo cuantitativo sea “de derecha” y lo cualitativo “de izquierda”. Es que, por un momento, el sacudón del mundo fue interpretado por muchos intelectuales como un modo de finalización de la política. Si para el viejo comunismo el final de la política llegaría con la desaparición del Estado y la extinción de la sociedad clasista, para el enfoque inverso la desaparición de ese horizonte casi providencialista equivalía al vaciamiento de toda discusión de fondo, a la renuncia por anticipado a todo análisis que no se apoyara en un índice.

Para que quede claro también esto: sería tonto, inútil y fetichista al revés despreciar la cuantificación de metas y resultados. Sonaría a un antiintelectualismo que remata siempre en una política de primates, emparentada finalmente con el poder en estado puro y descarnado y una visión pragmática de las cosas en el peor sentido de la palabra, el del utilitarismo sin objetivos sociales ni planes desplegados desde el Estado.

Lejos de cualquier maniqueísmo, los ejemplos anteriores muestran que las evaluaciones educativas sirvieron para acercar elementos del debate educativo, de los especialistas, a los ciudadanos. Sin embargo, quien dice acercar no dice profundizar ni continuar. Ni el Estado, ni los planificadores educativos, ni los medios, ni los periodistas especializados aprovecharon esa formidable cantera de temas para seguir una discusión pública apasionante. Es posible, por ejemplo, que el éxito pampeano sea una rareza. Pero, ¿lo es también el debate sobre la proximidad entre docentes y alumnos? Y con el caso de San Nicolás, ¿no se discute también en público, con absoluta transparencia y sencillez, que no hay éxito posible sin una comunidad educativa fuerte, motivada y con mística? Es verdad, como se vio, que los diarios titularon muchas veces con un tono que disgustaba al gobierno por los buenos motivos (la superficialidad después de un trabajo tan serio como la evaluación) y también por los malos (a los funcionarios suele disgustarles la crítica). Pero, nuevamente, en cada artículo del ramo de los interesantes había material para el seguimiento y el debate. En el caso argentino, quizás la discusión pública sobre la educación sea pobre y poco específica, pero tal vez haya aportado su cuota de información y polémica al debate general sobre la pobreza, la exclusión y la desigualdad que forman parte de la agenda pública central del país.

¿Y los docentes? El reflejo de los maestros en los medios acostumbra ser simpático y cariñoso. Son, por ejemplo, el único gremio capaz de resolver huelgas con gran frecuencia y ser “perdonados” por la sociedad. Pero la evaluación es una pelea permanente que los medios reflejan marcando la desconfianza mutua entre el Estado y los docentes. Reflejan otra cosa también: que no hay acuerdo, acercamiento y discusión pública intelectualmente honesta entre los dos sectores. Los docentes desconfían de las evaluaciones oficiales y aun de las públicas no estatales. Y el Estado recela de lo que califica como falta de colaboración de los maestros.

En la Argentina tuvo mucho impacto una encuesta encargada por el gremio docente. Demostraba, entre otras cosas, estas cosas:
• El 40 por ciento de las maestras es jefe de hogar y tiene a su cargo entre dos y cinco personas.
• El 88 por ciento de los docentes trabaja en escuelas sin gimnasio.
• El 41 por ciento se desempeña en establecimientos sin biblioteca.
• El 18 por ciento de los maestros trabaja en escuelas con más de mil alumnos.
• El 90 por ciento de las escuelas no tienen servidor de Internet ni e mail.
• La mitad de los docentes está por debajo de la línea de pobreza.

Pero, a la vez, la encuesta fue reacia a descubrir y describir el mundo de los valores de los maestros, en rigor no muy distintos del mundo de valores del resto de la sociedad y por lo tanto no siempre noble, altruista y modélico para los alumnos.

Si la evaluación se convierte en una trampa, si al final parece que no midiera nada útil, si sólo genera problemas con los docentes y a primera vista no es útil para intensificar la discusión educativa dentro de la agenda pública, ¿no convendrá suprimirla?
Una tentación a mano de los funcionarios del Estado es que la evaluación sea secreta.

No estoy de acuerdo por razones de principio y por motivos prácticos. Razones de principio: en una democracia moderna, y armas atómicas al margen, no hay secreto válido que obture la transparencia. Motivos prácticos: si es difícil conservar un secreto cuando el protagonista es una sola persona, es imposible mantenerlo si ya son como mínimo dos. Los seres humanos no suelen comportarse como conspiradores, y aun si lo lograsen no sería conveniente encarar la evaluación educativa como una tarea de topos dignos de John Le Carré.

La otra tentación es que la evaluación no sea secreta pero que, a la vez, no dependa de la difusión activa por parte de las autoridades oficiales. Mi opinión es que también éste es un atajo sin sentido. La evaluación ya es una herramienta aceptada por la sociedad, que la espera. Tal vez la espere con una ansiedad desproporcionada, pero así es la vida. Quitarla ahora de la difusión habitual equivaldría a instalar una sospecha: por algo se oculta hoy lo que antes era público.

No quiero entrar en cómo el Estado evalúa la educación. No es mi especialidad. Pero desde un punto de vista más general -social, político, incluso de comunicación entre gobernantes y ciudadanos- parece claro que si la intención es contar con un Estado fuerte que opere activamente para reducir la desigualdad, la comunicación no puede limitarse a la administración de índices. Más allá de la evaluación, y sin sugerir de ningún modo la manipulación de los datos o su tergiversación, es evidente que el Estado puede orientar el debate educativo. Igual que en periodismo, al Estado debe exigírsele la mayor objetividad posible respecto de los datos y la descripción de la realidad. Pero, más aún que en periodismo, no hay gobierno sin encarnar en objetivos políticos y de liderazgo social las políticas públicas de la educación. Los datos son los datos: sagrados.

Sería deseable, en mi opinión, que las conclusiones reflejaran cada vez más la intención de recoger el consenso social sobre educación y de alimentar ese consenso con nuevos temas, nuevas provocaciones, nuevos debates, nuevos objetivos.

Se dirá que no hay garantías de que el periodismo acompañe. Que incluso las mejores intenciones oficiales chocan con la ignorancia, los intereses creados y la indiferencia de los medios. Pero, otra vez, así es la vida. Ninguna iniciativa política tiene asegurada su repercusión, aunque al mismo tiempo conviene recordar que el impacto siempre es mayor cuando el Estado informa de una manera honesta, interesante, motivadora y poco burocrática. Y, del mismo modo que ocurre con la libertad de expresión, no se trata sobre todo de la libertad para informar sino de la respuesta al derecho de los ciudadanos a saber. Ese derecho determina que informar sea, entonces, no una facultad sino un deber social, equivalente a un servicio público.

Tengo algunas conclusiones provisorias:
Una, que la evaluación no es la panacea, como no lo es ninguna herramienta puramente cuantitativa.
La segunda, que si no es la fórmula de la felicidad universal no debe ser presentada como tal.
La tercera, que el Estado no debe suprimirla.
La cuarta, que nada reemplaza al ejercicio de la política. La quinta, que la política sigue incluyendo la instalación de temas, de conclusiones, de valoraciones, válidos en tanto no surjan de la manipulación de los datos sino de su interpretación transparente y honrada.
La sexta, que así como no hay periodismo sin convertir la información en tema no hay evaluación bien comunicada y socialmente útil sin transformar el dato en eje de debate público.
La séptima, que el futuro de la evaluación como herramienta política está ligado a la participación de los docentes. Participación difícil y en apariencia imposible, pero insustituible.
La octava, que la sociedad, con una visión en este tema más cualitativa y sabia, no espera la evaluación de cada año para tomar posición frente a la realidad educativa.
La novena, que reproducir a escala internacional la lógica de los grandes números es vaciar la política como herramienta de ciudadanía y transformación de los habitantes en sujetos.
La décima, que siempre habrá tensión entre el Estado y los docentes, y entre el Estado y los medios. Por eso, diseñar políticas o actuar como si esa tensión pudiera suprimirse sólo llevará a la creación de nuevos dogmas y nuevos ámbitos de rigidez. Una parte de la política es la imprevisibilidad, la contingencia, el azar, la pelea, el conflicto, el acuerdo, el consenso y el juego de las veleidades. Pensar que en sociedades culturalmente ricas y complejas como las nuestras toda realidad, toda evaluación y todo proceso comunicativo es controlable del principio al fin suena a una ilusión de chicos.


Extraído de:
La evaluación como fetiche
Martín Granovsky
En: Evaluar las evaluaciones
Una mirada política acerca de las evaluaciones de Calidad Educativa
IIPE UNESCO
En la sección “Biblioteca” hay un link hacia el PDF completo

domingo, 28 de julio de 2013

El desarrollo de políticas nacionales de evaluación


En estas épocas de cambios ¿Qué aspectos de la realidad educativa sufrieron modificaciones? Particularmente ¿Qué sucedió en el ámbito de la Evaluación Educativa? ¿Cuál es la experiencia en Latinoamérica?


Los años ‘90 se caracterizaron por la puesta en marcha y el desarrollo de un buen número de reformas educativas en los países latinoamericanos. Una vez superada la desconfianza hacia la educación que caracterizó a los años ‘70 y ‘80, los gobiernos de la región se lanzaron a una intensa actividad reformadora, que se dejó sentir en muchos países y que abarcó diversas esferas de la realidad educativa.

Las reformas emprendidas en esos años persiguieron varios objetivos, entre los que cabe destacar la extensión de la escolarización (especialmente en la enseñanza secundaria), la mejora de la calidad de la educación impartida y el aumento de la equidad en la distribución de los servicios educativos. Aunque no sea éste el lugar para hacer un balance de la década, no cabe duda de que los objetivos previstos se alcanzaron de manera muy desigual, consiguiéndose algunos logros destacables en el primer sentido de los mencionados, pero logrando resultados mucho más modestos en los otros dos. La situación es tal que un reciente informe internacional sobre el estado de la educación en los países de América Latina adoptaba como título el lema Quedándonos atrás, expresando de ese modo las carencias que aún aquejan a los sistemas educativos de la región (Comisión Internacional sobre Educación, Equidad y Competitividad Económica en América Latina y el Caribe, 2001).

El desarrollo de políticas nacionales de evaluación
Las reformas de los años ‘90 afectaron a diversos aspectos de la realidad educativa, que conviene detallar. Entre las orientaciones adoptadas por dichos procesos de reforma, y aun sin ánimo de exhaustividad, pueden distinguirse varias líneas de actuación que, si bien no se dieron siempre de manera simultánea, estuvieron presentes de uno u otro modo en las diversas iniciativas nacionales:

• Un primer aspecto en que se avanzó considerablemente, aunque no sin problemas, fue en la redistribución de las competencias y responsabilidades en materia de educación, lo que supuso la puesta en marcha de políticas de descentralización y de autonomía escolar, acompañadas en ocasiones de procesos de privatización, cuyos efectos fueron ambivalentes.

• Una segunda orientación de las reformas, especialmente influyente en muchos países de la región, consistió en la introducción de cambios en la organización curricular, que llevaron generalmente aparejada una revisión de los planteamientos fundamentales en que se inspira la definición y la construcción del currículo.

• Un tercer dominio de acción de las reformas tuvo que ver con los procesos de formación inicial y capacitación del profesorado, considerado habitualmente pieza clave de las reformas, pero no siempre tan atendido como debiera en su papel de agente transformador.

• Un cuarto ámbito de reforma estuvo concretamente relacionado con la educación secundaria o media, que se ha convertido en la pieza clave y más conflictiva de los sistemas educativos y cuya expansión se ha ido también produciendo en América Latina en las últimas décadas.

• Por fin, una última orientación tuvo que ver con el desarrollo de mecanismos y modelos de evaluación; dicho de otro modo, con la consideración de la evaluación, como un poderoso instrumento al servicio de la gestión de la educación y de la mejora de su calidad.

Esta última orientación de las reformas de los ‘90 cobra especial relevancia desde la perspectiva que se adopta en este trabajo, pues es precisamente el impacto de esos mecanismos de evaluación lo que está sometido a crítica y discusión. Por este motivo, merece la pena realizar un par de comentarios adicionales sobre sus rasgos más significativos.

Una primera observación que cabe destacar desde este punto de vista es que la mayoría de los países de la región pusieron en marcha sus propios sistemas nacionales de evaluación a lo largo de los años ‘90, generalmente en el marco de procesos más amplios de reforma educativa. Con configuraciones institucionales muy diferentes entre sí y con ámbitos de actuación diversos, fueron varios los gobiernos que se sumaron a la experiencia pionera que otros países como Chile venían desarrollando ya con anterioridad. Argentina, México, Colombia, Bolivia o Brasil, por no citar sino algunos casos destacados, dieron pasos decididos en esa dirección, de manera que al final de la década eran mayoría los países latinoamericanos que contaban con algún tipo de sistema nacional de evaluación.

Sin embargo, el indudable interés por la evaluación de la educación que se despertó en muchos países no marchó asociado sino mucho más tardíamente con un interés paralelo por participar en estudios comparativos internacionales de evaluación del rendimiento educativo. Aparte de la valiosa experiencia regional del Laboratorio Latinoamericano de Evaluación de la Calidad de la Educación, en el que participaron un total de trece países de América Latina y el Caribe, los estudios promovidos por organizaciones tan reconocidas como la IEA o la OCDE no han alcanzado todavía en la actualidad cotas altas de participación. Durante los años ‘90, fueron más bien los programas de cooperación orientados hacia el reforzamiento de los sistemas nacionales de evaluación, como el impulsado en esa dirección por la OEI, los que lograron una participación más amplia.

Así pues, y hablando siempre en términos generales, la situación de la evaluación educativa en la región latinoamericana se caracteriza hasta el momento por la existencia de un contraste llamativo entre el desarrollo de ambiciosos programas nacionales de evaluación y una limitada participación en estudios comparativos internacionales. El desarrollo de esos programas nacionales está basado en la puesta en marcha de un buen número de instituciones y agencias de evaluación, cuya experiencia comienza ya a ser importante.



Extraído de
¿Qué pretendemos evaluar, qué evaluamos y qué conclusiones podemos extraer de la evaluación?
Alejandro Tiana Ferrer
En: Evaluar las evaluaciones
Una mirada política acerca de las evaluaciones de Calidad Educativa
IIPE UNESCO
En la sección “Biblioteca” hay un link hacia el PDF completo

jueves, 18 de julio de 2013

Una visión política sobre las Evaluaciones de Calidad Educativa

¿Qué función cumple la Evaluación en la escuela? Es un instrumento, mediante el cual se ejecuta la selección. Mediante ella, queda legitimado el proceso de estratificación social. Esto mismo puede pensarse para las Evaluaciones de Calidad Educativa, y es necesario entonces “evaluar las evaluaciones”, y como tiene consecuencias políticas, hay que hacerlo desde este punto de vista, centrándonos en una pregunta ¿Evaluamos para mejorar la calidad y equidad del sistema? 
 


“En una escuela que tensiona por la equidad, la evaluación, como dispositivo diferenciador, hace ruido en algún lugar”. Estas palabras de Javier Bonilla, Director Ejecutivo del CODICEN – Uruguay, se suman y permiten observar el tono de un debate. La idea de buscar esos “ruidos” o esos “costos” y compararlos con los beneficios se empieza a transformar en un eje de la discusión acerca de las evaluaciones. Parecen estar más claros los costos que los beneficios, y eso lleva a una revisión crítica; la idea es que las evaluaciones de la calidad empiezan a verse sometidas, ellas mismas, a un proceso de evaluación.

Estas políticas aparecieron como una de las innovaciones principales de las reformas implementadas en la década de los años ‘90. Y, paradójicamente, los propios tomadores de decisiones sienten que son estos dispositivos los que han puesto en “jaque” a las reformas. Han expuesto a la política educativa, la han sometido a la opinión pública y, en ese campo, las decisiones y el debate abandonaron la exclusividad del mundo educativo. Desde ese punto de vista, la capacidad de dar respuestas, de analizar datos y de producir cambios, se encuentra muy condicionada.

La centralidad que las evaluaciones de la calidad han asumido en la mirada que la sociedad tiene sobre la educación las vuelve un aspecto que merece ser analizado con mayor cuidado. Han dejado de ser un objeto técnico-pedagógico para transformarse en uno de carácter político.

Más allá del consenso existente sobre su importancia y sobre las ventajas de su instalación, resulta fundamental volver a pensarlas, principalmente, desde sus dimensiones política, comunicacional, pedagógica y en el modo en que estos dispositivos interactúan con el conjunto de los actores educativos.

Se trata de proponerse una evaluación de las evaluaciones, a diez años de su instalación en los sistemas educativos de la región, y de revisar críticamente la experiencia.

Una visión política
Las evaluaciones se han vuelto un hecho político. Los gobiernos y sus políticas son analizados a partir de los resultados de la aplicación de estos dispositivos. El mundo de la educación ha creado un instrumento sobre el que parece haber perdido el monopolio del debate. En el momento en que las evaluaciones han llegado a los medios de comunicación masiva, han quedado de algún modo fuera del campo exclusivo de los gestores educativos o de los pedagogos. La comunidad educativa ha “bendecido” un indicador capaz de dar cuenta de la situación de la educación en materia de aprendizaje de los alumnos y en esos términos lo ha recibido la sociedad. Desde ese momento, se han vuelto un procedimiento de las políticas públicas en su conjunto, y eso implica la participación de otros actores. Las desigualdades sociales, la competitividad de los países, la eficiencia del gasto, entre otras variables, empiezan a incluir la información de los operativos de evaluación de la calidad para ser analizadas.

En ese contexto, el mundo educativo ha perdido el manejo exclusivo de la herramienta. Ya no se trata de un dispositivo que produce información para el debate educativo exclusivamente, ha dejado de ser un objeto de discusión técnica, el mundo político se ha apropiado de sus resultados y los ha incorporado a sus debates. En muchos casos, con análisis apresurados, poco apropiados e, incluso, revelando muchos de los errores cometidos o la necesidad de producir cambios.

¿Cómo recuperamos la posibilidad de pensar la herramienta? ¿Cómo volvemos a transformarla en un dispositivo capaz de brindarnos información para el mejoramiento de la calidad y la equidad? Tales parecen ser las preguntas de los tomadores de decisiones. Retomando las palabras de Martín Granovsky, en el Seminario: “Si no llenamos la evaluación con información y análisis, los resultados están sustituyendo a la política”.

Parece necesario recuperar el sentido. ¿Evaluamos para mejorar la equidad y calidad de nuestros sistemas educativos?, ¿lo hacemos para juzgar al sistema y acusarlo? Porque de acuerdo a las intenciones que tengamos, los instrumentos serán las propias políticas, no serán un instrumento sino un contenido. Los sistemas educativos dejarán de trabajar para mejorar la calidad y la equidad educativa y pasarán a trabajar para el mejoramiento de los resultados de las evaluaciones.

Los dispositivos y sus productos han tenido mayor impacto en la construcción del imaginario educativo de la sociedad, que en la transformación de las estrategias educativas. En el plano de lo simbólico vivimos, como expresó Juan Froemmel en el Seminario: “el síndrome del análisis melancólico, todos creen que nunca tuvo fiebre porque nunca se la midieron”; la sociedad no cuenta con registros históricos, con lo cual “se pelea” con los actuales. En este sentido, Ottone dijo en el Seminario: “Existe la idea de un pasado «glorioso», una escuela que convivía cotidianamente con la excelencia. Con ese pasado es imposible compararse porque ese era un mundo más feliz. No creo que la felicidad sea un efecto de las políticas públicas, la felicidad es compleja. Es muy complejo hacer políticas públicas contra ese síndrome de la nostalgia”. No existen registros históricos en la región que permitan comparaciones serias con el pasado, pero, de todos modos, el imaginario social los ha construido. Y resulta complejo relativizar esas ideas incorporando el dato de las tasas de escolarización o de la complejidad de los planteos curriculares o de la menor desigualdad, en algunos casos. Parece haber un dictamen que establece que la escuela actual es peor que la del pasado. Y ese dictamen parece asociarse a la calidad de nuestros gobernantes.

Las evaluaciones parecen haber sido funcionales a este síndrome, quizás, hasta lo hayan alimentado. Acaso hayan confirmado a la sociedad que ya no tendrá una escuela de excelencia como la que tuvo.

La sensación es que esos resultados han venido a confirmar el peso de ciertos condicionantes estructurales. Así lo indicó J. J. Brunner, en el Seminario: “Ningún indicador logra imponerse a los de los condicionantes sociales. En el mejor de los casos se podría llegar a equiparar el efecto del origen social. La escuela no puede compensar a la sociedad, el sentido común le ha ganado a las comprobaciones científicas”. Estas afirmaciones tienen un enorme peso en términos de la ejecución de políticas, es casi una justificación para disminuir las inversiones en educación y centrarlas en las políticas sociales. Podrían permitir razonamientos que justifiquen el hecho de que si los resultados educativos están condicionados por los sociales, no conviene invertir en políticas educativas, sino en aquellos programas sociales que garanticen las condiciones de educabilidad, dado que hasta que impactemos la situación social de los beneficiarios, no podremos mejorar sus resultados educativos.

El pesimismo pedagógico de final de década, la evidencia de que enormes inversiones y una importante apuesta política no han producido resultados significativos en materia de calidad, hace que este tipo de argumentos ganen espacio. La idea de que el sistema tiene muy baja permeabilidad a los cambios, que es muy difícil producir transformaciones cualitativas y que requieren gran cantidad de recursos, parece ser un obstáculo para volver a construir un clima favorable a la inversión educativa.

Al mismo tiempo, el análisis de los resultados de las evaluaciones internacionales muestra que los promedios de la región se componen de sectores acomodados de la sociedad que brindan a sus hijos una educación que puede ser ubicada dentro de los estándares internacionales, y otros cuya calidad se aleja cada día más de dichos estándares.

Esta evidencia anima a algunos sectores a preguntarse si es posible garantizar una educación de calidad para todos o si deberemos conformarnos con garantizársela a los grupos más dinámicos de la sociedad, aquellos que parecerían en condiciones de darle competitividad a las economías de sus países. Estos peligrosos razonamientos son algunos de los elementos que nos obligan a asumir un análisis más cuidadoso de los resultados de las pruebas. En ese sentido es que los mismos han trascendido el análisis del mundo pedagógico: no sólo tienen impacto sobre las políticas curriculares o de gestión institucionales, también pueden tenerlos sobre las políticas de empleo, de inversión industrial, etcétera.

¿De qué hablan los tomadores de decisiones cuando afirman que hay que apropiarse de las evaluaciones? El Presidente de la IEA, Alejandro Tiana, dijo: “Hay una cuestión de la complejidad de la evaluación que tiene una vertiente de conocimiento y otra de valoración. La vertiente política es la de la valoración y la ponderación”. Por su parte, Martha Lafuende expresó: “Creo que llega el momento de empezar a llamar a las cosas por su nombre, nos hemos propuesto evaluar calidad y estamos midiendo, no evaluando. Evaluar exige tener un patrón con qué compararse y ese patrón no está del todo claro”.
Aparece la idea de que se ha concebido una política como un hecho técnico y, después de una década, parece claro que es necesario revisar esa decisión, entender que esas decisiones técnicas deben dar cuenta de definiciones filosófico-políticas. Se construyeron indicadores que se definieron técnicamente, y que consideran casi con exclusividad las habilidades académicas. Nuestros índices no consideran el aumento de las tasas de escolarización, la capacidad del sistema para homogeneizar actores de una sociedad cada día más segmentada, dar cuenta de los nuevos públicos que la escuela ha sido capaz de albergar, de la capacidad de contener otras realidades sociales, etc. Y esas definiciones implican una toma de postura ideológica, utilizar unas variables y abandonar otras; lo cierto es que la experiencia de los ‘90 hace pensar más en una “no toma” de posición política, en el sentido de que los tomadores de decisiones no se posicionaron en ese punto.

Se ha construido un indicador de calidad que es puramente académico, se han considerado fundamentalmente los aciertos en Lengua y Matemáticas como indicadores de una buena educación. Pero no es que, en consecuencia, esa sea la demanda que se le formula a la escuela, no ha sido ese el único objetivo de las reformas. Y en el caso de que ese hubiera sido, tampoco se le garantizaron las condiciones de educabilidad mínimas para producir esos aprendizajes.

Se le ha pedido a la escuela que enseñe contenidos definidos, y se formularon evaluaciones acerca del grado de adquisición de los mismos por parte de los alumnos. Pero también se le demandó que les dé de comer a los niños y jóvenes, que controle su vacunación, que les haga los documentos de identidad, que presione a los padres para que eduquen a sus hijos como corresponde, etcétera. Y ni siquiera los sistemas educativos fueron capaces de liberarla del peso administrativo de las burocracias, no se han dictado normativas y regulaciones que faciliten la tarea, no se han generado programas de capacitación eficientes para sus docentes, de modo que pudieran enseñar dichos contenidos.

Y en ese sentido, la escuela ha quedado sola adelante de la sociedad; se la midió con un indicador de nivel académico similar al de otras regiones del planeta en las que la escuela cuenta con una cantidad de variables garantizadas. No se han construido indicadores capaces de dar cuenta del conjunto de las misiones y funciones que se le encomendaron al sistema educativo. Ni siquiera, que consideren el contexto en el que se le han pedido dichos resultados.

Las evaluaciones de la calidad han lanzado al sistema educativo a la discusión política y, por lo tanto, las consecuencias de dichas discusiones generan un fuerte impacto sobre la imagen de los gobiernos, sobre el campo de la política educativa y sobre el de la política en general.

No es posible enfrentar una discusión política con enfoques técnicos solamente. Quizás haya llegado la hora de asumir la discusión de sentido, la definición de objetivos de política y de someter las herramientas a esos principios. Quizás el problema resida en que, tal como dijimos previamente, se ha medido pero no evaluado, y medido determinadas variables y no otras. Y más allá de que los equipos políticos no hayan construido esas decisiones, las mismas han adquirido ese carácter.
Quizás la primera conclusión de este análisis sea que, más allá de la politización “de hecho” que sufrió el mundo de las evaluaciones, ha llegado el momento de que los tomadores de decisiones en materia de políticas educativas, los especialistas del campo y los equipos de los organismos multilaterales asuman que este es un debate de sentido, y que entrar al mismo por el “costado” técnico en lugar de hacerlo por el político es un error y nos conducirá a conclusiones falsas.



Extraído de:
Evaluar las evaluaciones
Gustavo Iaies
En: Evaluar las evaluaciones
Una mirada política acerca de las evaluaciones de Calidad Educativa
IIPE UNESCO
En la sección “Biblioteca” hay un link hacia el PDF completo

Related Posts Plugin for WordPress, Blogger...

Busca en mis sitios