lunes, 8 de julio de 2013

Una mirada a las pruebas de logros en Educación

Se ha verificado un notable desarrollo en los sistemas nacionales de evaluación educativa, y en ellos, una gran preocupación por las evaluaciones de logro de los alumnos ¿Cuáles son las insuficiencias de estas evaluaciones nacionales?  ¿Cuáles son los desafíos que se le presentan?


Los sistemas nacionales de evaluación que se han desarrollado en los países latinoamericanos desde los años ‘90 vienen prestando una atención especial a la medición de los logros conseguidos por los alumnos. Los instrumentos que se aplican con esa finalidad son las genéricamente denominadas pruebas nacionales, que merecen una mirada especial por la importancia que han llegado a adquirir.

Las pruebas nacionales presentan bastantes diferencias de unos países a otros, aunque también ofrecen algunas similitudes. Entre sus elementos comunes, quizás el más destacado sea la preocupación prácticamente universal que demuestran por evaluar el rendimiento alcanzado en Lenguaje y Matemáticas. No obstante, aunque se trata de dos áreas especialmente atendidas por los sistemas de evaluación, no hay que pensar que sean los únicos dominios evaluados. En efecto, la medición de los logros en ambas áreas suele ir acompañada por la evaluación de otras áreas curriculares complementarias (entre las que sobresalen las Ciencias, la Historia o las Lenguas extranjeras) o de otras capacidades de tipo transversal, no ligadas necesariamente a áreas específicas (como el autoconcepto, algunas estrategias de aprendizaje o ciertas actitudes).

Las pruebas nacionales suelen aplicarse preferentemente en los grados terminales de las principales etapas educativas (sobre todo, al final de la enseñanza primaria y de la secundaria). No obstante, también se aplican a veces en otros grados que tienen un especial interés desde el punto de vista diagnóstico (por ejemplo, el final de ciertos ciclos), aunque la identificación de tales puntos focales varíe de unos sistemas educativos a otros. El reciente desarrollo de algunos estudios internacionales ligados a la edad de los evaluados y no al grado que cursan, como es el caso del proyecto PISA de la OCDE, aún no ha encontrado traducción directa en los sistemas nacionales de evaluación latinoamericanos, ni es previsible que lo haga a corto plazo. El interés que despierta la valoración de los logros conseguidos al final de determinadas etapas supera hoy en la región al que suscita la valoración del nivel de formación a ciertas edades. La participación en aquellos proyectos internacionales parece satisfacer suficientemente las preguntas que puedan plantearse en este último sentido.

Dependiendo del propósito que guía a la evaluación, las pruebas se aplican en ocasiones a poblaciones o cohortes estudiantiles completas, mientras que en otros casos se limitan a muestras representativas de estudiantes. La primera decisión permite hacer un uso más singularizado de los datos obtenidos, tal como comparar el rendimiento de diversas escuelas o estudiantes, mientras que la segunda es más adecuada para usos diagnósticos. Por otra parte, hay países en que las pruebas se aplican cada año, aunque es más frecuente que se adopten ciclos plurianuales, de distinta duración.
Las pruebas nacionales parecen satisfacer ampliamente a las autoridades educativas, a la vista del uso tan extenso que se hace de ellas. No obstante, en un análisis más profundo también presentan insuficiencias y problemas, que requieren una consideración más atenta.

Tres son las principales insuficiencias de las pruebas nacionales de logros que han subrayado los especialistas. La primera consiste en la existencia de algunas debilidades técnicas en los procesos de desarrollo y validación de los instrumentos de medición. La segunda se refiere a la insuficiente calidad y capacidad que las pruebas ofrecen para evaluar aprendizajes complejos. La tercera tiene que ver con el insuficiente aprovechamiento que suele hacerse de la información obtenida.

Los problemas a los que se ha hecho alusión son de distinto tipo. Para comenzar, habría que señalar algunos relativos al diseño y confección de los instrumentos de evaluación:

• Un primer problema tiene que ver con el contenido de las pruebas, asunto que plantea dos tipos de dificultades. La primera se refiere a la relación que debe existir entre las pruebas y los objetivos educativos. Lo deseable es que las pruebas estén referidas a los objetivos establecidos en el sistema educativo, de manera que permitan valorar el grado en que se alcanzan las metas previstas. Aunque este planteamiento resulta lógico y plausible, plantea dificultades cuando no existen objetivos explícitos (lo que sucede en muchos casos), o cuando los objetivos de cada curso o etapa se formulan de manera poco concreta. Cuando no se pueden determinar los objetivos de forma precisa, resulta sin duda más difícil elaborar las pruebas. La segunda dificultad se refiere al tratamiento de la diversidad curricular existente entre diferentes regiones, distritos o escuelas. La mayoría de los modelos curriculares aplicados en América Latina conceden cierto grado de autonomía a las autoridades regionales o distritales o a las propias escuelas para definir el currículo. En consecuencia, no resulta sencillo hacer pruebas que abarquen todas las enseñanzas efectivamente impartidas en todo el sistema educativo. Las soluciones posibles son dos: elaborar pruebas de mínimos, lo que implica reducir el campo de evaluación, o elaborar pruebas comunes a partir de un consenso profesional o técnico. Ambas soluciones son utilizadas en la región, sin que quepa conceder prioridad a una de ellas sobre la otra.

• Un segundo problema tiene que ver con algunas disyuntivas que se plantean en relación con el diseño y la confección de las pruebas. La primera disyuntiva se refiere al enfoque de las pruebas, que pueden estar centradas en los conocimientos adquiridos por los alumnos o abarcar también el desarrollo de actitudes. Las pruebas que miden unos y otras no son iguales, ni siquiera plantean las mismas exigencias técnicas, lo que obliga a decidir su enfoque. Una segunda disyuntiva se refiere al carácter de las pruebas, pudiéndose optar por la elaboración de pruebas referidas a criterios de logro o por la confección de pruebas de tipo normativo, adaptadas a una distribución de resultados estadísticamente normal. La tercera disyuntiva se refiere a la delimitación de la población sujeta a evaluación, que permite optar por pruebas de aplicación censal (dirigidas a toda la población estudiantil de un determinado grado o edad) o de tipo muestral (dirigidas a muestras representativas de población).

Otro grupo importante de problemas están relacionados con la explicación de los resultados conseguidos. La mayoría de los sistemas nacionales de evaluación no suelen contentarse con medir los logros alcanzados por los estudiantes, sino que también pretenden explicar por qué se producen tales resultados. Sin embargo, dicho intento de explicación tropieza con varios problemas y dificultades:

• Un primer problema tiene que ver con el grado de coherencia realmente existente entre la evaluación y el currículo. Como se señalaba al comienzo del trabajo, el desarrollo de los sistemas nacionales de evaluación ha ido generalmente asociado a otros procesos de reforma curricular. No obstante, esa simultaneidad no ha asegurado siempre la existencia de una adecuada coherencia entre ambos aspectos. En los casos más extremos, puede incluso decirse que ambos procesos se han desarrollado en direcciones divergentes. Cuanto más importancia se ha concedido a las pruebas, mayor ha sido su impacto sobre el desarrollo curricular.

• Un segundo problema, menos complejo pero no menos influyente, está relacionado con el tipo de interpretación que permiten los diversos modelos de pruebas. Como se señalaba más arriba, dos son los modelos de pruebas utilizados más habitualmente: criteriales y normativas. Las pruebas de tipo criterial proporcionan una base sólida para valorar la suficiencia de los logros conseguidos, ya que se apoyan en una definición operativa de los objetivos que deben alcanzarse. Por el contrario, las pruebas de tipo normativo exigen alguna operación adicional para poder valorar la suficiencia de los logros alcanzados, dado que se refieren a situaciones de normalidad estadística. La existencia de estos dos modelos alternativos obliga a considerar cuidadosamente qué usos se quieren hacer de las pruebas, antes de decidir el que conviene aplicar.
• Un tercer problema se refiere a las dificultades conceptuales y técnicas que se plantean a la hora de buscar explicaciones. Por una parte, hay que reconocer la debilidad teórica de los modelos habituales de producción educativa, que en buena parte deriva del problema que plantea la causalidad en educación. Esa debilidad influye en la selección de los factores que se consideran asociados al rendimiento, pocos de los cuales cuentan con confirmación empírica sólida. Además, la explicación de los resultados se ha basado tradicionalmente en la distinción de dos tipos de variables, unas extrínsecas y otras intrínsecas. Mientras que las primeras (nivel socioeconómico y cultural, recursos destinados a la educación) han sido objeto de análisis abundantes, las segundas (organización del sistema educativo, procesos institucionales, procesos de aula) vienen resultando menos concluyentes y aún requieren investigaciones adicionales.

• Un cuarto problema tiene que ver con la voluntad que a veces existe de buscar muchas vías de explicación de los resultados obtenidos, que puede traducirse en un exceso de datos recogidos. Cuando ese exceso de datos va unido, como ocurre en ocasiones, con una insuficiente delimitación conceptual de las variables seleccionadas y con limitaciones en el análisis estadístico de los datos, la situación puede llegar a resultar inmanejable. La consecuencia suele ser una evidente infrautilización de los datos y una ineficiencia en el uso de los recursos disponibles.

• Un último grupo de problemas que plantean las pruebas de logros están relacionados con el uso que se hace de las mismas y con las interpretaciones a que dan pie:
• Un primer problema tiene que ver con los distintos tipos de uso que pueden hacerse de la información. Los resultados de la evaluación pueden utilizarse con una finalidad formativa, orientada al desarrollo institucional y profesional de los agentes implicados, para fomentar la competición, e incluso para impulsar políticas de mercado en el ámbito educativo. Obviamente, las interpretaciones que permiten tales posibilidades son diferentes y persiguen distintos efectos. Es necesario señalar que, si bien esos son los extremos de un continuo de posibilidades de uso, existen otras opciones intermedias en que dichos propósitos pueden combinarse en diferente proporción. La decisión sobre el tipo de uso que se pretende hacer de los datos de la evaluación condiciona en buena medida el diseño de la evaluación.

• Un segundo problema tiene que ver con la existencia de diversas posibilidades de comparación (con una norma o criterio, con otras realidades semejantes, consigo mismo a lo largo del tiempo), cada una de las cuales plantea sus propias exigencias y ofrece diferentes posibilidades. El uso de la comparación plantea un problema complicado, que tiene que ver con la justicia de la comparación. El intento de dar respuesta a esa cuestión ha impulsado el desarrollo de técnicas de cálculo del denominado valor añadido.

• Un tercer problema consiste en el excesivo reduccionismo en que a veces se cae cuando se pretende interpretar los resultados de la evaluación. Ese defecto puede venir originado por una excesiva limitación del contenido de las pruebas, que no permite llegar a conclusiones razonables sobre el logro de los objetivos propuestos, o por una interpretación poco rigurosa de los datos, que puede incluso llegar a distorsionar las interpretaciones.

A la vista del análisis que acaba de hacerse de las pruebas nacionales de logros, se llega a la conclusión de que constituyen la práctica de evaluación más habitual en la región, encontrándose bastante asentadas en la actualidad. No obstante, como se ha puesto de manifiesto, presentan algunas deficiencias y problemas que deberán solventarse en el futuro, si se quiere asegurar su credibilidad y se pretende que contribuyan a mejorar la educación.



Extraído de
¿Qué pretendemos evaluar, qué evaluamos y qué conclusiones podemos extraer de la evaluación?
Alejandro Tiana Ferrer
En: Evaluar las evaluaciones
Una mirada política acerca de las evaluaciones de Calidad Educativa
IIPE UNESCO
En la sección “Biblioteca” hay un link hacia el PDF completo

jueves, 27 de junio de 2013

Los resultados de las evaluaciones educativas ante la opinión pública

¿Qué alcance tienen las Evaluaciones de Calidad Educativa? ¿Tiene la población en general una idea cabal de las mismas? ¿Cómo funciona el proceso informativo en la comunidad? ¿Las noticias del contexto educativo tienen el mismo efecto que las del económico o de la salud?


Efectivamente, nos preocupa el desarrollo de las herramientas de evaluación de los sistemas educativos, no solamente ha constituido una operación costosa -tanto en términos de recursos económicos como en materia de esfuerzos y de recursos humanos-, sino que ha resultado ser una opción, aparentemente técnica, de efectos políticos problemáticos.

Hoy se nos pregunta si creemos que las evaluaciones han afectado la inversión pública de los gobiernos en educación, si las evaluaciones conllevan riesgos políticos, etc. Pues bien, de lo que se trata es de preguntarse por qué razones la opinión pública -y/o los medios de prensa- de nuestros países encuentra tantas dificultades para interpretar los resultados de distintas pruebas de evaluación de la calidad educativa de un determinado aspecto del funcionamiento del sistema educativo y, por ejemplo, muchas veces, terminan confundiéndolos con un verdadero diagnóstico general del estado de la educación en nuestros respectivos países.

En efecto, estos son algunos de los problemas que parece acarrear la multiplicidad de evaluaciones de los resultados educativos que hemos llevado a cabo y estamos llevando adelante en los últimos años. Pero, muy en especial, creo que lo que más preocupa es el último de los problemas mencionados. Es decir, el problema que conlleva la dificultad de transmitir a la opinión pública cuál es el verdadero estatuto del resultado de una evaluación y la aparente imposibilidad de que ésta dimensione exactamente su significado, sus alcances y sus reales implicaciones.

Los resultados de las evaluaciones educativas ante la opinión pública
En primer lugar, es necesario señalar que el fenómeno es preocupante porque, en buena medida, la opinión pública parece reaccionar de manera relativamente diferente ante los resultados de las evaluaciones educativas que frente a otro tipo de mediciones. En efecto, en ocasiones, hay mediciones que son portadoras de indicadores de realidades económicas o sociales mucho más trascendentes -y por ello más inquietantes- que la persistencia de una alta tasa de repetición en primer año de Primaria o de la tasa de deserción del segundo ciclo de Enseñanza Media. Sin embargo, es necesario constatar que muy pocas veces las reacciones de los medios y de la opinión pública alcanzan, ante la difusión de distintos tipos de indicadores, la virulencia que suelen adquirir frente a algunos resultados provenientes del sector educativo.

Es así que debemos reconocer que las evaluaciones educativas son relativamente nuevas en el horizonte de la gestión gubernamental. Los estados modernos contemporáneos -y con ello quiero decir, grosso modo, los aparatos estatales concebidos y diseñados después de la Segunda Guerra Mundial- hace tiempo se empeñaron en cuantificar los procesos públicos y privados que tenían lugar en nuestras sociedades. En gran medida esta tendencia está ligada, en un sentido, al proceso de tecnificación de los aparatos estatales y al incremento de la importancia de los medios de comunicación de masas. Cabe simultáneamente destacar, en un segundo sentido, que la tendencia a informar sobre los resultados de la marcha de los principales procesos que se desarrollan en la sociedad está íntimamente vinculada al proceso mismo de consolidación de la democracia.

Esta requiere, de manera regular -y yo diría que inexorablemente-, de un flujo de información continuo hacia los medios para permitir la conformación de ese actor decisivo de todo régimen democrático que es la opinión pública.

Es así que la tasas de inflación, la de desempleo, la desinversión, los niveles de ingreso, el índice de crecimiento o disminución del salario real, etc., son indicadores vinculados a la economía que se publican rutinariamente en todos los medios de prensa de nuestros países sin que ello signifique sorpresa o alerta alguna siempre que se mantengan dentro de los rangos más o menos “esperados” por la opinión pública.

Algo muy similar sucede, por ejemplo, con los indicadores vinculados a la salud pública. Aunque menos concurridos que los indicadores económicos por la curiosidad de los medios de prensa, no es menos cierto que los índices de natalidad, los indicadores de mortalidad infantil, los de desnutrición o los de morbilidad vinculados a determinadas enfermedades o accidentes parecen haber ganado una suerte de carta de ciudadanía entre la opinión pública y se han integrado al lenguaje corriente de nuestras sociedades.

Que lo que estas mediciones indiquen sea “bueno” o “malo” resulta para la opinión pública relevante pero, en algún sentido, no precisamente inquietante si esos resultados están dentro de un rango considerado por ésta como “normal”. Pero, en todo caso, difícilmente el asunto no será más que noticia pasajera y, por lo general, en ninguno de estos procesos las informaciones y mediciones transmitidas a la ciudadanía son generadoras de grandes movimientos de opinión que pretendan poner en cuestión las raíces mismas del sistema económico o las grandes políticas que rigen el sistema de salud pública.

Pero con las evaluaciones de la calidad de la educación las cosas parecen ser, muchas veces, distintas. Si, por alguna razón, el sistema educativo público tiene que informar que las tasas de repetición han subido algún punto porcentual, que el “drop-out” se ha incrementado o que los resultados de las evaluaciones en Matemática deben ser considerados insuficientes, esa información tiene una alta posibilidad de desembocar en una verdadera campaña de prensa acompañada de largos cuestionamientos sobre la política educativa en general, sobre la idoneidad del Ministro de turno, sobre la validez de los datos, sobre la capacidad del cuerpo docente, etc.. Y seguramente, además, nunca estarán ausentes como infaltables anexos, argumentaciones no menos extensas sobre “la crisis” de la educación, los efectos aparentemente devastadores de las nuevas tecnologías de la información globalizada y los problemas más abstrusos de la civilización contemporánea.

Incluso, a contrario sensu, cuando los resultados que arrojan las evaluaciones sobre la calidad educativa resultan ser positivos, las reacciones de los medios y de la opinión pública pueden llegar a ser sorprendentes: la opinión pública parece reaccionar como si los resultados positivos fuesen los “naturalmente esperables” por lo que, de manera explicable, dichos resultados difícilmente constituyen una “noticia” significativa para los medios.


Extraído de:
Encuentros y desencuentros con los procesos de evaluación de la calidad educativa en América Latina
Javier Bonilla Saus
En: Evaluar las evaluaciones
Una mirada política acerca de las evaluaciones de Calidad Educativa
IIPE UNESCO
En la sección “Biblioteca” hay un link hacia el PDF completo

lunes, 17 de junio de 2013

La visión comunicacional de las Evaluaciones de Calidad Educativa


La difusión de los resultados de las Evaluaciones de Calidad Educativa merecen nuestra reflexión, muchas veces son noticias, y como tal, efímeras, y utilizadas con otros fines, lejos del de mejorar la calidad y la equidad. Cabe entonces una pregunta ¿Se están usando los medios adecuados?

 

“Los diarios informan sobre la lista de resultados, las radios llaman a la directora de evaluación, la televisión prepara un programa a la noche y al otro día desapareció”. De este modo, Martín Granovsky describe algo así como el circuito de la evaluación en los medios, la idea de que el tema se vuelve una noticia más, no hay proceso, no hay actores, son sólo resultados. Por su parte, Javier Bonilla Saus agregó: “Las evaluaciones clásicas son generadoras de buenos y malos humores. Difícilmente son generadoras de grandes movimientos de opinión. La publicación de que los índices de repitencia han subido puede desembocar en largos cuestionamientos sobre el ministro, los datos, las políticas educativas, la crisis de la educación, etcétera”.

Como señaló J. J. Brunner, en el Seminario: “Esta claro que la comunicación masiva le ganó a los sociólogos y educadores”. Pareciera ser que el mundo educativo ha perdido el control de ese canal de comunicación y, encima, es el único que está utilizando.

Ahora, ¿por qué el mundo educativo creyó que el tratamiento de esta información iba a ser distinto? ¿Es otro el abordaje que los medios masivos proponen para otras temáticas? ¿Por qué los medios se habrían dejado condicionar por la lógica del pensamiento pedagógico?

La escuela tuvo una cierta centralidad en el comienzo del siglo XX y finales del XIX. Era una institución con capacidad de construir muchos de los discursos que circulaban por la sociedad. Pero esa capacidad ha disminuido, por pérdida de peso propio, pero, también, por la aparición de otras agencias de transmisión de discursos en la sociedad.
La capacidad hegemónica de la escuela se encuentra debilitada, y, por el contrario, es ella la que se ve sometida a otras agencias sociales que le atribuyen sentidos.

Las evaluaciones de calidad siguen un proceso similar al de los indicadores de aumento del costo de vida, del desempleo, del producto bruto. ¿Por qué sería distinto? ¿Acaso esos indicadores no impactan del mismo modo en la vida de los miembros de la comunidad? Ocurre que, en algunos casos, las personas logran construir el relato que “rodea” al indicador estadístico, porque participa de sus vidas en forma cotidiana, como es el caso del índice de desempleo. Pero en la mayoría de los casos un indicador no es más que eso, no es un relato, no es un análisis, sino una síntesis. Es limitada la capacidad que tiene un dato para representar una realidad compleja, para dar cuenta de la multiplicidad de relatos que lo componen, y del conjunto de los matices que le aportan sentido.

Otro de los problemas de la información que aportan los operativos nacionales de evaluación de la calidad, es que no cuentan con el consenso del campo. El indicador que se ha construido no parece contar con el acuerdo del mundo educativo acerca de que expresa una síntesis del estado de la calidad educativa. Los indicadores económicos no generan discusión per se, el debate generado por el índice de variación del costo de vida puede vincularse a las razones de las variaciones, al modo de construcción de la muestra, pero nadie cuestiona al propio índice. Nadie cuestiona el hecho de que mide lo que se propone medir.

Sin duda, una de las deudas en materia de evaluación de la calidad es el consenso acerca del indicador propuesto, las variables y la metodología con la que se construirá el mismo.

Esta discusión se deriva del planteo anterior; respecto de la definición de sentido, es preciso consensuar una definición de calidad antes de empezar a medirla. Ese consenso es lo que el sistema educativo debe volcar al resto de la sociedad, de modo que el mismo sirva como principio de un diálogo y una comunicación con ella. También debe ser discutido el hecho de medir solamente la calidad, más allá del consenso alcanzado acerca de dicho indicador.

Pero definido dicho indicador, cabe la pregunta respecto de si deben ser los medios de comunicación el medio elegido para la transmisión de los resultados, o cuáles resultados deben ser comunicados a través dichos medios. En el Seminario, Juan Carlos Tedesco señaló: “La duda es cuál es el impacto de los medios sobre la educación. La gente, en general, no lee la información escrita sobre educación, la leen los dirigentes políticos.
La gente se apoya mucho en la experiencia concreta y eso explica y da pistas para el diseño de una política educacional. Es preciso reforzar el papel comunicador de la escuela. Los datos no les sirven a los docentes tampoco, tal como están presentados. Los ciudadanos no nos guiamos sólo por información racional”. El aporte de Juan Carlos Tedesco obliga a pensar si se ha elegido el medio más indicado para comunicar los resultados, por su capacidad de llegada, por el tipo de discursos que admite y el modo de procesarlos, por la capacidad de consensuar con los actores el modo de comunicación de los mismos, etcétera. Más aún cuando la televisión, la radio y los periódicos han sido, en algunos casos, los únicos canales elegidos para la transmisión de la información.

Es preciso evaluar si el tipo de comunicación y el modo de organizar los discursos han sido los apropiados. La posibilidad de evaluar modelos de comunicación que no trabajen sobre los paradigmas de la velocidad, inmediatez, impacto, parecen más apropiados para comunicar la información educativa con mayor cuidado. Se trata de encontrar los canales para transmitir relatos, con tiempos y espacios que permitan la reflexión.

Al mismo tiempo, si reunimos el análisis de eficiencia con el de pertinencia, daría la sensación de que el propio sistema puede ser un canal más interesante de comunicación.
En este sentido, no parece un dato irrelevante que no se haya tomado al propio sistema como canal para la comunicación de los resultados.

Pero la reflexión acerca del canal de comunicación obliga a volver al plano de las opciones de sentido. El modo y la vía que se utilizará para comunicar los resultados debe estar vinculado a los objetivos propuestos para los dispositivos de evaluación. Es preciso preguntarse “para qué” antes de definir el “cómo”; la comunicación debe tener capacidad de construir sentido con el propio discurso que se está intentando transmitir, debe existir relación entre los contenidos y el modo de transmitirlos.

Si los objetivos que el sistema se propone pasan por producir cambios en las estrategias de trabajo de los docentes, si se está pensando que los resultados sean un feed back que mejore las estrategias áulicas, las políticas de capacitación, de currículum, y el planeamiento en general, se hace necesario buscar una estrategia en la dirección y la lógica de nuestros destinatarios. Ahora, si lo que se busca es un insumo informativo para un sistema que avance hacia una organización a partir de la demanda, un modo de que la sociedad y los propios padres puedan aumentar la presión sobre la oferta, si la hipótesis es que dicha presión sobre la escuela la obligará a mejorar, los medios masivos pueden ser un canal adecuado.

Pero, sin duda, vuelve a aparecer la demanda por una definición de sentido. Y en el caso de la comunicación, los especialistas del campo le aportan complejidad al debate, obligan a integrar al análisis la elección del canal, el modelo de comunicación, la intencionalidad, tanto como los propios contenidos. Pareciera que los tomadores de decisiones son nuevamente demandados respecto de decisiones de valores y de sentido; así, el debate lleva a la necesidad de que los especialistas encuentren un marco ordenador de su tarea.



Extraído de:
Evaluar las evaluaciones
Gustavo Iaies
En: Evaluar las evaluaciones
Una mirada política acerca de las evaluaciones de Calidad Educativa
IIPE UNESCO
En la sección “Biblioteca” hay un link hacia el PDF completo

viernes, 7 de junio de 2013

Una mirada a los sistemas nacionales de evaluación


La Evaluación Educativa significa una preocupación para los sistemas educativos, aparecen entonces algunas preguntas como ¿Para qué se evalúa? ¿Qué se evalúa? ¿Qué uso se hace de la información recogida?


Conviene que nos preguntemos por las principales características que presentan esos sistemas nacionales de evaluación que tanto auge adquirieron durante la última década. Tres son las preguntas clave que debemos hacernos, que están ligadas respectivamente a otras tantas dimensiones de la evaluación: ¿para qué se evalúa?, ¿qué se evalúa? y ¿qué uso se hace de la información?

a) Una multiplicidad de propósitos
La primera pregunta tiene que ver con los propósitos que orientan la evaluación de la educación. Y anticipando la respuesta, hay que reconocer que los sistemas nacionales de evaluación persiguen una multiplicidad de propósitos, al orientarse hacia la consecución de uno o varios de los siguientes objetivos:

• Ayudar a las escuelas y a los profesores a mejorar la cali dad de la educación que imparten, proporcionándoles una información relevante y significativa que les permita valorar su situación real y sus logros.
• Conocer y valorar en qué medida se están alcanzando los objetivos educativos o los estándares propuestos para los distintos niveles o parcelas del sistema educativo, contribuyendo al mismo tiempo a establecer metas y niveles de referencia.
• Forzar a las instituciones escolares y a los agentes educativos a generar dinámicas de cambio, por medio de la comparación o la competencia.
• Rendir cuentas a la sociedad o a las autoridades educativas acerca de los logros conseguidos, eliminando así la opacidad del sistema educativo y de las instituciones escolares.
• Establecer sistemas de incentivos para las instituciones y para los profesionales de la educación.
• Certificar, acreditar o seleccionar instituciones, programas de estudio, profesores o estudiantes.
• Conocer y valorar la situación del sistema educativo, así como el impacto producido por las políticas adoptadas.
• Introducir elementos de racionalidad en el debate público y en la construcción de políticas en el ámbito de la educación.

Es cierto que estos propósitos no son en todos los casos compatibles entre sí, pero no lo es menos que las políticas nacionales de evaluación seleccionan algunos frente a otros, les conceden distinto énfasis, establecen prioridades entre ellos o los interpretan de diferente manera. Así, por ejemplo, un propósito compartido por muchos, como es el caso de la incentivación del cambio a través de la comparación, no deja de ser objeto de polémica. Mientras que en algunos países ha llevado, por ejemplo, a la publicación de listas de clasificación de escuelas o universidades, con el ánimo de forzar una competencia abierta por conseguir más estudiantes o más recursos, en otros se ha rechazado frontalmente esa posibilidad y se han establecido mecanismos de confidencialidad de los datos que impiden ese tipo de uso, aunque permitiendo beneficiarse de la comparación. Como puede apreciarse, un mismo propósito puede inspirar políticas muy diferentes.

b) Una diversidad de actuaciones
La segunda pregunta tiene que ver con la actividad desarrollada por los sistemas nacionales de evaluación. Y también en este caso hay que anticipar la existencia de una considerable diversidad de modalidades de actuación, referidas a su vez a distintos ámbitos educativos. Entre los principales aspectos que son objeto de evaluación en la actualidad, hay que destacar cuatro campos prioritarios:

• Un primer campo que es objeto de considerable atención se refiere a la evaluación de los logros conseguidos por los alumnos. Muchas de las actividades desarrolladas en la actualidad por los sistemas nacionales de evaluación, y sin duda las más importantes de entre ellas, están orientadas a la valoración de los resultados de la educación, medidos a través de los logros que consiguen los estudiantes. En la mayoría de los casos, esas actuaciones se centran en algunas áreas curriculares seleccionadas, especialmente las que se consideran fundamentales para la formación de los jóvenes (Lenguaje, Matemáticas, Ciencias, Historia). A veces se complementan con la evaluación de los logros conseguidos en otros ámbitos de la formación escolar, como la educación cívica, el dominio de las tecnologías de la información y la comunicación o las estrategias de aprendizaje. Las evaluaciones suelen estar referidas a etapas o momentos clave del proceso educativo, tales como el tránsito de una etapa a otra o el final de la escolarización obligatoria o de un determinado nivel de estudios. En ocasiones se evalúa a la totalidad de los estudiantes de los grados seleccionados, mientras que otras veces se trabaja solamente con muestras representativas. En cualquier caso, es ésta una línea de actuación prioritaria para los sistemas nacionales de evaluación.

• Un segundo campo que también atrae considerable atención se refiere al rendimiento que logran las instituciones educativas. El interés que ha generado la apertura de la “caja negra” que constituyen las instituciones ha estimu lado el desarrollo de diversos programas orientados a su evaluación. Tanto las escuelas primarias y secundarias como las universidades han sido el objetivo prioritario de muchos planes de evaluación y de acreditación puestos en marcha en diversos países latinoamericanos. Esos planes de evaluación tienen características heterogéneas, pero suelen coincidir en conceder una atención especial a los resultados conseguidos por los estudiantes, aunque sin dejar generalmente de lado el análisis de la organización y el funcionamiento de la institución de que se trata.

• Un tercer campo que ha ido desarrollándose recientemente, si bien con mayores dificultades que los dos anteriores, es el relativo al desempeño profesional de los docentes. La convicción de que la actuación de los profesores está en la base de los resultados conseguidos por los estudiantes, aunque no sea su único determinante, ha generado un conjunto de actuaciones de diverso tipo, entre las que también se cuentan algunos programas de evaluación. Se trata de acciones que no han dejado de generar cierta polémica, tanto por sus características técnicas como por el tipo de uso que se hace de la información obtenida. En muchos casos, quizás en la mayoría, se ha optado por utilizar la evaluación docente en el marco de planes de incentivos profesionales, eludiendo sus aspectos más punitivos, pero en otros casos la evaluación se ha utilizado como instrumento de selección o de promoción profesional, o incluso se ha asociado con mejoras salariales o laborales.

• Un cuarto campo que también ha atraído el interés de los sistemas de evaluación se refiere al impacto de las políticas educativas adoptadas. En un contexto de reformas educativas, como las impulsadas en la región durante los ‘90, no es extraño que se haya planteado abiertamente la pregunta acerca de los efectos y el impacto de los procesos de cambio iniciados y de las medidas adoptadas. Desde esta perspectiva, han coexistido dos tendencias que deben diferenciarse, aunque ninguna de ellas haya llegado a atraer tanta atención como las arriba mencionadas. La primera se refiere a la evaluación de los programas más emblemáticos de los procesos de reforma, los denominados “programas estrella”, aquellos en que las autoridades educativas han realizado una mayor inversión y depositado mayores esperanzas. La segunda se refiere a la evaluación de los propios procesos de reforma, con la pretensión de establecer un mecanismo de seguimiento sistemático de sus efectos. Pese a la limitada experiencia desarrollada en ambas direcciones, no cabe duda de que se trata de un campo llamado a experimentar un mayor desarrollo en el futuro próximo.

Aunque los cuatro campos mencionados no agotan la totalidad de los ámbitos abarcados por los sistemas nacionales de evaluación, no cabe duda de que se trata de los más destacados y los que han experimentado un mayor empuje. Nuevamente hay que insistir en que no todos ellos han sido desarrollados en todos los países, ni del mismo modo, ni con la misma energía, pero sí puede afirmarse que son objeto de atención especial por parte de los sistemas nacionales de evaluación.

c) Una pluralidad de usos
La tercera pregunta tiene que ver con el tipo de uso que se hace de la información obtenida por medio de la evaluación. Y al igual que en los dos casos anteriores, también hay que reconocer la existencia de una pluralidad de situaciones. Intentando analizar los usos más habituales de los resultados de la evaluación, podemos distinguir cinco tendencias predominantes:

• Una primera tendencia consiste, por paradójico que pueda resultar, en la renuncia a hacer uso de la información obtenida. Aunque no resulte muy justificable, ni desde el punto de vista de la eficacia administrativa, ni desde la perspectiva de la transparencia, ni menos aún desde las exigencias del comportamiento político democrático, hay que reconocer que existen casos en que los resultados de la evaluación no son publicados, ni difundidos, ni apenas utilizados.
• Una segunda tendencia, que es la más habitual, consiste en la elaboración y difusión de informes de evaluación. Los informes pueden ser de diverso tipo, tener una cobertura variable (nacional, regional, sectorial) y estar dirigidos a audiencias distintas (familias, profesores, autoridades educativas, investigadores y técnicos, etc.), llegando incluso a adoptar formatos diferentes. Lo importante en este caso no son las características concretas de los informes, que pueden ser de hecho muy diferentes, sino la confianza subyacente en que la difusión pública de los resultados puede satisfacer las demandas de información planteadas por los diversos agentes educativos. En algunos casos se han diseñado y aplicado estrategias bastante completas de difusión, logrando un impacto social y mediático importante.
• Una tercera tendencia consiste en la devolución confidencial de resultados a las instituciones participantes en la evaluación, con el propósito de que puedan utilizar los datos recibidos para elaborar sus propios planes de mejora, sin verse necesariamente expuestas al escrutinio público. Los modos concretos que puede adoptar esa devolución son muy variables, pero lo que caracteriza esa modalidad de actuación es su confianza en el valor intrínseco que encierra la comparación y en la capacidad de reflexión y de mejora que tienen las instituciones y los agentes de la educación cuando se enfrentan con su propia realidad.
• Una cuarta tendencia, no excesivamente habitual y desde luego controvertida, consiste en la publicación de los resultados obtenidos, en forma de tablas de clasificación. En algunos casos la publicación se realiza por los responsables de la evaluación, mientras que en otras ocasiones se permite o incluso se favorece que sean otros agentes (prensa, investigadores) quienes publiquen la información. Este tipo de uso resulta más amenazador para las instituciones educativas que los anteriores, motivo por el cual ha recibido críticas y generado resistencias.
• Una quinta tendencia consiste en la utilización de los resultados de la evaluación para proporcionar orientación pedagógica a instituciones y profesores. Este tipo de uso de la información obtenida a través de la evaluación adopta dos modalidades distintas. En primer lugar, son varios los sistemas nacionales que han elaborado instrumentos tales como cuadernillos de asesoramiento a los profesores, en los que se analizan las respuestas correctas de las pruebas, así como los errores más habituales que suelen producir los estudiantes, y se finaliza ofreciendo sugerencias didácticas más o menos concretas. En segundo lugar, aunque sea de forma más esporádica, también se han desar rollado acciones de orientación para instituciones determinadas, ayudándolas a elaborar sus propios planes de mejora, y se han incluido análisis de los resultados de la evaluación en programas de formación docente. Este tipo de uso, que es menos tradicional que la difusión de informes, está recibiendo una atención creciente por parte de diversas administraciones educativas.

Igual que sucedía en los epígrafes anteriores, también hay que decir aquí que los usos mencionados no son necesariamente excluyentes, sino que son cada vez más las administraciones educativas que los combinan en distintos modos. Es cierto que algunos de ellos resultan contrapuestos, como puede ser la alternativa existente entre la publicación de los resultados de las escuelas y la entrega confidencial de los datos, pero no siempre es el caso. De hecho, la combinación de la publicación de informes, la devolución de resultados a las instituciones participantes en la evaluación y la elaboración de instrumentos de orientación didáctica constituye una realidad bastante extendida en los países de la región.

A la vista de la situación que se acaba de exponer cabe extraer una primera conclusión, consistente en que los sistemas nacionales de evaluación de la región latinoamericana no recurren a estrategias de acción uniformes ni adoptan enfoques de evaluación idénticos. Y esta conclusión no es sólo una confirmación de los hechos que se han presentado, sino que se debe incluso considerar lógico que exista tal variedad. En efecto, si aceptamos la existencia de una multiplicidad de propósitos, una diversidad de actuaciones y una pluralidad de usos, debemos aceptar la diversidad interna de los sistemas de evaluación. Serán precisamente los propósitos concretos que se persigan, los estilos de actuación que se adopten y los usos que se prefieran, los que determinarán las características del sistema de evaluación.





Extraído de
¿Qué pretendemos evaluar, qué evaluamos y qué conclusiones podemos extraer de la evaluación?
Alejandro Tiana Ferrer
En: Evaluar las evaluaciones
Una mirada política acerca de las evaluaciones de Calidad Educativa
IIPE UNESCO
En la sección “Biblioteca” hay un link hacia el PDF completo

martes, 28 de mayo de 2013

PISA en el área de Ciencias

Las pruebas de rendimiento académico PISA abarcan las áreas de Matemática, Comprensión Lectora y Ciencias. En esta publicación nos ocuparemos de esta última ¿Qué entiende por “formación científica”? ¿Cómo considera la “competencia en Ciencias”? ¿Qué evalúa esta prueba?


Como es conocido, el modelo de evaluación comparativa de PISA se caracteriza por ser muestral (estudiantes de 15 años) y cíclico (trienal), a través de tres áreas principales de evaluación: Lectura (2000), Matemáticas (2003) y Ciencias (2006). Bajo este modelo, la prueba está diseñada para conocer las habilidades de los estudiantes para analizar y resolver problemas, tratando de ofrecer un perfil de las capacidades de los estudiantes de quince años de todos los países donde se aplica. Por otra parte, aunque PISA reconoce en sus fundamentos su pretensión de incidir en las políticas educativas, no debemos olvidar que también reconoce no estar ligado al currículum ni a planes de estudios específicos. Lo que pretende PISA, en definitiva, es evaluar ‘competencias’, cuya aproximación empírica en el área de Ciencias se realiza interrogando a los estudiantes sobre su capacidad para identificar cuestiones científicas, explicar fenómenos científicamente y utilizar las pruebas científicas. En este sentido, desde los fundamentos teóricos de PISA en el área de Ciencias, destaca el enfoque de evaluación en torno a la ‘aplicación’ del conocimiento versus a la ‘memorización de conceptos’).


Cabe destacarse que, en el área de Ciencias, PISA muestra una aparente evolución en su fundamentación teórica desde el año 2000, en la que se hablaba de “formación científica” sin alusión al concepto de “competencia” (OCDE, 2002). Posteriormente, tras el Informe de DeSeCo (2002), en PISA-2003, se empieza a abordar la noción de “competencia científica”, aunque en los mismos términos que en el año 2000, es decir, como un sumatorio de conocimientos, procesos y situaciones o contextos (personal, público y global) (OCDE, 2004). Finalmente, en el 2006, año específico de evaluación en el área de Ciencias, se introduce el concepto de “competencia científica” aplicado a un individuo concreto, manteniendo el objetivo de evaluar ‘conocimiento’ (conceptos) y ‘aplicación del mismo’ a una situación o contexto (capacidades) y añadiendo, como única novedad, la ‘disposición’ (actitud) del alumnado hacia las pruebas y el conocimiento científico (OCDE, 2006).


De este modo, PISA-2006 trata de poner de manifiesto las competencias científicas a través del dominio de los procedimientos científicos que están en la base de las preguntas, la comprensión de las capacidades que están presentes en su resolución y la valoración de las actitudes que presenta el alumnado hacia la ciencia actual. Así, PISA evalúa el conocimiento científico a través de tres dimensiones:

a) Los procesos o destrezas científicas;

b) Los conceptos y contenidos científicos; y

c) El contexto en que se aplica el conocimiento científico.


Por otra parte, PISA identifica cinco procesos científicos:

Reconocer cuestiones científicamente investigables;

identificar las evidencias necesarias en una investigación científica;

extraer o evaluar conclusiones; comunicar conclusiones válidas;

demostrar la comprensión de conceptos científicos en determinadas situaciones.


Estos procesos científicos se organizan en tres grupos de competencias según el tipo de capacidad de pensamiento predominante que se requiere para resolver las preguntas que se presentan:

a) Descripción, explicación y predicción de fenómenos científicos;

b) Comprensión de la investigación científica; y

c) Interpretación de evidencias y conclusiones científicas.


Esta compartimentación de la competencia en áreas y capacidades, que finalmente son las que pretende evaluar PISA, supone, a nuestro juicio, un distanciamiento de la concepción holística del concepto de competencia definido por DeSeCo, siendo difícil entender que este sistema analítico evalúe la competencia científica como la define PISA: “La capacidad de emplear el conocimiento científico para identificar preguntas y extraer conclusiones basadas en hechos, con el fin de comprender y poder tomar decisiones sobre el mundo natural y sobre los cambios que ha producido en él la actividad humana” (OCDE, 2006).





Extraído de
Gallardo-Gil, Monsalud; Fernández-Navas, Manuel; Sepúlveda-Ruiz, María-Pilar; Serván, María-José; Yus, Rafael & Barquín, Javier (2010).
PISA y la competencia científica: Un análisis de las pruebas de PISA en el Área de Ciencias. RELIEVE, v. 16, n. 2, p. 1-17. http://www.uv.es/RELIEVE/v16n2/RELIEVEv16n2_6.htm

sábado, 18 de mayo de 2013

Los principios y criterios que han de sostener la evaluación de la calidad de la educación

¿Qué aspectos son relevantes en una evaluación de calidad educativa? ¿Qué principios deben ser tomados en cuenta? ¿Cómo favorecer el principio de “inclusividad”? ¿Qué aspectos del desarrollo de los estudiantes hay que tener en cuenta?



Frente a la trascendencia de la tarea, la pregunta es: ¿por dónde empezar? Siendo coherentes con el sentido y propósito de la educación en tanto derecho humano y de la necesaria calidad que ha de tener, los sistemas de evaluación han de asumir, en primer lugar, la relevancia de poder acceder a la educación desde edades tempranas y permanecer en ella al menos hasta integrarse al mundo del trabajo en condiciones de igualdad. En segundo lugar, una evaluación que considere el derecho de todos y cada uno de los estudiantes a ser evaluados y recibir los resultados, es decir, superar la mirada sobre el rendimiento o aprendizaje promedio para ocuparse de la diversidad social y cultural general. Un tercer aspecto urgente de considerar es la integralidad del desarrollo de los sujetos, siendo central el potenciar y fortalecer el avance cognitivo de los mismos, en tanto dimensión fundamental que asegura el acceso al conocimiento, así como el desarrollo de las destrezas y habilidades para su apropiación y uso, sin postergar las dimensiones valor, ética y socio-afectiva implicadas en la formación integral de los sujetos que una educación de calidad ha de promover y asegurarse de que a todos alcancen.

La evaluación de la educación bajo el principio del aprendizaje a lo largo de toda la vida
Considerando que la educación es una tarea a desarrollarse a lo largo de toda la vida, la evaluación no puede centrarse en una sola etapa, por muy importante que esta sea para la formación de las personas. De esta forma, parece necesario que los sistemas de evaluación de la calidad de la educación consideren aquellos otros sistemas educativos alternativos a los escolares formales, al mismo tiempo que aborden no solo las etapas obligatorias en la trayectoria formativa de los sujetos sino también aquellas anteriores y posteriores, pero igualmente relevantes en dicho recorrido. Es decir, es preciso desarrollar sistemas de evaluación coherentes con el principio de aprendizaje a lo largo de la vida.

La educación en la etapa preescolar muestra que los niños que acceden a ella llegan mejor preparados para enfrentar los procesos y desafíos escolares del sistema formal obligatorio que aquellos que no la tienen. En efecto, la etapa del desarrollo que va desde el nacimiento hasta los 6 ó 7 años es considerada, desde la biología y las ciencias cognitivas, como el período más significativo en la formación del individuo; por ello, no resulta casual que la asistencia a la educación preescolar sea una variable de alta significación en la explicación del éxito escolar en los primeros años de educación básica. Esta experiencia formativa formal a edad temprana permite al niño desarrollar habilidades y conceptos básicos como la ampliación y manejo de nuevo vocabulario, comunicación oral y expresiva, desarrollo del pensamiento lógico, orientación espacial y desarrollo de la motricidad, entre otros, necesarios para un mejor aprovechamiento de su trayectoria escolar.

En el caso de los niños de familias pobres y vulnerables, esta educación preescolar cobra aun mayor relevancia, ya que contrapesa las condiciones desfavorables que pueden darse en sus familias, tales como bajo capital cultural y social (poca escolaridad de los padres, pobreza de lenguaje, códigos restringidos, redes sociales insuficientes, etc.), limitaciones en el acceso y uso de recursos educativos y falta de ambientes favorables para la formación y el aprendizaje. Así, el poder acceder a una educación preescolar ha mostrado ser efectivo para contrarrestar el fracaso escolar en los primeros años de la enseñanza básica.

Del mismo modo, en esta etapa la relación con otros, aparte de la familia, favorece el desarrollo y fortalecimiento de la autoestima en sus diferentes dimensiones. Durante los primeros años de vida los niños aprenden a experimentar el sentido y significado de la confianza y la aceptación básica de su propio valor; las competencias; la capacidad de enfrentar problemas y desafíos; el sentimiento de pertenencia que implica sentirse aceptado y formar parte de grupos de personas con las cuales se relaciona; la visión y aceptación de lo que él es y la idea que se forma sobre sí mismo, sobre el sentido de la vida y el lugar que él ocupa en ella. Resulta relevante entonces poder evaluar cuáles son las características y condiciones de una buena educación preescolar, así como la accesibilidad y disponibilidad de espacios en donde esto ocurra.

Por otra parte, la alta tasa de deserción escolar en la región, que afecta principalmente a los más pobres y vulnerables, deja un alto número de niños y jóvenes sin la posibilidad de acceder al conocimiento y con pocas oportunidades de movilidad social, truncando su desarrollo personal y ciudadano. Cobra así especial relevancia la existencia de espacios y alternativas no formales para la recuperación y reinserción de los estudiantes que abandonan el sistema formal. La no existencia de estos espacios, tanto como su falta de pertinencia y relevancia, favorecen la anomia social y refuerza los circuitos de marginalidad y exclusión social.

Con ofertas alternativas adecuadas es posible que los niños y jóvenes desarrollen proyectos de identidad personal y laboral basados en la adquisición de capacidades y competencias que no alcanzaron en el sistema formal y que resultan indispensables para la incorporación y el funcionamiento en la sociedad y el mundo moderno. Desde allí entonces que se requiera contar con sistemas de evaluación que den cuenta de las condiciones y procesos que se ofrecen, tanto desde los propios sistemas como de organismos no gubernamentales, tendientes a reinsertar a los desertores como a ofrecerles una educación y capacitación alternativa.

Por último, tan relevante como concluir la educación obligatoria es contar con la posibilidad de una formación y actualización permanente para todos, no solo por su implicancia en la continuidad de estudios superiores (técnicos-universitarios) sino para asegurar un acceso seguro a la generación del conocimiento, tanto tecnológico como científico, necesario para lograr reorientar e innovar en el ámbito laboral de acuerdo con los nuevos desafíos y demandas propios del desarrollo y el cambio sociocultural. Es por ello fundamental que los sistemas de evaluación de la calidad integren las ofertas y espacios de formación permanente para dar cuenta de la pertinencia y utilidad de la formación de adultos.

De la evaluación de la mayoría a la evaluación de todos
Un segundo aspecto ineludible de abordar desde la evaluación de la calidad de la educación es la consideración y reconocimiento de la diversidad social y cultural de los estudiantes, de manera de generar instrumentos y estrategias pertinentes que permitan evaluar el desarrollo y desempeño adecuado de todos. Esto supone dar importantes pasos que hagan posible el tránsito desde sistemas nacionales de evaluación diseñados para la mayoría de los estudiantes hacia sistemas que asuman y sean capaces de dar cuenta de la diversidad y heterogeneidad de los niños y jóvenes, en tanto colectivos con identidades, lenguas, universos simbólicos, recursos y necesidades propias. Se requiere de evaluaciones que muestren y reflejen el desarrollo y aprendizaje de mujeres y hombres con diferentes capacidades, de estudiantes de distintos niveles socioeconómicos provenientes de variados contextos y zonas geográficas, pertenecientes a diversos grupos étnicos, o inmigrantes, entre otros, para poder dar mayor relevancia y pertinencia a la educación que estos grupos y colectivos necesitan.

Hablamos de una perspectiva evaluativa capaz de hacer emerger lo diverso y distinto de los estudiantes para, desde allí, emitir juicios válidos y pertinentes respecto de lo que ellos logran en su proceso educativo, tanto como los factores o condiciones que lo explican. Desde este enfoque, le corresponde a la evaluación responder, por ejemplo, por el tipo y relevancia de las capacidades y competencias que la escuela logra desarrollar en las diversas poblaciones estudiantiles; por el aporte que tiene la enseñanza a partir de la lengua materna; en la adquisición de habilidades y capacidades; en la comunicación oral y escrita de la lengua dominante; por las implicancias de la educación en el desarrollo socio-afectivo o la convivencia democrática de sus comunidades y estudiantes.

En otras palabras, la evaluación ha de contribuir a la mejora los niveles de inclusividad de la educación, facilitando la construcción de estrategias para que todos puedan desarrollarse plenamente a partir de sus capacidades, saberes previos, intereses y necesidades. La justicia educativa y su calidad también se deberán medir por la capacidad de los sistemas escolares de incorporar y potenciar a todos los niños y jóvenes.

La evaluación del desarrollo integral de los estudiantes
Desde el consenso social que entrega a la educación la misión y finalidad de lograr el pleno desarrollo del ser humano en tanto sujeto y ciudadano, se espera que ella fortalezca y potencie no solo las capacidades y habilidades cognitivas, sino que también se haga cargo de la dimensión socio-afectiva, ciudadana y moral de los estudiantes, promoviendo la dignidad humana a través del respeto de los derechos y libertades fundamentales, en un clima democrático potenciador de valores y principios de paz y de justicia social.

Sin duda, es relevante dar cuenta de los logros de los estudiantes en términos de la posibilidad de expresar y comunicarse, acceder y usar la información, desarrollar el pensamiento lógico, explorar y explicar fenómenos, entre otras facultades que se potencian con la enseñanza de la lengua y la matemática. Pero es igualmente relevante analizar y emitir juicios fundados respecto del aporte de la educación al desarrollo de actitudes, disposiciones y comportamientos relacionados con el conocimiento de sí mismo, las emociones propias y las de los demás, las normas y principios que orientan una buena comunicación y crean relaciones de convivencia armónicas y propositivas. En esta mirada integral han de estar presentes, con igual fuerza, los principios y criterios ofrecidos y adquiridos para la toma de decisiones que tienen que ver con respuestas éticas que hacen posible el respeto y valoración por el otro y la diversidad, así como la capacidad de proyectar y promover una sociedad justa e inclusiva.

Dos aspectos a considerar en este desafío para la evaluación: la necesaria consideración de todas las dimensiones implicadas en el desarrollo integral de los sujetos y su abordaje en tanto dimensiones completamente interrelacionadas, que se nutren y se construyen en un permanente diálogo. La evaluación tiene gran poder en orientar y presionar a los sistemas, escuelas y actores en función de aquello que será evaluado. Efectivamente, uno de los efectos perversos de la evaluación es que parece que solo es importante aquello que se evalúa, de tal forma que muchos docentes están centrando la formación en la enseñanza de la matemática o la lengua, olvidando que el desarrollo socio-afectivo y ético es tan importante como el cognitivo, y de hecho lo favorece.

Por su parte, aun cuando la escuela no señala ni organiza la enseñanza y el aprendizaje de estas dimensiones, como sí lo hace con los saberes formales, siempre incide y las afecta significativamente, siendo muy poco lo que se sabe al respecto. De esta manera, las consecuencias que la educación y la escuela tienen en estas dimensiones quedan sumergidas o ignoradas y, por consiguiente, no se conoce qué es lo que ella debe mejorar para realmente desarrollar integralmente a los sujetos.



Extraído de
Retos en la evaluación de la calidad de la educación en América Latina
Autores
F. Javier Murillo
Profesor Titular en Métodos de Investigación y Evaluación en Educación, Universidad Autónoma de Madrid, España.
Marcela Román
Investigadora principal del Centro de Investigación y Desarrollo de la Educación (cide), Universidad Alberto Hurtado, Chile.

miércoles, 8 de mayo de 2013

Retos en la evaluación de la calidad de la educación en América Latina

A pesar de no existir unanimidad sobre el sentido de “Calidad Educativa”, se multiplican los esfuerzos por medirla, generando gran cantidad de información ¿Esto ayuda a la mejora? ¿O la obstaculiza?  ¿Son coincidentes los aspectos evaluados con la idea de Calidad Educativa sostenida? ¿Es confiable la información obtenida de las pruebas? ¿Qué enfoque darle a las evaluaciones?



No sería demasiado arriesgado afirmar que uno de los elementos que están caracterizando la educación en todo el mundo, en estos primeros años del siglo XXI, es el énfasis puesto en los sistemas de evaluación de la calidad. De esta forma, prácticamente en la totalidad de los países de América Latina existen centros, unidades, institutos o departamentos ligados a los ministerios de educación, destinados a evaluar la calidad de la educación de sus sistemas. Es así que las evaluaciones internacionales, nacionales o regionales se multiplican constantemente.

Todo ello está generando gran cantidad de información, que aún queda por demostrar si realmente contribuye a optimizar la calidad de la educación y a reducir las inequidades existentes en los sistemas educativos, cuando incluso puede estar, en algunos casos, ayudando a impedir progresos en los mismos. Así, si antes afirmábamos que no hay mejora sin evaluación, ahora estamos convencidos de que la evaluación puede ser el mayor obstáculo para el avance.

Un hecho especialmente llamativo es que, hace ya tiempo, los sistemas educativos de los distintos países de América Latina se hallan en tensión por el grave desencuentro entre las acciones que se toman en la esfera de la evaluación de la calidad de la educación y el concepto que de esta se tiene. Esta tensión se ve reflejada en la fragmentación y reducción de los ámbitos de calidad evaluados y la cada vez mayor integralidad exigida y demandada al concepto de calidad educativa a lograr.

Efectivamente, mientras el concepto de calidad educativa concita una adhesión mayoritaria y creciente por asumirlo y comprenderlo en tanto referente que ha de atender los aspectos cognitivos, expresivos, ciudadanos y valóricos necesarios para el desarrollo integral de los seres humanos, los sistemas nacionales de evaluación permanecen atrapados en una conceptualización de la calidad que se reduce y limita a dar cuenta del desempeño de los estudiantes en áreas curriculares claves, tales como lengua, matemáticas, ciencias y ciencias sociales.

Así, frente a la imperiosa necesidad de generar condiciones y recursos para que las escuelas ofrezcan una educación integral acorde a las necesidades de un pleno desarrollo e inclusión social, las sistemáticas y generalizadas evaluaciones nacionales entregan poderosas señales que hacen del logro cognitivo lo prioritario e importante de medir y monitorear en el campo educativo formal. Más aún, se ha responsabilizado a los sistemas nacionales de evaluación de haber privilegiado un concepto de calidad restringido a ciertas disciplinas y estándares que difícilmente pueden cumplir las escuelas que atienden a los sectores pobres, pudiendo incluso incentivar la selección y exclusión para contar con los mejores estudiantes.

Las críticas a esta fragmentación y reducción de la calidad educativa por parte de las evaluaciones nacionales estandarizadas se ven incrementadas por la desconfianza y dudas respecto de la utilidad de la información que ellas generan, la confiabilidad y validez de las pruebas utilizadas, los criterios de medición y la falta de consideración de la diversidad social y cultural del país en el que se aplican, entre otros elementos. Una de las más duras críticas es, sin duda, aquella que sostiene que las mediciones nacionales y las comparaciones internacionales terminan legitimando diferencias que, en lugar de dar cuenta de desigualdad en los procesos educativos, aluden al origen social de los niños.

Punto de partida: Un enfoque global e integral de la evaluación de la calidad
Evaluar la calidad de la educación exige un enfoque global e integral (Tiana), acorde a la complejidad y finalidad del objeto de dicha evaluación. Efectivamente, una adecuada evaluación de la calidad de la educación requiere una perspectiva desde la cual la valoración de sus componentes esté interrelacionada y se asuma la interdependencia que existe entre dichos componentes. La evaluación desde esa mirada exige hacer un juicio de valor sobre cómo se desarrolla y qué resultados genera el conjunto del sistema educativo y sus componentes; es decir, desde la estructura, organización y financiamiento; el currículo y su desarrollo; el funcionamiento de las escuelas; el desempeño de los docentes; lo que aprenden los estudiantes en el aula y sus consecuencias en el acceso a oportunidades futuras y movilidad social. Requiere un juicio de valor que alimente la toma de decisiones dirigida a la mejora de los niveles de calidad y equidad de la educación y lo haga a partir de una adecuada lectura y análisis macro y micro, así como desde los propios actores del escenario educativo.

Esta perspectiva se basa, igualmente, en el reconocimiento de que la educación es una tarea compartida y desarrollada en un sistema que implica interacciones entre diferentes actores, contextos y organizaciones. Hoy se apuesta por sistemas integrales e integrados de evaluación que incluyan y articulen la evaluación de los diferentes componentes del sistema, tales como la evaluación de alumnos, docentes, directores, escuelas, programas y las administraciones educativas (orealc-unesco, 2007). De esta forma, no es posible considerar a los estudiantes sin pensar en sus docentes, en las escuelas, en los programas educativos, en la administración y en el sistema educativo como un todo indisoluble.

Con excesiva frecuencia se ha evaluado la calidad educativa desde una perspectiva claramente reduccionista, mediante la aplicación de pruebas de rendimiento acompañadas, en algunos casos, por cuestionarios que buscan recoger alguna información de contexto. Sin desconocer la utilidad de esa propuesta, parece claro que tal planteamiento significa restringir un término tan rico y complejo a una sola de sus dimensiones.

De esta forma, para mejorar la calidad de la oferta educativa y distribuirla de manera justa, no basta con la aplicación de buenas evaluaciones aisladas. Se requiere que estas dialoguen entre sí y formen parte de un mismo proceso de análisis, reflexión y proyección de lo hecho y necesario por hacer, desafío que, centrándose en el campo educativo, se inserta en una visión de cambio de la sociedad en su conjunto.

Una rápida mirada por los países de la región permite identificar una serie de acciones, procesos y estrategias más o menos institucionalizada, desarrollada por los sistemas de evaluación que han abordado algunos de los distintos componentes, casi siempre de manera aislada del resto.

En la actualidad se han desarrollado en la totalidad de países de América Latina buenas experiencias de evaluaciones nacionales centradas en el aprendizaje de los alumnos. La mayoría se inicia en la década de los noventa o pocos años antes y dan cuenta del rendimiento de los estudiantes de educación primaria y secundaria en lengua y matemática, sectores de aprendizajes esenciales para el acceso al conocimiento, manejo y apropiación de códigos culturales básicos que posibilitan la inclusión en las sociedades. En los últimos años, varios países han incorporado la evaluación del desempeño en ciencias de la naturaleza, ciencias sociales y, en algunos pocos casos, se está evaluando también aspectos del desarrollo cognitivo y afectivo de los estudiantes.

En la mayoría de los países se han desarrollado sistemas de evaluación externa del desempeño docente, normalmente con repercusiones en el escalafón docente o en el salario. Sin embargo, estas aparecen aisladas de la evaluación de otros componentes del sistema, especialmente de la evaluación de las escuelas, relación que parece imprescindible para conseguir una evaluación equitativa y justa.

Dentro de la producción de conocimiento de la última década sobre equidad y calidad de los sistemas escolares, resalta el componente relativo al perfeccionamiento y gestión de los recursos humanos, en particular, de los profesores y, más recientemente, de los directores de centros educacionales. A pesar de lo evidenciado por distintas investigaciones e intervenciones en relación con el peso que adquiere la función directiva en la cultura escolar, en la calidad del trabajo docente, en la generación de mayores expectativas y eficacia de los establecimientos y, por ende, en el rendimiento escolar, el análisis y la evaluación del desempeño de los directores han estado postergados en casi toda América Latina por cerca de dos décadas de reforma educativa.

Aisladas y menos frecuentes son las iniciativas de evaluación de escuelas, tanto de carácter externo como experiencias de heteroevaluación, impulsadas por las administraciones educativas que consideren su complejidad institucional en sus múltiples dimensiones: gestión escolar, procesos de enseñanza-aprendizaje, vínculos con la comunidad y la familia, resultados y logros de sus estudiantes, gestión de la convivencia y el clima, uso de recursos, infraestructura y equipamiento, entre otros.

No hay experiencias de evaluación de la propia administración educativa y de sus servicios, tales como: distribución y uso de recursos humanos y materiales diferenciados según necesidades institucionales, selección y contratación de recursos humanos, efectos y consecuencias de los programas educativos implementados, ofertas de formación continua pertinentes, sistemas de supervisión y apoyo a los establecimientos, entre otros.

Considerando lo anterior y la necesidad de evaluar la calidad educativa desde la perspectiva señalada, resulta ineludible contar con sistemas de evaluación integrados que consideren, como ya se dijo, los diferentes componentes del sistema educativo y cuya evaluación permita que estos se apoyen y retroalimenten. Esto no significa, por ejemplo, que los resultados de la evaluación de los alumnos deben ser la base de la evaluación de los docentes, a la vez que la de los directores. La evaluación de los distintos componentes (alumnos, docentes, directores y otros profesionales, instituciones, programas y administraciones educativas) tiene sus propios objetivos, metodología y repercusiones diferenciadas. Sin embargo, para que la información generada sea útil y oportuna para la toma de decisiones y optimice la calidad de la educación de los sistemas, debe ser analizada y considerada como parte de un todo y no de manera aislada.



Extraído de
Retos en la evaluación de la calidad de la educación en América Latina
Autores
F. Javier Murillo
Profesor Titular en Métodos de Investigación y Evaluación en Educación, Universidad Autónoma de Madrid, España.
Marcela Román
Investigadora principal del Centro de Investigación y Desarrollo de la Educación (cide), Universidad Alberto Hurtado, Chile.

Related Posts Plugin for WordPress, Blogger...

Busca en mis sitios