martes, 18 de septiembre de 2012

Uso de los resultados para diseñar planes de mejoramiento escolar


Las evaluaciones estandarizadas no son “El momento de la verdad sobre Calidad Educativa”, pero pueden ser una fuente de consulta en todos los niveles, tal como se señala en el siguiente artículo, también en el nivel de decisión política.





Es parte de un discurso común asumir que las evaluaciones a gran escala - como tantos otros componentes de la reforma educativa - tendrán un impacto en los logros de aprendizaje solamente si sirven para generar cambios positivos la escuela y el aula. Esto, se piensa, puede lograrse a través de presiones o incentivos a los docentes y estudiantes mediante el establecimiento de altas implicancias para los resultados de las pruebas. Otros plantean que esto puede lograrse mediante una asignación apropiada de recursos, lo que ha demostrado tener un impacto sobre el rendimiento estudiantil. Tal sería el caso de los programas o intervenciones a gran escala discutidas previamente. Pero los resultados diferenciados alcanzados por varios grupos hacia los que esas intervenciones apuntan, de un lado, o la adhesión a perspectivas organizacionales o institucionales particulares sobre el cambio social, de otro, han llevado a muchos actores - incluso antes de que hubiera evidencia disponible - a sostener que las rutas más productivas a través de las cuales se puede afectar el aprendizaje estudiantil es proveyendo información para el diseño e implementación de estrategias de mejoramiento escolar.



Además, el advenimiento de procesos de descentralización en muchos países de la región ha traído consigo un aumento de normas e incentivos para el diseño de planes de mejoramiento educativo a nivel subnacional (regiones, departamentos, provincias) y local (distritos). Estos deben basarse, al menos parcialmente, en una lectura de los resultados de las evaluaciones realizadas a nivel escolar, local o nacional, dondequiera que estas se encuentren disponibles.



También caracterizan a algunos de los procesos en curso de reforma de la gestión educativa la promoción de una mayor autonomía escolar, que conllevan el establecimiento de normas e incentivos para estimular el diseño participativo y la implementación de planes de mejoramiento a nivel de la escuela. Los Proyectos de Desarrollo Institucional (Perú), los Proyectos Educativos Institucionales y los Planes de Mejoramiento (Colombia), los Proyectos de Mejoramiento Educativo (Uruguay), los Proyectos de Innovación Educativa (Paraguay) y los Proyectos de Mejoramiento Educativo (Chile), se han convertido en elementos comunes en los procesos de reforma.



Estos proyectos usualmente requieren el desarrollo de actividades no rutinarias así como la movilización de habilidades de enseñanza no tradicionales, tales como el diseño de proyectos, el trabajo en equipo y la preparación de informes. Su alcance va más allá de la "simple" mejora de los logros de aprendizaje, e involucra la definición de rasgos distintivos y metas de las escuelas con respecto a muchos otros objetivos educacionales. Sin embargo, se espera cada vez más que los planes y proyectos estén basados en una autoevaluación de los resultados de aprendizaje obtenidos por las instituciones educativas, y que se derivan de las estadísticas disponibles y de los resultados en evaluaciones a gran escala, ya sean muestrales o censales.



En Colombia, se empezó a desarrollar planes de mejoramiento escolar (Proyectos Educativos Institucionales - PEIs) a principios de los 90. Un informe de 1999 indica que para ese entonces, aproximadamente el 90% de escuelas había diseñado un plan. Sin embargo, aparentemente sólo desde la elaboración del plan sectorial de educación 2002-2006, se ha establecido orientaciones explícitas que señalan que las escuelas deben desarrollar dichos planes sobre la base de los resultados de evaluaciones disponibles (la prueba Saber para educación básica y las pruebas estatales de salida).



De acuerdo a informes no oficiales, las metas y los objetivos específicos de los PEIs - aunque han sido importantes y útiles para otros propósitos - eran demasiado difusos para servir en forma efectiva como instrumentos de movilización para mejorar los logros de aprendizaje, y han tenido que complementarse con los nuevos Planes de Mejoramiento. Éstos tienen que incluir una serie de acciones y tareas orientadas a la consecución de una clara meta de incrementar el aprendizaje de los estudiantes, así como una definición clara de las contribuciones, métodos, procedimientos, recursos y responsabilidades que necesitan ser desplegados para obtener los resultados deseados. Estos planes tendrán que ser diseñados por los directores y coordinadores de área y discutidos con el cuerpo docente, y deberán usar información basada en el desempeño en las pruebas que las Secretarías de Educación departamentales deberán proporcionar a cada escuela con los resultados de las evaluaciones censales de 5º y 9º grado. Los exámenes de salida del onceavo grado, que ahora también están basados en los marcos y estándares curriculares nacionales, también se pueden utilizar como insumo para el diagnóstico, mientras que los estándares recientemente establecidos sirven para guiar el establecimiento de metas.



Hasta el momento de realización de este estudio, el Ministerio de Educación todavía estaba diseñando guías y estrategias de capacitación para permitir que las escuelas lleven a cabo esta nueva actividad de planificación. Esto probablemente se benefició del hecho que el ICFES había desarrollado una guía para el diseño de planes que contiene una serie de cuadros y procedimientos que utilizan los resultados de las escuelas en las pruebas además de algunas otras variables. Se esperaba que la identificación de las áreas más débiles en las escuelas condujera a la formulación de estrategias específicas de mejoramiento. Las guías fomentarían la participación de todo el personal, así como también alguna participación de los estudiantes.



También en Colombia, la ciudad de Bogotá organiza talleres de capacitación que se centran en desarrollar capacidades para analizar datos de rendimiento, así como para diseñar estrategias para mejorar la planificación de aula y las prácticas de enseñanza en las áreas curriculares que más mejoras requieren. Durante las capacitaciones también se hace recomendaciones sobre cómo mejorar las escuelas, las que sirven como posibles opciones a partir de las cuales modelar los planes escolares existentes.



Con frecuencia, los planes de mejoramiento escolar son el objetivo de pequeños fondos a los que las escuelas acceden a partir de procesos competitivos. Tal fue, por ejemplo, el caso de Paraguay donde el planeamiento escolar comenzó como un programa competitivo de "innovación educativa". El objetivo principal del programa era promover la participación local o escolar para encontrar soluciones a la baja efectividad de la enseñanza, es decir, para mejorar el desempeño en áreas curriculares clave. Los maestros/as, directores/as y padres de familia recibieron orientaciones sobre cómo diseñar y presentar sus planes ante un comité regional de selección. Los premios podían llegar hasta los 4000 dólares americanos - cantidad bastante significativa en países en los cuales las escuelas rara vez cuentan con un presupuesto propio. Muchas veces la formulación de estos planes se convirtió en una actividad ritual, con escasa relación entre los datos presentados y las actividades con que se pretendía solucionar los problemas de eficiencia interna (repetición, deserciones, etc.) y de eficacia (tasas de promoción, calificaciones, resultados de evaluación externa) de las escuelas. Esto se debió en, en parte, a que las guías y manuales para las escuelas (y para los evaluadores de las propuestas) con frecuencia ponen demasiado énfasis sobre los procedimientos formales como un elemento importante de la "modernización".


Otras experiencias con planes de mejoramiento escolar también han tenido lugar en Chile desde 1992 y, más adelante, en Uruguay.
 

Los programas chilenos de mejoramiento escolar – PMEs - fueron diseñados por personal de las escuelas, quienes tuvieron que analizar la situación de las mismas e identificar, entre otras cosas, las áreas de aprendizaje más débiles entre los estudiantes y desarrollar una propuesta especificando objetivos, beneficiarios, estrategias, actividades, responsabilidades de varios actores y un plan de evaluación. La propuesta era presentada a la administración central del proyecto para su evaluación y posible selección para recibir un fondo especial de desarrollo, que desde 1999, concedió subvenciones a más de 5600 planes - a un promedio de 6000 dólares americanos por plan seleccionado. Además de esto, las escuelas obtuvieron algún equipamiento educativo. Informes recientes sugieren un costo promedio de 10.000 dólares para proyectos de

30 meses de duración. Los acuerdos actuales de financiamiento proveen alrededor de 200 subvenciones anuales. El programa se convirtió luego en un componente del "Sistema de

Calidad de la Administración de las Escuelas", un proceso de acreditación de la escuela orientado a promover mecanismos de mejoramiento sostenible entre las unidades del sistema.


Las PMEs uruguayas también se asignan sobre una base competitiva, aunque para montos promedio menores (3500 dólares) y periodos más cortos de implementación (24 meses).



Tanto en Chile como en Uruguay, las mejoras en el gobierno escolar y la participación de padres y profesores/as en la toma de decisiones, aumentaron la colaboración de los profesores/as en el desarrollo de actividades curriculares y planes de estudio relevantes a la escuela. Se ha reportado también que estas mejoras han servido para establecer un mejor clima escolar, así como un incremento en la demanda por capacitaciones en servicio más específicas. Según lo medido por las pruebas, hay también cierta evidencia19 de que la puesta en práctica de esos planes de mejoramiento ha conducido a mejoras en los resultados.



En el caso chileno, un estudio de 1998 encontró un modesto pero promisorio efecto en los resultados SIMCE de escuelas que habían desarrollado planes de mejoramiento20. Otros indicadores de logro, tales como las tasas de repetición, también sugieren un efecto positivo de los PMEs. Otras evaluaciones, sin embargo, han identificado varias consecuencias involuntarias e indeseables del diseño del programa, y sugieren que su naturaleza competitiva ha conducido a serias desviaciones e incluso a prácticas poco éticas de parte de algunos proveedores de servicios educativos.



Un estudio realizado por la administración educativa uruguaya, donde se compararon los resultados obtenidos por escuelas que atienden a estudiantes con características socioeconómicas similares, también mostró un modesto pero positivo efecto de las PMEs en los resultados académicos.



Dado que la confianza exclusiva en los esquemas competitivos para seleccionar los "mejores" proyectos a financiar no garantiza una implementación satisfactoria, y como las capacidades para el diseño e implementación de buenos proyectos no son sólo escasas, sino que están distribuidas de manera muy desigual, la asistencia técnica resulta muy necesaria – aunque puede ser difícil de proporcionar, particularmente en países con geografías complejas y muchas escuelas.



Extraído de
Uso de los resultados de evaluaciones educativas a gran escala en América Latina
Patricia Arregui
Grupo de Trabajo sobre Estándares y Evaluación del PREAL

domingo, 9 de septiembre de 2012

Revisar expectativas curriculares o establecer estándares de aprendizaje

¿Qué deben aprender los alumnos? ¿Cuáles expectativas resultan razonables? Para contestar estas preguntas, debemos recurrir a diversas fuentes, pero ¿Qué mejor que las evaluaciones estandarizadas? Ellas permiten realizar planteamientos adecuados a la realidad.


 

Hoy en día, se entiende que incrementar y aclarar las expectativas de aprendizaje constituye un elemento crucial para el mejoramiento de la enseñanza y el aprendizaje.
 

La mayoría de especialistas educativos, incluyendo algunos de los que estuvieron cercanamente involucrados en las reformas curriculares que los países de América Latina emprendieron a finales de los 80 y comienzos de los 90, estaría de acuerdo en que los objetivos curriculares no son los suficientemente claros, a menudo son contradictorios y por lo general están lejos de fomentar niveles de competencia que puedan asegurar un desarrollo adecuado de la ciudadanía y de la productividad que requiere el actual mundo globalizado.


Por otra parte, los resultados de las evaluaciones sugieren que incluso los objetivos existentes, que son difusos y no demasiado exigentes, no se están alcanzando. Esto es así en parte porque han sido mal definidos y no pueden ser utilizados para articular o alinear en forma efectiva la producción de libros de texto, los planes de estudio y la capacitación docente. Las unidades de evaluación demandan que los equipos de desarrollo curricular revisen y aclaren las expectativas de aprendizaje, pero con frecuencia se abocan ellas mismas a esta tarea, manteniendo distintos niveles de consulta con los equipos curriculares. En este proceso, los equipos toman en consideración tanto los resultados de aprendizaje deseables y el rendimiento "real" tal y como es medido por las evaluaciones nacionales previas.
 

Cuando la mayoría de sistemas de evaluación nacional en América Latina empezó a desarrollar pruebas referidas a criterios, y no ya a normas, experimentaron grandes dificultades para definir los tipos de tareas académicas que se debería esperar que los estudiantes puedan realizar si es que han logrado dominar un área particular de los contenidos curriculares. También confrontaron – y muchos siguen confrontando – grandes desafíos para definir los varios niveles de desempeño posibles (generalmente básico, aceptable o suficiente y competente) en cada uno de los criterios seleccionados. Allí donde se ató alguna consecuencia a los resultados de esas evaluaciones, o donde se ha realizado esfuerzos importantes por devolver resultados a las escuelas, los contenidos de las pruebas han empezado a cumplir la función de ¨aclaradoras¨ del currículo – si bien no todos los curriculistas aprobarían el que ello sea así. La amplitud de las consultas a docentes, expertos y productores de textos que pueda realizar la agencia evaluadora también ha contribuido en algunos casos a generar un proceso de redefinición de metas curriculares nacionales.
 

Sin embargo, la influencia de los resultados de las pruebas nacionales en la redefinición de las expectativas de aprendizaje y de las metas curriculares ha sido relativamente menor si se la compara con el impacto que viene teniendo en ese sentido la participación en pruebas internacionales.
 

Los resultados de los pocos países que han participado en TIMSS, PISA y algunas otras evaluaciones internacionales no siempre fueron congruentes con la distribución de estudiantes entre los distintos niveles de rendimiento fijados en sus propias pruebas nacionales (por ejemplo, aprobado/reprobado; aceptable/no aceptable; o niveles competente, satisfactorio o básico) o con los índices aprobatorios nacionales6. Esto impulsó a que varios países echaran una nueva mirada a sus currículos, libros de texto, prácticas pedagógicas y políticas de capacitación de profesores en busca de posibles explicaciones y a profundizar sus esfuerzos de priorizar y aclarar metas de aprendizaje mediante el establecimiento de estándares académicos.


Los primeros esfuerzos fueron los desplegados por los países centroamericanos en 1999, bajo la conducción de la Secretaría General del organismo de Coordinación Educacional y Cultural de la región (SGCECC). Equipos de profesionales de los ministerios de educación de Panamá, Costa Rica, Nicaragua, Guatemala, Honduras y El Salvador se abocaron a construir indicadores de contenido y desempeño sobre la base de sus currículos de educación primaria -, cuando éstos existían y/o habían sido recientemente revisados. En unos pocos casos, donde no había un currículo establecido, estos indicadores se construyeron sobre la base de otras pautas curriculares, tales como el contenido de los libros de texto.


Pocos de estos países habían desarrollado antes algún tipo de prueba a escala nacional, aunque sí, en algunos casos, tenido alguna experiencia con pruebas estandarizadas aplicadas en algunos proyectos de cooperación internacional y participado en el desarrollo de la primera evaluación regional de la UNESCO, cuyos resultados pueden haber sido un referente implícito para el desarrollo de dichos estándares. Se esperaba que tan pronto como los estándares fueran "aprobados" y puestos en ejecución formalmente, la capacitación de profesores, la elaboración de libros de textos y las pruebas estandarizadas tendrían que ser alineadas con éstos. Pocas, si alguna, de estas metas se materializaron, en parte porque el proceso de diseño de estándares ocurrió como parte de esfuerzos "locales", poco publicitados y realizados con pocos recursos.



Desde entonces, Honduras y Guatemala han avanzado sendas propuestas de estándares para todos los grados de la educación básica, para lo cual sí han tomado en consideración los resultados logrados en evaluaciones nacionales anteriores y con los cuales empiezan ya a alinear un conjunto de instrumentos de evaluación de aprendizajes. En Nicaragua, el conjunto de estándares de la SGCECC (que había comenzado a ser desarrollado incluso antes de que el proyecto regional empezara) fue utilizado para revisar el currículo y sirvió de insumo para la construcción de su primera evaluación nacional, aplicada en el 2003.



Colombia desarrolló y estableció estándares en el 2003, tomando como uno de sus referentes la evidencia disponible sobre las capacidades actuales de los estudiantes según lo evaluado por el ICFES, institución colombiana que ha sido directa o indirectamente responsable de la construcción y análisis de la mayoría de las evaluaciones nacionales llevadas a cabo en el curso de varios años. Los estándares se centran en competencias para resolver problemas de tipo real en lenguaje, matemáticas, ciencias naturales y sociales, y, más recientemente, en ciudadanía. Se espera que sirvan, en primer lugar, como guías para el desarrollo de programas de mejoramiento escolar, y que se conviertan en el conjunto básico de expectativas de aprendizaje que el ICFES utilizará en el corto plazo. También es significativo el esfuerzo para incluir elementos éticos y valores que deben acompañar el desarrollo de cada una de las habilidades académicas incluidas bajo cada estándar. Esto es una respuesta a una muy fuerte demanda social para que la escuela continúe teniendo un papel primario en forjar "personas completas", y que no sólo funja como centro de instrucción académica. Esta demanda contrasta con la naturaleza estrictamente académica de la mayoría de estándares en los Estados Unidos y constituirá un gran desafío para el ICFES cuando se precise evaluar el logro de tales elementos.



En Chile, el análisis del SIMCE y de los resultados de las pruebas internacionales ha mostrado poco incremento significativo en los puntajes promedio, a pesar de los grandes aumentos en el gasto público en educación, de las reformas curriculares, y de la inversión en varios proyectos a gran escala. Se introdujo sucesivamente varios nuevos instrumentos y aclaraciones curriculares, antes de optar por la construcción de estándares de contenido y desempeño, conocidos ya como Mapas de Progreso y Niveles de Logro, respectivamente. Los Mapas y Niveles se nutrieron, entre otros elementos, de los resultados obtenidos por los alumnos chilenos en sus pruebas nacionales e internacionales. Se convertirán gradualmente en referentes básicos para la elaboración de los instrumentos y se usan ya en el reporte de resultados del SIMCE. Se pretende que sirvan también para guiar la reflexión, la planificación y la práctica pedagógica de los docentes, en subáreas específicas de matemáticas, lenguaje, ciencias sociales, ciencias naturales e inglés como segunda lengua. También se está elaborando estándares para educación física, educación preescolar, educación técnica y arte.



El gobierno federal argentino aprobó en el 2004 los denominados Núcleos de Aprendizajes Prioritarios. Se trata de un intento por establecer prioridades y aclarar expectativas de aprendizaje de modo de contrarrestar, con un mandato nacional, las brechas de rendimiento que, al parecer, han crecido desde la descentralización. En general, los bajos niveles de desempeño de los estudiantes y las diferencias en los puntajes promedio de las provincias, sirvieron como argumento en las negociaciones entre el gobierno nacional y los gobiernos provinciales y autoridades sectoriales, que condujeron a un acuerdo preliminar sobre los contenidos del NAP.



Extraído de
Uso de los resultados de evaluaciones educativas a gran escala en América Latina
Patricia Arregui
Grupo de Trabajo sobre Estándares y Evaluación del PREAL





Publicaciones recomendadas
Calidad de la Educación: Un debate ineludible
Educación problematizadora
¿Es lo mismo “buena información” que “sobreinformación”?


viernes, 31 de agosto de 2012

Mejorar el diseño de las políticas educativas y la asignación de recursos

Las decisiones sobre políticas educativas se toman de acuerdo a diversas fuentes, tal vez la mayor cantidad toma como referencia valores ideológicos, pero también puede recurrir a los resultados de las evaluaciones estandarizadas, que muestran aspectos importantes de la realidad escolar.



Aun así, gracias a las evaluaciones nacionales e internacionales, se cuenta con evidencia nueva y más sólida sobre el bajo rendimiento de los estudiantes, así como sobre las grandes diferencias en los resultados de varios grupos poblacionales y tipos de escuelas, se ha hecho posible el establecimiento y la generación de consensos sobre nuevas prioridades generales de política.


Por ejemplo, la necesidad de que los ministerios de educación, los administradores y las escuelas se centren en el aprendizaje de los estudiantes, es ahora un mandato público generalizado en la región. Y, si bien la "focalización" y la discriminación positiva o acción afirmativa están hasta ahora lejos de ser el eje principal de las políticas públicas, hay una innegable y creciente conciencia de la necesidad de realizar una distribución más equitativa de las oportunidades de aprendizaje.
 

En algunos países muchas políticas y planes inspirados, según propias aseveraciones, por los resultados de las evaluaciones no han logrado trascender el papel donde han sido formulados. En otros, en cambio, sí se se ha pasado a la acción con, por ejemplo, reformas curriculares y desarrollo de estándares, producción y distribución masiva de libros de texto y cuadernos de trabajo (que los primeros análisis sugirieron gravitaban fuertemente en el aprendizaje), el fomento de la inclusión de estudiantes pobres en escuelas particulares subvencionadas (por aparentes mejores resultados y el efecto que tienen los pares en los logros estudiantiles), programas de capacitación o desarrollo profesional docente focalizados en el fortalecimiento de capacidades de comprensión lectora y de razonamiento matemático entre los maestros (que algunos análisis de factores asociados a los rendimientos estudiantiles sugieren tienen fuerte impacto sobre los mismos) o, más recientemente, la propuesta de subvenciones diferenciadas que favorezcan a las escuelas y los estudiantes más pobres.
 

Varios países cuentan con políticas y programas que procuran concentrar más recursos e intervenciones diferenciadas y a gran escala en áreas geográficas y grupos poblacionales con bajo rendimiento y condiciones generales de pobreza, aunque generalmente de modo experimental o demostrativo, más que como política generalizada. Esto incluye desde grandes programas de apoyo integral a zonas y escuelas más vulnerables y de bajos resultados hasta, en algunos casos, una distribución no siempre del todo racional de nuevos insumos “empezando” por los más pobres – como podría ser el caso de reciente distribución de computadoras portátiles en el Perú. Sobre estos programas se describen aspectos adicionales en el siguiente acápite.


Puede argumentarse que esta tendencia al ¨alineamiento¨ entre resultados y políticas se ha dado de manera más clara en países donde los resultados de las primeras evaluaciones nacionales han reforzado la validez de algunas decisiones que ya habían sido tomadas, ya sea por recomendación de las agencias internacionales de financiamiento o a partir de un genuino proceso interno de deliberación. En cualquier caso, los resultados de las pruebas proporcionaron fuertes argumentos para validar socialmente esas propuestas de política.


 

Extraído de
Uso de los resultados de evaluaciones educativas a gran escala en América Latina
Patricia Arregui
Grupo de Trabajo sobre Estándares y Evaluación del PREAL



Publicaciones recomendadas
Calidad de la Educación: Un debate ineludible
Educación problematizadora
¿Es lo mismo “buena información” que “sobreinformación”?


miércoles, 22 de agosto de 2012

Realizar investigación y evaluar el impacto de programas

Las evaluaciones estandarizadas no se limitan a medir los aprendizajes de los alumnos y su capacidad de usarlos en otros contextos, sino también se ocupa de numerosos aspectos vinculados con el ambiente escolar. Todo esto hace que se convierta en una fuente importante, al momento de investigar la realidad educativa, tal como se explica en el siguiente artículo.




Si consideramos que el aprendizaje - académico o de otra índole - es la misión central de la educación, es posible afirmar que la "variable dependiente" más importante para la investigación educativa orientada a la formulación de políticas no estaba disponible en gran parte de Latinoamérica antes de que los sistemas de evaluación comenzaran a generar resultados. Y dado que la investigación debería ser un insumo importante para la toma de decisiones, la región mostraba un serio retraso.


Antes de los 90, cuando se quería estimar los efectos sobre el aprendizaje de, por ejemplo, la relación estudiante/profesor, las calificaciones formales de profesores/as, la disponibilidad de libros de texto y otros materiales de aprendizaje, así como del nivel de gasto público en educación, la información sobre el rendimiento debía extraerse de otras medidas como las tasas de matrícula, repetición o deserción escolar. Los resultados de las pruebas nacionales han proporcionado un indicador crucial para determinar los efectos de la escolaridad en el aprendizaje. Hasta 1999, en toda América Latina no se podía encontrar más de una veintena de estudios empíricos sobre posibles asociaciones entre las diferencias en rendimiento, diferencias en las características intraescolares o de aula y diferencias en factores externos tales como las características educativas y la condición socioeconómica de las familias.
 

Apenas seis años más tarde, una consulta bibliográfica rápida de 48 horas reveló la existencia de no menos de 150 estudios para 16 países, que exploran los efectos sobre el rendimiento de factores tales como (a) la condición socioeconómica de los estudiantes, el trabajo durante el año escolar, la raza y la condición nutricional, (b) el salario, calificaciones y prácticas de enseñanza en aula de los docentes, (c) características de la escuela tales como la cultura organizacional, la autonomía, la composición socio-económica de los distintos grupos, las prácticas de evaluación en aula, la cobertura del plan de estudios, las políticas sobre la realización de tareas en casa, el liderazgo de los directores, la infraestructura, la disponibilidad de libros de textos y (d) el financiamiento y/o administración pública o privada de la escuela, la presencia de programas de bonos escolares (vouchers), de programas de alimentación escolar, las prácticas de retención/repetición, el número de alumnos por aula, y la duración de la jornada escolar.
 

Algunos de estos estudios exploran un rango completo de posibles influencias sobre el desempeño y procuran medir su importancia relativa, mientras que algunos examinan el peso de y los mecanismos por los cuales una variable particular influye sobre (o cambia con) el desempeño. Otros estudian los cambios en las relaciones entre las variables predictivas y los resultados a lo largo del tiempo.


Algunos investigadores utilizan los puntajes promedio de las escuelas para seleccionar escuelas "exitosas" y escuelas con un alto índice de "fracaso", en las cuales después conducen estudios cualitativos en profundidad sobre los factores que pueden explicar las diferencias en el desempeño o recogen evidencia para determinar la validez de los puntajes de las pruebas como medidas de la calidad de las escuelas.


 Los resultados de las pruebas se están utilizando cada vez más para estimar el impacto de políticas y programas educativos y sociales en general. Así, por ejemplo, los ministerios de educación incluyen muestras mayores de algunas poblaciones escolares de manera de poder hacer algunas generalizaciones válidas sobre el impacto de intervenciones especiales, tales como escuelas bilingües indígenas (en Perú y Guatemala), programas de expansión escolar basados en la comunidad (Nueva Escuela Unitaria de Guatemala y escuelas del PRONADE), perspectivas nuevas o experimentales para planes de estudios (Escuelas de Excelencia y el SIMAC en Guatemala), y mecanismos diversos de gestión y financiamiento (escuelas privadas subvencionadas en Chile y Nicaragua). Con frecuencia se ha permitido e incluso se ha estimulado a los investigadores a usar los resultados de las pruebas nacionales y/o re- aplicaciones o adaptaciones de los instrumentos de las pruebas para evaluar programas específicos, tales como la Escuela Nueva en Colombia, Educatodos en Honduras, Desayunos Escolares, Escuelas Activas y escuelas Fe y Alegría en Perú, etc.





Extraído de
Uso de los resultados de evaluaciones educativas a gran escala en América Latina
Patricia Arregui
Grupo de Trabajo sobre Estándares y Evaluación del PREAL





Publicaciones recomendadas
Carácter arbitrario del conocimiento escolar
Sin lugar para frágiles
Prensa poderes y democracia


lunes, 13 de agosto de 2012

Elevar la conciencia ciudadana sobre los retos de la educación

Conseguir que la sociedad en su conjunto, se preocupe por su educación, es realmente entrar en el camino de la Calidad Educativa ¿Cómo lograrlo? No existe una única receta, pero las evaluaciones estandarizadas pueden hacer su aporte, que debe trascender de los publicitados “rankings de países”




Si bien en América Latina las evaluaciones del rendimiento educativo se iniciaron generalmente a partir de la necesidad de informar a los tomadores de decisiones y teniendo a ello como su principal propósito, el contexto de resurgimiento democrático de la época y la idea de “rendición de cuentas” que empezaba a instalarse en el discurso político también hacía necesario satisfacer los derechos de los ciudadanos y de algunas audiencias clave de conocer la situación y las tendencias de los resultados educativos. Informar a la opinión pública ha sido quizás por ello el uso más común y efectivo de las pruebas de logros de aprendizaje. Los resultados han provisto de evidencia “dura" sobre los logros insuficientes y desiguales, han estimulado una preocupación pública sobre el problema, y reorientado el foco de la demanda social hacia una distribución más equitativa de oportunidades de aprendizaje.


Aun así, en la mayoría de casos, la prensa recogió sólo los resultados más llamativos sobre el bajo nivel de logro general, y en el caso de las pruebas internacionales, sobre los bajos puntajes obtenidos por los participantes latinoamericanos. A menudo se puso más énfasis en las grandes diferencias entre las escuelas privadas y las públicas, y mucho menos en aquéllas entre las poblaciones urbana y rural o entre niñas y niños. Rara vez se mencionaron las diferentes características socioeconómicas y culturales de las poblaciones atendidas por escuelas privadas y públicas, pues los informes oficiales no incluían esa información. Por otro lado, al menos al inicio, los funcionarios públicos rara vez estaban disponibles para analizar los resultados y promover un diálogo capaz de orientar a la opinión pública a partir de las evaluaciones.


Curiosa, aunque no sorprendentemente, entre las audiencias, son quizás los padres de familia el grupo menos atendido en términos de la provisión de información útil para monitorear el desempeño de las escuelas a las que asisten sus hijos/as o del sistema educacional en su conjunto y para convertirlos en agentes de cambio mejor informados. Aún hoy en día, en muchos de nuestros países los reportes preparados por las agencias de evaluación están más allá de las posibilidades de comprensión de la mayoría de los padres, particularmente si se considera el bajo nivel educativo promedio hasta ahora alcanzado por los adultos latinoamericanos. El manejo de la información por parte de la prensa probablemente no ha ayudado a que la información publicada se interprete de forma precisa, y las capacidades de mejorar la gestión pedagógica e institucional en las escuelas o áreas escolares


Conclusiones
Una primera conclusión de esta rápida revisión es que los resultados de las evaluaciones de logros de aprendizaje escolar parecen estar siendo utilizados más de lo que usualmente se sospecha. Dada la existencia relativamente corta de los sistemas de evaluación de la región y la inestabilidad del compromiso político con su desarrollo, no sorprende que algunos países utilicen los resultados en menor medida de lo que se esperaría. Sin embargo, si se toma en cuenta la seria escasez de recursos para el mejoramiento educativo y la existencia de muchos programas valiosos que valdría la pena financiar, parecería necesario redoblar los esfuerzos para dar un uso adecuado a los resultados de las evaluaciones.


Aunque la mayoría de países latinoamericanos no iniciaron el desarrollo de sus sistemas de evaluación con ideas claras sobre los usos que se podría dar a los resultados, una vez que empezaron a recoger información fueron encontrando diversas maneras de usarla. Así, por ejemplo, se la información ha sido utilizada para: el diseño e implementación de políticas; la asignación de recursos; para estimular cambios pedagógicos y promover la responsabilización entre varios actores e instituciones educativas. Ha habido además una considerable evolución en la forma de presentar los resultados a diversas audiencias, y cada vez se está dando mayor atención a la necesidad de incluir información sobre factores de contexto que deben ser tomados en cuenta al momento de interpretar los resultados. Ciertamente, también se han dado casos de usos no legítimos o válidos, especialmente para “responsabilizar” principalmente a los docentes y a sus gremios por los bajos logros de aprendizaje generalmente registrados.


Dado que en muchos lugares la prensa se ha convertido en el principal comunicador de los resultados a profesores/as, padres y tomadores de decisiones, es claro que no se ha realizado esfuerzos suficientes para educar a los medios de comunicación de modo que éstos se conviertan en aliados de los esfuerzos para movilizar al público en apoyo de la educación, en vez de actuar, conscientemente o no, como enemigos del sistema público. Esto requerirá que la mayoría de agencias de evaluación asigne una cantidad considerablemente mayor de recursos que los que se ha estado invirtiendo en esfuerzos de difusión (tiempo del personal para definir claramente los principales mensajes que deben ser transmitidos al público en general a través de la prensa; tiempo para responder a interpretaciones incorrectas o no deseables de los resultados de las pruebas; así como más dinero).


Aunque recién está empezando, el efecto de los resultados de las pruebas en la renovación curricular y el establecimiento de estándares también parece prometedor – cabe notar que muchos países pusieron en marcha sus sistemas de evaluación al mismo tiempo en que daban inicio a reformas curriculares cuya llegada a las aulas aún tenía que ser asegurada. Sin embargo, el diseño de las pruebas aún necesita mejorarse para permitir investigaciones adicionales de las implicancias pedagógicas de sus resultados. La posibilidad de utilizar los resultados para mejorar la planificación a nivel de las escuelas también está emergiendo como una línea de acción interesante, y requerirá de aplicaciones de tipo censal o de la provisión de instrumentos para la autoevaluación y el análisis colectivo de los resultados.


Otra manera en que las evaluaciones pueden contribuir a mejorar el desempeño docente y los logros de aprendizaje, es la producción de materiales para el desarrollo profesional que estén basados en análisis detallados de los resultados de las pruebas - y la generación de espacios institucionales y eventos de capacitación en los cuales éstos puedan ser apropiados y usados a cabalidad. El análisis de ítems seleccionados de las pruebas que es difundido por las agencias de evaluación, con frecuencia ha facilitado entre los profesores la reflexión sobre sus propias expectativas para el aprendizaje de sus estudiantes, así como la reconsideración por parte de los especialistas de cuán adecuados son los objetivos de aprendizaje que han definido para varios grados. El acceso directo a los instrumentos de evaluación también parece una poderosa manera de aliviar los temores y prejuicios existentes sobre la gama supuestamente limitada de habilidades que las pruebas pueden evaluar. Hoy en día, incluso los ítems de opción múltiple pueden explorar procesos de razonamiento complejos y pueden servir para identificar fuentes de error ligadas a las prácticas de aula - algo que los opositores de las pruebas suelen negar.


Sin embargo, si se quiere asegurar el éxito de las estrategias de difusión y uso de los resultados, se tendrá que prestar mayor atención a las culturas organizacionales -tanto a nivel de las escuelas como en los niveles intermedios de la administración educativa. Las directrices tradicionales de tipo vertical (top-down) con frecuencia han fallado en tener los resultados anticipados cuando los intereses burocráticos y profesionales aparecen amenazados por la nueva información disponible. Ninguno de los aportes potenciales de las evaluaciones externas se podrá materializar si no hay terreno fértil en las instituciones que permita cultivar prácticas de evaluación interna y de planificación pedagógica que se nutran de los insumos que aquellas pueden proveer.



Extraído de
Uso de los resultados de evaluaciones educativas a gran escala en América Latina
Patricia Arregui
Grupo de Trabajo sobre Estándares y Evaluación del PREAL





Publicaciones recomendadas
La calidad requiere liderazgo
El aprendizaje cooperativo
Perversiones audiovisuales


viernes, 3 de agosto de 2012

Los riesgos de enseñar para el test

Las Evaluaciones Internacionales de Calidad Educativa son pruebas estandarizadas, por lo tanto le caben las mismas objeciones que a todas ellas ¿No puede suceder que se “enseñe para la evaluación”? En este caso se pierde tiempo que se podría dedicar al logro de otros objetivos. Esto sucede, tanto a nivel escuela, como en la totalidad del sistema educativo ¿Qué incidencia tienen las evaluaciones en “volver a lo básico”? Eso incide ya que son evaluadas algunas materias.



Las evaluaciones estandarizadas han sido utilizadas para evaluar el nivel académico, ya sea de un estado, distrito o de una institución misma. Algunos autores, como Eisner, sostienen que una de las ventajas de estos tests es que plantean la posibilidad de acceder a resultados de una población extensa, lo cual sería imposible, o al menos más costoso, si se adoptase cualquier otro tipo de evaluación. Del resultado de estas evaluaciones estandarizadas estatales surgen consecuencias importantes para la escuela, no sólo vinculadas a su financiamiento, sino también a su prestigio. Esto genera una clara tentación a hacer todo lo posible por elevar los resultados de las evaluaciones. Existen muchas estrategias que pueden ser implementadas, algunas de ellas son lícitas y otras ilícitas. En esta parte describiré aquellas estrategias “lícitas” que pueden ser utilizadas por los profesores y directivos para mejorar los resultados de los tests (lo cual no implica, necesariamente, un incremento en el nivel educativo).

Koretz describe como caso ejemplar una anécdota referida a algo que sucedió en el estado de Kentucky: los educadores dedicaban 5,2 horas por semana a ciencias, materia que era evaluada ese año con una prueba estandarizada, mientras que los educadores de quinto año le asignaban a la misma materia solamente 3,5 horas por semana. Inversamente, los maestros de quinto grado le asignaban 6,4 horas a la enseñanza de las matemáticas, ya que esa era la materia que se evaluaba ese año, comparado con las 4,9 horas que le dedicaban los profesores de cuarto grado. Similarmente, autores como Linn y Popham, sostienen que muchas veces el incremento en los resultados de este tipo de evaluaciones, no se debe a una profundización de los conocimientos, sino a una familiarización con la metodología del examen. En suma, como consecuencia de la presión de cumplir con los estándares propuestos, dentro de los docentes, surge el incentivo de sacrificar actividades que fomenten la creatividad y el pensamiento crítico, con el fin de alocar el tiempo en estrategias destinadas a mejorar el rendimiento de los alumnos en los exámenes estandarizados. Por ejemplo, Lipman realizó un estudio acerca de escuelas en Chicago. Uno de los datos alarmantes que arrojó su estudio es que en una escuela primaria, la cual contaba con una población estudiantil de origen méxicano-americano, no se pudo utilizar todo ese bagaje cultural para realizar actividades creativas que pudiesen despertar la noción de entendimiento internacional entre los alumnos, dado que ese tiempo implicaba una menor preparación para la evaluación estandarizada.


 
Eisner quién criticó la postura de “volver a lo básico”, sugiere que las evaluaciones estandarizadas no contemplan muchas habilidades que los estudiantes poseen, lo cual es injusto para ellos. Es decir, si uno posee una habilidad “x”, que puede ser muy útil tanto en la educación superior como también así en el campo laboral, pero las evaluaciones estandarizadas solo evalúan las habilidades “a” y “b”, este estudiante estará destinado a obtener un resultado más bajo del que podría obtener si las evaluaciones estandarizadas hiciesen hincapié en sus habilidades. Es decir, si bien la estandarización no implica per se “volver a lo básico”, lo que sucede es que indirectamente se termina volviendo a lo básico.



Desafortunadamente, al tener que obtener buenos resultados, los docentes tienen la tendencia de privilegiar los contenidos que serán evaluados, los cuales concuerdan con aquellas asignaturas defendidas por quienes bregaban por volver a lo básico, en desmedro de otras asignaturas como ser las artes e incluso, ciertas áreas de las ciencias experimentales. En otro trabajo, McNeil relata que a raíz de la implementación de las evaluaciones estandarizadas los alumnos ya no aprenden a escribir bien, sino que se los instruye en como escribir un ensayo de cinco párrafos, formados cada uno de ellos por cinco oraciones, que les permite los alumnos obtener una buena calificación en el examen estandarizado al cual son sometidos. El problema con la selección de contenidos curriculares en función de las evaluaciones estandarizadas no es algo nuevo. De hecho, treinta años atrás, Barickman explicó que algunos docentes del estado de Nueva York asignaban la importancia que le darían a los diferentes aspectos de la enseñanza del uso del lenguaje en función de las evaluaciones estandarizadas; es decir, si las posibilidades de obtener un puntaje más alto en las evaluaciones de vocabulario son mayores a las posibilidades de obtener puntajes altos en las evaluaciones de composición, entonces dedicarán mas tiempo a la enseñanza de vocabulario, dejando rezagada la enseñanza de composición. Sin embargo, a medida que crece el impacto de los resultados de esas evaluaciones, es de esperar que los docentes tengan el incentivo de dedicar más tiempo a esas áreas que serán evaluadas. De ello se desprende que el peligro de las evaluaciones aumenta por la importancia que tienen los resultados de esos exámenes, es decir, si los exámenes fuesen simplemente uno de muchos otros elementos –posiblemente cualitativos que se utilizaran para evaluar el desempeño de los docentes, probablemente el incentivo de enseñar para el test, al menos disminuiría.


Algunos educadores insistimos en pedirles a nuestros estudiantes se preocupen menos por las notas y más por lo que aprenden. El sistema de evaluaciones estandarizadas, sin embargo, atenta contra este principio ya que los estudiantes terminan dándole mas importante al “valor moneda” de lo aprendido que al valor intrínseco que tiene el conocimiento. No obstante ello, no son sólo los estudiantes los que se preocupan por “subir” los resultados de las evaluaciones: existe también una clara estructura de incentivos para profesores y directivos.



Como director de una escuela, George Wood admitió que en un caso particular de una alumna llamada Angélica, sintió la tentación de pedirle que abandone la institución, con el fin de lograr un mejor resultado a nivel colectivo. Es decir, lo que la presión de las evaluaciones estandarizadas forzó, en el caso de Wood, es tener que elegir entre una alumna en particular, la cual probablemente jamás alcanzaría los estándares que el estado prevé, y el bienestar de la institución en su conjunto. En su trabajo, Wood demuestra que, por ejemplo, en la el Sharpston High School, de Houston, en el año 2001-2002, 462 alumnos, de los 1700 que tenia la institución, abandonaron la escuela. No obstante ello, ninguno fue reportado como un caso de deserción escolar. En otro trabajo, Darling Hammond demostró que en el estado de Massachussets en el 2002 el porcentaje de alumnos afroamericanos que lograron graduarse, con respecto a la cantidad de alumnos que había en el noveno año, era del 71 por ciento; sin embargo, en el año 2003 el porcentaje de alumnos graduados fue del 59,5 por ciento. Algo similar ocurrió con los alumnos de descendencia latina: por ejemplo, del 54 por ciento de los alumnos que se graduó en el 2002, en el 2003 solo lo logró el 45 por ciento.



Similarmente Karp sostiene que esta encrucijada la viven los directivos de las escuelas muy frecuentemente. El autor, sostiene que las evaluaciones estandarizadas, en cuanto ponen mucho en juego, generan el incentivo de enviar a los alumnos que difícilmente aprueben las evaluaciones estandarizadas, a los grupos de educación especial, o incluso a aquellos de alumnos con dificultades en el aprendizaje del idioma ingles. En uno de sus trabajos Haas incluyó una reflexión de una profesora, mediante la cual explicaba que ella debía dedicar mucho tiempo a la enseñanza de técnicas para obtener mejores resultados en las evaluaciones, tiempo que podría ser utilizado para la enseñanza de otro tipo de conocimientos adicionales. Si bien no es probable que los directivos diseñen el plan institucional, tomando como único referente las evaluaciones estandarizadas, sí es probable afirmar, en función de los ejemplos expuestos en esta parte, que le dediquen mucho de su tiempo (recurso escaso) a la preparación de una prueba, en detrimento de otras aptitudes que pudiesen ser enseñadas; es decir, existe una clara estructura de incentivos para que los docentes enseñen para el test. Si bien los ejemplos presentados se corresponden a experiencias de los Estados Unidos, algo similar ocurre en países como Holanda o Nueva Zelanda, en los que el impacto de las evaluaciones estandarizadas al final de la escuela secundaria delimita las posibilidades que los alumnos tienen en el campo de la educación superior. Una vez mas, es importante mencionar que la fuerza de esta critica aumenta en los países en los que los resultados de estas evaluaciones estandarizadas –es decir, los datos puramente cuantitativos son utilizados como los principales métodos de evaluación del rendimiento y funcionamiento del sistema educativo. Probablemente, la critica tenga menos fuerza en lo que concierne a sistemas como el británico en el que además de los resultados de los llamados “A” y “O” Level Examinations, también se utilizan “visitas” o inspecciones a las escuelas, a través de las cuales se obtienen datos cualitativos. La confluencia de los datos cualitativos con los datos cuantitativos disminuye los riesgos de enseñar para el test, dado que el desempeño de los docentes no se evalúa únicamente a través del rendimiento de los alumnos en las evaluaciones estandarizadas.


Algunas de las estrategias que pueden ser utilizadas para mejorar los resultados de las evaluaciones son: enseñar estrategias útiles para resolver las preguntas de ese tipo de exámenes, presentar modelos de exámenes similares y basar el currículo y el proceso de aprendizaje en ellos, y/o utilizar libros de textos que contengan ejercicios similares a los de los exámenes. En principio uno podría decir que no hay nada de malo en esto. Es totalmente lícito que los profesores quieran que sus alumnos obtengan mejores resultados en las evaluaciones, ya que en definitiva ello no perjudica a nadie. Sin embargo, como bien el principio de la demanda y de la oferta los recursos son escasos por definición. El tiempo, uno de los tantos recursos sobre los cuales descansa el sistema educativo, no es una excepción a esta regla. Por lo tanto, el problema surge cuando se genera una clara estructura de incentivos para dedicar tiempo a la enseñanza de estrategias específicas para un tipo de evaluación también específico.





Extraído de
Evaluaciones Estandarizadas: Seis Reflexiones Críticas
Ignacio Barrenechea
George Washington University (GWU).
Archivos analíticos de políticas educativas
Revista académica evaluada por pares, independiente, de acceso abierto y multilingüe
Arizona State University
Volumen 18 Número 8         


 
Publicaciones recomendadas
Calidad de la Educación: Un debate ineludible
Educación problematizadora
¿Es lo mismo “buena información” que “sobreinformación”?

martes, 24 de julio de 2012

Diseñar programas de apoyo y seleccionar escuelas o grupos de estudiantes para participar en ellos

Los resultados de las evaluaciones estandarizadas pueden tener numerosas aplicaciones, en los siguientes párrafos se muestra cómo se los utilizó, para diseñar programas educativos.



Las evaluaciones también han permitido identificar áreas más específicas donde se experimenta problemas, analizar las posibles causas de éstos y diseñar programas experimentales o generales que pudieran servir para superarlos - así como identificar y seleccionar poblaciones objetivo o instituciones educativas que puedan ser beneficiarias de esos programas.

 Típico ejemplo de estos programas se dio en Chile, cuando los resultados de las pruebas SIMCE mostraron grandes brechas de rendimiento entre escuelas privadas, subvencionadas y municipales y se dio inicio como una estrategia de emergencia al "P-900" -el "Programa para 900 Escuelas Ayudando a los Pobres". El 10% de escuelas con el rendimiento más bajo en cada una de las regiones del país y con grandes proporciones de estudiantes pobres urbanos y rurales de nivel primario fue invitado a participar en actividades del programa – inicialmente concentradas en remodelar aulas y abastecer de equipo básico, libros de texto y bibliotecas a las escuelas, pero luego incluyendo talleres para profesores que buscaban promover la autonomía profesional y la responsabilidad, y espacios de tutoría en grupos pequeños para estudiantes con bajo rendimiento que eran dirigidos por miembros de la comunidad. El P-900 se convirtió más adelante en un programa permanente del Ministerio de Educación, centrado en proveer servicios de capacitación de profesores/as in situ, y desarrollo profesional o capacitación en servicio de directores/as a lo largo de tres años. Empezó a incluir también escuelas de nivel secundario y abrió un subprograma especial para escuelas rurales.


El programa se fue modificando gradualmente, conforme la investigación y la práctica iban mostrando más elementos que necesitaban ser atendidos para promover cambios de manera efectiva y permanente. Sin embargo, el desarrollo de capacidades fundamentales en lectura, escritura y matemáticas – que son las áreas curriculares que el SIMCE evalúa -- se mantuvo como una prioridad. Las escuelas P–900 – que llegaron a sobrepasar las 1500 hace algunos años – fueron el foco de muchos programas específicos de mejora escolar y eran supervisadas entre 8 y 16 veces al año por funcionarios provinciales y centrales.


Similares en enfoque y objetivos han sido la iniciativa de Nivelación para la Excelencia de Bogotá, cuyas diversas actividades son guiadas por el análisis de los resultados de las escuelas en las pruebas, las escuelas de jornada completa de Uruguay establecidas preferentemente en áreas urbanas empobrecidas, surgidas de la constatación que ellas habían obtenido mejores logros en la primera evaluación nacional, la jornada completa introducida también en Chile con posterioridad.


En términos generales, las políticas de "focalización", en un contexto caracterizado por la presencia de programas económicos de ajuste estructural de corte más bien ortodoxos durante los noventa y la hasta ahora insuficiente recuperación del crecimiento económico, se ha convertido en una característica común de las políticas sociales en la mayoría de los países de América Latina. Esto requiere indicadores técnicos sólidos y socialmente aceptables con los cuales identificar las poblaciones objetivo de programas especiales de apoyo, y las evaluaciones se han constituido en un insumo importante en este sentido.


 

Extraído de
Uso de los resultados de evaluaciones educativas a gran escala en América Latina
Patricia Arregui
Grupo de Trabajo sobre Estándares y Evaluación del PREAL





Publicaciones recomendadas
Calidad de la Educación, un debate ineludible
Ideología y poder
Teorías del aprendizaje
Related Posts Plugin for WordPress, Blogger...

Busca en mis sitios