Mostrando entradas con la etiqueta pruebas. Mostrar todas las entradas
Mostrando entradas con la etiqueta pruebas. Mostrar todas las entradas

lunes, 20 de agosto de 2018

ENTRE LOS DEMONIOS, EL DIABLO ES EL REY. ¿QUÉ ES LO QUE NO SE VE DE LOS RESULTADOS DE LAS PRUEBAS PISA DE LA OCDE?

 En víspera de la aplicación de las pruebas PISA en agosto 2018, se iniciará una nueva ola de comercialización de la educación por la Organización para la Cooperación y el Desarrollo Económicos (OCDE), quien afina sus flamantes estrategias para establecer los buenos y malos de los sistemas educativos del mundo, y así direccionar la inversión de los organismos económicos en aquellos países que hacen resonancia con sus políticas neoliberales.


La OCDE, fue creada en el 61´, donde actualmente participan 34 países, ésta tiene como fin, “el fortalecimiento de las economías de los países industrializados o en desarrollo”, pero, hace unos días, un amigo, me dio otra definición, cuando decía, que ésta se ha convertido en el gran Ministerio de Educación Mundial, estableciendo las políticas y rankings educativos y en definitiva, creo que ha sido así, ya que los resultados de PISA son referentes para las transformaciones y reformas educativas.
El Programa Internacional de Evaluación de los Alumnos (PISA) de la OCDE (2000), tiene por objeto evaluar el rendimiento de los aprendizajes en matemática, lectura y ciencias de estudiantes con quince (15) años de edad. Es aplicada cada tres (3) años y principalmente compara rendimientos de estudiantes de los países participantes para el establecimiento de rankings. Actualmente en PISA han participado cerca de 540 mil estudiantes de 72 países.
Ahora bien, cabe mencionar que para la UNESCO (2011), “la educación debe ser de calidad a lo largo de toda la vida,… es un derecho humano para todas y todos, es decir, para cada niño, niña, adolescente, mujer u hombre…, debe ser inclusiva”, “debe contribuir para una ciudadanía mundial, incluyendo los conceptos de paz, tolerancia y comprensión mutua, para prevenir la violencia en las escuelas y promover la comprensión intercultural, el diálogo interreligioso, el respeto de la diversidad y la empatía”.
En ese sentido, la educación debe convertirse en una herramienta para la liberación de los pueblos, donde se propicie la construcción de ciudadanía, la formación integral de la personalidad, la pertinencia del hecho educativo con el proyecto país, la transformación y revolución cultural de la sociedad.
En por ello, que debemos preguntarnos, ¿por qué la OCDE se interesó invertir en la educación, cuando es un organismo económico?, ¿con qué fin se han aplicado las pruebas PISA?, ¿Las pruebas PISA dan luces sobre el cumplimiento de los fines de la educación? ¿Los países que están en las primeras posiciones de los resultados de las pruebas PISA cumplen con los fines de la educación?, en estas líneas intentaremos iniciar un debate para construir en colectivo las respuestas a las interrogantes expuestas. Por eso la invitación queda abierta para todos y todas.
La OCDE se interesó en invertir en educación, ya que ha sido una estrategia de privatización mundial, ya que “quién pone el dinero, es quien define la música que se toca”. En ese sentido, desde hace unas décadas se ha producido un ataque permanente a la educación pública, manipulando estadísticas, desvalorizando a sus maestros, maestras y demás actores del hecho educativo vinculante, con el fin de vender la educación privada como una alternativa redentora, según ellos, a una situación deplorable como ha sido la educación pública para las sociedades.
Por esa razón, la educación privada se convierte en un espacio para construir personalidades que acepten sin rebatirlas la cosmovisión de las políticas neoliberales para la construcción de la sociedad. Es por ello que, Torres, J. (2014), menciona:
Una educación neoliberal estaría dirigida a preparar seres consumidores, críticos con sus intereses como consumidores, pero no capaces de imaginar y reflexionar sobre qué modelos de sociedad son los más justos y respetuosos con los intereses colectivos. No se busca educar personas imaginativas y creadoras de soluciones, inconformistas ante todo lo que funciona mal

Para lograr su cometido, la OCDE genera un montón de informes y discursos sobre el rendimiento de esos estudiantes de escuelas públicas, con el fin de justificar ante la sociedad, que iniciativas privadas acojan el control de esos centros educativos, buscando así el control del saber, pensamiento y conocimiento de los pueblos.
Por esas razones, es que se aplican la prueba PISA:
a) Para potenciar la mercantilización del sentido común de la sociedad,
b) Impulsar la competitividad, eficacia y el rendimiento como los dioses redentores del comportamiento humano exitoso,
c) Creer que el conocimiento es cuantificable, estandarizado, que se vende y se compra en el mercado,
d) Hacer creer en el otro, que las políticas neoliberales, políticas económicas y corporativas están despolitizadas, que no son permeadas por alguna corriente ideológica,
e) Controlar individuos u organizaciones a través de estadísticas, estándares de comportamiento y cuantificaciones,
f) Promover las relaciones humanas mercantilizadas y autoritarias, con ausencia de valores y justicia social,
g) Crear personas incapaces de ponerse en los zapatos del otros, en particular sin no comparten la clase social o cosmovisión de la vida,
h) Potenciar personas conservadoras, tradicionales y sumisas ante el poder, i) Impulsar seres humanos con ausencia de una cultura implicada, es decir, sin posibilidad de ubicarse en un contexto socio – histórico,
j) Impulsar “la capacidad de responder a problemas concretos en los que solo cabe una respuesta; pero el mundo no se trata de eso”, tomada de la entrevista presidente del Instituto Weizmann, Daniel Zajfam,,
k) Desvalorizar el maestro o maestra, echándole todas las culpas que emerjan en el sistema educativo,
) Privatizar la educación, con el fin de controlar los pueblos, entre otras.
Con todo lo expuestos es imposible que los resultados de las pruebas PISA den luces al cumplimiento de los fines de la educación establecido por la UNESCO, ya que ha sido necesario secuestrar y debilitar a la educación pública, porque no necesitan la construcción de ciudadanía, ni la integralidad de la formación de los seres humanos, mucho menos seres con identidad nacional, capaces de plantearse preguntas y varias respuestas, ni personas independiente, menos que promuevan la igualdad y equidad social, ni que sus acciones redunden en beneficio con el ambiente o solidarizarse con las luchas sociales en contra del racismo, el sexismo, la violencia de género, la discriminación de los indígenas, la pobreza y demás luchas. Es decir, sólo necesitan personas que respondan a la lógica del mercado y de las grandes corporaciones y para eso, sólo necesitan saber leer, escribir, sumar, restar, multiplicar, dividir y tener una respuesta a problemas concretos.
En congruencia a la última pregunta, en los resultados presentados por la OCDE en el año 2016, de la prueba PISA aplicada en el 2015, arroja como primeros países en los resultados los siguientes: Singapur, Hong Kong, Japón, Taiwán, Finlandia, Canadá, Macao, Estonia, Irlanda, siendo la distribución por cada área temática las siguientes: (Ciencia: 1. Singapur, 2. Japón, 3. Estonia, 4. Taiwán y 5. Finlandia), en (Lectura: 1. Singapur, 2. Hong Kong, 3. Canadá, 4. Finlandia y 5. Irlanda) en (Matemática: 1. Singapur, 2. Hong Kong, 3. Macao, 4. Taiwán y 5. Japón). No obstante, la realidad social de éstos países, no es tan parecida y muchas veces un negativo a los resultados de su rendimiento académico en áreas técnica que evalúa la prueba.
Ejemplo de ello, el Acoso, según los resultados de las pruebas TIMSS 2015, estudiantes de 8vo grado (entre 13 a 15 años de edad), a menudo en el año de estudio, recibieron acoso escolar de forma presencial o virtual, donde posicionan a Japón (14,5) en la segunda posición de mayores índices de acoso escolar de los 70 países que participan en TIMSS, a Singapur de tercero, con (14,4) y a Hong Kong en la cuarta posición, con (14,2).
Además, parte de esto lo ratifica la UNICEF (2017:41) en su reciente informe que habla sobre la violencia sobre los niños, niñas y adolescentes, cuando mencionan sobre la violencia escolar o bullying, posicionan a Hong Kong en segundo lugar (37) de los países con mayor acoso en el mundo, a Singapur de tercero (36) y a Japón de octavo posición (18).
Por otro lado, en el mencionado informe de UNICEF (2017:77), expresa que Finlandia e Irlanda, están entre los primeros doce países donde las mujeres entre 18 a 29 años han experimentado al menos un incidente de violencia sexual por parte de un adulto perpetrador antes de los 15 años.
Para ratificar lo anterior, según la Agencia de los Derechos Fundamentales de la Unión Europea (2015), cerca del 59% de las mujeres finlandesas de más de 15 años han sufrido abusos psicológicos o físicos por parte de hombres (parejas o no). Si se excluye la violencia psicológica y se suma la sexual, Finlandia es segunda a nivel europeo con un 47% de las mujeres agredidas por hombres. En las niñas menores de 15 años las cifras son similares: Finlandia 53%.
En otra tipología de acoso, en Singapur, según Robertson, P. (2015) de Human Right Watch para Asia, expresa que “existe vigilancia y acoso para quienes ejercen la libertad de expresión”, donde hay un severo control de los medios de comunicación e internet. Es tanto así, que Singapur figura entre los últimos, en el puesto 153 de una lista de 180 países, en la protección de la libertad de prensa, según el informe elaborado por Reporteros Sin Fronteras para el año 2015.
Como segundo ejemplo, el Suicidio, que según la Organización Mundial de la Salud (2015), Japón, continúa como segundo país con el mayor índice de suicidios en el mundo (18,9), destacando el Libro Blanco en el 2016, que Japón bajo la tasa de suicidio en algunas edades, pero hubo un aumento en mayores de 70 años y en los jóvenes, la primera, por situaciones de salud y en la segunda, por presión social y educativa.
Por otro lado, según el Banco Mundial (2012), parte de éstos países de mejores promedios también encabezan los rankings de mortalidad de niños y niñas menores de 5 años de edad, Finlandia en el cuarto lugar, Singapur en el quinto y Japón en el séptimo.
Después de asomar, algunas de las situaciones sociales de éstos países de rankings supremos en educación, según la OCDE, ponemos en duda que la aplicación de éstas pruebas traiga algún beneficio en la disminución de los problemas sociales, primero, ya que las tasas de violencia de género, acoso escolar, suicidio, moralidad infantil y discriminación son asignaturas pendientes de éstos sistemas educativos, segundo, ya que éstas prueba sólo intenta medir el rendimiento estudiantil en algunas áreas de conocimiento y tercero, discrimina y segmenta a la sociedad, cuando establece “los estudiantes pobres tiene tres veces más probabilidad de tener un mal desempeño que los estudiantes de familias con mejor posición económica” OCDE (2016), es decir, que ya instituye a priori que los más vulnerables y de las periferias son los que serán los peores estudiantes de mundo, como si eso marcara alguna diferencia en la evolución de sus historias como hombre y mujeres de éxitos.
Por último, si sólo centramos los fines de la educación, como logros de rendimiento académicos, es sinónimo de una sociedad fútil, que ignora el peso que tiene la educación para la solución de los problemas sociales y para la transformación de los pueblos. Po ello, es que hoy los/as invitos a rechazar y abandonar esas creencias que nos han tratado de implantar los organismos económicos, digamos no a los rankings internacionales estandarizados en educación y digamos no a la aplicación de pruebas estandarizadas, lo que traen consigo, es la marginación de los menos protegidos, la eliminación de la garantía de una educación pública, la segmentación de la sociedad, la discriminación humana, la perdida de la identidad nacional, en fin, el control de los pueblos.


 Por
Doctorado en Ciencias de la Educación, Magíster en Desarrollo Curricular, Licenciada en Relaciones Industriales.Diseñadora y evaluadora curricular. Docente – Investigadora Educativa del CIM y reconocida por el PEII en la Categoría B, Coordinadora General del CNIE, Integrante de la SVEC e Integrante Fundadora de la Red Global/Glocal por la Calidad Educativa.


miércoles, 31 de enero de 2018

El mito de las pruebas PISA

Mito:
Las pruebas PISA muestran que toda la educación está mal
Las pruebas internacionales expresan la realidad de la decadencia educativa argentina. Si en PISA te va bien, está todo fabuloso; si te va mal, se confirma el diagnóstico catastrófico




PISA es un programa internacional de evaluación de estudiantes de 15 años implementado por la OCDE (Organización para la Cooperación y el Desarrollo Económico). Esta institución internacional está integrada por 34 Estados; entre ellos, los más desarrollados del mundo. El programa consiste en aplicar cada tres años pruebas estandarizadas de rendimiento escolar a muestras nacionales de chicos de 15 años escolarizados (no importa en qué nivel). En la última prueba realizada en 2012 participaron 65 países, entre ellos la Argentina. Los datos resultantes se traducen en un ranking de países que tiene su propio peso en el campo del debate y la formulación de políticas educativas nacionales. Aunque el programa ha recibido críticas tanto por su enfoque limitado de la “calidad de la educación”, como por sus metodologías y técnicas de análisis, lo cierto es que la posición que cada país obtiene en el ranking muchas veces se utiliza para alabar o condenar la calidad de su sistema escolar. El problema es que una simple medida, uno u otro lugar en una lista, desencadena una especie de “comparativismo salvaje” que ignora las particularidades socioeconómicas, históricas y culturales de cada sociedad, así como los objetivos múltiples que persiguen los sistemas escolares, estructuralmente complejos y multifuncionales.

Pese a todo, hay quienes se basan exclusivamente en los resultados de las pruebas PISA para sustentar la idea del fracaso de la educación argentina. Que existen problemas serios que requieren correcciones imprescindibles es parte de un debate sustancial. La sociedad argentina está preocupada por la calidad de la educación a la que acceden sus niños y jóvenes; se trata, desde luego, de una inquietud legítima, profundamente vinculada a las nociones de democracia e igualdad. Ahora bien: discutir el éxito o el fracaso de una inversión en plazos de pocos años parece un poco absurdo. O bien remite a una cuestión estrictamente electoral, pero no educativa. Sólo en 2009 se alcanzó un nivel razonable de inversión educativa, y la última prueba PISA fue en 2012. Incluso en términos eficientistas, un lapso de tres años no es un piso razonable para analizar resultados contundentes en el aprendizaje.

Hay quienes creen que las pruebas miden nuestra competitividad futura, algo relevante en un mundo global. Como contrapartida, para otros son un test demoníaco. Lo cierto es que los actores que instrumentan PISA son los países desarrollados, como parte de sus planteos y su enfoque del capital humano. A nuestro entender, PISA no debe ser endiosado ni condenado; más bien necesitamos comprender cuáles son las inferencias útiles, en nuestro contexto, para nuestros procesos y objetivos educativos.

Cabe hacer algunas observaciones adicionales. Por una parte, la ampliación del acceso a la escolaridad implica la incorporación al sistema de estudiantes antes excluidos. En este contexto, es esperable que algunos promedios de rendimiento o logro tiendan a descender. De hecho, como señala Roberto Giuliodori, el mismo fenómeno pudo percibirse en la evolución de la tasa de egreso del secundario a partir de su masificación en los años ochenta. Lo mismo sucede con los resultados del aprendizaje, en el sentido de que las pruebas estandarizadas demuestran que el origen socioeconómico o sociocultural de los estudiantes es un factor que incide en los puntajes. Ahora bien, ¿es este un motivo suficiente para explicar el lugar que ocupa la Argentina en las pruebas PISA? Posiblemente existan otros. Por eso, es imprescindible incluir la incidencia de la desestructuración institucional, social y pedagógica provocada por el neoliberalismo y la crisis del período 2001-2002. También debe resaltarse que nuestro sistema educativo no prioriza la preparación para las pruebas porque privilegia otros contenidos. Esto marca una diferencia, por ejemplo, con Chile, donde el currículum está muy enfocado en PISA. El riesgo de esta orientación es reducir la enseñanza a un entrenamiento para aprobar exámenes de opción múltiple, objetivo que directamente sustituiría muchos otros.

Para concluir, desmitificar PISA implica darle la importancia que tiene para los objetivos educativos que definamos y en un contexto social específico; por ejemplo, de incremento de la cobertura. Aunque en la Argentina resulta difícil analizar los datos sin exitismo o sin catastrofismo, esa es justamente una de las asignaturas pendientes en el análisis de la realidad educativa.



Extraído de:
Mitomanias de la educacion argentina

A Grimson – E Tenti Fanfani

lunes, 8 de julio de 2013

Una mirada a las pruebas de logros en Educación

Se ha verificado un notable desarrollo en los sistemas nacionales de evaluación educativa, y en ellos, una gran preocupación por las evaluaciones de logro de los alumnos ¿Cuáles son las insuficiencias de estas evaluaciones nacionales?  ¿Cuáles son los desafíos que se le presentan?


Los sistemas nacionales de evaluación que se han desarrollado en los países latinoamericanos desde los años ‘90 vienen prestando una atención especial a la medición de los logros conseguidos por los alumnos. Los instrumentos que se aplican con esa finalidad son las genéricamente denominadas pruebas nacionales, que merecen una mirada especial por la importancia que han llegado a adquirir.

Las pruebas nacionales presentan bastantes diferencias de unos países a otros, aunque también ofrecen algunas similitudes. Entre sus elementos comunes, quizás el más destacado sea la preocupación prácticamente universal que demuestran por evaluar el rendimiento alcanzado en Lenguaje y Matemáticas. No obstante, aunque se trata de dos áreas especialmente atendidas por los sistemas de evaluación, no hay que pensar que sean los únicos dominios evaluados. En efecto, la medición de los logros en ambas áreas suele ir acompañada por la evaluación de otras áreas curriculares complementarias (entre las que sobresalen las Ciencias, la Historia o las Lenguas extranjeras) o de otras capacidades de tipo transversal, no ligadas necesariamente a áreas específicas (como el autoconcepto, algunas estrategias de aprendizaje o ciertas actitudes).

Las pruebas nacionales suelen aplicarse preferentemente en los grados terminales de las principales etapas educativas (sobre todo, al final de la enseñanza primaria y de la secundaria). No obstante, también se aplican a veces en otros grados que tienen un especial interés desde el punto de vista diagnóstico (por ejemplo, el final de ciertos ciclos), aunque la identificación de tales puntos focales varíe de unos sistemas educativos a otros. El reciente desarrollo de algunos estudios internacionales ligados a la edad de los evaluados y no al grado que cursan, como es el caso del proyecto PISA de la OCDE, aún no ha encontrado traducción directa en los sistemas nacionales de evaluación latinoamericanos, ni es previsible que lo haga a corto plazo. El interés que despierta la valoración de los logros conseguidos al final de determinadas etapas supera hoy en la región al que suscita la valoración del nivel de formación a ciertas edades. La participación en aquellos proyectos internacionales parece satisfacer suficientemente las preguntas que puedan plantearse en este último sentido.

Dependiendo del propósito que guía a la evaluación, las pruebas se aplican en ocasiones a poblaciones o cohortes estudiantiles completas, mientras que en otros casos se limitan a muestras representativas de estudiantes. La primera decisión permite hacer un uso más singularizado de los datos obtenidos, tal como comparar el rendimiento de diversas escuelas o estudiantes, mientras que la segunda es más adecuada para usos diagnósticos. Por otra parte, hay países en que las pruebas se aplican cada año, aunque es más frecuente que se adopten ciclos plurianuales, de distinta duración.
Las pruebas nacionales parecen satisfacer ampliamente a las autoridades educativas, a la vista del uso tan extenso que se hace de ellas. No obstante, en un análisis más profundo también presentan insuficiencias y problemas, que requieren una consideración más atenta.

Tres son las principales insuficiencias de las pruebas nacionales de logros que han subrayado los especialistas. La primera consiste en la existencia de algunas debilidades técnicas en los procesos de desarrollo y validación de los instrumentos de medición. La segunda se refiere a la insuficiente calidad y capacidad que las pruebas ofrecen para evaluar aprendizajes complejos. La tercera tiene que ver con el insuficiente aprovechamiento que suele hacerse de la información obtenida.

Los problemas a los que se ha hecho alusión son de distinto tipo. Para comenzar, habría que señalar algunos relativos al diseño y confección de los instrumentos de evaluación:

• Un primer problema tiene que ver con el contenido de las pruebas, asunto que plantea dos tipos de dificultades. La primera se refiere a la relación que debe existir entre las pruebas y los objetivos educativos. Lo deseable es que las pruebas estén referidas a los objetivos establecidos en el sistema educativo, de manera que permitan valorar el grado en que se alcanzan las metas previstas. Aunque este planteamiento resulta lógico y plausible, plantea dificultades cuando no existen objetivos explícitos (lo que sucede en muchos casos), o cuando los objetivos de cada curso o etapa se formulan de manera poco concreta. Cuando no se pueden determinar los objetivos de forma precisa, resulta sin duda más difícil elaborar las pruebas. La segunda dificultad se refiere al tratamiento de la diversidad curricular existente entre diferentes regiones, distritos o escuelas. La mayoría de los modelos curriculares aplicados en América Latina conceden cierto grado de autonomía a las autoridades regionales o distritales o a las propias escuelas para definir el currículo. En consecuencia, no resulta sencillo hacer pruebas que abarquen todas las enseñanzas efectivamente impartidas en todo el sistema educativo. Las soluciones posibles son dos: elaborar pruebas de mínimos, lo que implica reducir el campo de evaluación, o elaborar pruebas comunes a partir de un consenso profesional o técnico. Ambas soluciones son utilizadas en la región, sin que quepa conceder prioridad a una de ellas sobre la otra.

• Un segundo problema tiene que ver con algunas disyuntivas que se plantean en relación con el diseño y la confección de las pruebas. La primera disyuntiva se refiere al enfoque de las pruebas, que pueden estar centradas en los conocimientos adquiridos por los alumnos o abarcar también el desarrollo de actitudes. Las pruebas que miden unos y otras no son iguales, ni siquiera plantean las mismas exigencias técnicas, lo que obliga a decidir su enfoque. Una segunda disyuntiva se refiere al carácter de las pruebas, pudiéndose optar por la elaboración de pruebas referidas a criterios de logro o por la confección de pruebas de tipo normativo, adaptadas a una distribución de resultados estadísticamente normal. La tercera disyuntiva se refiere a la delimitación de la población sujeta a evaluación, que permite optar por pruebas de aplicación censal (dirigidas a toda la población estudiantil de un determinado grado o edad) o de tipo muestral (dirigidas a muestras representativas de población).

Otro grupo importante de problemas están relacionados con la explicación de los resultados conseguidos. La mayoría de los sistemas nacionales de evaluación no suelen contentarse con medir los logros alcanzados por los estudiantes, sino que también pretenden explicar por qué se producen tales resultados. Sin embargo, dicho intento de explicación tropieza con varios problemas y dificultades:

• Un primer problema tiene que ver con el grado de coherencia realmente existente entre la evaluación y el currículo. Como se señalaba al comienzo del trabajo, el desarrollo de los sistemas nacionales de evaluación ha ido generalmente asociado a otros procesos de reforma curricular. No obstante, esa simultaneidad no ha asegurado siempre la existencia de una adecuada coherencia entre ambos aspectos. En los casos más extremos, puede incluso decirse que ambos procesos se han desarrollado en direcciones divergentes. Cuanto más importancia se ha concedido a las pruebas, mayor ha sido su impacto sobre el desarrollo curricular.

• Un segundo problema, menos complejo pero no menos influyente, está relacionado con el tipo de interpretación que permiten los diversos modelos de pruebas. Como se señalaba más arriba, dos son los modelos de pruebas utilizados más habitualmente: criteriales y normativas. Las pruebas de tipo criterial proporcionan una base sólida para valorar la suficiencia de los logros conseguidos, ya que se apoyan en una definición operativa de los objetivos que deben alcanzarse. Por el contrario, las pruebas de tipo normativo exigen alguna operación adicional para poder valorar la suficiencia de los logros alcanzados, dado que se refieren a situaciones de normalidad estadística. La existencia de estos dos modelos alternativos obliga a considerar cuidadosamente qué usos se quieren hacer de las pruebas, antes de decidir el que conviene aplicar.
• Un tercer problema se refiere a las dificultades conceptuales y técnicas que se plantean a la hora de buscar explicaciones. Por una parte, hay que reconocer la debilidad teórica de los modelos habituales de producción educativa, que en buena parte deriva del problema que plantea la causalidad en educación. Esa debilidad influye en la selección de los factores que se consideran asociados al rendimiento, pocos de los cuales cuentan con confirmación empírica sólida. Además, la explicación de los resultados se ha basado tradicionalmente en la distinción de dos tipos de variables, unas extrínsecas y otras intrínsecas. Mientras que las primeras (nivel socioeconómico y cultural, recursos destinados a la educación) han sido objeto de análisis abundantes, las segundas (organización del sistema educativo, procesos institucionales, procesos de aula) vienen resultando menos concluyentes y aún requieren investigaciones adicionales.

• Un cuarto problema tiene que ver con la voluntad que a veces existe de buscar muchas vías de explicación de los resultados obtenidos, que puede traducirse en un exceso de datos recogidos. Cuando ese exceso de datos va unido, como ocurre en ocasiones, con una insuficiente delimitación conceptual de las variables seleccionadas y con limitaciones en el análisis estadístico de los datos, la situación puede llegar a resultar inmanejable. La consecuencia suele ser una evidente infrautilización de los datos y una ineficiencia en el uso de los recursos disponibles.

• Un último grupo de problemas que plantean las pruebas de logros están relacionados con el uso que se hace de las mismas y con las interpretaciones a que dan pie:
• Un primer problema tiene que ver con los distintos tipos de uso que pueden hacerse de la información. Los resultados de la evaluación pueden utilizarse con una finalidad formativa, orientada al desarrollo institucional y profesional de los agentes implicados, para fomentar la competición, e incluso para impulsar políticas de mercado en el ámbito educativo. Obviamente, las interpretaciones que permiten tales posibilidades son diferentes y persiguen distintos efectos. Es necesario señalar que, si bien esos son los extremos de un continuo de posibilidades de uso, existen otras opciones intermedias en que dichos propósitos pueden combinarse en diferente proporción. La decisión sobre el tipo de uso que se pretende hacer de los datos de la evaluación condiciona en buena medida el diseño de la evaluación.

• Un segundo problema tiene que ver con la existencia de diversas posibilidades de comparación (con una norma o criterio, con otras realidades semejantes, consigo mismo a lo largo del tiempo), cada una de las cuales plantea sus propias exigencias y ofrece diferentes posibilidades. El uso de la comparación plantea un problema complicado, que tiene que ver con la justicia de la comparación. El intento de dar respuesta a esa cuestión ha impulsado el desarrollo de técnicas de cálculo del denominado valor añadido.

• Un tercer problema consiste en el excesivo reduccionismo en que a veces se cae cuando se pretende interpretar los resultados de la evaluación. Ese defecto puede venir originado por una excesiva limitación del contenido de las pruebas, que no permite llegar a conclusiones razonables sobre el logro de los objetivos propuestos, o por una interpretación poco rigurosa de los datos, que puede incluso llegar a distorsionar las interpretaciones.

A la vista del análisis que acaba de hacerse de las pruebas nacionales de logros, se llega a la conclusión de que constituyen la práctica de evaluación más habitual en la región, encontrándose bastante asentadas en la actualidad. No obstante, como se ha puesto de manifiesto, presentan algunas deficiencias y problemas que deberán solventarse en el futuro, si se quiere asegurar su credibilidad y se pretende que contribuyan a mejorar la educación.



Extraído de
¿Qué pretendemos evaluar, qué evaluamos y qué conclusiones podemos extraer de la evaluación?
Alejandro Tiana Ferrer
En: Evaluar las evaluaciones
Una mirada política acerca de las evaluaciones de Calidad Educativa
IIPE UNESCO
En la sección “Biblioteca” hay un link hacia el PDF completo

martes, 7 de junio de 2011

Análisis de la prueba SERCE

Análisis de la prueba SERCE
En la actualidad hablar de acceso a la educación, como el solo hecho de que los niños y jóvenes asistan a escuela ya no es suficiente, pues la mayoría de los países de la región sobrepasan el 94% de tasa neta en educación primaria, un solo país presenta una tasa de 78%, en tanto que tres alcanzan el 87% y 94% respectivamente.

Esta realidad obliga a los países a plantearse nuevas metas, metas de orden cualitativo, un siguiente nivel de acceso, que debería ser el acceso al conocimiento, entendido como el dominio de niveles básicos de logros cognitivos.

Para reflexionar sobre la eficiencia de los sistemas educativos de la región se han escogido 16 países de los cuales se tiene datos de tasa neta de matrícula hasta el año 2005, excepto cuatro de ellos cuyos datos corresponden al año 2004, uno solo con datos al 2006, y Costa Rica que no presenta datos.

Se analizarán también los índices de variación, entendidos como la diferencia entre el número de estudiantes matriculados en el sexto y tercer grado respectivamente, así como las tasas de sobreedad de los mismos grados, definidas como el porcentaje de niños con dos o más años de edad teórica.

Ver el artículo en el PDF publicado a continuación




jueves, 21 de enero de 2010

Prueba Pisa 2009: Hilando Fino

Prueba Pisa 2009: Hilando Fino II
La lectura en el Informe PISA-OCDE: hacia el 2009 Paloma Valdivia Vizarreta

El proyecto PISA de la OCDE es una evaluación internacional estandarizada que se aplica al alumnado de 15 años. En este proyecto, en el que participaron 32 países en la prueba del año 2000, 43 en el 2003 y 60 en 2006, se evalúa el rendimiento en tres ámbitos: Lectura, Matemáticas y Ciencias.
En 2009, comienza el nuevo ciclo centrado en la competencia lectora. De ahí el interés de realizar una segunda parte de “Hilando Fino”
Esta presentación resume de forma conjunta, el marco teórico de la lectura y los items liberados en las tres ediciones del primer ciclo PISA (2000, 2003 y 2006).

Comprende una serie de conocimientos, habilidades y estrategias que la persona adquiere con los años, no solo en la etapa infantil.
Se incrementa mediante las situaciones que vive, la interacción social.

Comprender informaciones escritas, utilizarlas y reflexionar.
Satisfacer una serie de aspiraciones personales.
Le proporciona instrumentos lingüísticos para enfrentar las exigencias sociales modernas.
La lectura de Pisa

“La competencia lectora es la capacidad de comprender, utilizar y analizar textos escritos para alcanzar los objetivos del lector, desarrollar sus conocimientos y posibilidades y participar en la sociedad.”

A través del lenguaje podemos describir, narrar, contar y explicar la realidad.
Según lo que deseemos hacer, utilizamos un tipo u otro de texto e incluso combinaciones de unos y otros en el mismo discurso para dar a conocer lo que deseamos y hacernos comprender en diferentes situaciones y con interlocutores variados. Las tres dimensiones:
. Marco Teórico de PISA-OECD 2003

PRUEBA Núcleo de la evaluación Narración Exposición Descripción Argumentación Instrucción Documento Hipertexto Cuadros/gráficos Tablas Diagramas Mapas Formularios Convocatorias Anuncios Vales y bonos Certificados Hojas informativas
Acción: explorar, localizar e identificar datos relevantes.
¿Qué se evalúa?:que establezca concesiones entre la información que proporciona la pregunta y a información del texto, empleando las mismas palabras o sinónimos.

Nombre de personajes.
Ubicación en el tiempo.
Reconocer la presencia de informaciones distractoras.
Tener en cuenta un solo criterio para localizar uno o más fragmentos independientes de información expresada de una forma explícita.

Acción : juzgar el texto globalmente.
¿Qué se evalúa?: que el estudiante señale el tema general o el mensaje del texto, que identifique la función o utilidad.

Selecciona o crea un título.
Explica el orden de las acciones
Explica las dimensiones de un gráfico o tabla.

Acción: ampliar su primera impresión del texto.
¿Qué se evalúa?: que el estudiante procese la estructura informativa del texto demostrando comprensión en la cohesión textual.

Comparación y contraste de información
Capacidad de hacer inferencias del texto-
Capacidad de hacer inferencias sobre la intención del autor y en qué se basa para afirmarlos.
Identificación y listado de pruebas o pistas.

Acción: relacionen la información del texto con conocimientos de otras fuentes.
¿Qué se evalúa?: que el estudiante contraste

Evaluar críticamente o formular hipótesis a partir de conocimiento especializado.
Tratar con conceptos inesperados y extraer una comprensión profunda de textos largos y complejos.
Interpretar el significado presente en un texto expresado con lenguaje muy matizado o demostrar una comprensión completa y total del texto.

Acción: Juzgue y evalúe la calidad y relevancia
¿Qué se evalúa?: La familiaridad del estudiantes con las estructuras, los registros y los géneros de los textos.

Determinar la utilidad del texto .
Determine el uso que hace el autor de determinados recursos textuales para alcanzar su fin.
Que describa o comente el estilo empleado por el autor.
Que identifique cuál es el propósito o la actitud del autor.







viernes, 27 de marzo de 2009

Las Evaluaciones Educativas que América Latina Necesita IV

LOS DESAFÍOS DE CALIDAD TÉCNICA DE LAS EVALUACIONES
Una vez definida la política de evaluación, es necesario implementarla de acuerdo con diversos estándares apropiados de calidad técnica. Esto implica abordar los siguientes desafíos:


Elaborar un referente o marco conceptual que defina con precisión los conocimientos y desempeños que son considerados apropiados al finalizar el grado o ciclo educativo que será evaluado

Si bien esta construcción exige antes que nada un debate y decisiones de carácter político, las definiciones tomadas en dicho terreno deben luego ser adecuadamente traducidas en especificaciones y estándares de carácter técnico. Asimismo, el debate político-educativo debe estar alimentado por información sobre los avances conceptuales recientes en cuanto a la enseñanza y a los desempeños de los estudiantes en las disciplinas consideradas.



Incluir en las pruebas actividades con diversos grados de complejidad


Se debe contemplar actividades cuya solución requiera de competencias cognitivas suficientemente complejas, apropiadas a los desafíos de la sociedad del conocimiento, así como también actividades sencillas que permitan informar sobre el punto en que se encuentran los estudiantes menos avanzados. Las actividades deben poseer una serie de propiedades psicométricas que es necesario garantizar y cuyo control requiere pruebas piloto y análisis cuidadoso. También es importante, en la medida de lo posible, ampliar el uso de preguntas de respuesta construida, con el doble propósito de evaluar capacidades más complejas y de mejorar la articulación entre la evaluación externa y la cultura docente y escolar.


Conformar las pruebas a partir de la apropiada integración de las actividades en bloques y cuadernillos


Este es un desafío técnico importante y complejo, que requiere de conocimientos especializados y experiencia. Especial atención debe otorgarse a la decisión de utilizar la Teoría Clásica o la Teoría de la Respuesta al Ítem para la construcción y el análisis de las pruebas, lo cual requiere de programas de procesamiento modernos, analistas bien entrenados, análisis rigurosos y asesoramiento de alto nivel.


Definir los “puntos de corte” que establecen los límites entre niveles de desempeño en una prueba


Vinculado con esto, se debe definir la metodología a seguir para establecer cuál de los niveles debe ser considerado como aceptable para un estudiante al finalizar el grado o ciclo educativo evaluado. Un rendimiento aceptable no puede ser establecido automáticamente como equivalente al 51% o más del máximo posible en una prueba.


Diseñar muestras apropiadas a los propósitos de la evaluación


Esto tiene por objeto evitar operaciones más grandes y costosas de las estrictamente necesarias y que, al mismo tiempo, tengan un nivel de precisión adecuado. En relación a este último aspecto debe incluirse, además, la estimación y reporte de los márgenes de error de las mediciones.


Definir cómo se equipararán las evaluaciones


La equiparación de las evaluaciones se refiere a la metodología mediante la cual los resultados de pruebas aplicadas en distintos años se hacen comparables. Este es uno de los desafíos técnicos más importantes que los sistemas de evaluación deben afrontar si uno de sus propósitos es informar sobre los avances o retrocesos en los logros educativos a lo largo del tiempo. Este proceso es indispensable para poder afirmar que los eventuales cambios que se constaten responden a cambios en la realidad educativa y no meramente a cambios en el instrumento de medición. Requiere tomar recaudos tanto desde el punto de vista estadístico, como desde el punto de vista de la continuidad de los conocimientos y competencias evaluadas, y la estabilidad en la longitud y la estructura de la prueba.


Construir datos longitudinales que permitan apreciar la evolución en el tiempo de los aprendizajes de un mismo conjunto de estudiantes


Este tipo de datos, que exigen más de una medición en el tiempo, es el que evalúa el “aprendizaje” entendido como cambio y el que mejor permite establecer cuáles son los procesos propiamente escolares que tienen influencia sobre el mismo. Este enfoque es el que permitiría obtener información más relevante para la política educativa y para la investigación.


Establecer mecanismos de control del cumplimiento de las condiciones estandarizadas que deben regir durante la aplicación de las pruebas

El cumplimiento de las condiciones de aplicación de las pruebas involucra aspectos técnicos complejos y muchas veces descuidados. Sin embargo, son fundamentales para que la información sea confiable y comparable. Esto apunta a temas como:
  • La calidad de la capacitación de los aplicadores.
  • El establecimiento de controles de calidad durante la aplicación de las pruebas.
  • La motivación a los estudiantes para realizar las pruebas.
  • La logística de la distribución.
  • El retorno seguro de los materiales.

Combinar las evaluaciones con estudios cualitativos

Es importante combinar las evaluaciones nacionales estandarizadas, que ofrecen una mirada sobre el conjunto del sistema, con la realización de estudios cualitativos que permitan profundizar en los procesos escolares y los procesos que ocurren en las aulas. Esta combinación de enfoques es el mejor modo de aportar información rica y compleja para pensar en las políticas educativas y en las prácticas de enseñanza.

La necesaria transparencia

Sobre todos los procesos técnicos debe existir información transparente y accesible. Es necesario dar un especial énfasis a la documentación de los procedimientos técnicos seguidos en:

  • La construcción de los instrumentos.
  • La estimación de la precisión de las mediciones (y, por consiguiente, su margen de error).
  • El diseño de las muestras y la cobertura alcanzada.
  • La aplicación y control de calidad de la misma.
  • La definición de niveles de desempeño y puntos de corte.
  • La equiparación y comparabilidad de los resultados con mediciones anteriores.

Extraído de
http://rinace.net/riee/numeros/vol1-num1/art4_htm.html

Pedro Ravela, Patricia Arregui, Gilbert Valverde, Richard Wolfe, Guillermo Ferrer, Felipe Martínez Rizo, Mariana Aylwin y Laurence Wolff

martes, 10 de febrero de 2009

LA FIABILIDAD DE ENCUESTAS INTERNACIONALES A GRAN ESCALA

Muchas críticas siguen formulándose con respecto a las encuestas internacionales y en particular respecto a PISA. La explotación realizada sobre el plan político y por los medios de los resultados de PISA no suscita confianza en los medios educativos. También hay una serie de problemas metodológicos que resolver y esclarecer como, por ejemplo el modelo de medición utilizado, las condiciones de validez de los ítems del test, la reducción de distorsiones culturales, las cuestiones de traducción, etc. Han sido realizados adelantos considerables en el transcurso de los últimos cuarenta años sobre el plan metodológico y de organización.

La calidad de las últimas grandes encuestas internacionales como PISA, PIRLS, TIMSS (Trends in Mathematics and Science) es admirable. Estos estudios son una mina de información sobre los sistemas de enseñanza. Por otro lado, la exigencia de la comparación revela sus fallos. Sin embargo, son insustituibles, ya que no hay otros medios para documentarse sobre las prestaciones de servicios de enseñanza para realizar comparaciones que digan algo válido sobre el estado de salud de un sistema, produciendo datos empíricos que pueden ser discutidos, puestos a prueba o rechazados sin más.

El reverso de la moneda es la tentación de la clasificación para designar a «la chica más bella del reino». Sin embargo, este espejo que nos muestran los estudios internacionales no es perfecto. Es un espejo que deforma. Sólo un esfuerzo considerable y crítico sobre el plan científico podrá ayudar a corregir sus defectos.

Más que nunca, debemos tener un debate democráticamente abierto y una discusión transparente sobre la naturaleza y los límites de estas encuestas. Su calidad es indiscutible, la calidad de las evaluaciones es evidente, las técnicas de muestreo se han perfeccionado, el tratamiento estadístico ha avanzado, sobre todo en lo que se refiere a la metodología de comparaciones internacionales.

Conocemos mejor los límites y las trabas de estos estudios y empezamos a dominarlas mejor. Por lo tanto, una conclusión se impone: si queremos controlar los efectos de estas estrategias y dominar estas operaciones, poder pronunciarnos e influir en ellas, hay que participar, ya que sólo así haremos progresar la ciencia de la educación pero también podremos adquirir un conocimiento íntimo de mecanismos, de luchas de poder, de grupos de presión que bajo bastidores forjan estos estudios. Este conocimiento es indispensable para actuar con eficacia, sin cometer graves errores que restarían cualquier credibilidad a las quejas y a las tomas de posición que habrá que formular ante la comunidad científica.



Traducción: Claudine Corrocher
La más bella del reino: el mundo de la educación en alerta con la llegada de un príncipe encantador
Norberto Bottani
Consultor y analista de políticas de educación
Re2006.pdf
Número extraordinario PISA
http://www.revistaeducacion.mec.es/

jueves, 11 de diciembre de 2008

Cómo parecerse a Finlandia

Misukka anima a los países a fomentar el respeto por la enseñanza y preparar a los profesores para que sepan detectar a tiempo los problemas de sus alumnos. Sólo así dispondrán de la base para pasar por la evaluación PISA con buena nota.

¿Por qué? Eso mismo se preguntan el resto de sistemas educativos, cuando comprueban edición tras edición que Finlandia lidera una vez más los exámenes de PISA. Y quién mejor para contestar, que la secretaria de Estado del Ministerio de Educación finlandés, Heljä Misukka, que, orgullosa del éxito de su país, enumeró los ingredientes secretos que componen la fórmula del “éxito” educativo. Supongo que es una pregunta que ha tenido que contestar infinidad de veces.

Pero, ¿cuál es el secreto que hace posible el triunfo de Finlandia en PISA?
En primer lugar me gustaría aclarar que para entender el secreto de Finlandia en PISA no podemos hablar de un secreto sino de la sinergia de múltiples factores. Uno de ellos es disponer de profesores altamente cualificados y muy comprometidos con su trabajo. También que la profesión de maestro en nuestro país es muy popular y eso provoca que una gran parte de los jóvenes quieran ser profesores y, a su vez, que las universidades pueden seleccionar candidatos de muy alta calidad.

¿Cómo influye el salario de los maestros, que en otros países suele ser mediocre, en esa amplia demanda?
No afecta especialmente. El salario del maestro en Finlandia se sitúa en la media de los países de la OCDE, pero no es extraordinariamente bueno. Creo que la elección de los jóvenes tiene más que ver con el valor que la sociedad finlandesa le concede a la Educación y la actitud que tiene ante la profesión de maestro, que es muy buena. Y no sólo eso, sino que disponemos de estándares muy descentralizados que permiten a los profesores ser muy independientes en su trabajo. Por ejemplo, pueden elegir los métodos de enseñanza o el tipo de material que prefieren utilizar con sus alumnos y pienso que esto también les motiva. Además, en Finlandia no hay inspectores detrás de la esquina para ver cómo trabajan los maestros. Y esa libertad y confianza les ayuda también en su trabajo.

Aparte del rol que juegan los profesores, ¿qué otros factores contribuyen a que en Finlandia una mayoría de la población posea el título de Bachillerato?
Creo que la gratuidad de la Educación obligatoria es también un factor muy importante. En Finlandia no hay que pagar nada ni por la enseñanza durante los nueves años que componen la obligatoria, pero tampoco por los libros, el material, las comidas escolares, el transporte, el sistema sanitario y el dental. Y también lo es la equidad de nuestro sistema. Para nosotros tan importante como liderar las pruebas de PISA fue comprobar la escasa diferencia que había entre los resultados de los niños y las niñas.

¿Cree que su sistema educativo es posible exportarlo? Mucha gente se pregunta por el éxito de Finlandia en PISA y por el tipo de enseñanza que utilizamos, pero no creo que sea algo tan fácil de imitar. Se pueden copiar algunas cosas, pero habría que cambiar también la actitud de la sociedad ante la Educación, por eso no es tan fácil. En algunos países europeos, como ocurre en España, uno de los principales problemas educativos es que muchos niños fracasan cuando llegan a Secundaria.

¿Cómo cree que se puede luchar contra este fenómeno?
Nosotros también tenemos fracaso escolar en Finlandia. Y para combatirlo en la actualidad estamos intentando crear proyectos de aprendizaje más flexibles. Estamos buscando tipos de aprendizaje específicos para los chicos. Digo chicos porque es curioso, pero a diferencia de los países en desarrollo, donde son las niñas las que abandonan el colegio antes, en los industrializados son especialmente los chicos los que fracasan. Creo que es fundamental flexibilizar la enseñanza.

En el caso en que los estudiantes suspendan ¿apuesta por la repetición del curso?
No, no creo que la repetición sea la solución. Cada niño debería estar en el curso acorde con su edad. Creo que la clave está en prevenir la situación antes de que llegue a producirse. Los profesores deberían ser capaces de detectar qué estudiantes tienen algún tipo de problema y desarrollar diferentes métodos de enseñanza en función de las necesidades de cada niño.

¿Qué consejo nos daría para afrontar PISA 2009 con buen pie?(Risas).
La clave está en disponer de profesores bien cualificados y conseguir que estén motivados con su trabajo. Partiendo de esa base, se puede conseguir mucho.

Consejos para parecerse a Finlandia
Cúmulo de factores
La secretaria de Estado defiende que el secreto de Finlandia no se congrega en un único factor sino en la combinación de varios.

Pesa más el respeto
Los resultados de Finlandia demuestran que para los docentes es mayor incentivo el respeto que les otorga la sociedad que un sueldo excesivo. “En Finlandia el sueldo docente no es extraordinariamente bueno”, reconoce Misukka.

Un sistema igualitario
Las diferencias que en otros países existen en las notas entre niños y niñas o entre regiones en Finlandia son mucho menores. La equidad del sistema finés es otra de sus claves del éxito.

¿Se puede exportar?
La secretaria de Estado reconoce la dificultad de imitar su sistema educativo por basarse en una combinación de factores. Y defiende que tan importante como adoptar sus características es cambiar la concepción que la sociedad tiene de la enseñanza.

Fracaso Escolar
El mal del fracaso escolar también afecta a la elogiada Finlandia. Misukka apuesta por flexibilizar la enseñanza para mejorar los resultados.Prevenir mejor que curar
Finlandia recomienda detectar los problemas antes de tener que subsanarlos; y no aconseja la repetición como estrategia recuperatoria.

Nota aparecida en Magisnet edición digital del magisterio del 11 de diciembre de 2008
http://www.magisnet.com/articulos.asp?idarticulo=3824

domingo, 7 de diciembre de 2008

Cómo ha cambiado el rendimiento de los alumnos en lectura

El informe de la evaluación PISA 2006 ofrece una prueba más de la “tragedia educativa” argentina. Dice que con un nivel de certeza del 99%, el rendimiento registrado por los alumnos (de 15 años), ha sido inferior al del 2003. ¿Seguirán las autoridades políticas ignorando los resultados? ¿Continuará el silencio? Transcribo a continuación el informe:

Tras vislumbrarse ciertos cambios entre PISA 2000 y PISA 2003, PISA 2006 ofrece información sobre las tendencias del rendimiento en lectura desde PISA 2000, cuando se realizo la primera evaluación completa de la lectura. De este modo, permite a quienes llevan a cabo las políticas educativas, controlar las mejoras en los resultados de lectura, tanto en términos absolutos como relativos a las mejoras en otros países.

En los países de la OCDE, el rendimiento en lectura de PISA permanece, por lo general, similar entre PISA 2000 y PISA 2006. Este hecho, en si mismo, es digno de mención, ya que la mayoría de los países han incrementado notablemente su inversión en educación en los últimos anos. El gasto por alumno de educación primaria y secundaria en los países de la OCDE aumento una media del 39 % en términos reales. En el breve periodo entre el ano 2000, fecha de la realización de la primera evaluación PISA, y 2004, el aumento medio del gasto por alumno ascendía al 22 %, y en 6 países de la OCDE, a porcentajes entre el 30 y el 61 %.

Los datos muestran, asimismo, que algunos países han alcanzado importantes mejoras en los resultados de lectura, y algunos de ellos con un moderado incremento del gasto.
Dos países de la OCDE (Corea y Polonia) y cinco economías o países asociados (Chile, Liechtenstein, Indonesia, Letonia y Hong Kong-China) han experimentado mejoras en el rendimiento en lectura desde PISA 2000.
• Corea mejoro su rendimiento en lectura entre PISA 2000 y PISA 2006 desde un nivel que ya era alto, de 31 puntos, hasta alcanzar el rendimiento mas alto de todos los países participantes, sobrepasando incluso a Finlandia, cuyo rendimiento se mantuvo estable en un nivel alto. Corea alcanzo esta mejora, básicamente, aumentando los niveles de rendimiento entre los alumnos con los mejores resultados, mientras que el rendimiento en los extremos más bajos de la escala prácticamente no cambio.

Efectivamente, en el percentil 95, por encima del cual solo puntúa el 5 % constituido por los mejores alumnos, el rendimiento en lectura aumento en 59 puntos, llegando a los 688 puntos; en el percentil 90 el aumento fue de 55 puntos y en el percentil 75, de 44 puntos. Por el contrario, no hubo en Corea ningún cambo significativo en los percentiles 5 y 10. Las autoridades coreanas atribuyen esta mejora en el rendimiento en lectura a un nuevo currículo, en el que las pruebas de tipo ensayístico han ganado importancia. Además, las universidades han introducido y extendido también la evaluación de ensayos en sus pruebas de admisión, dando a los alumnos la posibilidad de expresar sus propios pensamientos y opiniones. Esto ha proporcionado a los alumnos de secundaria con mejores notas un incentivo adicional para mejorar sus competencias en lectura y razonamiento, con el fin de acceder a la universidad que ellos elijan.
• Hong Kong-China es otro de los países que ha experimentado una mejora notable, con un incremento de 11 puntos desde PISA 2000, desde un nivel de rendimiento en lectura que ya era alto, alcanzando 536 puntos en PISA 2006. Aquí el cambio vino dado principalmente por mejoras en los alumnos con resultados mas bajos, con un incremento de 21 puntos en el percentil 5 y en menor medida en otros percentiles.
• Polonia aumento su rendimiento en lectura en 17 puntos entre PISA 2000 y PISA 2003 y otros 11 puntos entre PISA 2003 y PISA 2006, y ahora tiene un rendimiento de 508 puntos, por primera vez claramente por encima de la media de la OCDE. Entre estas dos evaluaciones, Polonia mejoro su rendimiento global básicamente a través de un mejor rendimiento en el sector inferior de la escala (es decir, los percentiles 5, 10 y 25). Como resultado, en PISA 2003 menos del 5 % de los alumnos tuvo un nivel de rendimiento inferior al del 10 % peor de los alumnos polacos en PISA 2000. Análisis mas profundos a nivel nacional han asociado esta mejora a la reforma del sistema educativo de 1999, que ahora proporciona estructuras educativas mas integradas. Desde PISA 2003, el rendimiento en Polonia ha mejorado mas uniformemente en todo el espectro de la evaluación.
• De los demás países que han experimentado mejoras significativas en la lectura entre PISA 2000 y PISA 2006 –Chile (33 puntos mas entre PISA 2000 y PISA 2006), Liechtenstein (28 puntos), Indonesia (22 puntos) y Letonia (21 puntos)– todos, excepto Liechtenstein, tienen una puntuación notablemente inferior a la media de la OCDE.
Una serie de países vio descender su rendimiento en lectura entre PISA 2000 y PISA 2006: nueve países de la OCDE (en orden descendente), España, Japón, Islandia, Noruega, Francia, Australia, Grecia y México, y cinco países asociados, Argentina, Rumania, Bulgaria, Federación Rusa y Tailandia. En Francia, Japón y México, así como en el país asociado Tailandia, por ejemplo, el rendimiento disminuyo ligeramente en el sector superior de la escala, pero de forma marcada en el sector inferior. Es de notar que, entre los países con rendimientos superiores a la media, solo Australia ha experimentado un empeoramiento estadísticamente significativo, de 15 puntos, en el rendimiento de sus alumnos en lectura, atribuible a una disminución en el sector superior de la escala. Los demás países con un empeoramiento significativo en el rendimiento en lectura entre PISA 2000 y PISA 2006 tienen medias similares o inferiores a la media de la OCDE. De estos últimos, Japón e Islandia tuvieron en el pasado un rendimiento superior a la media de la OCDE. En la Republica Checa, los alumnos con los rendimientos más altos han mejorado, mientras que el rendimiento empeoro en el sector inferior de la escala. En Suiza, los niveles de rendimiento subieron en el sector inferior de la escala.

PISA y la evaluación de las matemáticas

Resumen:
Se presentan tres cuestiones matemáticas como pretexto para analizar el papel del
«realismo» (en énfasis en la aplicabilidad de las matemáticas a las situaciones de la vida cotidiana) en el contexto de las pruebas PISA.

UN PROBLEMA ELEMENTAL
Consideremos el siguiente problema elemental, que hemos creado para esta ocasión:
Vamos a comprar azulejos de dos tipos, A y B, en unas cantidades determinadas por la obra que estamos haciendo (una reforma de la cocina de la casa, por ejemplo, que requiere azulejos en el suelo y en las paredes).
Los del tipo A cuestan (impuestos incluidos) 15 euros/m2, esto es, la tercera parte que los del tipo B, que cuestan 45 euros/m2. Necesitamos comprar 10 m2 del tipo A y 15 m2 del tipo B. En un comercio hay una oferta y nos hacen una rebaja del 15% en los del tipo A y del 10% en los del tipo B. En otro comercio, con los mismos precios para los distintos tipos de azulejo, la rebaja que aplican es, simplemente, del 12% del gasto global que hagamos.
¿Dónde resultará más económico realizar la compra?
El planteamiento de problemas de este tipo tiene un aire inequívocamente decimonónico, aunque aquí hablemos de euros y no de céntimos ni pesetas. Se trata de problemas que hoy, como antaño, pretenden referirse a situaciones de la vida «real», en las que el ciudadano tiene que (o tendría que) usar las matemáticas aprendidas en la enseñanza obligatoria. Esto es, son problemas que buscan plantear situaciones prácticas en las que la formación matemática recibida por una persona se revele necesaria (y suficiente), no sólo para encadenar una serie de operaciones aritméticas elementales, sino también –y sobre todo– para tener un estado de ánimo dispuesto a enfrentarse con la información numérica, para considerarse con la capacidad necesaria para ordenarla y estructurarla y para tener la seguridad de que los resultados obtenidos van a permitir a esa persona elegir la opción más ventajosa para su bolsillo.

El problema que aparece arriba, trivial y de corte tradicional para nuestro país, no es una de las cuestiones, mucho más sofisticadas en ocasiones, propuestas en las pruebas PISA. Pero puede analizarse desde ese prisma. Así, cuando PISA 2003 habla de competencias matemáticas, se refiere a identificar y comprender el papel que las matemáticas desempeñan en el mundo, realizar razonamientos bien fundados y usar e implicarse en las matemáticas en aquellos momentos en los que se presenten necesidades en la vida de cada individuo como ciudadano constructivo, comprometido y reflexivo.

Ahora bien, comprender el papel de las matemáticas conlleva, en particular, saber que el resultado de una serie de cálculos y disquisiciones –como las que hacen falta para resolver el problema de la rebaja en el precio de los azulejos– no será, simplemente, una satisfacción para la mente, sino que va a tener unas consecuencias para nuestra economía. También podemos decir que utilizar e involucrarse en las matemáticas significa que, ante una serie de datos numéricos (los metros cuadrados y el precio de cada tipo de azulejo, el porcentaje de descuento, etc.), la competencia matemática adquirida nos va a proporcionar el ánimo suficiente para tratar de abordar el problema por nuestros propios medios. Finalmente, realizar razonamientos bien fundados puede referirse, en este contexto, a la capacidad para plantear y efectuar adecuadamente la secuencia de operaciones que deben conducir a la solución del dilema sobre ¿dónde resultará más económico realizar la compra? Así pues, podemos concluir que se trata de un problema que podría medir, en cierto modo, algunos aspectos del tipo de competencia matemática de la que se habla en PISA.

Ignoro cuál sería el porcentaje de estudiantes españoles, al término de su educación obligatoria, que resolverían correctamente este problema. Ignoro, asimismo, el porcentaje de compatriotas adultos que se atrevieran a intentar solucionarlo y que, finalmente, lo lograran.

Desde luego, una forma de abordar el problema consiste en calcular el precio bruto de los azulejos del tipo A en la primera tienda (15 euros/m2 x 10 m2 = 150 euros) y del tipo B (45 euros/m2 x 15 m2= 675 euros). Luego restamos el descuento correspondiente (15% de 150 euros + 10% de 675) resultando 735 euros. En el caso de la segunda tienda tendremos que el coste global es de 150 + 675 = 825 euros, a los que tendremos que restar el 12%, arrojando un total de 726 euros, por lo que es éste el comercio que ofrece más ventajas.

UN PROBLEMA DE PISA 2000
Un segundo problema que quisiera proponer a la consideración del lector es el siguiente (INECSE, 2004, pp. 55-56). Se muestra un gráfico velocidad/espacio con la velocidad de un coche de carreras en una pista llana, de 3 Km. de longitud, durante la segunda vuelta.
FIGURA I
Las preguntas que el alumno debe contestar en este caso son del tipo ¿cuál es la distancia aproximada desde la línea de salida hasta el comienzo del tramo recto más largo que hay en la pista? O del tipo siguiente: Aquí están dibujadas cinco pistas: ¿En cuál de estas pistas se condujo el coche para producir el gráfico de velocidad mostrado anteriormente?
FIGURA II
S: Línea de salida
Parece evidente que esta situación ya no tiene el aroma decimonónico del problema de la primera sección. No sólo porque no era posible, en aquella época, hablar de coches de carreras, sino porque el análisis cualitativo (nótese que el problema no incluye el dato preciso de la función v=f(e), cuyo grafo se supone que está representado en la figura I) de gráficas no se consideraba parte de las competencias matemáticas básicas. Hoy día, ciertamente, la mayoría de los ciudadanos estamos en contacto, a través de los medios de comunicación, con imágenes y argumentos de este tipo.

La solución de las dos cuestiones que hemos planteado en este punto podría ser la siguiente. En primer lugar, parece razonable suponer que un coche de carreras mantiene la velocidad más alta durante los tramos rectos, mientras que baja en cada curva. Así pues, según la figura I, el circuito ha de tener tres curvas, siendo la más acusada la segunda que aparece tras el paso por la línea de salida. Además el tramo recto que incluye a la línea de salida parece el más corto (como se aprecia en la figura I, si unimos el final y el principio de la gráfica). Por tanto el circuito B de la figura II podría ser el modelo adecuado para esta situación. Por otra parte parece que, en la figura I, el coche comienza a acelerar a los 1,5 km. del punto de salida para alcanzar el tramo más largo de velocidad alta; luego esta puede ser la distancia desde la salida al tramo recto más largo de la pista.

En este caso sí es posible conocer cómo han resuelto los alumnos españoles de 15 años estas dos cuestiones. La respuesta correcta a la pregunta ¿En cuál de estas pistas se condujo el coche para producir el gráfico de velocidad mostrado anteriormente? fue obtenida sólo por un 23% de alumnos españoles, frente a un 28,3% de media en la OCDE. Análogamente, hubo sólo un 65% de respuestas correctas de los alumnos españoles, frente a un 66,9% de media en la OCDE, para la pregunta ¿Cuál es la distancia aproximada desde la línea de salida hasta el comienzo del tramo recto más largo que hay en la pista?

UNA PREGUNTA DE PISA 2003
Una tercera y última cuestión, esta vez de las pruebas PISA 2003 (INECSE 2005, p. 36) que quisiera comentar someramente y resumiendo algo su enunciado, pregunta cuáles de la siguientes figuras tienen perímetro menor o igual que 32 metros.
FIGURA III
La respuesta correcta es «las figuras A, C, D», y fue obtenida por un 12,9% de alumnos españoles, frente a un 20% de media de la OCDE. Para aceptar las figuras A, C y D como solución, se ha de observar que la suma de las longitudes horizontales de los tramos de una escalera coincide con la longitud horizontal total, medida desde el inicio hasta el fin de la misma; lo mismo sucede con la suma de las alturas de los escalones, que ha de coincidir con la altura total de la escalera. Además, se puede apreciar que, para descartar el caso B, la longitud de una línea oblicua (tal como una escalera de mano apoyada en el suelo y contra una pared) es mayor que la de una línea recta que tenga la misma base y alcance la misma altura.

LA CRECIENTE IMPORTANCIA DE LAS COMPETENCIAS PARA LA VIDA
¿Qué podemos decir sobre PISA y la evaluación de las matemáticas, en vista de estas cuestiones y de los resultados obtenidos por nuestros alumnos?

En primer lugar, podemos señalar que todas estas cuestiones pretenden medir las capacidades de analizar, razonar y comunicar eficazmente, puestas en juego por los estudiantes en situaciones usuales de la vida cotidiana que involucran matemáticas; y no sólo, ni principalmente, en conocer cuáles contenidos del currículo han aprendido.

Es importante subrayar la doble negación («no sólo, ni principalmente…») de la última frase, porque está en línea con la interpretación rupturista que algunos colectivos están haciendo, en nuestro país, de la evaluación de las matemáticas en PISA. Esta interpretación viene a decir que, tradicionalmente, en el sistema escolar nos hemos limitado a medir lo que el alumno «sabe»; ahora PISA está midiendo lo que realmente «sabe hacer»… y por eso obtenemos resultados tan pobres.

No es un hecho aislado. De un tiempo a esta parte parece plantearse, implícitamente, una minusvaloración del contenido curricular (esto es, de la organización del aprendizaje a través de unos ítems concretos en un programa) y una sobrevaloración de los objetivos finales y generales del currículo, tales como la adquisición de competencias para enfrentarse a problemas de la vida cotidiana, de modo que esta noción va ganando, aceleradamente, terreno entre determinados sectores de la comunidad educativa. Resulta curioso observar, a título de ejemplo, que el currículo de la ESO y el de Bachillerato de mi propia comunidad autónoma (posiblemente no muy dispar del de otras muchas), publicado en 2002, sólo menciona dos o tres veces la palabra «competencias», y, estas pocas menciones están limitadas al ámbito de la enseñanza de la lengua o de los idiomas.

Mientras, el borrador de la LOE (MEC, 2005) incluye la palabra «competencia» al menos medio centenar de veces. En el mismo sentido podemos observar cómo la Ley de Calidad de la Educación (BOE, 2002) incluye sólo cuatro veces la expresión «competencias básicas», frente a las más de 30 apariciones de esa expresión en la LOE.

Dejando al margen la influencia en este asunto del cambio de partido político en el Gobierno (menor en la práctica de lo que se piensa), a lo largo de los últimos años, hay un doble argumento para explicar esta tendencia. La necesidad de armonizar los sistemas educativos europeos plantea, ante la imposibilidad de hacer concordar los currículos, el ineludible establecimiento de unos niveles de referencia respecto de lo que los alumnos deben acabar «sabiendo hacer», con independencia de cómo y en qué orden y de qué manera lo hayan aprendido en cada país. Por otro lado, el logro de la competencia matemática para enfrentarse a situaciones reales se presenta como algo objetivo y objetivamente deseable, muy por encima de la organización de los contenidos curriculares que se adopte en un país y momento dado, frecuentemente sesgada o lastrada por el peso de las tradiciones, personalidades y escuelas dominantes en cada circunstancia.

Creemos que se trata de una noble ilusión. No sólo porque el currículo tradicional de matemáticas vigente incluye, desde hace años, como proyecto fundamental, la adquisición de esas competencias en situaciones problemáticas cercanas al alumno (con otra terminología distinta, pero concomitante, tal como «destrezas» en vez de «competencias»), sino porque también incluye ya, como criterio de evaluación, diversas referencias explícitas a la consecución de las competencias matemáticas básicas (ya sea con esta terminología o con otra distinta). El problema es que el sistema educativo no sabe (o no ha sabido, o no ha podido, o no ha querido hasta ahora) hacerlo mejor. Y la situación no va a cambiar, simplemente, porque enfaticemos, tras los resultados de PISA 2003, que nuestros alumnos deberían adquirir, en la medida que nosotros desearíamos, esas competencias. ¿Cómo lograrlo? Más horas de matemáticas, una metodología más activa, una recuperación del enfoque preconizado por la LOGSE y que nunca pudo realmente llevarse al aula –por falta de recursos, por vaivenes políticos–, etc. son algunas de las soluciones reiteradamente propuestas. Sin embargo, no son, en absoluto, propuestas nuevas y no es evidente que las circunstancias actuales permitan su implementación generalizada.

REALISMO COMO MANIERISMO
Pero no es sólo una ilusión esta reivindicación de una enseñanza de las matemáticas «basada en competencias» como método novedoso para mejorar, en el futuro, los resultados de PISA. Lo es también, en mi opinión, la percepción de que la competencia matemática es algo objetivo y objetivamente evaluable mediante pruebas como las que se incluyen en PISA.

Es cierto que nuestros alumnos aprenden, en general, unas matemáticas tamizadas por el contexto escolar y que responderían mucho mejor si las pruebas se refiriesen a los tipos de problemas y cuestiones que acompañan habitualmente a la enseñanza de los distintos contenidos del programa. Los alumnos, en el caso más favorable, saben de lo que han aprendido, pero –salvo excepciones notables– sólo en el mismo contexto en el que lo han aprendido.

También es cierto que la enseñanza escolar (y universitaria) de las matemáticas está alejada de «las situaciones usuales de la vida cotidiana que involucran matemáticas» a las que hacíamos referencia antes.

No es obvio el que, para aprender a resolver «las situaciones usuales de la vida cotidiana que involucran matemáticas», deba enseñarse de un modo radicalmente diferente (mientras se mantengan las condiciones actuales en el sistema educativo).

Es posible que un esfuerzo poco meditado de aproximación, desde el sistema educativo, hacia «las situaciones usuales de la vida cotidiana que involucran matemáticas», acabe contextualizando las mismas como ejercicios escolares alejados de la vida real.

De este modo, es posible que, contradictoriamente, se acaben adquiriendo menos competencias –que con la enseñanza actual– para enfrentarse, fuera del marco escolar, a los problemas reales.

En efecto, el pretendido «realismo» matemático de muchas de las pruebas PISA es una suerte de manierismo, una peculiar –aunque atractiva– interpretación escolar de la realidad, pero, a veces, tan alejada de ella como los problemas de grifos y obreros que eran tradicionales para el aprendizaje de las reglas de tres (directa e inversa) hace 50 años.

Por ejemplo, en la primera cuestión con la que abríamos este artículo, es evidente que un ciudadano, en la vida cotidiana, resolvería la pregunta allí planteada simplemente solicitando en cada tienda el presupuesto correspondiente y comparando las dos cifras obtenidas. También es evidente que, en la segunda cuestión, cualquier artículo periodístico sobre una carrera de coches va a ofrecer, como dato más relevante, el trazado del circuito (mucho antes que el gráfico velocidad/espacio), con el que un aficionado al motor va a poder responder directamente a las preguntas planteadas. Y, en lo que se refiere a la tercera pregunta, el propio informe PISA reconoce que se trata de un ítem en un contexto educativo.

Las matemáticas, como es bien conocido, están cada vez más presentes, pero también más ocultas, en la vida cotidiana de los países avanzados. Se trata de algo parecido a lo que ocurre con la mecánica automovilística popular: ahora hay más coches y se usan más que nunca, pero las oportunidades para que un ciudadano ejerza, en la práctica, su competencia sobre mecánica del automóvil, ha disminuido (afortunadamente): los coches tienen menos averías y las que se producen no pueden resolverse con unos conocimientos básicos.

Creo que sería muy interesante conocer el resultado de las pruebas PISA sobre una población de ciudadanos adultos, inequívocamente «constructivos, comprometidos y reflexivos», para valorar en su justa medida los resultados alcanzados por nuestros adolescentes. Estoy seguro de que, si se hiciera ese experimento, la valoración de la sociedad hacia su sistema educativo sería bien distinta. Hace tiempo realicé una pequeña encuesta a un colectivo de catedráticos de universidad (ciudadanos constructivos, etc.) de variadas disciplinas (no científicas) sobre su capacidad para hallar el valor de la suma de las fracciones 1/3+1/6, una competencia que asumimos con toda naturalidad como integrante de la enseñanza obligatoria. Sin embargo, la mayor parte de estos ciudadanos, sin duda reflexivos, no era capaz de abordar el problema ni, mucho menos, de resolverlo.

Es algo natural: no hay que escandalizarse, sino reflexionar sobre el papel real de las matemáticas en la enseñanza obligatoria. Tal vez, en el fondo, la valoración de PISA se ve sesgada en función de la proximidad de la tradición de la enseñanza de las matemáticas de un país a la tradición de la enseñanza de las matemáticas «realistas», una transposición escolar de la realidad tan interesante como otra cualquiera, pero nada más.

UNA REVISIÓN DE LAS CUESTIONES PLANTEADAS
Sin embargo, es necesario mejorar la competencia matemática de nuestros alumnos, aunque no lleve el marchamo utilitario (alfabetizador) que PISA presenta como banderín de enganche. Desde luego, se puede lograr proporcionándoles las herramientas matemáticas necesarias para los pequeños problemas matemáticos que se pueden encontrar en el mundo actual, pero, tal vez, en unas disciplinas de educación para la ciudadanía o para la vida social, donde la conexión con la realidad sea mas natural y mas directa. Y, en matemáticas, pero justamente en un sentido contrario al que planteábamos inicialmente.

Reconsideremos la primera cuestión, libres ya de la pretendida utilidad práctica de la misma. Lo interesante, matemáticamente hablando, de esa cuestión es pensar en cómo podemos resolverla de una manera más eficiente que la que se ha detallado en la primera sección de este artículo. Por ejemplo, ¿podemos contestar a la pregunta formulada sin saber exactamente la cantidad de azulejos de cada tipo que tenemos que comprar? ¿Y si sólo recordamos que los del tipo A cuestan un tercio que los del tipo B, pero no sabemos el precio exacto de cada tipo de azulejo? Se trata de encontrar un procedimiento de pre-cálculo, una fórmula en función de ciertos datos que varían fácilmente, con lo que podríamos resolver este mismo problema en unos pocos pasos y en multitud de instancias.

Pero el enfoque algorítmico y el análisis de la complejidad de los mismos, a pesar de las recomendaciones de la Comisión Internacional para la Instrucción Matemática (ICMI) y a pesar de la importancia de los ordenadores en la vida actual, no parece despertar el interés de la comunidad educativa.

En relación con la segunda cuestión, tal vez podamos plantearnos cómo es posible que, entre los puntos kilométricos del circuito 0,4 km. y 0,6 km. el gráfico velocidad/espacio siga un tramo recto, casi como la bisectriz del primer cuadrante.

¿Puede un coche efectuar un recorrido siguiendo cualquier gráfico que dibujemos arbitrariamente? ¿Es realmente posible que un coche actual siga, durante un tramo, una trayectoria próxima a la recta v=e? ¿Es, en definitiva, «realista » el gráfico ofrecido? Si uno tuviera los gráficos de varios coches, ¿cómo podría deducir cuál ha ganado la carrera? Esto es más fácil con un gráfico espacio / tiempo. ¿Cómo obtener éste a partir del gráfico velocidad/espacio? Son estas cuestiones bastante complicadas: tal vez la competencia matemática consista, entre otras cosas, en intuir su complejidad y en no formular, por tanto, un problema, supuestamente elemental, en estos términos.

Por último, sobre la tercera cuestión, podemos imaginar –tratando de resolverla, en un ejercicio mental– que la escalera que forma uno de los lados de la figura A tiene cada vez más peldaños, que empieza en la mitad del lado de arriba, justo donde llega la flecha que aparece en la figura III y acaba en el vértice de abajo a la derecha de la misma, como se muestra en la figura IV.
FIGURA IV
Ya sabemos que la longitud de ese lado, por muchas vueltas que demos, va a ser igual a cinco (dado que empieza en la mitad de un lado de longitud 10), más seis (dado que tiene que descender una altura de seis metros), es decir, 11 metros. Ahora bien, conocemos el teorema de Pitágoras y sabemos que la línea oblicua que va del punto medio del lado de arriba al vértice inferior derecho mide la raíz cuadrada de 52+62, es decir, algo más que 7,8. Y, sin embargo, una escalera de escalones muy pequeños se aproxima, midiendo siempre 11, tanto como queramos a esa diagonal que mide 7,8. ¿Cómo es esto posible?

Tal vez sea en esa trascendencia a los datos concretos y en la capacidad para imaginar situaciones imposibles donde se encuentre, precisamente, la competencia matemática real. Saber qué matemáticas precisa un ciudadano constructivo, comprometido y reflexivo, es mucho más difícil de lo que parece.


Tomás Recio
Universidad de Cantabria
Texto completo en:
http://www.revistaeducacion.mec.es/re2006/re2006_15.pdf
Related Posts Plugin for WordPress, Blogger...

Busca en mis sitios