Uno de los logros de las Evaluaciones Internacionales de Calidad Educativa, es el descubrimiento del éxito notable del aprendizaje de Matemática en el extremo oriente.
No extraña ver en el tope de la lista a Singapur, Japón, Corea del Sur etc. ¿A qué se debe? Esto llevó a la reflexión sobre el fenómeno, y en el siguiente artículo se explican las conclusiones obtenidas.
En una clase de secundaria de Shanghai la demostración de un teorema matemático es igual que en Francia. Pero la rapidez de funcionamiento de la clase, la concentración de los alumnos y su agilidad en las respuestas, o la preparación y organización de los temas de cada sesión que realiza el profesor, no. "En la clase de Shanghai hay algo muy bien pensado, muy bien estructurado desde el punto de vista de la función docente y de la interacción del alumno con el profesor. No se observan muchas clases así en mi país", sostiene Michelle Artigue, presidente de la Comisión Internacional de Educación Matemática (IMIC) y catedrática de la Universidad de París VII. El "éxito" reside en "dos claves", según Artigue, "en el nivel de disciplina y concentración de los alumnos y en el trabajo que realizan después de clase. No es comparable con el de Europa".
Los estudiantes de algunos países del sudeste asiático (entre ellos, Corea, Taiwán o China) han superado con creces a sus homólogos del mundo entero en el campo de las matemáticas en estudios internacionales como TIMMS o PISA. Sin embargo, "este éxito no parece haber ido acompañado por las correspondientes actitudes positivas hacia las matemáticas", indica Frederic K. S. Leung, de la Universidad de Hong Kong y profesor corresponsable del estudio junto a Artigue. Es decir, los buenos resultados académicos no son proporcionales al volumen de estudiantes que después se dedicarán a las matemáticas.
Buscando explicaciones de estos "resultados" y "actitudes" de los alumnos se han examinado algunas características relevantes que se resumen en los resultados del TIMSS Video Study, que se analizaron el jueves y viernes en Valencia, de la mano de los principales expertos asiáticos y occidentales en educación matemática de Finlandia, China, Corea, Hungría, Nueva Zelanda, Taiwán, Hong Kong, EE UU, India y España reunidos en un congreso internacional sobre Los paradigmas de la educación matemática para el siglo XXI. El estudio concluye que "el éxito en los resultados y las actitudes que presentan los estudiantes del sudeste asiático no pueden atribuirse sólo a las peculiaridades del entorno o a la manera en que se imparten las clases en estos países". Por primera vez, "se han propuesto factores culturales como posibles explicaciones tanto de los resultados obtenidos como de las actitudes mostradas". Entre ellas, el valor de la disciplina, de la autoridad docente y de la educación como factor de promoción social, que priman en los países de tradición confuciana frente a los de la cultura judeocristiana, admite Artigue. Leung menciona "la importancia de la familia en el valor que se le da en China al aprendizaje escolar. Los padres ayudan a sus hijos en las tareas e invierten mucho dinero en clases".
La segunda conclusión es que "Asia no es uniforme", apunta Manuel de León, director del Instituto de Ciencias Matemáticas del CSIC. Una clase de matemáticas en Japón es más parecida a una en Francia o Alemania. "Hay que investigar más para entender cómo la cultura influencia la manera de aprender y enseñar la visión de las matemáticas. Porque, pese a que las matemáticas son un lenguaje universal, hay diferencias muy grandes, incluso entre los propios países europeos entre una clase de matemáticas en Inglaterra o en Francia", subraya Artigue.
Por el contrario, según Wei-Chi-Yang, el fundador de la Conferencia Asiática, el sistema coreano tiene también sus factores negativos. "Yo lo aprendí todo de memoria, por eso quiero ofrecer otras cosas a los alumnos. Y las Nuevas Tecnologías son un factor clave para la creatividad y la motivación". Chi-Yang confiesa que este sistema tan disciplinado de enseñanza resultó un lastre al realizar su tesis doctoral de forma individual, y lo es si no se enseña también a ser críticos. Aunque reconoce que sus resultados son mejores que los de los alumnos estadounidenses. Entre otras razones, porque casi el 50% de profesores estadounidenses ni siquiera tiene la especialidad de matemáticas o no han finalizado la asignatura de Cálculo. Mientras que en Corea, "aunque no tengo que enseñar cálculo, lo aprendo". "Creo que el nivel del profesorado es muy alto. Y están muy bien pagados".
En India, el país de los brahmanes, que están en la cima de la sociedad y son considerados unos eruditos, "la educación es un factor clave de promoción social". Pero también lo es el "factor demográfico", según Eva Borreguero, directora de programas educativos de Casa Asia. "En un país con 1.300 millones, estudiar es un privilegio: muchas veces se tienen que desplazar kilómetros para ir a la escuela, y las familias lo valoran mucho".
Luis Puig, de la Universidad de Valencia, sostiene que aunque los alumnos españoles según los informes PISA de 2003 y 2006 aparecen en el furgón de cola en Matemáticas, Ciencias y Lectura, "la realidad no está tan mal". Porque, al contrario que los asiáticos que suben la nota porque tienen una media muy alta de buenos alumnos, lo que neutraliza a los muchos malos, en España el sistema es más equitativo y no se acentúan tanto las diferencias. Aunque insiste en la necesidad de "un pacto de Estado", que libere a las leyes educativas de los vaivenes políticos, otorgue estabilidad y se revaloricen la escuela y la función docente. Un currículo común
"La creatividad no se obtiene con ejercicios memorísticos", sostiene Wei-Chi-Lang, que fue muy crítico con el sistema coreano, pero que defiende que las "matemáticas" tanto en Corea como en China son "una asignatura privilegiada". Se ha pasado del uso de las calculadoras científicas en clase a la generalización de los ordenadores e Internet. Aunque abundan las desigualdades por regiones. En Francia, desde 2004 se ha incluido la competencia tecnológica en el examen oral de los futuros profesores. Pero el ordenador es sólo el principio. "La gente confía en la máxima de Confucio, si le das a un hombre un pescado, le das comida para un día. Pero si le enseñas a pescar, comerá toda la vida". En matemáticas funciona igual: "Si se memoriza una fórmula se aprueba un examen; si se entiende se pueden descubrir muchas matemáticas", concluye Chi-Lang. En esa dirección caminan el Proyecto Klein, que dirige el neozelandés Bill Barton, para crear un "currículo común de 300 páginas" para que los profesores combinen conocimiento, creatividad y nuevas tecnologías. Y el proyecto europeo Intergeo, de recursos en red, que se presentará en dos semanas.
La metodología de los estudios PISA Rosario Martínez Arias Universidad Complutense
Resumen: La OCDE ha llevado a cabo un gran esfuerzo en una serie de estudios conocidos como The Programme for International Student Assessment (PISA). Probablemente, PISA-2003 es uno de los más amplios y complejos estudios internacionales de rendimiento educativo. Este artículo describe los aspectos metodológicos de PISA-2003 y resume las principales actividades en el desarrollo de los instrumentos de recogida de datos, traducción de los instrumentos de evaluación, diseño muestral, análisis de datos y la presentación de los resultados. Se evalúa la calidad metodológica del estudio desde los criterios establecidos por el National Research Council. Se concluye destacando los esfuerzos realizados para obtener buenas tasas de respuesta y en el diseño de los instrumentos, así como la atención prestada a las lecciones aprendidas de estudios anteriores. Aunque PISA es metodológicamente correcto en todos los frentes, quedan algunas cuestiones no resueltas, como la falta de motivación de los alumnos en las evaluaciones sin consecuencias, el rigor en el control de las tasas de respuesta y exclusiones, la equidad y neutralidad en la investigación y el uso e impacto de los resultados.
LAS EVALUACIONES INTERNACIONALES DEL RENDIMIENTO EDUCATIVO Y SUS DIFICULTADES METODOLÓGICAS El estudio PISA representa la primera incursión de la Organización para la Cooperación y Desarrollo Económico (OCDE) en el complejo mundo de las evaluaciones internacionales, prácticamente lideradas desde sus comienzos en 1964 por la International Association for the Evaluation of Educational Achievement (IEA). Puede considerarse que la idea latente en todos estos estudios es la de considerar el mundo como una especie de laboratorio educativo global, donde diferentes políticas y prácticas educativas nacionales producen distintos resultados. Se considera que las diferencias en el rendimiento de los alumnos pueden ligarse a características de los sistemas educativos, aunque éstas deben interpretarse con cautela, explorando los correspondientes contextos económicos y culturales. Los propósitos de estos estudios son variados, pero parece haber bastante acuerdo en una serie de puntos (Beaton, Postlethwaite, Ross, Spearritt y Wolf, 1999; National Research Council, 1990; Mislevy, 1995; Postlethwaite, 1999). Un propósito esencial es el uso de los resultados como «criterio de referencia» (benchmarking), ya que el examen de las políticas y prácticas educativas de los países de altos rendimientos puede proporcionar nuevas pautas para la mejora a los países participantes. Para ello, se exploran asociaciones entre diferentes políticas y prácticas y el rendimiento, así como con otras variables contextuales. El creciente interés prestado por los distintos países a estos estudios (su número se ha multiplicado en los últimos años) procede de la convicción generalizada de que la productividad económica futura de un país depende de los altos niveles de conocimientos y competencias en la población activa y de que mostrarán una mejor posición internacional aquellas naciones que tengan población con mayor nivel, especialmente en lectura, matemáticas y ciencias. Hay algunas evidencias de relación positiva entre los niveles de rendimiento educativo y desarrollo de la productividad nacional (OCDE, 1996; Beaton et al., 1999), pero existe un fuerte debate sobre la dirección de la causalidad (Levin, 1988; Robinson, 1999). También en el nivel individual se han encontrado relaciones entre resultados educativos, calidad del empleo e ingresos (OCDE, 1989). Un dato que apoya esta fuerte creencia nos lo proporciona la propuesta de indicadores educativos de la UE para Europa 2010, en la que varios de los indicadores proceden del estudio PISA en sus sucesivas oleadas (European Commission, 2002, 2004). En este sentido, muchos observadores creen que las comparaciones internacionales están llevando al desarrollo de objetivos y estándares más ambiciosos para el aprendizaje de los estudiantes. Los estudios comparativos internacionales son complicados y difíciles de llevar a cabo, ya que suelen tener varias finalidades y están destinados a informar a audiencias múltiples. En general, su calidad metodológica es alta y por tanto sus resultados pueden tomarse con bastante credibilidad. Cuatro décadas de experiencia con este tipo de evaluaciones, así como los desarrollos generados en torno al NAEP (National Assessment of Educational Progress, evaluación de EEUU, iniciada en 1969 y llevada a cabo con estricta periodicidad), han llevado a sustanciales mejoras metodológicas en todos los aspectos que van desde la construcción de los tests hasta la presentación de los resultados (Porter y Gamonal, 2002). Los avances metodológicos aparecen muy bien recogidos por la IEA en sus Technical Standards (Gregory y Martin, 2001; Martin, Rust y Adams, 1999). Además, los estudios suelen estar coordinados por consorcios formados por las entidades más prestigiosas en estas evaluaciones. La participación de un país le permite familiarizarse con estas metodologías, lo que le resultará beneficioso para llevar a cabo sus propias evaluaciones del sistema educativo. A continuación, se examinan los principales aspectos de la metodología de aunque por razones de espacio estamos obligados a una revisión muy breve que simplemente permita a los lectores hacerse una idea de la calidad metodológica del estudio. Las personas interesadas en una descripción completa pueden examinar los informes técnicos publicados en 2002 y 2005 (Adams y Wu, 2002; OCDE, 2005a) y los Data Analysis Manuals (OCDE, 2005b; OCDE, 2005c). Todos ellos se pueden obtener en formato PDF de http://www.oecd.org. PISA-2003,
LOS INSTRUMENTOS DE EVALUACIÓN UTILIZADOS EN PISA EL DESARROLLO D E LOS MARCOS Todo instrumento de medida debe comenzar con la identificación de su propósito y de las inferencias que se pretenden hacer a partir de sus puntuaciones (AERA, APA y NCME, 1999; Millman y Greene, 1989). Esta tarea es especialmente complicada en los estudios internacionales, ya que debe mantenerse el principio de equidad que debe presidir toda evaluación, por lo que en la definición de los marcos deben tenerse presentes los currículos nacionales y la «oportunidad para aprender» (Floden, 2002) que han tenido las diferentes poblaciones implicadas. Linn (2002) habla de un continuo cuyos extremos son la «unión» y la «intersección» de currículos, encontrándose habitualmente los marcos más próximos a la intersección. Algunos estudios, no obstante, ponen de relieve escasas variaciones en la posición de los países cuando los alumnos responden a tareas más próximas a su currículo (Greaney y Kellagaham, 1996). En PISA, esta cuestión ha resultado menos problemática, ya que el objetivo va más allá del currículo, poniendo el acento en destrezas o competencias más generales que deberían poseer todos los jóvenes a los 15 años, cuando finalizan o están a punto de finalizar la escolaridad obligatoria, para poder hacer frente a los retos de la sociedad. El dominio de contenido se define por la opinión de los expertos internacionales y no por el currículo. El diseño del test comenzó con el desarrollo de los marcos para cada uno de los dominios cognitivos evaluados, que fueron publicados por los responsables del estudio (OCDE, 2003). Los diferentes aspectos del marco se recogen en las denominadas «matrices de especificaciones», que representan la base para el desarrollo de las tareas que se deben incluir en los tests y que son producto del trabajo de los diversos países.
LA ESCRITURA D E ÍTEMS Y LOS ESTUDIOS PILOTO Todos los países fueron invitados a participar en esta tarea, recibiéndose ítems de 15 países, que fueron revisados y adaptados por los responsables del desarrollo de ítems (ACER, CITO y Universidad de Leeds). Esta colaboración internacional representa un esfuerzo por hacer más neutral y equitativa la evaluación. En un intento de mejorar la validez de contenido y de constructo de los ítems, el estudio PISA utilizó las siguientes metodologías en las primeras fases de análisis: Paneles de expertos para la revisión de los ítems, en una primera fase de los responsables del desarrollo de los instrumentos y posteriormente paneles de expertos internacionales. Entrevistas cognitivas con alumnos individuales y grupos de alumnos. Tests pilotos con muestras de estudiantes representativas de la población objetivo de Australia, Japón, Holanda y Austria. A veces, se presentaron versiones alternativas del mismo ítem para identificar la mejor forma de presentación. Cada ítem fue sometido a un estudio piloto inicial en escuelas con un número elevado de estudiantes de la edad de la población objetivo (en Australia, Japón, Holanda y Austria). Algunas tareas fueron presentadas en versiones alternativas para determinar la mejor forma de presentación. Los datos fueron analizados con técnicas clásicas de análisis de ítems. La principal novedad de PISA en esta fase fue el uso en el análisis de ítems de los procedimientos de la denominada «psicometría cognitiva». Las recomendaciones más actuales insisten en este aspecto como una de las claves para lograr la validez de constructo de las tareas, ya que permiten disponer de una especie de «modelo del alumno en la resolución de la tarea» que es la mejor forma de comprender sus demandas cognitivas (Mislevy, Steinberg y Almond, 2003). Se utilizaron técnicas de resolución en voz alta (thinking aloud), entrevistas individuales y entrevistas de grupo. Otro aspecto destacable de los ítems o tareas de PISA es la inclusión de un importante número de ítems de respuesta abierta y extendida, tendencia mostrada también en otras evaluaciones internacionales recientes como el TIMSS (Martin, Gregory y Stemler, 2000; Martin, Mullis, y Chrostowski, 2004). La inclusión de este tipo de ítems puede reducir la eficiencia del test en cuanto a facilidad de corrección, fiabilidad de las puntuaciones y tiempo requerido para la respuesta (Linn, 2002); no obstante, parece imprescindible para evaluar procesos superiores. En las páginas 28 a 30 del Technical Report (OCDE, 2005a), puede verse la distribución de los ítems por formato, contenidos y demandas cognitivas. Dado el elevado número de tareas que requieren codificación subjetiva por parte de evaluadores formados, también se llevó a cabo la formación de codificadores. Una aproximación novedosa fue el uso de técnicas cualitativas del análisis de los datos, como el «escalamiento dual» (Nishisato, 1980), también conocido como «análisis de correspondencias» (Gifi, 1990), como ayuda en esta tarea. Además, se llevaron a cabo los cálculos habituales de fiabilidad entre jueces o codificadores, con objeto de eliminar los ítems más problemáticos. Finalmente, tal como se recomienda en los IEA Technical Standards (Martin et al., 1999) se analizaron las principales propiedades psicométricas de los ítems, con los datos derivados de muestras de alumnos. Los cálculos fueron realizados con el programa ConQuest (Wu, Adams y Wilson, 1997). La distribución de los ítems seleccionados en cuanto a contenidos, demandas cognitivas y formatos puede consultarse en la página 24 del Technical Report (OCDE, 2005a).
LA TRADUCCIÓN D E LAS PRUEBAS COGNITIVAS La necesidad de traducir-adaptar los tests a múltiples lenguas es una importante fuente de problemas en las evaluaciones internacionales. Las traducciones pueden producir ítems que difieran en dificultad y demandas cognitivas entre los diferentes idiomas y el rendimiento de los alumnos puede variar mucho por cambios aparentemente menores en la traducción, lo que llevaría a comparaciones no válidas (Hambleton, 2002; Hambleton, Merenda y Spielberger, 2005). En los procesos de traducción-adaptación de instrumentos en general y en las evaluaciones internacionales en particular, son habituales los procedimientos de «back translation» (nueva traducción a la lengua original) y la doble traducción con puesta en común por una tercera persona (procedimiento usado en TIMSS). Una importante novedad de PISA muy bien valorada por los expertos (Hambleton, 2002) fue la introducción de dos versiones fuente, en inglés y francés, lo que lleva a la intervención y al acuerdo de cuatro personas. En el Technical Report del estudio del 2000 (Adams y Wu, 2002), se exploraron las consecuencias del uso de las dos lenguas fuente, encontrando que era una buena aproximación. La tarea de la traducción se completó con otras tareas: solicitar a los países la inclusión de notas de todos los posibles problemas de adaptación, desarrollo de guías detalladas de traducción y adaptación del material del test y de la revisión después del estudio piloto, formación de los equipos nacionales, y selección y formación de un grupo de verificadores internacionales.
ESTUDIO PILOTO EN LOS PAÍSES PARTICIPANTES Para el estudio piloto se elaboraron cuadernillos en todos los países participantes con el mismo diseño que se seguiría en la evaluación efectiva. Con los datos de estos pilotos se analizaron las propiedades psicométricas de los ítems (índices de dificultad, discriminación, opciones de respuesta, análisis de distractores, tasas de omisiones en los ítems, funcionamiento diferencial entre países...) utilizando el programa ConQuest (Wu et al., 1997). También se analizó el tiempo requerido para responder al test y se llevó a cabo un estudio de fiabilidad de los codificadores. Los resultados se enviaron para su examen a los coordinadores nacionales, que además debían valorar los ítems en función de los objetivos del estudio. En la selección final de ítems, realizada por expertos, se tuvieron en cuenta las propiedades psicométricas, la valoración de los ítems por los grupos nacionales, información sobre la traducción y las restricciones impuestas por el marco en cada dominio. La composición definitiva del conjunto de ítems puede verse en las páginas 28-30 del PISA-2003 Technical Report (OCDE, 2005b).
ESTUDIOS DE FIABILIDAD D E LOS CODIFICADORES Para el estudio de fiabilidad se seleccionaron 16 codificadores por país, siendo asignados los cuadernillos de forma aleatoria a los codificadores según diseño que se puede ver en la p. 92 del PISA-2003 Technical Report (OCDE, 2005a). También se llevó a cabo una labor de codificación por múltiples calificadores para asegurar mejor la fiabilidad a partir de una muestra de 900 cuadernillos. Los análisis de fiabilidad de los codificadores se realizaron en el marco del modelo psicométrico de los componentes de la varianza o Teoría de la Generalizabilidad (Brennan, 2002; Cronbach, Gleser Nanda y Rajaratnam, 1972; Martínez Arias, 1995; OCDE, 2005a), que permite estimar las proporciones de varianza de las puntuaciones debidas a diferentes efectos, entre otros los codificadores. Se encontró que todos los componentes de la varianza en los que estaban implicados los codificadores (codificadores y todas las interacciones en las que intervienen) son muy pequeños, concluyendo que no hay efectos sistemáticos debidos a los calificadores. Se obtuvieron los coeficientes de generalizabilidad (una forma de coeficiente de fiabilidad) para cada uno de los países. En el capítulo 14 del Technical Report (OCDE, 2005a), se presentan los resultados por países.
LA CONSTRUCCIÓN D E LOS TESTS O CUADERNILLOS PARA L A EVALUACIÓN Para que los tests de evaluación del rendimiento tengan validez de contenido y se ajusten bien a las matrices de especificaciones, es preciso incluir muchos ítems. Por razones prácticas, es imposible y seguramente poco deseable, examinar a todos los alumnos con todos los ítems: 1) después de mucho tiempo cumplimentando el test los sujetos empiezan a verse afectados por la fatiga y 2) habría menor tasa de participación de los centros, sesgando los resultados y aumentado el error muestral. Para eliminar estos problemas, manteniendo las necesidades de cobertura del dominio evaluado, los alumnos son asignados aleatoriamente a subconjuntos del conjunto de ítems; es decir, solamente algunas submuestras de estudiantes responden a cada uno de los ítems. Este diseño se conoce en la literatura psicométrica como «muestreo matricial de ítems» (Matrix Sampling of Items) (Beaton, 1997; Childs y Jaciw, 2003) y es el que se utiliza en la mayor parte de las evaluaciones a gran escala. La forma más común de construcción de cuadernillos o formas de test es el diseño BIB (Balanced Incomplete Blocks) en el que los ítems son divididos en varios bloques, que se combinan en cuadernillos y cada bloque es emparejado una vez al menos con todos los demás bloques. En PISA-2003, el conjunto de ítems fue dividido en 13 bloques y la asignación de ítems a los bloques tuvo en cuenta la dificultad esperada de los ítems y el tiempo de respuesta necesario. Se construyeron 13 cuadernillos, cada uno de ellos con cuatro bloques. Una innovación de PISA-2003 es que cada bloque aparece una vez en una de cuatro posiciones, para controlar algunos efectos de la posición de los bloques que se encontraron en PISA-2000. Una disposición de la estructura de cuadernillos y bloques puede verse en la página 68 del Technical Report (OCDE, 2005a). El diseño tiene el inconveniente de que dificulta la comparabilidad de las puntuaciones, porque los sujetos responden a diferentes cuadernillos y éstos no son estrictamente paralelos. Esta dificultad técnica puede solventarse utilizando un modelo de medida de los denominados de «Teoría de Respuesta al Ítem (TRI)», muy bien documentados en la literatura psicométrica (Hambleton, Swaminathan y Rogers, 1991; Lord, 1980; Martínez Arias, 1995; Thissen y Wainer, 2001; Van der Linden y Hambleton, 1997). Los bloques comunes a diferentes cuadernillos o de enlace permiten la calibración conjunta de los ítems y la comparabilidad de las puntuaciones. Este tipo de equiparación basada en ítems o bloques comunes es la base también de los estudios de tendencias, en los que se usan ítems de enlace o anclaje de evaluaciones anteriores. La equiparación de puntuaciones procedentes de diversas formas de tests, sea en el nivel individual o en niveles agregados, ha sido muy tratada en la psicometría (Fitpatrick, Lee y Gao, 2001; Kolen y Brennan, 2004; Linn, 1993; Mislevy, 1992). El uso de modelos de Respuesta al Ítem es útil no solamente para resolver los problemas de comparabilidad, sino también porque permiten crear una escala continua de «habilidad» o competencia, en la que se pueden situar simultáneamente sujetos e ítems, lo que facilita los informes de resultados. Existen muchos modelos de este tipo en la literatura, pero básicamente pueden clasificarse en dos grandes bloques: los que derivan del modelo de Rasch (1960/1980), que tienen propiedades óptimas de escalamiento, y los que derivan de la línea de Lord (1980), que buscan una mayor adaptación a las respuestas empíricas de los sujetos e incluyen más parámetros para explicar las respuestas a los ítems. Parece que la decisión de utilizar unos u otros modelos va más allá de aspectos puramente técnicos, siendo las posturas de sus partidarios bastante irreconciliables (Thissen y Orlando, 2001). En los modelos de Rasch, el único factor que influye en la probabilidad de acierto es la distancia entre la dificultad del ítem (o de la categoría de respuesta) y la habilidad del sujeto. También, la dificultad relativa de un ítem resulta de la comparación del ítem con los otros ítems y es independiente de la habilidad de los estudiantes. El modelo concreto aplicado en PISA es una forma generalizada del modelo de Rasch, el modelo de coeficientes mixtos (Adams, Wu y Wilson, 1997), que admite la multidimensionalidad (necesaria para los diferentes dominios y subdominios de PISA) y en el que los ítems son descritos por medio de un conjunto de parámetros desconocidos y la habilidad de los alumnos es un resultado aleatorio. El modelo permite el análisis de interacciones del ítem con otras variables, así como la posibilidad de generar para cada sujeto una distribución posterior con múltiples resultados. También permite especificar modelos diferentes dentro del mismo test para distintos tipos de ítems (con respuesta binaria o de escala) mediante la inclusión de una matriz de diseño. Para los de respuesta binaria se especificó el modelo logístico de un parámetro y para los de escala, el modelo de crédito parcial (Masters, 1982; Masters y Wright, 1997). Se llevan a cabo pruebas de ajuste de los ítems al modelo, que se basan en los residuos o diferencias entre las frecuencias observadas y las esperadas según el modelo, que se resumen en un índice (INFIT). Para el análisis de los ítems con el modelo de coeficientes mixtos se utilizó el programa ConQuest (Wu et al., 1997). La estimación de los parámetros de los ítems (dificultad) se conoce en psicometría con el nombre de «calibración». El procedimiento utilizado permite obtener errores típicos de los parámetros e intervalos de confianza. Estos intervalos son importantes para determinar la adecuación de un ítem a un determinado país, ya que en PISA se eliminaron los ítems que en un país estuviesen fuera del intervalo de confianza. La calibración se llevó a cabo en muestras nacionales (de cada país) y en una muestra de calibración internacional final, formada por 500 sujetos extraídos al azar de los 30 países de la OCDE. Otras evaluaciones como el TIMSS utilizan modelos con más parámetros, en la línea de Lord y del Educational Testing Service. No obstante, los procedimientos de estimación, determinación de la escala y obtención de las puntuaciones son similares.
ESTIMACIÓN DE LAS PUNTUACIONES: V A L O R E S P L A U S I B L E S Los tests educativos pueden tener dos propósitos fundamentales: 1) medir conocimientos y destrezas de estudiantes particulares, donde es muy importante minimizar el error de medida sobre cada estudiante, especialmente si se van a tomar decisiones sobre las puntuaciones ó 2) evaluar conocimientos y destrezas de la población, en las que lo más importante es la minimización de los errores en la población. Debido al diseño matricial de ítems utilizado, deben usarse complejos procedimientos para la estimación de las puntuaciones de los sujetos con datos incompletos. La metodología que utiliza PISA y otras evaluaciones internacionales fue desarrollada por Mislevy y utilizada por primera vez en el NAEP (Mislevy, 1991, Mislevy, Beaton, Kaplan y Sheehan, 1992; Mislevy, Jonson y Muraki, 1992; Mislevy y Shechan, 1989) y está basada en la teoría de la imputación de valores ausentes o perdidos de Rubin (1987). Las puntuaciones no son puntuaciones individuales y no sirven para el diagnóstico de los sujetos, sino solamente para la estimación de parámetros poblacionales consistentes. El problema que hay que resolver es que cada sujeto responde solamente a un número limitado de ítems del test y es preciso estimar de algún modo cómo sería su comportamiento en el total de los ítems utilizados en la evaluación. Para ello, se predicen estos resultados utilizando las respuestas a los ítems que ha contestado y otras variables (denominadas de «condicionamiento», que se obtienen de los cuestionarios de contexto). En vez de predecir una única puntuación, se genera una distribución a posteriori de valores para cada sujeto con sus probabilidades asociadas (generalmente se asume que es una distribución normal). De esta distribución se obtienen aleatoriamente cinco valores denominados «valores plausibles», porque son de la propia distribución de cada sujeto. Esto se hace para prevenir el sesgo que se produciría estimando la habilidad solamente a partir de un conjunto reducido de ítems del dominio. La selección de varios valores es necesaria para estimar la varianza error derivada de la imputación. Para la estimación de estos valores se requiere usar algún tipo de software específico. Estos valores son obtenidos también con el programa ConQuest. Existe un programa de libre distribución, AM, desarrollado por Miles y Cohen (2002), que se puede obtener de www.air.org. El procedimiento usado en PISA para obtener los valores plausibles es similar a los de otras evaluaciones (NAEP y TIMSS) y consiste en utilizar para la imputación las respuestas del sujeto a los ítems del dominio que le fueron presentados, con los valores de los parámetros de la calibración nacional y un conjunto de «variables de condicionamiento». Hay un primer bloque común a todos los países formado por cinco variables (cuadernillo, sexo, ocupación del padre y de la madre y media en matemáticas de la escuela). Las restantes variables de condicionamiento se construyen a partir del cuestionario del alumno en el que todas las variables se codifican en códigos dummy y se reduce su dimensionalidad utilizando la técnica de los componentes principales, en un número que explique hasta el 95% de la varianza total, que puede variar entre países. Los estadísticos poblacionales se estiman usando cada uno de los valores plausibles separadamente. El estadístico poblacional referido en los informes es el promedio de los estadísticos obtenidos con cada uno de los valores plausibles. La integración de la varianza de la imputación en la varianza de los estimadores de los parámetros se explica en el Data Analysis Manual (OCDE, 2005b; 2005c).
LAS ESCALAS DE HABILIDAD O COMPETENCIA La aplicación del modelo de TRI lleva a una escala continua de habilidad o competencia en cada dominio que permite estimar la posición de sujetos e ítems. Normalmente, la métrica está indeterminada y se estima en puntuaciones típicas (media 0, desviación típica 1), que mediante una transformación lineal se convierten a la métrica de PISA con media 500 y desviación típica 100. Cuando una puntuación del sujeto (o del grupo) se encuentra próxima a un punto de la escala, es más probable que sea capaz de contestar con éxito a los ítems que están en o por debajo del punto, pero menos probable que realice las tareas que están por encima. En la página 187 y 188 del Technical Report (OCDE, 2005a), pueden verse los «mapas de ítems» de los cuatro dominios escalados en «habilidad». Posteriormente, los ítems se reescalan a media 500 y desviación típica 100 y se presentan ordenados del más alto al más bajo, junto con una descripción de las tareas que implican, así como con su clasificación en cuanto a contenidos, demandas y contexto de utilización. El continuo en el que se sitúan todos los ítems se convierte en seis «niveles», que representan bandas o intervalos de puntuaciones y facilitan la interpretación. Las convenciones para establecer las niveles del continuo están claras y pueden consultarse en los Technical Reports de 2000 (Adams y Wu, 2002) o del 2003 (OCDE, 2005b). Examinando los ítems que se encuentran en los diferentes niveles, grupos de expertos en la materia desarrollan el significado de cada uno en cuanto a lo que los sujetos de dicho nivel conocen y pueden hacer. En las páginas 261 a 267 del Technical Report (OCDE, 2005a), se encuentran las descripciones de los seis niveles en la escala global de matemáticas y en cada una de las subescalas. LOS CUESTIONARIOS DE CONTEXTO Los cuestionarios de contexto suelen cumplir tres funciones dentro de las evaluaciones internacionales: 1) son usados para definir subgrupos de la población de examinados permitiendo introducir cualificadores a los resultados (género, etnia, nivel educativo de los padres, tipo de escuela…); 2) se examinan las relaciones de sus variables con los datos de rendimiento educativo y sus influencias sobre éste, y 3) sus datos se utilizan como variables de condicionamiento en la imputación y estimación de los valores plausibles. La mayor parte de las evaluaciones internacionales utilizan tres tipos de cuestionario: de escuela, de profesores y de alumnos. En PISA, se utilizan solamente cuestionarios de escuela y de alumnos, lo que algunos consideran una limitación; no obstante, teniendo en cuenta que sus objetivos no están ligados al currículo, podría resultar difícil la interpretación de los datos derivados de los profesores. En la web de la OCDE pueden obtenerse los cuestionarios utilizados. Algunas cuestiones de ambos cuestionarios se tratan como ítems únicos (p. ej., el sexo del alumnado o el tamaño de la escuela), pero la mayor parte fueron diseñadas para la medida de índices o de constructos latentes. Las medidas de índice son simples transformaciones o combinaciones lineales de algunas variables, mientras que las medidas de constructos son estimaciones de rasgos latentes derivadas mediante procedimientos de escalamiento. En general, las variables de los cuestionarios fueron tratadas con gran rigor. Las medidas de estatus ocupacional fueron trasladadas al Índice Internacional de Estatus Ocupacional (ISEI, Ganzeboom et al., 1992). Los niveles educativos de los padres fueron codificados en la clasificación ISCED y recodificadas posteriormente en años de escolarización. En general, las transformaciones son óptimas para el análisis de los datos. Con el cuestionario de la escuela también se construyeron diversos índices de los que resultan novedosos los de selectividad de las escuelas, la cultura de la evaluación y los de gestión y niveles de autonomía. Una buena parte de los ítems de ambos cuestionarios son los destinados a la medida de constructos latentes. Para su elaboración se utilizaron las técnicas psicométricas más adecuadas para analizar la dimensionalidad (análisis factoriales exploratorios y confirmatorios) y su estabilidad o consistencia entre países (con análisis confirmatorios multi-grupo), así como la estabilidad entre países de las relaciones entre los constructos. Como valores de ajuste se utilizaron los habituales en estos modelos (Kaplan, 2002). Una vez establecidas las dimensiones, los ítems componentes fueron calibrados con modelos politómicos de respuesta al ítem y las puntuaciones de los estudiantes individuales fueron estimadas con procedimientos de máxima verosimilitud y transformadas a escalas de media 500 y desviación típica 100. La calibración internacional se realizó sobre la muestra internacional de 500 alumnos de los 30 países de la OCDE. Los constructos obtenidos mediante estos procedimientos fueron tanto de nivel del alumno como del centro. EL DISEÑO MUESTRAL, PESOS DE MUESTREO Y VARIANZAS DE LOS ESTIMADORES En un detallado manual de muestreo (OCDE 1999), se exponen todas las especificaciones para obtener muestras representativas de la población objetivo de alumnos de 15 años escolarizados. El diseño es el habitual estratificado de conglomerados en dos etapas, con muestras en la primera etapa proporcionales al tamaño. Las unidades primarias de muestreo son las escuelas y las secundarias los alumnos de cada escuela, que se seleccionaron (35) de forma aleatoria a partir de listas de sujetos elegibles en cada escuela. Las variables de estratificación fueron explícitas e implícitas, pudiendo variar entre países. En España, las explícitas fueron la titularidad del centro, comunidad autónoma, tamaño de la escuela y modalidad de enseñanza en el País Vasco; las implícitas, los códigos postales y en Cataluña el tamaño de la localidad. La selección efectiva de la muestra se lleva a cabo mediante un procedimiento sistemático con un intervalo de muestreo. Las reglas de exclusión de escuelas y de estudiantes están completamente especificadas en el Manual. En todos los casos se determinó que la tasa de exclusión global intra-escuela debería ser inferior al 5%. Este resultado no se ha respetado completamente en todos los países, entre otros en España (7,9%). Se requirió una tasa de respuesta del 85% en las escuelas seleccionadas, que podría alcanzarse mediante escuelas de reemplazamiento (con ciertas limitaciones). La tasa de alumnos se fijó en el 80%. Las escuelas para la muestra de reemplazamiento fueron la anterior y la posterior a la escuela seleccionada, un interesante procedimiento que garantiza bastante bien la equivalencia de las escuelas sustitutas. El tipo de muestreo llevado a cabo requiere de un proceso complejo de determinación de pesos muestrales, necesario antes de llevar a cabo los análisis estadísticos. Son varias las razones de la ponderación de los casos: afijación no proporcional en algunos estratos, falta de actualización de los marcos, ajustes derivados de la no respuesta de escuelas y alumnos dentro de las escuelas y recorte de pesos para prevenir influencias no deseadas de un pequeño conjunto de escuelas o estudiantes. Los procedimientos para la asignación de pesos en PISA reflejan los estándares de las buenas prácticas de las encuestas y son los mismos utilizados por la IEA y el NAEP. Una buena descripción puede encontrarse en el Data Analysis Manual (OCDE, 2005b, c). El complejo diseño muestral lleva a dependencias entre las unidades o sujetos de la muestra (Kish, 1987) e implica procedimientos especiales para el cálculo de la varianza de los estimadores. En general, no existen fórmulas precisas, debiendo calcularse mediante métodos intensivos de cálculo, conocidos como de «remuestreo», que consisten en obtener múltiples muestras a partir de la muestra original. Rust y Rao (1996) destacan que el principio común de todos estos métodos es estimar el parámetro de interés para toda la muestra y en cada una de las muestras replicadas. La variabilidad entre las replicaciones resultantes se usa para estimar el error típico del estadístico bajo estudio. En la práctica, suelen utilizarse tres variantes: jackknife (utilizado en TIMSS), replicación repetida balanceada (BRR) y bootstrap. PISA utilizó el método BRR con la modificación de Fay (1989), que permite obtener más replicaciones (se obtuvieron 80) y mejora por tanto la precisión del estimador de la varianza. Una descripción extensa del procedimiento puede encontrarse en el Data Analysis Manual (OCDE, 2005b, c). En la varianza final de los estimadores, se incluye además el error debido al uso de los valores plausibles. Todos los cálculos se realizaron con el programa WesVar (Westat, 2000).
LOS ANÁLISIS DE TENDENCIAS Y LOS ENLACES DE TESTS Los procedimientos de equiparación de puntuaciones por medio de ítems comunes antes mencionados son los que se utilizan en PISA-2003 para equiparar las puntuaciones de este estudio con las del 2000 en cada uno de los dominios. Estos procedimientos se implementan calibrando conjuntamente los ítems comunes a las dos evaluaciones. En matemáticas, se utilizaron 20 ítems comunes, en lectura 28 y en ciencias 25. Estos ítems comunes se denominan de enlace o «anclaje». En lectura y ciencias, se tomaron como referencia las medias del 2000 y en matemáticas y solución de problemas, las del 2003. No se establecieron tendencias para subdominios, ya que se requiere un mínimo de ítems para que funcione bien la equiparación. El subconjunto o selección de ítems comunes influye en la transformación, por lo que se producen errores de equiparación que deben ser tenidos en cuenta a la hora de establecer comparaciones entre las medias de 2000 y 2003. Normalmente, la presencia de ítems abiertos y codificados en escala complica el cálculo de los errores típicos (Kolen y Brennan, 2004). El manual técnico del PISA es muy escueto en lo que se refiere a los procedimientos de equiparación, a la calidad de los ítems seleccionados y al cálculo de los errores típicos, por lo que no podemos establecer juicios sobre la calidad de los datos de tendencias. La calidad de los datos de tendencias y las inferencias que se puedan extraer a partir de ellos depende de la semejanza en los contenidos de los tests, el ajuste de los ítems al modelo de respuesta al ítem, propiedades psicométricas de los ítems, tamaño de la muestra y de la posición de los ítems comunes en las pruebas que se equiparan. PRESENTACIÓN DE LOS RESULTADOS En el texto Learning for Tomorrow’s World (OCDE, 2004), se presentan los resultados del dominio principal, los subdominios y los dominios secundarios. La forma de presentación de los resultados incluye la habitual mediante tablas (las denominadas Tablas de Liga), que es la presentación preferida por los medios de comunicación y refuerza lo que algunos llaman el aspecto «Olympic Games» de las evaluaciones internacionales (Husen, 1987). No obstante, se introducen algunas novedades importantes. Se comienza con la presentación por países de los porcentajes de estudiantes en cada uno de los seis niveles, lo que proporciona una visión más adecuada de los resultados que las simples medias. Las tablas de medias vienen acompañadas de diagramas que representan la significación de las diferencias entre países, como en TIMSS. En las notas al capítulo, se presentan algunos cualificadores de los resultados y tamaños de efecto. Se presentan también para cada país las diferencias según el género, mostrando la significación y el sentido de las diferencias de forma gráfica y muy fácil de visualizar. Las tendencias o cambios entre las medias de 2000 y 2003 se presentan de una forma muy clara acompañadas de los niveles de significación de las diferencias. Las variables derivadas de los cuestionarios del alumno se presentan en porcentajes de respuesta en los dos niveles más altos de la escala para cada ítem, los valores medios de los índices tipificados y los coeficientes de la regresión o cambio en rendimiento por cambio unitario en la variable, así como el porcentaje de varianza del rendimiento explicada por la variable en el nivel de los resultados de los alumnos. Se hace un interesante estudio del papel del contexto socioeconómico en la variación de los rendimientos y sus variaciones entre países, acompañados de diagramas de dispersión muy interesantes. Finalmente, se analiza el ambiente del aprendizaje y la organización de la escuela por medio de análisis descriptivos y con técnicas de análisis «multi-nivel» (Raudenbush y Bryk, 2002), cada vez más habituales en los estudios de evaluación educativa, para establecer su influencia en la variación entre escuelas dentro de cada país, con los valores de los coeficientes en forma gráfica y los porcentajes de variación del rendimiento explicados por cada variable en cada país. Los análisis de la variación entre escuelas, que varía considerablemente entre países, son muy importantes para la reflexión sobre políticas educativas y consideraciones de equidad. Finalmente, debemos destacar que los datos están disponibles para el análisis secundario por parte de otros investigadores en la web de la OCDE (www.pisa.oecd.org/pisa/outcome.htm). Aparecen muy detalladas todas las especificaciones de la base de datos. La disponibilidad de los datos para el análisis secundario también es habitual en las evaluaciones recientes de la IEA (TIMSS).
CONCLUSIONES Para establecer una valoración crítica de la calidad metodológica de PISA2003, se siguen los criterios de calidad establecidos para las evaluaciones internacionales por el Board on International Comparative Studies in Education (BICSE) (National Research Council, 1990): Validez técnica del estudio. La calidad técnica del estudio está en general fuera de dudas. PISA-2003 sigue todas las buenas prácticas de las evaluaciones internacionales en cuanto a representatividad de las muestras, calibración adecuada de los parámetros y de los ítems, estimaciones precisas de los resultados, buenas traducciones, adecuados cuestionarios de contexto bien codificados, y un plan adecuado de informes dirigidos a diversas audiencias. No obstante, se podrían plantear algunas cuestiones en ciertos aspectos que podrían mejorarse: – Aunque se ha cuidado mucho la validez de contenido y de constructo de las tareas de la evaluación, aún permanece por tratar un problema importante de las evaluaciones a gran escala, y es el de la «motivación de los alumnos» cuando participan en evaluaciones que no tienen consecuencias para ellos (low-stakes). Parece que los alumnos no se implican suficientemente en la resolución de las tareas (O’Neil, Abedi, Miyoshi y Mastergeorge, 2005; Wise y DeMars, 2003) y, como consecuencia, las puntuaciones de los tests podrían no ser indicadores válidos de lo que saben y pueden hacer. El problema puede ser más grave en las evaluaciones internacionales, dado que podrían producirse interacciones con las diferentes culturas de los países implicados. Deberían realizarse investigaciones en este sentido. – Piers (2003) ha planteado algunas objeciones sobre el control de las tasas de respuesta de diferentes países del estudio 2000, que se pueden trasladar a 2003 y no han sido adecuadamente respondidas por Adams (2003). – También se han planteado algunas dudas sobre la elección de la población objetivo (Piers, 2003) basada en la edad y no en el curso. Aunque no está claro en la literatura cuál es la mejor elección (Chromy, 2002), la cuestión no está resuelta. La selección por edad permite eliminar algunos problemas ligados a las diferentes políticas de repetición de los países, itinerarios formativos, etc., pero deja sin resolver otras cuestiones como las diferentes edades de entrada en la escuela que pueden afectar a los resultados. – La presentación de los resultados, muy cuidada, elaborada y de fácil comprensión, debería introducir con mayor visibilidad algunos cualificadores del rendimiento de los países: edad de entrada en la escuela, tasas de la población con educación secundaria, etc.
El estudio está ligado a trabajos previos para propósitos de comparación. Las comparaciones longitudinales o tendencias son muy importantes para los países participantes, especialmente cuando como resultado de las evaluaciones se introducen cambios (Goldstein, 1995, 2004). El PISA está diseñado para proporcionar estos datos desde sus inicios y en 2003 presenta un estudio de tendencias. No obstante, como se ha señalado anteriormente, es la parte menos detallada del Technical Report y debería mejorarse su explicación.
El estudio tiene en cuenta las diferencias culturales entre países y se caracteriza por la neutralidad de la investigación. La participación de los países en todas las fases elimina sesgos, pero no está claro que se haya logrado este objetivo, ya que, como señala Goldstein (2004), en la práctica el control real es ejercido por un pequeño grupo con responsabilidades ejecutivas. Por otra parte, PISA no tiene en cuenta los currículos nacionales por no considerarlos relevantes para los objetivos, pero se han encontrado algunas cuestiones difíciles para los alumnos de algunos países que llevan a algunos autores a pensar en la falta de neutralidad (Goldstein, Bonnet y Rocher, sometido a publicación y citado en Goldstein, 2004). Finalmente, PISA ha cuidado en general muy bien las variables contextuales importantes desde la perspectiva sociológica, pero aún quedan fuera algunos aspectos de índole psicológica y cultural que aparecen bien descritos en el trabajo de Bempechat, Jiménez y Boulay (2002), pero que son difíciles de hacer operativos. El estudio tiene impacto sobre las políticas y prácticas educativas de los participantes. Ésta es una cuestión que no podemos evaluar, puesto que no disponemos de informaciones de los países. En general, el estudio ha tenido una importante repercusión mediática, pero desconocemos su impacto en otros ámbitos. No obstante, la desvinculación del currículo sostenida en PISA, a diferencia de otros estudios como TIMSS, es posible que limite sus implicaciones en las políticas y prácticas educativas. El hecho de que los sujetos estén dispersos entre diferentes cursos o grados también puede dificultar este punto. Deberán hacerse más estudios sobre sus influencias en la política y prácticas educativas y su contribución a la comprensión de la calidad de la educación.
RESULTADOS EN EL ESTUDIO TIMSS 2007 Association for the Evaluation of Educational Achievement (IEA) Diciembre 2008
Slide 2
¿Qué es el TIMSS? El Estudio Internacional de Tendencias en Matemáticas y Ciencias es el estudio de rendimiento académico más amplio e importante realizado en el mundo actualmente. El TIMSS 2007 es el cuarto ciclo de un conjunto de mediciones continuas que se practican cada cuatro años. Es organizado y coordinado por la International Association for the Evaluation of Educational Achievement (IEA) para evaluar el desempeño de los estudiantes en el mundo e indagar sobre sus factores contextuales. .
Slide 3
Alcance del TIMSS PROPÓSITO: evaluar periódicamente el desempeño académico de los estudiantes del mundo en las áreas de Matemáticas y Ciencias explicando también los contextos de aprendizaje. Áreas y grados evaluados: Matemática (4º y 8º) Ciencias (4º y 8º) La evaluación del desempeño en Lectura es parte de otro estudio dirigido por la IEA llamado PIRLS.
Slide 4
¿Quiénes participaron en TIMSS 2007? . Participantes: Participaron 59 países y 8 entidades subnacionales: 37 países participaron en 4º 50 países participaron en 8º 33 países participaron en ambos grados
Slide 5
¿Quiénes participaron…? .
Slide 6
¿Cuál es el número de escuelas y estudiantes incluidos en el TIMSS?
Slide 7
Fases de realización del TIMSS (2004 – 2008)
Slide 8
La participación requiere que un país cuente con la capacidad técnica y logística para implementar el estudio. Definición de contenidos curriculares a evaluar tomando en cuenta que sean comunes a todos los países. Los responsables internacionales del programa determinan y seleccionan las muestras de cada país. Validación técnica de los ítems Elaboración de las pruebas con participación de técnicos nacionales. Diseño y verificación externa de normas precisas de aplicación de la prueba. Replicación del procesamiento para la estimación de las puntuaciones de los estudiantes por una agencia externa. El Salvador cumplió con todos los estándares técnicos y operativos por eso sus resultados aparecen en los cuadros principales y sin asteriscos Control de calidad del TIMSS
Slide 9
Qué se evaluó en Matemáticas por grado
Slide 10
Qué se evaluó en Ciencias por grado
Slide 11
Número y Tipos de Preguntas Utilizados en las Pruebas por Grado y Materia
Slide 12
Compatibilidad entre los tópicos de las pruebas y el currículo enseñado
Slide 13
Resultados
Slide 14
La Posición Mundial de El Salvador en Matemáticas de 4º Grado
Slide 15
La Posición Mundial de El Salvador en Matemáticas de 8º Grado
Slide 16
En qué nivel se ubican los Estudiantes Salvadoreños en Matemáticas de 4° Grado
Slide 17
En qué nivel se ubican los Estudiantes Salvadoreños en Matemáticas de 8° Grado
Slide 18
La Posición Mundial de El Salvador en Ciencias de 4º Grado
Slide 19
La Posición Mundial de El Salvador en Ciencias de 8º Grado
Slide 20
En qué nivel se ubican los Estudiantes Salvadoreños en Ciencias de 4° Grado
Slide 21
En qué nivel se ubican los Estudiantes Salvadoreños en Ciencias de 8° Grado
Slide 22
Promedio de Rendimiento por dominio de contenido Matemática 8° Grado
Slide 23
Promedio de rendimiento por dominio cognitivo en Matemática 8° Grado
Slide 24
Promedio de rendimiento por dominio de contenido en Ciencias de 4° Grado
Slide 25
Desigualdad de género en matemáticas
Slide 26
Desigualdad de género en Ciencias
Slide 27
Factores asociados al desempeño de los alumnos según el TIMSS Nivel educativo de los padres Utilización de computadoras en casa Clima escolar Actitud positiva de alumnos y maestros Nivel socioeconómico y cultural del estudiante Infraestructura y servicios básicos en la escuela Disponibilidad de bibliotecas escolares Formación docente Satisfacción docente Zona urbana o rural Sector público o privado Tecnología disponible para el alumno Curriculum
Slide 28
Puntajes obtenidos en relación a lo esperado en Mat. De 8° Grado dado el IDH
Slide 29
Puntajes obtenidos en relación a lo esperado en Mat. De 4° Y el IDH
Slide 30
Puntajes obtenidos en relación a lo esperado en Ciencia de 4° Y el IDH
Slide 31
Puntajes obtenidos en relación a lo esperado en Ciencia de 8° Y el IDH
Slide 32
Condiciones de trabajo según los docentes de ciencias de 8°
Slide 33
Factores relacionados con las condiciones de los hogares
Slide 34
Diferencia en los promedios de rendimiento entre escuelas con niños ricos y pobres
Slide 35
Puntaje promedio por confianza en aprender ciencias
Slide 36
Puntaje promedio por confianza en aprender Matemáticas
Slide 37
Estudiantes con maestros que sienten muy bien preparados
Slide 38
Factores relacionados con actividad escolar
Slide 39
Características de los profesores de ciencias de 8°
Slide 40
Características de los profesores de Matemáticas
Slide 41
Profesores que se sienten bien preparados para enseñar Matemáticas
Slide 42
Nivel educativo de los padres de familia
Slide 43
CONCLUSIONES Y HALLAZGOS La importante es la participación no el lugar que se ocupó. El Salvador es el primer país centroamericano que participa en un estudio de esta importancia. Los resultados más altos en el estudio lo ocuparon los países asiáticos y ningún país que no fuera de Asia o Europa llega al promedio internacional. Pero en todos los países todavía existen problemas de calidad educativa. La posición ocupada por El Salvador es similar a la ocupada por Colombia y por otros países latinoamericanos que han participado en ciclos anteriores. El Salvador ocupó un lugar de acuerdo con su desarrollo humano Los resultados confirman y refuerzan los datos provenientes de pruebas nacionales El estudio señala los factores que más inciden en un alto aprendizaje Se gana comparabilidad con los países desarrollados Se fortaleció la capacidad nacional para evaluar y monitorear Cómo se puede vincular esto con el plan 2021 y las acciones a seguir
Slide 44
CONCLUSIONES Y ACCIONES A SEGUIR La mejor posición la ocupó El Salvador en Ciencias de 4° grado y la más baja en matemáticas de octavo. Aunque los estudiantes salvadoreños se ubican en lugares bajos de desempeño, hay algunos que logran niveles de suficiencia e incluso responder mejor preguntas particulares que estudiantes de otros países desarrollados. Los resultados prueban que la calidad es el reto más importante que enfrenta el sistema educativo. Los datos pueden servir como base de datos para seguir monitoreando el progreso educativo del país en los próximos años
Con frecuencia en el Perú se toma como ejemplo a Chile para muchos temas económicos, productivos y sociales. Si bien hay mucho que aprender de la experiencia chilena en varios campos, hace años vengo sosteniendo que no es el caso en la educación. Más bien, están casi tan rezagados como los peruanos en toda evaluación internacional que se hace, pese a que invierten casi 4 veces más que nosotros per cápita en educación.
Sin embargo, las razones de los escasos logros son similares al caso peruano, empezando por la precaria formación de los profesores, que más allá de su vocación, amor a los niños y dedicación, tienen que enseñarles a los alumnos contenidos y estrategias para las que no fueron preparados.
El Estudio sobre Desarrollo y Formación Docente en Matemáticas (TEDS-M) fue diseñado y luego implementado entre el 2007 y 2008 por el International Association for the Evaluation of Educational Achievement (IEA) –la misma que hace las pruebas TIMSS-. Este reveló en sus resultados preliminares que una muestra de 1400 futuros maestros de 34 instituciones superiores de Chile tuvo los resultados más bajos en los indicadores que midieron el conocimiento de matemática y de pedagogía matemática, por debajo de los otros 15 países participantes, incluyendo Georgia, Botswana y Filipinas (países que tienen un ingreso per cápita entre 1/3 y 1/10 del chileno).
El ranking en cuanto a dominio de los temas de matemáticas para futuros profesores de baja secundaria arroja lo siguiente: Taiwán 667, Rusia 594, Singapur 570, Polonia 540, Suiza 531, Alemania 519, EE.UU. privados 512 , EE.UU públicos 505, Malasia 493, Tailandia 479, Omán 472, Noruega 444, Filipinas 442, Botswana 441, Georgia 424 y Chile 354. (En la submuestra de 1ero a 4to de primaria Chile quedó penúltimo).
El ranking en cuanto a dominio de los temas de pedagogía de las matemáticas para futuros profesores de la baja secundaria arroja lo siguiente: Taiwán 649, Rusia 566, Singapur 553, Suiza 549, Alemania 540, Polonia 524, EE.UU. privados 505 , EE.UU públicos 502, Tailandia 476, Omán 474, Malasia 472, Noruega 463, Filipinas 450, Georgia 443, Botswana 425 y Chile 394. .
Los resultados chilenos no sorprenden porque son coincidentes con los que ha tomado el propio ministerio de educación con la prueba INICIA, que se aplica a los egresados de pedagogía de los institutos de formación docente.
La primera versión se aplicó en 2008. Los estudiantes podían optar entre rendir un test de conocimientos generales (contenidos de primero a cuarto de primaria) o un test específico (sobre conocimientos para el segundo ciclo del sexto al octavo grado).
En promedio los egresados solo respondieron correctamente el 47% de las preguntas sobre conocimientos generales y el 60% del total sólo contestó correctamente menos de la mitad de las preguntas. En el caso del test específico, los que rindieron la prueba de Naturaleza obtuvieron sólo 36% de respuestas correctas.
Sin embargo en Chile, a diferencia del Perú, ocurren tres cosas: una, participan en cuanta prueba internacional pueden para compararse y sacar conclusiones y medidas correctivas a partir de esas comparaciones. Dos, cada vez que se publica un resultado hay un fuerte debate público sobre el tema que moviliza a todos los medios y la sociedad. Tres, los gobiernos se comprometen a aumentar los recursos y esfuerzos dedicados a hacer de la educación chilena una educación competitiva a nivel mundial. Tomará un tiempo, pero llegarán.
En cambio en el Perú los gobernantes se complacen triunfalistamente con avances insignificantes, los convierten engañosamente en activos electorales, sin apostar seriamente por la educación y sin pretender movilizar la opinión pública y los presupuestos estatales y privados en favor de la educación.
Tomará un tiempo más descubrir que así no llegaremos a ninguna parte, y que quienes demandamos del gobierno cambios sustantivos en su desacertada política educativa no estamos inventando realidades.
El presente capítulo ofrece un breve repaso de determinados rasgos esenciales de los sistemas educativos y del grado de desarrollo económico y social de cada país. Se parte del supuesto de que el bienestar y el desarrollo específicos de los países no son independientes de la capacidad de los distintos sistemas educativos para alcanzar niveles de aprendizajes de calidad y de equidad. El análisis que sigue tiene en consideración cuatro dimensiones consideradas fundamentales. En primer lugar, se exploran un conjunto de indicadores que resumen las características de la población y el grado y tipo de desarrollo económico y social que presentan los países considerados. En segundo lugar, se informa respecto a la magnitud de la inversión educativa, de acuerdo con distintas formas de medición. Seguidamente, se analizan diferentes indicadores de escolarización por niveles, que sugieren grados diferenciales de cobertura entre los sistemas educativos de estos países. Finalmente, se compara la eficacia de estos sistemas a través de indicadores de resultados y los logros educativos. Se trata de relacionar los logros en materia de aprendizajes con los diferentes contextos nacionales.
Hay que resaltar desde esta introducción que el primer y más destacado rasgo que caracteriza a Iberoamérica y a los países iberoamericanos que han participado en PISA es el de las desigualdades muy notables que en la mayoría de los indicadores sociales y educativos aparecen entre unas naciones y otras y, en muchos casos, en el interior de las mismas. Estas desigualdades afectan a las cuatro dimensiones consideradas y ponen de manifiesto la complejidad de los análisis necesarios para comparar y comprender las realidades económicas, sociales y educativas y explicar mejor los resultados educativos y los factores que los determinan o pueden contribuir a su mejora. Teniendo en cuenta esta complejidad, en las páginas siguientes se trata de ofrecer una mirada inevitablemente modesta, pero con el propósito de resaltar los indicadores más relevantes de los contextos nacionales de la educación. Los indicadores utilizados proceden en la mayoría de los casos de los organismos internacionales que los elaboran y ofrecen datos para los países GIP calculados con similares criterios. Es el caso de cifras que proporcionan el Instituto de Estadística de la UNESCO o el Banco Mundial. Sin embargo, en ocasiones existe una relevante discrepancia entre estos datos internacionales y los de las estadísticas oficiales de los distintos países; se ha optado en esos casos por respetar los datos oficiales de las estadísticas nacionales y se ha señalado tal circunstancia en las notas aclaratorias correspondientes.
El GIP está integrado por ocho países, lo que supone un escaso número sobre el total de naciones de Iberoamérica. Sin embargo, en términos de población, estos ocho países cuentan con aproximadamente 453 millones de habitantes, que representan el 75 % de la población de Iberoamérica. En relación con el resto de los países participantes en PISA, esta población representa alrededor de un 25 %. Como se ha señalado más arriba, existen grandes contrastes entre los países GIP en cuanto a tamaño de la población: Brasil y México, con 187 y 104 millones de habitantes, respectivamente, o Portugal, que no llega a los 11 millones, y sobre todo Uruguay, que solo cuenta con algo más de tres millones de habitantes. Una primera medida demográfica que se debe tener en cuenta es el grado de urbanización alcanzado. La consideración de este indicador constituye un aspecto clave para la valoración de los logros educativos, así como para la definición de propuestas de mejora. Distintos estudios han mostrado que la dispersión geográfica de los asentamientos humanos localizados en zonas rurales, así como otro conjunto de características asociadas al acceso de la población rural a bienes y servicios básicos y a su participación en actividades de tipo productivo, deben ser tomados en cuenta para la implementación de programas educativos específicos que permitan asegurar grados razonables de calidad y equidad.
En este capítulo se presentan los resultados de PISA 2006 correspondientes al grupo de países iberoamericanos y de los países y regiones que se señalan en el capítulo 1. Se recuerda que México, España, Portugal y Brasil han participado en los tres ciclos de PISA (2000, 2003 y 2006). Argentina y Chile participaron en 2000, pero no en 2003; Uruguay participó en 2003 y 2006, y Colombia, lo hizo por primera vez en 2006. Brasil, España y México participaron con muestras ampliadas, por lo que en este informe se incluyen los resultados obtenidos para las regiones o comunidades evaluadas dentro de dichos países, que se describen a continuación.
Brasil Además de sus diferencias en cuanto a nivel de desarrollo, los estados federales brasileños tienen la responsabilidad de sus respectivos sistemas educativos y gozan de un grado considerable de autonomía real para ello. Brasil está política y geográficamente dividido en cinco regiones distintas, que tienen características comunes físicas, humanas, económicas y culturales. Los límites de cada región –Norte, Nordeste, Sudeste, Sur y Centro Oeste– coinciden siempre con las fronteras de los estados que las integran. • Región Norte (N). Es la región que ocupa la mayor parte del territorio brasileño, con una superficie que corresponde al 45,3 % de la superficie total del país, abarca los estados de Acre, Amazonas, Amapá, Pará, Roraima, Rondônia y Tocantins, tiene la menor densidad de población del país y está casi totalmente dominada por la cuenca del río Amazonas. • Región Nordeste (NE). Puede considerarse la más heterogénea del país, con una superficie que corresponde al 18,3 % del territorio nacional e incluye los estados de Maranhão, Piauí, Ceará, Rio Grande do Norte, Paraíba, Pernambuco, Alagoas, Sergipe y Bahía. Uno de los principales problemas que aquejan a esta región está relacionado con la sequía. • Región Sudeste (SE). Es la región económica más importante del país, donde está concentrada la mayor población y la producción industrial. Está formada por los estados de São Paulo, Minas Gerais, Rio de Janeiro y Espírito Santo. Sin embargo, padece varios problemas de orden social y urbano. • Región Sur (S). Tiene un clima subtropical y ocupa apenas el 6,8 % del territorio brasileño. Comprende los estados de Paraná, Santa Catarina y Rio Grande do Sul. Los ríos que la recorren son de gran importancia para el país, principalmente por su potencial hidroeléctrico. • Región Centro Oeste (CO). Tiene su área dominada básicamente por el Planalto Central de Brasil, donde está el Distrito Federal, y ocupa los estados de Goiás, Mato Grosso y Mato Grosso do Sul. Esta región disfruta de un período de intenso desarrollo, en particular de las actividades de la agricultura y la agroindustria.
España Las comunidades autónomas de España que participaron en PISA 2006 con una muestra ampliada suficiente para tener resultados de cada una fueron diez, que se distinguen por tener niveles de ingreso y urbanización diferentes. Cada una es responsable de su propio sistema educativo, pero todas siguen un currículo básico común y comparten otros aspectos importantes, como el tipo de formación que tienen los maestros. En orden alfabético, las diez comunidades son las siguientes: • Andalucía. Es la comunidad autónoma más extensa, con 87.268 km² (17,2 % del total), y poblada de España, con 8.202.220 habitantes en 2008. Está compuesta por ocho provincias: Almería, Cádiz, Córdoba, Granada, Huelva, Jaén, Málaga y Sevilla, donde se ubica su capital. La renta por habitante de la comunidad se situó en 2006 en 17.251 €, que sigue siendo una de las más bajas de España. Si bien el crecimiento de la comunidad, especialmente en los sectores de industria y servicios, fue superior a la media de España, no es así si se compara con las comunidades más dinámicas y de la eurozona, lo que hace prever que al ritmo de crecimiento la diferencia continúe en los años próximos. El diferente desarrollo económico andaluz tiene su origen en el fracaso de la revolución industrial en Andalucía en el siglo xix y en su situación periférica respecto a los circuitos económicos internacionales. • Aragón. Tiene una extensión de 47.719 km² (9,4 % sobre el total). Está compuesta por las provincias de Huesca, Teruel y Zaragoza. Su población es de 1.325.272 habitantes. El PIB de Aragón supone el 3 % del PIB total de España y su PIB per cápita fue, en 2005, 22.403 €. • Asturias. Es una comunidad autónoma uniprovincial. Tiene una superficie de 10.603,57 km² (2,1 % del total) y 1.080.138 de habitantes. A pesar de la relocalización industrial que golpeó a la comunidad en décadas anteriores, en los últimos años la renta por habitante ha crecido por encima de la media nacional hasta ubicarse en 19.868 € en 2006. • Cantabria. Es una comunidad autónoma uniprovincial. Tiene una superficie de 5.221 km² (1,05 % del total). En 2008 Cantabria tenía una población de 581.215 habitantes. El PIB per cápita era de 23.377 euros por habitante en 2007, similar a la media española, que se sitúa en 23.396 euros, y por debajo de los 29.455 € de la UE de los 25. • Castilla y León. Es una comunidad autónoma constituida en 1983, cuyo territorio se sitúa en la parte norte de la meseta de la península Ibérica (cuenca del Duero). Está compuesta por las provincias de Ávila, Burgos, León, Palencia, Salamanca, Segovia, Soria, Valladolid y Zamora. Es la comunidad autónoma de mayor extensión de España con 94.223 (18,6 % del total) y la tercera región más extensa de la Unión Europea. A pesar de esto, la población de Castilla y León representa el 5,7 % de la población de España, con 2.528.417 habitantes (2007), y su PIB per cápita se cifra en 21.160 €. • Cataluña. Situada al nordeste de la península Ibérica, ocupa un territorio de unos 32.000 km² (6,3 % de la superficie total). Limita al norte con Francia y Andorra, al este con el mar Mediterráneo, al sur con la Comunidad Valenciana y al oeste con Aragón. Esta situación estratégica ha favorecido una relación muy intensa con el resto de países mediterráneos y con la Europa continental. En el territorio catalán habitan actualmente 7.364.078 personas (16 % de la población total de España). Constituye un territorio muy denso y altamente industrializado, y su economía es la más importante de entre las comunidades autónomas, al generar el 18,7 % del PIB español, siendo la cuarta en PIB per cápita, tras el País Vasco, Navarra y Madrid. • Galicia. Está situada al noroeste de la península Ibérica y formada por las provincias de La Coruña, Lugo, Orense y Pontevedra. Tiene una superficie total de 29.574 km² (5,8 % del total) y 2,78 millones de habitantes (2008). Su PIB per cápita se sitúa en 18.544€. Tradicionalmente, la mayor parte de la economía de Galicia ha dependido de la agricultura y la pesca, aunque en la actualidad hay más trabajadores en el sector terciario. • La Rioja. Es una comunidad autónoma uniprovincial situada en el norte de la península Ibérica. La Rioja cuenta con una población de 317.021 habitantes (2008). • Navarra. Comunidad autónoma con régimen foral propio situada en el norte de la península Ibérica. Su superficie es de 10.391 km². Cuenta con una población de 605.876 habitantes (2007), de la que aproximadamente un tercio vive en la capital, Pamplona, y más de la mitad en el área metropolitana de la misma. El PIB de Navarra fue de 51.449 millones de euros y una renta per cápita de 24.509 €, lo que la sitúa por encima de la media de la UE. Es la comunidad autónoma con más ingresos netos por hogar (con 29.845 €) y menor índice de pobreza (inferior al 9,8 %). • País Vasco. Está situada al norte de la Península e integrada por las provincias de Álava, Guipúzcoa y Vizcaya. Tiene una extensión total de 7.234 km² (1,4 % del total) y una población actual de 2.155.546 habitantes (2008). A pesar de su extensión relativamente pequeña y una población del 4,9 % respecto a España, el País Vasco aporta el 6,2 % del PIB, el 10,45 % del PIB industrial y el 9,2 % de las exportaciones.
México Aunque es un país federal, y desde 1992 cada estado es responsable del manejo de su sistema de educación obligatoria, el grado de autonomía real de cada entidad es limitado, el currículo sigue siendo único y hay poco margen para la toma de decisiones relevantes sobre el personal y los recursos. La muestra de México permite dar resultados para cada una de las 32 entidades federales del país (31 estados y el Distrito Federal), con excepción del estado de Morelos, cuya muestra no fue representativa de la población PISA. Para no manejar un número tan grande y mejorar la precisión de las mediciones, esas entidades se agruparon en siete regiones, combinando un criterio geográfico con varios indicadores del grado de desarrollo de cada una, como sigue: • Distrito Federal. Ubicado en el centro sur del país, es la entidad en que está la parte más antigua de la zona metropolitana de la ciudad de México, más de la mitad de la cual se extiende a varios municipios del vecino estado federal, llamado también México. Los habitantes del Distrito Federal son 8,7 millones, y todos sus indicadores de desarrollo son claramente superiores a los de las demás regiones del país. • Norte. Comprende siete estados vecinos de Estados Unidos, que tienen en común el nivel de desarrollo más alto del país después del Distrito Federal. Son Baja California, Baja California Sur, Coahuila, Chihua hua, Nuevo León, Sonora y Tamaulipas, y tienen en conjunto 18,7 millones de habitantes. Coinciden en tener una fuerte inmigración procedente del resto del país. Hay enclaves de población indígena muy pobre en Chihuaha y, con menor pobreza, en Sonora. • Centro Norte. Con una población de 12,8 millones, comprende los estados de Aguascalientes, Gua najuato, Querétaro, Durango, San Luis Potosí y Zacatecas. Su nivel de desarrollo es intermedio en gene ral, con diferencias considerables entre una entidad pequeña como Aguascalientes y las zonas urbanas de todas, con niveles bastante altos, las zonas pobres rurales de Zacatecas y Guanajuato y, sobre todo, las áreas indígenas de Durango, Querétaro y San Luis Potosí. • Occidente. Agrupa los estados de Colima, Jalisco, Nayarit y Sinaloa, con un total de 10,9 millones de habitantes y desarrollo medio. El primero es muy pequeño, urbanizado y homogéneo. En los otros tres hay zonas de población indígena pobre. • Centro Sur. El estado de México, el más poblado del país, con los de Morelos, Puebla y Tlaxcala, todos cercanos al Distrito Federal, tienen en conjunto la mayor población de las regiones mexicanas conside radas en este estudio, 22,1 millones de habitantes. Es también la región más desigual en cuanto a su nivel de desarrollo, similar en conjunto al promedio nacional, pero con áreas ricas, como algunas zonas conurbadas de la Ciudad de México, y regiones pobres con alta proporción de población indígena. Debe advertirse que en el cálculo de las cifras de México no se consideró al estado de Morelos, porque su muestra no es representativa de la población PISA. • Sudeste. Comprende tres estados de la península de Yucatán (el del mismo nombre, con Quintana Roo y Campeche), más el de Tabasco, cercano al último de los anteriores en la costa del golfo de México. Forman la región de menor población de las siete del país, con 5,7 millones de habitantes y niveles de desarrollo un poco inferiores al promedio. • Sudoeste. Con cuatro estados en el Pacífico sur (Chiapas, Guerrero, Michoacán y Oaxaca), uno en el golfo de México (Veracruz) y uno en el interior (Hidalgo), la región tiene 24,4 millones de habitantes, y los más bajos indicadores de desarrollo en todos los aspectos.
Resultados GloBales Y nIVeles de desemPeÑo en cIencIas PIsa 2006 El 60 % de la prueba PISA 2006 está conformado por ejercicios que evalúan ciencias, el 15 % lectura y el 25 % restante matemáticas. La prueba está compuesta por 13 cuadernillos construidos de forma que sean equivalen tes entre sí. Cada cuadernillo tiene entre 55 y 70 ejercicios que deben ser respondidos en dos períodos de 60 minutos. El 55 % de ellos son de respuesta de opción múltiple y el 45 % de respuestas de desarrollo. En ciencias se establece que «la competencia científica es la capacidad de utilizar el conocimiento científico, identificar cuestiones científicas y sacar conclusiones basadas en pruebas con el fin de comprender y ayudar a tomar decisiones relativas al mundo natural y a los cambios que ha producido en él la actividad humana» (OCDE, PISA 2006). El concepto de competencia científica tiene cuatro dimensiones: el contenido, los procesos, la situación y las actitudes. La dimensión denominada «contenido» se refiere al tipo de conocimiento científico. Este se clasifica, a su vez, en conocimiento de las ciencias y conocimiento sobre las ciencias. El conocimiento de las ciencias incluye cuatro categorías de contenido: sistemas físicos, sistemas vivos, sistemas de la Tierra y el espacio, y sistemas tecnológicos. Por su parte, el conocimiento sobre las ciencias abarca dos categorías de contenidos: investigación científica y explicación científica. Los procesos (también denominados en el marco PISA 2006 competencias) que se evalúan en la prueba se definen en función de tres tipos de competencias incluidas en las tareas requeridas en los diferentes reac tivos de la prueba. Los estudiantes deben demostrar su dominio en los procesos (competencias): identificar temas científicos, explicar fenómenos científicamente y utilizar evidencia científica. Los resultados globales en ciencias se presentan de modo que en la mitad izquierda de cada gráfico aparecen los de los países del GIP y los del grupo de comparación que, para resaltar diferencias y semejanzas, se defi nieron escogiendo algunos de los de más alto y más bajo desempeño en PISA 2006, así como algunos del área mediterránea por su afinidad con Iberoamérica y por tener resultados medios. A la derecha de cada gráfico se dan los resultados de las comunidades de España y las regiones de Brasil y México que se han descrito antes. También, para fines comparativos, se indican los resultados promedio de la OCDE y el prome dio del GIP. En el Anexo 3 se presentan las tablas con la información correspondiente a esta sección. El estudio PISA reporta un puntaje global de cada competencia básica evaluada (ciencias, matemáticas y lectura) y niveles de desempeño para dichas competencias. Además, se ofrecen puntuaciones globales y niveles de desempeño para cada uno de los conocimientos y procesos (dimensiones o subescalas) eva luados en cada competencia básica. La comparación de los resultados promedio por país tiene en cuenta que la evaluación se hace a partir de muestras representativas de los alumnos de cada uno con un error de muestreo que varía de acuerdo con el tamaño de la muestra y la variabilidad de los resultados observados. Por otro lado, las conclusiones re feridas a las comparaciones entre los promedios de los países están afectadas por el nivel de confianza con que se desea realizarlas. Para este informe se adopta un nivel de confianza del 95 %. El promedio de la OCDE es la media de todos los países de la región OCDE, los cuales se ponderan por igual, a fin de evitar que dicho valor estuviera inclinado hacia los países con mayor población escolar de 15 años. El promedio de la OCDE en ciencias se fija en 500 puntos con desviación típica 100 en referencia a los estudiantes de los países de la OCDE. Para el cálculo del promedio del GIP por competencia se adopta también un promedio que otorga igual peso a los países iberoamericanos que participaron en PISA 2006. El promedio del GIP es un promedio de las medias de los países del grupo iberoamericano de PISA que participaron en 2006. Este valor promedio de los países del GIP en ciencias es de 426 puntos.
Consideraciones finales sobre los resultados globales y los niveles de rendimiento en ciencias Durante la mayor parte del siglo xx, los currículos de ciencias tendieron a centrarse en establecer las bases para la formación profesional científica de un pequeño número de alumnos. En su mayor parte, estas pro puestas presentaban (y presentan aún en muchos casos) las ciencias naturales enfocadas específicamente al conocimiento de las disciplinas científicas. En tanto que el conocimiento sobre las ciencias y las aplicaciones tecnológicas relacionadas con la vida cotidiana ocupaban lugares marginales. Sin embargo, la influencia de los avances científicos y tecnológicos sobre las sociedades y el lugar central que ocupa la tecnología de la información requieren que todos los ciudadanos, y no solo los futuros cien tíficos e ingenieros, tengan competencias en ciencias. La proporción de alumnos con un nivel de aptitud muy bajo es, por lo tanto, también un indicador importante de la capacidad de los ciudadanos para participar de lleno en la sociedad y en el mercado de trabajo. Como se ha mencionado, el Nivel 2 de aptitud en ciencias se ha establecido como la base para definir el rendimiento en la escala de ciencias PISA en el que los alumnos comienzan a mostrar las competencias científicas que les permitirán participar de manera activa en situaciones de la vida real relacionadas con las ciencias y la tecnología. En la mayoría de los países latinoamericanos (excepción hecha de Chile y Uruguay), aproximadamente el 50 % de los alumnos se encuentra por debajo de dicho nivel. Esta situación estaría indicando que a menudo confunden rasgos clave de una investigación, aplican información científica incorrecta y mezclan sus creencias personales con los datos científicos para apoyar una decisión. Este bajo nivel de competencias básicas en ciencias resulta inquietante. Algunas competencias pueden ser desarrolladas trabajando en laboratorios, realizando demostraciones o experimentos, por ejemplo, utilizando evidencia científica para elaborar una explicación. Otras competencias, tales como identificar temas científicos, pueden requerir un análisis de experimentos históricos o descripciones de trabajos actuales. Con relación al conocimiento de las ciencias, se puede mencionar que los desafíos se encuentran (además de fortalecer aún más el campo biológico) en un trabajo sostenido que brinde a los alumnos la oportunidad de realizar aprendizajes en aquellas ciencias que históricamente han sido relegadas en la educación obli gatoria, como la física, la química y las ciencias de la Tierra y del espacio. Es de esperar que con el compromiso y el esfuerzo de toda la sociedad, especialmente de docentes, padres y alumnos, los resultados mejoren y también se achiquen las distancias entre los alumnos de mayor y de menor rendimiento. Alcanzar este objetivo nos acerca a la escuela de calidad que todos anhelamos.
Resultados globales en competencia matemática PISA emplea el concepto de competencia matemática como la capacidad de los alumnos para analizar, razonar y comunicar de forma eficaz, mientras plantean, resuelven e interpretan problemas matemáticos en una variedad de situaciones que incluyen conceptos matemáticos cuantitativos, espaciales, de probabi lidad o de otro tipo. La competencia matemática es la capacidad del individuo para identificar y entender la función que des empeñan las matemáticas en el mundo, emitir juicios fundados y utilizar y relacionarse con las matemáticas de forma que pueda satisfacer las necesidades de la vida diaria como ciudadano constructivo, compro metido y reflexivo (OCDE, 2006). Los conocimientos y las habilidades matemáticas de los alumnos se evaluaron de acuerdo con tres dimensiones relacionadas con: 1. El contenido matemático al que se refieren los distintos problemas y preguntas de matemáticas. 2. Los procesos que deben ponerse en marcha para conectar los fenómenos observados con las matemáticas y resolver así los problemas correspondientes. 3. Las situaciones y contextos que se usan como fuente de materiales de estímulo y en los que se plantean los problemas. Los niveles de competencia que se manejan para matemáticas en PISA 2006 son los mismos que los establecidos para las matemáticas cuando esta materia fue el área principal de evaluación en PISA 2003. El proceso seguido para establecer niveles de competencia en matemáticas es similar al descrito detallada mente en el apartado anterior. En matemáticas hay seis niveles de competencia.
Resultados globales en lectura El concepto de competencia lectora de PISA va más allá de la simple medición de la capacidad de un estudiante para decodificar y comprender literalmente determinada información. En PISA, la competencia lectora implica además la capacidad de comprender y utilizar textos escritos y de reflexionar sobre ellos. Otro aspecto que también se tiene en cuenta es la importancia de la competencia lectora para que las personas puedan alcanzar sus objetivos como individuos y para su participación en la sociedad como ciudadanos activos. Es decir, para PISA la competencia lectora es un complejo de capacidades que permiten a un sujeto comprender, utilizar y analizar textos escritos para alcanzar los objetivos del lector, desarrollar sus conocimientos y posibilidades y participar en la sociedad. PISA establece para la evaluación de lectura tres dimensiones principales: La primera dimensión, el formato textual, divide el material de lectura en textos continuos y textos discontinuos. Los primeros suelen estar formados por frases que constituyen párrafos. Estos, a su vez, pueden formar parte de estructuras más amplias, como secciones, capítulos y libros. Los segundos están estructurados de forma distinta; necesitan un método de lectura diferente y pueden clasificarse de acuerdo con su formato. La segunda dimensión se define en función de los tres aspectos de la lectura. Algunas tareas exigían a los alumnos obtener información: localizar datos aislados o múltiples en un texto. Otras requerían de los alum nos interpretar textos: elaborar el significado y sacar conclusiones a partir de una información escrita. El tercer tipo de tareas pedían a los alumnos reflexionar sobre los textos y evaluarlos: relacionar el texto escrito con sus conocimientos, ideas y experiencias anteriores. La tercera dimensión comprende la situación o el contexto, refleja la clasificación de los textos según el uso que pretende el autor, la relación con otras personas implícita o explícitamente asociadas al texto y el contenido general. Las situaciones incluidas en PISA, elegidas para lograr la mínima diver sidad de contenidos en las pruebas de evaluación, fueron la lectura con fines privados (personal), la lectura con fines públicos, la lectura por motivos de trabajo (profesional) y la lectura con fines educativos. Dado que la lectura fue el centro de atención en la evaluación de PISA 2000 y PISA Plus (2001), fue posible desarrollar el marco teórico y los instrumentos para medir la competencia lectora, estableciéndose una media para la OCDE de 500 puntos como referencia con la que se han medido los resultados en lectura desde entonces. Las puntuaciones para la lectura se presentan en PISA 2006 de acuerdo con cinco niveles de competencia, que corresponden a tareas de distinta dificultad. El establecimiento de niveles de competencia permite, como en las competencias científica y matemática, no solo jerarquizar el rendimiento de los alumnos, sino también describir lo que pueden hacer. Cada nivel sucesivo de lectura está relacionado con tareas de dificultad creciente. Un grupo de expertos consideró que las tareas de cada nivel de la competencia lectora compartían ciertos rasgos y requisitos y diferían, al mismo tiempo, de forma consistente, de las tareas de los niveles superiores e inferiores. Después, la dificultad técnica de las tareas fue contrastada empíricamente a partir de los resul tados de los alumnos en los países participantes. Un análisis de la selección de tareas permite descubrir una secuencia de habilidades y estrategias de construcción del conocimiento. Por ejemplo, la tarea más fácil, obtención de información, requiere que los alumnos localicen una información explícitamente definida de acuerdo con un solo criterio, en un texto en el que hay una falta total o casi total de otras informa ciones, o que identifiquen el tema principal de un texto conocido, o que establezcan una simple conexión entre un fragmento del texto y la vida cotidiana. En general, la información ocupa un lugar destacado en el texto y tiene una estructura menos compleja. En cambio, las tareas más difíciles de obtención de información exigen que los alumnos localicen y ordenen varios fragmentos de información oculta en el texto, a menudo de acuerdo con varios criterios. Frecuente mente, hay otras informaciones en el texto que comparten ciertos rasgos con la información requerida en la respuesta. De modo similar, con respecto a las tareas de interpretación o reflexión y evaluación, las que se encuentran en el nivel más bajo difieren de las del más alto en los procesos necesarios para realizarlas correctamente, la medida en la que aparecen señaladas en la pregunta o las instrucciones, las estrategias necesarias para responder adecuadamente, el nivel de complejidad y familiaridad del texto y la cantidad de información presente en el texto.
.jpg)
Calidad Educativa, es el descubrimiento del éxito notable del aprendizaje de Matemática en el extremo oriente. 
.jpg)
