sábado, 15 de noviembre de 2008

Evaluaciones Internacionales de Calidad Educativa. PISA

TIMSS Y PISA. DOS PROYECTOS INTERNACIONALES DE EVALUACIÓN DEL APRENDIZAJE ESCOLAR EN CIENCIAS
José Antonio Acevedo Díaz
Consejería de Educación de la Junta de Andalucía. Inspección de Educación. Delegación Provincial de Huelva.
EL PROYECTO PISA

PISA es el acrónimo de Programme for International Student Assessment, un proyecto promovido por la Organization for Economic Cooperation and Development (OECD en inglés; OCDE en castellano) para evaluar el resultado de los sistemas educativos relativo a la formación de los alumnos necesaria para la vida adulta (figura 3). La evaluación se centra en la alfabetización lectora (año 2000), matemática (año 2003) y científica (año 2006). La iniciativa de esta evaluación comparativa transnacional corresponde a los gobiernos de los países miembros de la OCDE y está diseñada para orientar sus políticas educativas.

En las diversas ocasiones en que se ha aplicado PISA hay cuestiones de los tres tipos de alfabetización señalados, pero cada nueve años se pone el acento en un área de conocimiento, a la que se dedica dos tercios del tiempo total de las pruebas de evaluación (OECD, 1999, 2000). Esta actualización de resultados permite a los países participantes hacer un seguimiento cíclico de los progresos conseguidos en cada área.

La evaluación del alumnado que está terminando su escolarización obligatoria es un indicador útil del rendimiento de los sistemas educativos. Aunque la mayor parte de los jóvenes de los países de la OCDE continúa su educación después de los 15 años, esta edad está próxima al final del período de escolarización obligatoria en el cual los estudiantes siguen, por lo general, un currículo básico común. En ese momento de su formación es conveniente determinar los conocimientos y destrezas que han adquirido para desenvolverse en la vida y para la elección de estudios posteriores. En cada país se evalúan entre 4500 y 10000 alumnos de 15 años de edad. PISA ha evaluado durante el año 2003 a 276165 estudiantes, provenientes de 10104 centros, de un total de 42 países: los 30 miembros de la OCDE y otros 12 (OECD, 2003). España ha participado en las dos evaluaciones realizadas hasta ahora (años 2000 y 2003), obteniendo en ambas resultados mediocres (MEC, 2004; OECD, 2001, 2004a,b). Los resultados obtenidos en el año 2003 por España y las tres Comunidades Autónomas que participaron con una muestra ampliada se exhiben en la figura 4, donde también se indican los países con mejor y peor puntuación en cada área evaluada y la media correspondiente a los países de la OCDE.

Los resultados de las evaluaciones PISA, que se publican cada tres años junto a otros indicadores de los sistemas educativos, permiten a los administradores y gestores de la política educativa comparar el funcionamiento de sus sistemas educativos con los de los otros países y tomar decisiones en su ámbito nacional. También pueden ayudar a impulsar y orientar las reformas de la enseñanza y la mejora de los centros educativos, sobre todo en aquellos casos en que se obtienen peores resultados disponiendo de recursos similares. Además, estos resultados también son importantes para mejorar la evaluación y el seguimiento de la eficacia de los sistemas educativos.

PISA no es el único estudio transnacional para comparar el rendimiento del alumnado.
Como se ha mencionado en la sección anterior, durante los últimos 40 años se han realizado diversos estudios, la mayoría de ellos dirigidos por la IEA –como el TIMSS– y por la International Assessment of Educational Progress (IAEP) del Educational Testing Service (ETS). No obstante, estas otras evaluaciones se han centrado en resultados directamente relacionados con el currículo y, por tanto, sólo en aquellas partes de éste que son comunes a todos los países participantes. Por el contrario, el objetivo general del proyecto PISA es conocer la preparación de los estudiantes de 15 años de edad para afrontar los retos cotidianos de la vida adulta. Como PISA no es un proyecto rigurosamente vinculado al currículo, se facilita la comparación de resultados entre países, con independencia de la organización de las enseñanzas que éstos tengan.

El modelo de evaluación del PISA
Los marcos conceptuales del proyecto PISA definen cada una de las áreas que se evalúan –lectura, matemáticas y ciencias–, explican qué y cómo se evalúa y describen el contexto de las evaluaciones, incluyendo las posibles limitaciones que éste impone.

En PISA subyace la idea de un modelo dinámico de aprendizaje a lo largo de toda la vida para adaptarse con más éxito a las circunstancias personales en cada momento. Como es obvio, los estudiantes no pueden aprender en las escuelas todo lo que necesitarán para desenvolverse en la vida como adultos, pero sí deberían adquirir las capacidades necesarias –cognitivas y emotivas– para seguir aprendiendo en el futuro. Por este motivo, se considera deseable que los alumnos sean capaces de organizar y regular su propio aprendizaje, tanto individualmente como en grupo. Para ello, es preciso que lleguen a ser conscientes de sus propios procesos cognitivos, estrategias y métodos de aprendizaje. Así pues, la evaluación de la capacidad de autorregulación en el aprendizaje tiene mucha importancia en el proyecto PISA (OECD, 2003).

La evaluación PISA se ocupa de los procedimientos o destrezas, la comprensión de conceptos y la capacidad para responder a diversas situaciones reales en cada área evaluada. Sin embargo, los conocimientos y las destrezas no se definen, como ocurre en el TIMSS, a partir de los contenidos comunes de los diversos currículos nacionales, sino en función de lo que se considera necesario para la vida cotidiana. A pesar de que las tres áreas que evalúa se corresponden con asignaturas concretas, PISA va mucho más allá de los contenidos curriculares específicos, prestando atención sobre todo a los conocimientos y destrezas relevantes para la vida adulta (Acevedo, 2004).

Por otro lado, PISA también incluye la evaluación de ciertas capacidades transversales que no son específicas de una materia determinada, pero sí son esenciales para los alumnos; por ejemplo, comunicación, adaptación, flexibilidad, resolución de problemas, uso de las tecnologías de la información, etc.

Los indicadores que proporcionan las evaluaciones del PISA están diseñados para lograr una mejor comprensión de hasta qué punto los sistemas educativos de los países participantes prepararan a sus alumnos para continuar aprendiendo a lo largo de sus vidas y puedan tener un papel activo en la sociedad como ciudadanos. Con otras palabras, PISA pretende más la evaluación del rendimiento de los sistemas educativos respecto a sus objetivos subyacentes –tal como los define la sociedad– que con referencia en la enseñanza y el aprendizaje de un cuerpo disciplinar de conocimientos. Esta forma de entender la evaluación es necesaria para estimular a los sistemas educativos y a los centros a enfrentarse a los retos educativos actuales, por lo que es, sin duda, la característica más importante y novedosa del proyecto PISA.

Las preguntas de ciencias del PISA
El tipo de preguntas del proyecto PISA es, en general, distinto al de otros proyectos de evaluación internacional como el TIMSS, los cuales usan sobre todo cuestiones cortas de elección múltiple basadas en conocimientos curriculares. Por el contrario, muchas preguntas del PISA requieren la combinación de diferentes tipos de conocimientos y destrezas y, a veces, la valoración de diversas decisiones para las que no hay una única respuesta correcta.

Algunas cuestiones del proyecto PISA son cerradas, en las que los alumnos sólo tienen que elegir entre varias opciones o dar respuestas relativamente simples que pueden compararse directamente con una respuesta correcta. Otras son preguntas abiertas, en las cuales los alumnos tienen que dar respuestas mucho más elaboradas; de esta forma, se pueden evaluar aspectos más amplios que los que suelen recogerse en otros estudios más convencionales. Una importante innovación de PISA es la evaluación de destrezas de orden superior, lo que suele hacerse mediante preguntas abiertas.

De acuerdo con la definición de la alfabetización científica propuesta en PISA, se establecen tres grandes dimensiones para la evaluación (véase la tabla 3):

1. Destrezas. Los procedimientos científicos necesarios para la resolución de una pregunta o un problema.

2. Conceptos. El conocimiento científico y la comprensión conceptual que se requieren para usar los procedimientos anteriores.

3. Áreas de aplicación del conocimiento. El marco teórico de referencia de los casos o situaciones del mundo real en los que se aplican las destrezas y los conceptos.


En la mayor parte de los casos, las cuestiones de la evaluación se organizan en grupos de preguntas basados en un texto relativo a un mismo asunto, problema o tema, el cual refleja una situación de la vida real. Este formato permite emplear cuestiones que profundizan más en el tema que si cada pregunta introdujera un nuevo contexto. Así, el alumno tiene tiempo suficiente para asimilar el material que se emplea para evaluar distintos aspectos del rendimiento.

En la tabla 4 se muestra una cuestión abierta de ciencias utilizada en la prueba piloto del proyecto PISA realizada antes de su aplicación del año 2000, así como algunas respuestas que dan los estudiantes y la puntuación otorgada a cada una de ellas en la evaluación realizada.

La cuestión presenta una posición que defienden algunas personas: “los trolebuses no contribuyen a la contaminación del aire”. Los alumnos tienen que evaluar la validez de esta afirmación utilizando la información que se suministra en el propio texto y sus conocimientos sobre los productos desprendidos en la combustión del carbón en las centrales eléctricas (OECD, 2000, p. 81; p. 122 de la traducción castellana, 2001). La destreza necesaria para ello es la capacidad para obtener conclusiones válidas, el concepto científico se refiere a transformaciones de la energía y el área de aplicación del conocimiento es la contaminación, correspondiente a “Ciencias de la Tierra y del medio ambiente” (véanse en la tabla 3). La situación del mundo real descrita en la pregunta es la contaminación atmosférica provocada por los autobuses, un asunto controvertido sobre el que los estudiantes deben tomar decisiones razonadas.

Los cuestionarios de contexto del proyecto PISA
Con el fin de encontrar algunas de las principales características asociadas al éxito escolar, el proyecto PISA tiene en cuenta el rendimiento de los alumnos junto con las características de sus centros de enseñanza y sus entornos familiares. Para ello, los alumnos y los directores de los centros educativos responden a cuestionarios sobre su entorno. Estos cuestionarios no son un simple anexo del proyecto PISA, sino que permiten recopilar información del contexto, la cual es muy útil para el análisis de los resultados en función de las características de los alumnos y del centro educativo. También se incluye un cuestionario para obtener información de la capacidad de autorregulación del aprendizaje por parte de los alumnos.

La información contextual recogida en los cuestionarios del alumno y del director del centro educativo abarca sólo una parte de toda la información de este tipo disponible en el proyecto PISA. Los indicadores relativos a la estructura general de los sistemas educativos –sus contextos demográficos y económicos, tales como costes, matrículas, características de los centros educativos y del profesorado…– y al funcionamiento del mercado laboral los desarrolla la OCDE regularmente por otra vía.

En conjunto, los cuestionarios de contexto de PISA proporcionan una completa y detallada base de datos para el análisis, orientado a la política educativa, de los resultados de la evaluación realizada. Junto con la información obtenida mediante otros programas e instrumentos de la OCDE, permiten:

· Comparar diferencias entre los resultados de los alumnos de distintos sistemas educativos y con diversos entornos académicos.

· Comparar diferencias entre los resultados de los alumnos que estudian distintos contenidos curriculares y siguen diversos procedimientos pedagógicos.

· Considerar posibles relaciones entre el rendimiento de los alumnos y los factores organizativos, tales como el tamaño de los centros educativos y los recursos disponibles, así como las diferencias entre países en estos aspectos.

· Examinar diferencias entre países respecto al grado en que los centros educativos reducen o incrementan los efectos de los factores contextuales que influyen en el nivel de rendimiento del alumnado.

· Considerar diferencias entre los sistemas educativos y el contexto nacional respecto a las diferencias en el rendimiento de los estudiantes dentro de cada país.

No hay comentarios:

Related Posts Plugin for WordPress, Blogger...

Busca en mis sitios