.jpg)
La información facilitada por PISA debía permitir a los responsables políticos observar qué factores están asociados al éxito educativo, y no limitarse a establecer comparaciones entre resultados aisladamente.
Los gobiernos estructuraron los resultados que se deseaban obtener de PISA desde una perspectiva política, en cuatro campos temáticos relativos a:
la calidad de los resultados del aprendizaje;
igualdad en los resultados del aprendizaje y equidad en las oportunidades educativas;
la eficacia y eficiencia de los procesos educativos; y
el impacto de los resultados del aprendizaje en el bienestar social y económico.
A continuación se detallan dichos resultados para cada uno de estos temas.
COMPARANDO LA CALIDAD DE LOS RESULTADOS DEL APRENDIZAJE
PISA se estableció principalmente para medir hasta qué punto los adultos jóvenes, que a los 15 años están a punto de terminar la educación obligatoria, se hallan bien preparados para afrontar los retos de las actuales sociedades del conocimiento. El estudio estaba orientado hacia adelante: se centraba en la capacidad de la gente joven para usar su conocimiento y sus destrezas para afrontar los retos de la vida real, más que en qué medida dominan un currículo escolar específico. Esta orientación refleja un cambio en los objetivos y finalidades de los propios currículos, que están cada vez más centrados en lo que los alumnos saben hacer con lo que aprenden en los centros educativos, y no simplemente en si saben reproducir lo que han aprendido.
El interés de los países por las implicaciones políticas de PISA significa que la atención dedicada a medir la calidad de los resultados del aprendizaje va mucho más allá de una suerte de «carreras de caballos», en las que los países simplemente se clasifican por puestos según la puntuación media de los alumnos. En consecuencia, PISA no sólo revisa la calidad de los resultados del aprendizaje, sino que examina asimismo la distribución de dichos resultados para facilitar la comprensión de los atributos individuales, institucionales y del sistema que están asociados a diferencias de rendimiento entre individuos, instituciones y países.
Como primer paso, PISA presta considerable atención a la distribución de logros usando, en particular, escalas de rendimiento con las cuales se pueda interpretar de manera sustancial la distribución del rendimiento de los alumnos. En algunos países, la información que se desprende de las distribuciones es bastante diferente de la aportada por la media. España, por ejemplo, ocupa un puesto por debajo de la media de la OCDE en Matemáticas debido sobre todo a que posee una proporción mucho menor de alumnos que manejen Matemáticas del más alto nivel (1,4% comparado con una media de 4% en la OCDE), no porque posea una proporción de malos estudiantes mayor que la media (tabla 2.5a, OECD, 2004b).
En segundo lugar, PISA también busca distinguir, dentro de la variación en el rendimiento de los alumnos, entre dos componentes: variación dentro de un mismo centro, y variación entre centros. Tal comparación puede ayudar a valorar hasta qué punto la calidad de los resultados del aprendizaje varía entre los centros, y es por tanto un resultado constante y predecible del sistema educativo. Las comparaciones en estas áreas muestran de hecho que hay grandes diferencias entre los países en lo que respecta a cómo varía el rendimiento del alumno según los centros, con una variación en el rendimiento entre centros en algunos de los países mejor clasificados, que asciende a menos del 10% de la variación en el rendimiento conjunto de los alumnos (de manera que los padres en estos países pueden contar con estándares altos y constantes de rendimiento en todo el sistema educativo), mientras que, en otros países, más de la mitad de la variación media de la OCDE en el rendimiento se origina en los ámbitos del centro y/o del programa, a menudo combinada con un rendimiento conjunto moderado (tabla 4.1, OECD, 2004b). Por ejemplo, Canadá o Finlandia están entre los diez países de la OCDE que tienen la variación más pequeña respecto al rendimiento en Matemáticas entre centros, al tiempo que se encuentran entre los diez países de la OCDE con los mejores resultados de rendimiento conjunto, mientras que en Polonia y España sucede lo contrario. A medida que discurra el ciclo de evaluación, PISA dedicará cada vez más atención a examinar cómo están cambiando las cosas. La evaluación de 2009 proporcionará el primer análisis completo de tendencias en competencia lectora durante el período 2000-2009, y permitirá comparar las mejoras en la calidad de los resultados educativos de cada país en las áreas evaluadas por PISA con las de otros países. El período de nueve años se juzga apropiado para analizar el impacto de las políticas introducidas a raíz de PISA 2000.
Además de examinar las tendencias en los resultados del aprendizaje a lo largo del tiempo, PISA está trasladando parte del énfasis puesto en tomar como parámetro el rendimiento estudiantil por países, a la comparación del progreso en el aprendizaje dentro de los sistemas educativos, realizada mediante la evaluación de los conocimientos y destrezas de los alumnos en distintas etapas del sistema educativo.
Dicho examen se llevará a cabo evaluando, de forma coordinada y en diferentes niveles de educación, los resultados en el aprendizaje y los factores contextuales asociados a ellos. Estos análisis no se limitarán a examinar cómo crece el rendimiento de los alumnos, sino que la evaluación del rendimiento a diversas edades ayudará a comprender cómo evolucionan la motivación y las características de los alumnos en diferentes países a medida que los estudiantes avanzan en el sistema educativo. En potencia, los análisis también podrían ayudar a comprender qué factores de la instrucción y del sistema están asociados a dicho aumento del rendimiento y a los cambios en la actitud de los alumnos hacia el aprendizaje.
Finalmente, PISA ha puesto en marcha un cuestionario para padres que aportará una opinión externa sobre cómo es, desde su punto de vista, la calidad de la enseñanza.
Mediante este instrumento, los padres de los alumnos evaluados proporcionarán información sobre sus expectativas y aspiraciones respecto a los resultados que la educación de sus hijos conseguirá en el mercado laboral, su estrategia global respecto a la educación de sus hijos, cuánto planean invertir actualmente en el futuro educativo de sus hijos, la influencia de los progenitores en puntos críticos de la educación de un alumno (por ejemplo, la elección de materias), las actitudes de los padres hacia las diferentes materias y la eficacia que atribuyen a éstas para obtener resultados en el mercado laboral, y la implicación de los padres en el centro de enseñanza.
COMPARANDO LA IGUALDAD DE LOS RESULTADOS DEL APRENDIZAJE Y LA EQUIDAD DE LAS OPORTUNIDADES PARA APRENDER
PISA 2000 y PISA 2003 ya han dedicado una considerable atención a cuestiones de equidad, concretamente a cómo influye el contexto socioeconómico de alumnos y centros en los resultados del aprendizaje, y qué palancas políticas están asociadas con estos resultados. Dado que la diversidad socioeconómica en los países de la OCDE está en aumento (en España, por ejemplo, el porcentaje de alumnos de origen inmigrante se ha multiplicado por diez a lo largo de la última década), y dada la creciente desventaja en que se encuentran en la sociedad y en el mercado laboral los individuos con escasas competencias (OECD, 2005), el tema de la equidad continuará estando entre las prioridades de PISA en los próximos años.
La información sobre el contexto social de alumnos y centros se obtiene a través de un cuestionario que rellenan los alumnos junto con los tests de rendimiento. Usando la información proporcionada por los alumnos, se elabora un índice PISA del estatus económico, social y cultural a partir del más alto de los índices socioeconómicos del estatus ocupacional de la madre o del padre, del nivel educativo más alto de la madre o del padre, y de información sobre libros y otros recursos educativos y culturales presentes en el hogar. Al aplicar este índice al ámbito del centro, se obtiene un indicador de la composición social de los centros (OECD, 2004b, p.307).
Relacionar dichos indicadores socioeconómicos con el rendimiento logrado ofrece una vía para comprender hasta qué punto los sistemas educativos proporcionan oportunidades equitativas de aprendizaje. En todos los países existe una correlación positiva y una pendiente de regresión positiva que indican en qué medida, por término medio, lo ventajoso que sea el entorno social de los alumnos se asocia con el incremento en el nivel medio de rendimiento de las evaluaciones PISA. Sin embargo, ha resultado llamativo que la intensidad de esta relación varíe mucho en función del país del que se trate. En algunos países, incluido España, las diferencias de contexto social están relacionadas con diferencias de rendimiento educativo mucho menores que en otros Estados, lo cual sugiere que las cosas no han de ser forzosamente como son en otros países donde existe una relación muy acusada
PISA ha llevado más allá el análisis de problemas relacionados con la equidad, separando aquéllos relativos a la heterogeneidad socioeconómica dentro de cada centro de aquéllos relativos a la segregación socioeconómica presente en el propio sistema escolar. Esto ha permitido examinar hasta qué punto los sistemas educativos moderan o refuerzan los factores del contexto socioeconómico. En países como Japón, los Países Bajos, la República Checa, Bélgica, Austria y Alemania, por ejemplo, se agrupa a los alumnos de alto rendimiento en centros de alto rendimiento, y éstos muestran una marcada tendencia a provenir de contextos sociales favorecidos. En cambio, los alumnos de bajo rendimiento se agrupan en centros de bajo rendimiento y tienden a proceder de entornos sociales desfavorecidos. La consecuencia es que hay muy poca relación entre el contexto social de los alumnos y su rendimiento en Matemáticas en un mismo centro, dada la restricción impuesta a ambas variables. En Finlandia y Canadá, por el contrario, el efecto del agrupamiento por centros es pequeño. En dichos países, la relación entre contexto social y rendimiento en Matemáticas es similar en los tres ámbitos: global, entre centros y dentro del centro. España también pertenece a este último grupo de países.
En algunos de los países en los que una proporción considerable de la varianza total corresponde a los centros, dicho fenómeno es una consecuencia de la política educativa. En Alemania, por ejemplo, los alumnos son distribuidos por centros de diferentes tipos a partir de los 10 años de edad, basándose en su rendimiento hasta ese momento y en una valoración sobre la conveniencia de un centro más académico o uno de formación profesional para la siguiente etapa. La intención deliberada de esta política es reducir la variación dentro de los centros reuniendo a alumnos relativamente similares, y aumentar la variación entre centros, lo cual se verá reflejado en las diferencias entre los currículos de los centros.
Por supuesto, en ningún país se distribuye deliberadamente a los alumnos por centros según su extracción social, pero la consecuencia de esta clasificación es que de hecho se distribuye también en función del contexto social. En muchos países la consecuencia es que los alumnos procedentes de un contexto social privilegiado son dirigidos a los centros académicos más prestigiosos, que proporcionan resultados educativos superiores (como indica su mayor rendimiento en las mediciones PISA), y los alumnos procedentes de un contexto social desfavorecido son dirigidos a los centros de formación profesional, menos prestigiosos, que proporcionan resultados educativos más pobres (como indica su menor rendimiento en las mediciones PISA). Por lo tanto, la organización de los centros refleja y reproduce al mismo tiempo las divisiones sociales existentes.
La relación que se planea establecer entre la evaluación PISA de los alumnos de 15 años y el rendimiento en un nivel primario de educación permitirá ampliar el potencial analítico de PISA en este contexto, de modo que PISA examinará también cómo evoluciona la distribución de resultados del aprendizaje en los diferentes niveles educativos; hasta qué punto tienen éxito los sistemas educativos a la hora de moderar el impacto que tiene en el rendimiento el capital económico, social y cultural de los alumnos y sus familias a medida que los alumnos se hacen mayores; y qué relación guardan los recorridos educativos y las estructuras institucionales de diferentes países con dichos resultados.
EFICACIA Y EFICIENCIA DE LOS SISTEMAS EDUCATIVOS
Una de las principales razones por las que los responsables políticos están interesados en las comparaciones internacionales del rendimiento de los alumnos es que nos ayudan a comprender las diferencias en el rendimiento de los centros y sistemas educativos, las cuales reflejan la eficacia y eficiencia de los procesos educativos. No obstante, a pesar de mostrar las importantes diferencias de rendimiento existentes entre sistemas educativos, las evaluaciones internacionales siguen teniendo grandes limitaciones a la hora de determinar cuáles son las actuaciones políticas asociadas a dichas diferencias.
Aunque los análisis en este campo se encuentran aún en su etapa inicial, PISA ha conseguido identificar una serie de características de los centros que pueden tener relevancia en los resultados del aprendizaje y en las diferencias de resultados entre centros. Tomando en conjunto las características de los alumnos, el contexto socioeconómico de alumnos y centros, la percepción del ambiente en el centro que tienen los alumnos y directores del mismo, los informes de los directores sobre las políticas y prácticas del centro y, finalmente, la evaluación de la disponibilidad y calidad de los recursos educativos, descrita en el informe internacional de PISA sobre resultados iniciales (OECD, 2004b), se explica el 54% de la variación en el rendimiento medio de los países de la OCDE, una media del 71% de la variación de rendimiento entre centros de un mismo país, y una media del 8% de la variación del rendimiento de los alumnos en un centro dado.
Aunque no siempre es posible medir con precisión el impacto que cada uno de estos factores tiene en el rendimiento de los alumnos, muchas de las diferencias que se han descubierto en un centro o entre centros ponen de manifiesto temas críticos para los responsables políticos. Por ejemplo, tanto directores como alumnos tienen opiniones muy dispares sobre la calidad del ambiente educativo de sus centros, ya los consideremos por países o por centros dentro de cada país.
Se ha comprobado durante la investigación que estas diferencias afectan a la efectividad de la enseñanza y el aprendizaje, como también ocurre con las diferencias en la manera de administrar los centros. Por tanto, estos resultados muestran ante todo la necesidad de asegurar que todos los centros posean un ambiente que favorezca el aprendizaje, así como una cultura administrativa y unos recursos que sean compatibles con una enseñanza y aprendizaje efectivos.
Además de describir estos fenómenos de los centros educativos, PISA ha buscado la manera de medir el efecto que tienen en el rendimiento de alumnos y centros. Este efecto es de tres tipos.
El primero es un efecto independiente de otros factores del centro y del contexto socioeconómico. Por ejemplo, en el caso de la disciplina, ¿hasta qué punto pueden esperar los alumnos de un centro bien disciplinado obtener mejores resultados que en otro con poca disciplina, si la composición social de ambos centros es la misma, y si ambos son semejantes con respecto a política del centro, procesos y recursos? En estos términos, los resultados de PISA indican que el que se trate de un centro u otro supone una gran diferencia. Alumnos y centros tienden a rendir más en un ambiente caracterizado por la disciplina y por altos niveles de moral y compromiso en los alumnos. Por el contrario, los centros donde la relación alumno-profesor es pobre, tienden a rendir considerablemente menos. Por tanto, los centros pueden beneficiarse si ponen énfasis no sólo en las técnicas didácticas, sino también en la forma en que los profesores se relacionan con los alumnos. Además, los centros que ofrecen actividades relacionadas con Matemáticas también tienden a rendir más, como también ocurre en aquéllos que tienden a evitar la agrupación de alumnos según su capacidad, y en aquéllos donde los directores evalúan positivamente la adecuación de los profesores suplentes y de los recursos educativos.
Un segundo tipo de efecto tiene lugar cuando la composición socioeconómica de los centros contribuye a que aquéllos con determinadas características consigan mejores resultados. Esta faceta del efecto no tendría relevancia directa desde la perspectiva de los responsables políticos, ya que no sería aconsejable tratar de incrementar un factor debido a que parece estar asociado con el rendimiento, cuando de hecho es el contexto social el que tiene la influencia decisiva.
No obstante, los padres que estén buscando qué centro elegir harían bien en prestar atención a tales factores, dado que a ellos les interesan los resultados globales del rendimiento en el centro, incluyendo cualquier efecto causado por la composición socioeconómica del mismo.
Un tercer tipo de efecto se da donde los factores socioeconómicos y del centro actúan juntos. Este análisis indica que los primeros refuerzan el impacto que el ambiente tiene en el rendimiento del centro de manera importante, y esto debería ser relevante para responsables políticos que deseen asegurar que todos los centros cuentan con profesores comprometidos y un ambiente de orden, con independencia de su composición socioeconómica. Es posible que este efecto aparezca porque los alumnos de extracción privilegiada traen con ellos un nivel mayor de disciplina y una concepción más positiva de los valores escolares, o quizá porque las expectativas de los padres con respecto a una buena disciplina en clase y a un fuerte compromiso del profesorado son más altas en centros con una composición socioeconómica favorecida. A la inversa, centros desfavorecidos experimentarían una menor presión por parte de los padres a la hora de fomentar prácticas disciplinarias efectivas o asegurarse de reemplazar a profesores ausentes o desmotivados. De manera similar, el análisis ha puesto de manifiesto que una gran parte de la variación en el rendimiento entre centros es atribuible a políticas, prácticas y recursos del centro, junto con el aspecto socioeconómico. Los centros favorecidos en este último aspecto aplican probablemente políticas y prácticas más efectivas, quizá porque los mejores profesores eligen trabajar allí o porque tienen acceso a más y mejores recursos.
La intención de PISA es ahondar en estas cuestiones y hacer de la eficiencia y eficacia de los procesos educativos el tema «interdisciplinar» del estudio PISA 2012. Hay al menos dos razones por las que PISA 2012 es la ocasión más oportuna para abordar este tema. Futuras innovaciones harán posible relacionar los resultados observados con un input relevante y con variables de proceso en los distintos ámbitos de los alumnos, de los profesores y del centro, con un sondeo de la OCDE sobre el profesorado que se llevará a cabo de 2007 en adelante. Aparte de esto, PISA también quiere ampliar el panorama recopilando información, en el contexto del sistema, sobre ciertas palancas políticas clave que, en general, se considera que conducen al aumento de eficacia y eficiencia; y relacionando la información sobre políticas deseables con su puesta en práctica en el ámbito de los centros, junto con la opinión que les merece a padres, profesores y centros, y, por supuesto, con los resultados de aprendizaje que se hayan observado.
IMPACTO DE LOS RESULTADOS DEL APRENDIZAJE EN EL BIENESTAR SOCIAL Y ECONÓMICO
Se dispone de escasa documentación comparativa sobre el impacto que las competencias adquiridas durante la formación tienen en el bienestar económico y social del individuo y de la sociedad, o hasta qué punto las oportunidades de aprendizaje están conectadas de manera coherente entre las distintas instituciones educativas, o entre éstas y otras formas de aprendizaje.
Sin embargo, en el futuro, un vínculo más estrecho entre los estudios sobre los centros y el estudio planeado por la OCDE sobre las competencias de los adultos permitirá reexaminar las competencias, aspiraciones y compromiso de los jóvenes que están acabando su educación inicial y están adquiriendo responsabilidades en el trabajo y en la vida, junto con su impacto en el bienestar social y económico. Este último incluiría las consecuencias para el individuo, tales como una integración satisfactoria en el mercado laboral, estatus y ganancias propias de un trabajador, participación en otros aprendizajes, en la vida cívica y en la educación a lo largo de todo el ciclo vital, además de resultados
Andreas Schleicher
Jefe de la División de Indicadores y Análisis del Directorio para la Educación de la OCDE
Revista de Educación, extraordinario 2006, pp. 21-43.
Recuperado de http://www.oei.es/evaluacioneducativa/pisa_revista_educ_mec_2006.pdf
El 16 de febrero de 2009
