Se ha publicado los resultados de la Evaluación Pisa, para muchos será un argumento de legitimación de políticas educativas, pero seguramente nos puede dejar reflexiones más profundas.
¿Cuáles son las causas que producen la variación de resultados? ¿Serán por causas didácticas? ¿De organización escolar? ¿Culturales? Toda apreciación basada en una simple tabla será seguramente apresurada, impropia, audaz, pero todo apunta a los valores que asume una sociedad en un momento determinado ¿Qué importancia se le asigna al aprendizaje?
Una sociedad que resalta el consumo, sometida por la televisión y otros mecanismos de dominación, difícilmente logre buenos rendimientos escolares, ya que no los considera valiosos. Espero que podamos acceder a estudios valiosos sobre la temática, que nos ayude a comprender el proceso de distribución de los bienes culturales.
OBSERVATORIO REGIONAL DE POLÍTICAS DE EVALUACIÓN EDUCATIVA EL ESTUDIO INTERNACIONAL DE EDUCACIÓN CÍVICA La Asociación Internacional para la Evaluación de Logros Educativos (IEA, por su sigla en inglés, International Association for the Evaluation of Educational Achievement), con sede en Ámsterdam, es un organismo independiente compuesto por investigadores y agencias de más de 50 países. Fue creado en 1959 con el objetivo de comparar las políticas educacionales a nivel mundial. El Estudio Internacional de Educación Cívica, llevado adelante por la IEA en colaboración con la Universidad Humboldt de Berlín, se propuso investigar cómo y en qué medida los objetivos de la educación para la ciudadanía están siendo alcanzados por los sistemas educativos, y qué otras influencias, además de la escuela, son importantes en esta formación. Se considera que la educación cívica no se aprende solo en la escuela, sino también en la familia, con los amigos y en el contacto con los medios de comunicación. El objetivo general del estudio fue identificar y examinar, en un marco comparativo, la manera en que los jóvenes se preparan para cumplir su papel de ciudadanos en las democracias.
Fases del estudio Cuando la IEA discutió por primera vez la realización del estudio, en 1993, se sabía relativamente muy poco acerca de lo que la educación cívica significaba en muchos países. Por esta razón, el diseño del estudio empezó con una fase cualitativa de estudios de casos, seguida por una segunda fase que incluyó una prueba y una encuesta. Entre 1996 y 1997, los investigadores de 24 países recogieron los datos para poner en marcha la primera fase cualitativa del estudio. Cada país participante realizó un estudio nacional con el objetivo de examinar el contexto y el significado de la educación cívica en su país. La recolección de datos incluyó el análisis de libros de texto y los programas de estudio, la realización de entrevistas con expertos en educación y, en algunos casos, de grupos de discusión con estudiantes y profesores. Como resultado de este estudio de casos, los coordinadores nacionales debieron presentar cuatro documentos para integrar una base documental internacional: 1. Un plan para la Fase 1, incluyendo un resumen del estado actual de la educación cívica en su país. 2. Una revisión de la literatura empírica en relación con la educación cívica y las actitudes y comportamientos sociales y políticos de la juventud. 3. Información en relación con las políticas, prácticas y problemas actuales relativos a la preparación para la ciudadanía, organizada alrededor de un conjunto de 18 preguntas marco sobre los estudios de casos. 4. Un análisis en profundidad de los temas centrales: democracia, ciudadanía, identidad nacional y diversidad, incluyendo un examen del tratamiento que los textos y los métodos de enseñanza dan a estos temas. Los resultados de esta fase se reportaron en 1999 en dos publicaciones: g Torney-Purta, J., Schwille, J. and Amadeo, J. (1999). Civic education across countries: Twenty-four national case studies from the IEA Civic Education Project. Amsterdam: IEA. g Steiner-Khamsi, G., Torney-Purta, J. and Schwille, J. (1999). New paradigms and recurring paradoxes in education for citizenship. Amsterdam: Elsevier Press. En el marco de la segunda fase del estudio, coordinada por la Universidad Humboldt de Berlín, en 1999 se aplicó una prueba sobre conocimientos cívicos y una encuesta para medir el involucramiento de los estudiantes en actividades cívicas. Se trabajó sobre una muestra representativa de 90.000 estudiantes de 14 años de edad en 28 países. La prueba se aplicó en 8° grado, aquél en el que la mayoría de los estudiantes de 14 años de edad probablemente se encontraban en el momento de la aplicación. En el año 2000 se realizó una segunda aplicación a 50.000 estudiantes del último grado de secundaria en 16 países. Los países que han participado enel Estudio son: Alemania, Australia, Bélgica (francesa), Bulgaria, Canadá, Chile, Colombia, Chipre, República Checa, Dinamarca, Inglaterra, Estonia, Finlandia, Alemania, Grecia, Hong Kong, Hungría, Israel, Italia, Letonia, Lituania, Países Bajos, Noruega, Polonia, Portugal, Rumania, Federación de Rusia, República Eslovaca, Eslovenia, Suecia, Suiza, Estados Unidos. Canadá y los Países Bajos participaron sólo en la Fase 1. Chile, Dinamarca, Estonia, Letonia, Noruega, la República Eslovaca y Suecia sólo participaron en la Fase 2.
Marco Conceptual El modelo general elaborado para orientar el Estudio, descrito como “el octógono”, representa gráficamente el marco adoptado para la organización de la información recolectada en ambas fases . EVALUACIÓN EN EL MUNDO
Además de estas relaciones cara a cara, existe también una sociedad más amplia que tiene impacto a través de sus instituciones y los medios masivos. El octógono exterior de la Figura 1.2, el cual circunscribe estos procesos, incluye las instituciones, los procesos y los valores en dominios tales como la política, la economía, la educación y la religión. También incluye la posición internacional del país, los símbolos o narrativas importantes en el nivel nacional o local, y el sistema de estratificación social, incluyendo oportunidades para grupos étnicos y de género. El modelo tiene sus raíces en dos teorías psicológicas contemporáneas el desarrollo ecológico (Bronfenbrenner, 1998) y la cognición situada (Lave & Wenger, 1991; Wenger, 1998). En el centro de este modelo está el estudiante individual. El discurso público y las prácticas de la sociedad tienen impacto en el estudiante a través de contactos con la familia (padres, hermanos y, a veces, la familia extendida), la escuela (profesores, currículo intencional y oportunidades de participación), el grupo de pares (tanto en la clase como fuera de ella) y los vecinos (incluyendo organizaciones juveniles fuera de la escuela). El estudio se apoya en dos premisas importantes. En primer término, que la educación cívica es compleja e incluye una variedad de elementos cognitivos, conceptuales y actitudinales que pueden ser evaluados independientemente. Es así que se midió el conocimiento cívico de los estudiantes, su capacidad de interpretar información política, su comprensión de las fortalezas y debilidades de la democracia, su concepto del papel de los ciudadanos, sus actitudes hacia las instituciones políticas y las garantías individuales y sus expectativas de involucramiento en actividades cívicas. La segunda premisa es que la educación cívica tiene objetivos múltiples, lo cual requiere reconocer que un programa efectivo de educación cívica debe emplear una variedad de estrategias educativas, tales como la instrucción didáctica, discusiones y debates, y las experiencias cotidianas de los estudiantes con sus padres de familia, sus amigos y otras personas de la comunidad local. Aspectos evaluados El Estudio abarcó tres grandes dominios de contenidos: a. democracia y ciudadanía, que incluyó aspectos relacionados con la democracia y sus características, las instituciones y las prácticas en la democracia, los derechos y deberes de los ciudadanos; b. identidad nacional, que incluyó el concepto de lealtad nacional, las actitudes hacia otros países y la confianza hacia las instituciones públicas nacionales e internacionales; c. cohesión social y diversidad, que incluyó los temas de la discriminación, la tolerancia hacia la diversidad y el respeto hacia los otros. A partir de estos tres dominios, se conformó un instrumento con cinco tipos de actividades, dirigidas a evaluar: a. el conocimiento de los principios fundamentales de la democracia; b. las habilidades de interpretación de materiales con contenidos cívicos o políticos; c. los conceptos de democracia y ciudadanía; d. las actitudes de los estudiantes relacionadas con la confianza en las instituciones de su nación; e. acciones de participación actual y futura en la vida política. Además de la prueba para los estudiantes, se administraron cuestionarios a sus maestros y a los directores de sus escuelas. Principales resultados del Estudio 1. En casi todos los países, los estudiantes tienen una comprensión, aunque sea superficial, de los valores democráticos fundamentales y de las instituciones democráticas. Los estudiantes de educación secundaria superior tienen niveles más elevados de conocimientos cívicos que los de 14 años de edad en sus países, y los hombres superan a las mujeres, especialmente en el conocimiento económico. En el caso de la población de 14 años de edad, las diferencias de género respecto a los conocimientos cívicos son mínimas, pero sustanciales en algunas de las actitudes (por ejemplo, las niñas apoyan más que los niños los derechos políticos de las mujeres y de los inmigrantes). 2 Los estudiantes con más conocimientos cívicos son los más receptivos a la participación en actividades cívicas. Concuerdan que la obligación de votar es señal de buena ciudadanía, pero son escépticos con respecto a otras formas tradicionales de participación. Sin embargo, muchos están abiertos a otros tipos de participación en la vida cívica, como la recolección de dinero para causas sociales, la participación no violenta en marchas de protesta, etc. 3. Los estudiantes de educación secundaria superior, en general, se sienten más libres que los estudiantes más jóvenes para debatir sus ideas y expresar sus opiniones en clase. Estos estudiantes participan con sus opiniones en los gobiernos estudiantiles y otras actividades dirigidas a resolver problemas de la escuela. 4. Las escuelas que incentivan prácticas democráticas son las más eficaces para promover el conocimiento y la participación cívica. Las organizaciones juveniles también tienen potencial para influenciar positivamente sobre la participación cívica de los estudiantes. 5. La población de 14 años de edad señala a la televisión como fuente principal de noticias. En muchos países, la frecuencia de ver programas de noticias en la televisión se asoció positivamente con mayores conocimientos cívicos. El efecto de ver noticias en la televisión también fue significativo sobre la intención de voto en el caso de los estudiantes de educación secundaria superior. 6. Los patrones de confianza en las instituciones gubernamentales tienen gran variación de país a país. Los estudiantes, y en especial los estudiantes llegando al final de su educación secundaria, confían más en los medios de comunicación que en las instituciones relacionadas con el gobierno. Además, estos estudiantes tienen menos sentimientos positivos en relación a sus países que los estudiantes más jóvenes. 7. Los maestros reconocen la importancia de la educación cívica en la preparación de los jóvenes para el papel de ciudadano. 8. Hay diversos patrones de conocimiento cívico y actitudes hacia la participación democrática entre los países con sistemas democráticos nuevos y los países con viejos sistemas democráticos. En el caso de la población de 14 años de edad, se encontró un alto rendimiento en el grupo de países con democracias de larga data, así como las naciones que están consolidando la democracia y que experimentaron transiciones políticas masivas en el decenio de 1990. En este grupo se encuentra Polonia, seguida de Finlandia, Chipre, Grecia, Hong Kong y los Estados Unidos. La Tabla 1 presenta un resumen de los resultados de la prueba internacional de conocimiento cívico para todos los países participantes. Se incluye como información adicional la fecha de aplicación de la prueba, el grado evaluado y el promedio de edad de los estudiantes. En la tabla se presenta la calificación promedio de la prueba y el error estándar de la muestra para cada país. La escala empleada definió como puntaje 100 al promedio internacional, con una desviación estándar de 20 puntos. De esta manera la tabla indica qué tanto los países se encuentran cerca o lejos del promedio internacional. La Tabla 2 permite apreciar la información desagregada en tres grandes áreas: conocimiento cívico, compromiso cívico y actitudes cívicas. Cada una de estas grandes áreas está a su vez desagregada en varias dimensiones que pueden ser apreciadas en los encabezados de la Tabla. La información en esta tabla indica, para cada país, si su promedio fue significativamente inferior o superior al promedio internacional, en cada una de la dimensiones. Publicaciones disponibles en la web El Informe Ejecutivo en castellano del Estudio se encuentra disponible en: http://www.wam.umd.edu/~jtpurta/exec_summ/ExecutiveSummSpanish.htm
También es posible acceder a los Informes Nacionales de los siguientes países participantes: g Australia g Chile g Estados Unidos g Inglaterra g República Checa Todos estos documentos e información adicional sobre este estudio se encuentran disponibles en la siguiente dirección http://www.wam.umd.edu/~jtpurta/
¿Cómo puede contribuir el proyecto PISA a la mejora de la enseñanza de las ciencias (y de otras áreas de conocimiento)? Daniel Gil Pérez Amparo Vilches Universidad de Valencia
R e s u m e n: Se intenta mostrar, en primer lugar, que el proyecto PISA constituye un instrumento potencialmente valioso para la mejora del aprendizaje, la enseñanza y los currículos, que hasta aquí ha sido desaprovechado en nuestro país, dando lugar, incluso, a interpretaciones distorsionadas, perjudiciales para la extensión de una educación de calidad. Se procede a mostrar las virtualidades del proyecto y su coherencia con las aportaciones de la investigación educativa y se indican algunas estrategias para que pueda jugar su papel de instrumento de mejora del proceso de enseñanza/aprendizaje. En particular, se señala la necesidad de superar el escaso conocimiento por parte del profesorado de las orientaciones y fundamentación del proyecto. Ello ha impedido hasta aquí que ejerciera influencia positiva alguna, por lo que se recomienda una amplia campaña informativa y una modificación sustancial de la presentación de los resultados.
(1) Este artículo ha sido concebido como contribución a la Década de la Educación para un futuro sostenible, instituida por Naciones Unidas para el período 2005-2014 (ver http://www.oei.es/decada).
Revista de Educación, extraordinario 2006, pp. 295-31 1.
La crisis de la educación científica alcanza a la mayoría de los países desarrollados en el presente, sobre todo en la educación secundaria pero no sólo en ella. Esta crisis es, al menos en parte, consecuencia de una enseñanza que tiende a descuidar los aspectos emotivos y afectivos del ámbito actitudinal. Un efecto indeseable es el descenso de estudiantes en las carreras de ciencia y en las profesiones relacionadas con la ciencia, tanto por la baja elección inicial como por el frecuente abandono de estos estudios. Las actitudes negativas hacia la ciencia y la tecnología, que han podido adquirirse durante toda la escolaridad, están en el origen de este problema y son un aspecto clave del mismo. Como innovación de relieve, la evaluación PISA 2006 (Programme for International Student Assessment) del área de ciencias dedicó una atención especial a diversas actitudes relacionadas con la ciencia, la tecnología y el medio ambiente, dando así cabida a los aspectos afectivos y emotivos, que son un componente básico de la alfabetización científica. Estos aspectos contribuyen a despertar el interés de los estudiantes y a mantener su apoyo a la ciencia, a la vez que los motivan a actuar.
La inclusión de las actitudes y de las áreas seleccionadas para su evaluación en PISA 2006 entronca con la investigación de la evaluación del dominio afectivo en la didáctica de las ciencias, una línea de trabajo que cuenta ya con más de cuatro décadas de tradición y que se ha ido perfeccionando a través del tiempo. Al respecto, es necesario diferenciar entre actitudes hacia la ciencia y actitudes científicas. Las primeras hacen más hincapié en el componente emotivo de las actitudes, mientras que las actitudes científicas se centran más en el componente cognitivo de las actitudes.
PISA 2006 abordó la evaluación de tres dimensiones de las actitudes relacionadas con la ciencia: (i) interés por la ciencia, (ii) apoyo a la investigación científica y (iii) responsabilidad respecto a los recursos y el medio ambiente.
El interés por la ciencia se eligió por su posible relación con el rendimiento en ciencia, la implicación del alumnado en temas sociales relacionados con la ciencia y la tecnología, la elección de estudios y profesiones de ciencia y tecnología, y el aprendizaje de las ciencias durante toda la vida. La relación entre el interés por la ciencia y el rendimiento en ciencias viene siendo investigada desde hace mucho tiempo, pero aún no está claro si existe o no un vínculo causal, o al menos una correlación positiva, entre ambas variables.
El aprecio y apoyo a la investigación científica debería ser uno de los objetivos de la educación científica. Este objetivo implica que se valoren positivamente los diversos métodos para obtener pruebas científicas, el pensamiento creativo y racional, la actitud crítica y la comunicación de conclusiones al encarar situaciones de la vida relacionadas con la ciencia y la tecnología. Entre los diferentes aspectos de esta dimensión que se incluyeron en PISA 2006, destacan la utilización de pruebas científicas para la toma de decisiones y la valoración del papel de la lógica y la racionalidad para establecer conclusiones.
La responsabilidad respecto a los recursos disponibles y el medio ambiente es una preocupación mundial que, al mismo tiempo, tiene gran importancia económica. La UNESCO considera el medio ambiente como una de las tres esferas de la sostenibilidad, junto con la economía y la sociedad y la cultura, las cuales deben figurar en los programas educativos sobre el desarrollo sostenible.
Autor
José Antonio Acevedo Díaz
Inspector de Educación de la Consejería de Educación de la Junta de Andalucía.
¿Cómo puede contribuir el proyecto PISA a la mejora de la enseñanza de las ciencias (y de otras áreas de conocimiento)? Daniel Gil Pérez Amparo Vilches Universidad de Valencia
R e s u m e n:
Se intenta mostrar, en primer lugar, que el proyecto PISA constituye un instrumento potencialmente valioso para la mejora del aprendizaje, la enseñanza y los currículos, que hasta aquí ha sido desaprovechado en nuestro país, dando lugar, incluso, a interpretaciones distorsionadas, perjudiciales para la extensión de una educación de calidad. Se procede a mostrar las virtualidades del proyecto y su coherencia con las aportaciones de la investigación educativa y se indican algunas estrategias para que pueda jugar su papel de instrumento de mejora del proceso de enseñanza/aprendizaje. En particular, se señala la necesidad de superar el escaso conocimiento por parte del profesorado de las orientaciones y fundamentación del proyecto. Ello ha impedido hasta aquí que ejerciera influencia positiva alguna, por lo que se recomienda una amplia campaña informativa y una modificación sustancial de la presentación de los resultados.
Este artículo ha sido concebido como contribución a la Década de la Educación para un futuro sostenible, instituida por Naciones Unidas para el período 2005-2014 (ver http://www.oei.es/decada).
PISA: UN PROYECTO CONCEBIDO COMO INSTRUMENTO DE MEJORA DE LA ENSEÑANZA Conviene comenzar señalando que el proyecto PISA no constituye un simple instrumento de constatación, sino que ha sido concebido explícitamente para contribuir a la mejora de la enseñanza, con orientaciones que se apoyan en los resultados convergentes de la investigación educativa de las últimas décadas. Así, para el caso particular de las ciencias, los documentos del proyecto señalan: El programa PISA considera que la formación científica es un objetivo clave de la educación y debe lograrse durante el periodo obligatorio de enseñanza, independientemente de que el alumnado continúe sus estudios científicos o no lo haga ya que la preparación básica en ciencias se relaciona con la capacidad de pensar en un mundo en el que la ciencia y la tecnología influyen en nuestras vidas. Considera, por tanto, que la formación básica en ciencias es una competencia general necesaria en la vida actual.
Y se precisa seguidamente que la aptitud para las ciencias se define en PISA como: La capacidad para emplear el conocimiento científico para identificar preguntas y obtener conclusiones basadas en pruebas, con el fin de comprender y poder tomar decisiones sobre el mundo natural y sobre los cambios que la actividad humana produce en él (http://www.ince.mec.es/pub/index.htm, programa PISA. Ítems de ciencias).
De acuerdo con ello, el proyecto PISA evalúa el conocimiento científico a través de tres grandes dimensiones, superando –lo que constituye un primer e importante mérito– el habitual reduccionismo conceptual de las actividades de evaluación (Alonso, Gil Pérez y Martínez Torregrosa, 1992; Tamir, 1998; Goñi, 2005): Los procesos o destrezas científicas Los conceptos y contenidos científicos El contexto en el que se aplica el conocimiento científico Transcribiremos brevemente cómo se conciben estas tres dimensiones en el proyecto, lo que permite comprender la orientación del mismo.
PROCESOS O DESTREZAS CIENTÍFICAS El proyecto PISA identifica cinco procesos científicos y señala, como elemento fundamental, que la evaluación de cada uno de ellos ayuda a entender hasta qué punto la educación científica prepara a los futuros ciudadanos y ciudadanas para tomar decisiones sobre los cambios que la actividad humana produce en el mundo natural. Dichos procesos son: Reconocer cuestiones científicamente investigables: Este proceso implica identificar los tipos de preguntas que la ciencia intenta responder, o bien reconocer una cuestión que es o puede ser comprobada en una determinada situación. Identificar las evidencias necesarias en una investigación científica: Conlleva la identificación de las evidencias que son necesarias para contestar a los interrogantes que pueden plantearse en una investigación científica. Asimismo, implica identificar o definir los procedimientos necesarios para la recogida de datos. Extraer o evaluar conclusiones: Este proceso implica relacionar las conclusiones con la evidencia en la que se basan o deberían basarse. Por ejemplo, presentar a los estudiantes el informe de una investigación dada para que deduzcan una o varias conclusiones alternativas. : Comunicar conclusiones válidas: Este proceso valora si la expresión de las conclusiones que se deducen a partir de una evidencia es apropiada a una audiencia determinada. Lo que se valora en este procedimiento es la claridad de la comunicación más que la conclusión. Demostrar la comprensión de conceptos científicos: Se trata de demostrar si existe comprensión necesaria para utilizar los conceptos en situaciones distintas en las que se aprendieron. Esto supone no sólo recordar el conocimiento, sino también saber exponer la importancia del mismo o usarlo para hacer predicciones o dar explicaciones. Otro aspecto que conviene resaltar es que, como se indica en el proyecto, estos procesos científicos se organizan en tres grupos de competencias según el tipo de capacidad de pensamiento predominante que se requiere para resolver las preguntas que se presentan: Descripción, explicación y predicción de fenómenos científicos Comprensión de la investigación científica Interpretación de evidencias y conclusiones científicas
CONCEPTOS Y CONTENIDOS Por lo que se refiere a este apartado, se señala que el programa PISA no pretende identificar todos los conceptos que podrían estar asociados a los grandes temas científicos para ser objeto de evaluación. En lugar de ello, indican, PISA define una serie de temas principales de la ciencia y a partir de ellos se hace un muestreo seleccionando los contenidos que se deben incluir según cuatro criterios de relevancia: Que aparezcan en situaciones cotidianas y tengan un alto grado de utilidad en la vida diaria Que se relacionen con aspectos relevantes de la ciencia, seleccionando aquéllos que con más probabilidad mantengan su importancia científica en el futuro Que sean aptos y relevantes para detectar la formación científica del alumnado Que sean aptos para utilizarlos en procesos científicos y no sólo que correspondan a definiciones o clasificaciones que únicamente deben ser recordadas Para terminar este apartado, se indica que, basándose en estos criterios, 2003 selecciona conceptos pertenecientes a los siguientes 13 grandes temas científicos, que corresponden a un amplio abanico de disciplinas (física, biología, química, medicina, etc.): Estructura y propiedades de la materia; cambio atmosférico; cambios físicos y químicos; transformaciones de la energía; fuerzas y movimiento; función y forma; cambio fisiológico; biodiversidad; control genético; ecosistemas; la Tierra y su lugar en el universo, cambio geológico.
PISA CONTEXTOS CIENTÍFICOS Conviene destacar la importancia de esta última dimensión del proyecto, tan a menudo ausente en las evaluaciones, pero esencial para que la educación científica contribuya a formar ciudadanas y ciudadanos preparados para participar en las necesarias tomas de decisiones frente a la actual situación de emergencia planetaria (Comisión Mundial del Medio Ambiente y del Desarrollo, 1988; Tilbury, 1995; Vilches y Gil, 2003). El proyecto se refiere aquí a las situaciones y áreas en las que el alumnado tiene que aplicar sus conocimientos científicos, resaltando los contextos donde se aplican y dando prioridad a los que se relacionan con problemas y temas que tienen repercusión en el bienestar humano y precisan la toma de decisiones. Los espacios de aplicación de las ciencias en el proyecto aparecen agrupados en tres grandes áreas: Las ciencias de la vida y la salud Las ciencias de la Tierra y del medio ambiente Las ciencias y el desarrollo tecnocientífico. Atendiendo a todo lo que acabamos de resaltar, como elementos básicos de la forma en que el proyecto evalúa el conocimiento científico, podemos afirmar que el tener en cuenta estas tres dimensiones favorece la inmersión en la cultura científica, saliendo al paso de visiones deformadas y empobrecidas de la ciencia y la tecnología (McComas, 1998; Gil Pérez et al., 2005). En el Anexo I, hemos incluido un ejemplo de las preguntas utilizadas en el proyecto PISA, que permite constatar de qué forma se intenta atender a las orientaciones expuestas. Más ejemplos pueden encontrarse en http://www.ince.mec.es/ pub/index.htm. Una idea central del proyecto PISA es que con el enfoque de la evaluación propuesta –que considera la aplicación del conocimiento científico en vez de la memorización de conceptos– se puede favorecer el desarrollo de una didáctica coherente con los logros que se pretenden conseguir (saber resolver problemas que se plantean en la vida real: situaciones de viaje, compra, domésticas, económicas, etc.) y, en última instancia, mejorar el rendimiento de los estudiantes. Conviene resaltar que esta estrecha relación entre innovación educativa y evaluación, como aparece en el proyecto, ha sido reiteradamente puesta de relieve por la investigación (Tamir, 1998; Gil Pérez y Martínez Torregrosa, 2005). Muy en particular, los investigadores han llamado la atención sobre la necesidad de acompañar las innovaciones curriculares de transformaciones similares en la evaluación, para contribuir a consolidar el necesario cambio de modelo didáctico (Linn, 1987). Porque, desde luego, poco importan las innovaciones introducidas o los objetivos que se hayan marcado: si la evaluación sigue consistiendo en ejercicios para constatar el grado de retención de algunos conocimientos conceptuales, éste será para los alumnos y alumnas (y gran parte del profesorado) el verdadero objetivo del aprendizaje. Como señala Acevedo (2005), las evaluaciones externas, bien planteadas, pueden servir de acicate para orientar la enseñanza de las ciencias hacia las innovaciones de los currículos reformados en consonancia con las aportaciones de la investigación en didáctica de las ciencias. El propósito del proyecto PISA es, precisamente, influir en la enseñanza a través de un replanteamiento de la evaluación, favoreciendo al propio tiempo una reflexión sobre los problemas de la educación en una escala internacional y el intercambio de planteamientos, rompiendo el aislamiento de sistemas educativos estancos e impulsando de ese modo las nuevas propuestas didácticas. Un proyecto como el PISA se revela, pues, como un instrumento de gran potencialidad para contribuir a la necesaria renovación de la enseñanza de las ciencias y otras áreas de conocimiento. Ahora bien, ¿hasta qué punto el proyecto PISA está cumpliendo esta función? Como intentaremos mostrar justificadamente en el siguiente apartado, hasta aquí y por lo que se refiere a nuestro país, dicho proyecto no ha jugado el papel para el que ha sido concebido y debe llegar a desempeñar.
UN INSTRUMENTO, HASTA EL MOMENTO DESAPROVECHADO, DE MEJORA DE LA ENSEÑANZA Una primera condición para que un sistema de evaluación influya sobre la enseñanza es que sea conocido por el profesorado. Es lo que ocurre, por ejemplo, con las Pruebas de Acceso a la Universidad, que se hacen públicas año tras año y que, en la mayor parte de los casos, con su reduccionismo conceptual están contribuyendo con enorme eficacia a condicionar las innovaciones curriculares hasta llegar a reprimirlas (Oliva y Acevedo, 2005). Cabe, pues, preguntarse si el profesorado del nivel al que se aplican las pruebas diseñadas por el proyecto PISA conoce las orientaciones del proyecto, las características de las pruebas, lo que se pretende medir con ellas, etc. Un amplio estudio de campo consistente en entrevistar a profesores de ciencias de más de dos docenas de centros de la Comunidad Valenciana, y de otros tantos de otras comunidades (Andalucía, Asturias, Canarias, Cataluña, Extremadura, Madrid y País Vasco), nos ha permitido constatar el prácticamente nulo conocimiento, por parte del profesorado, de los contenidos y las orientaciones de las pruebas utilizadas por el proyecto PISA. Ello resulta lógico porque, como señalan los entrevistados, ni ha llegado información oficial a los centros, ni se les ha impulsado a acceder a las páginas web que incluyen ejemplos de las pruebas y su fundamentación (que desconocían). Tampoco los medios de comunicación, que se han hecho amplio eco de «los resultados» de dichas pruebas, han contribuido a dar a conocer su contenido y orientaciones. Y lo mismo puede decirse de la generalidad de los artículos de las revistas especializadas que, con raras y recientes excepciones (Acevedo, 2005; Goñi, 2005), se han ocupado, en general, de discutir los informes (centrados en el análisis estadístico de los resultados). En consecuencia, cabe concluir que se está desaprovechando el papel orientador que las evaluaciones trienales realizadas y proyectadas –la próxima para el año 2006, con una especial atención a los conocimientos científicos– pudieran y debieran tener. Peor aún, podemos hablar de desorientación provocada por los informes publicados y, muy en particular, por la notable y posiblemente bien intencionada atención que los medios de comunicación han prestado a la publicación de los informes PISA. En efecto, cuando en diciembre de 2004 se dio a conocer el último informe
PISA, los titulares y editoriales de prensa adquirieron, al igual que tres años antes, tintes dramáticos: «Los alumnos españoles, a la cola de la OCDE en matemáticas, ciencia y lectura», «el informe PISA 2003, ha hecho saltar la alarma sobre los malos resultados obtenidos por el sistema español...» Pero no sólo los media expresaban su alarma. Personalidades académicas, responsables de organismos, instituciones educativas, de asociaciones del profesorado e incluso investigadores en el campo de la educación, insistían en ello. Así, en un número monográfico dedicado por la revista Aula al informe PISA 2003, Álvaro Marchesi se preguntaba: «¿Por qué nuestros alumnos obtienen peores resultados que los de la mayoría de los países de nuestro entorno?» (Marchesi, 2005, p. 9). Isabel Solé Gallart (2005, p. 22) precisaba que, en lo que se refiere a la lectura, «la puntuación media –481 puntos– de los alumnos españoles (...) es significativamente inferior al promedio OCDE –494 puntos– (la cursiva es nuestra)». Y Antonio de Pro Bueno (2005, p. 32) incluye una tabla comparativa, según la cual los resultados de los estudiantes españoles en ciencias serían «muy inferiores» a los de los siguientes países de la Unión Europea: Finlandia, Reino Unido, Austria, Irlanda, Suecia y República Checa; inferiores a los de Francia y Hungría; similares a los de Bélgica, Alemania y Polonia y, finalmente, superiores a los de Dinamarca, Italia, Grecia, Letonia, Portugal y Luxemburgo. Los resultados del actual informe –escribíamos en el mismo monográfico (Gil Pérez y Vilches, 2005, p. 16)– no parecen dejar lugar a dudas, puesto que colocan a España en el lugar 22 (entre 30) por lo que se refiere a cultura científica, el 23 en comprensión lectora y el 24 en cultura matemática, apareciendo por debajo de la media en los tres dominios analizados. Quizás ello justifique la rapidez con la que los editoriales de los periódicos, los representantes políticos y los expertos en educación se han pronunciado para, en general, deplorar la situación y denunciar un sistema educativo «que hace agua». Estamos de acuerdo, sin embargo, con Jesús María Goñi (2005, p. 28) cuando escribe: Acostumbrados, como estamos, al ruido de los medios de comunicación, no echamos de menos el silencio ni la reflexión reposada que debería acompañar a cualquier intento responsable de leer el significado de estos datos.
Para ayudar a esa reflexión reposada y evitar la obnubilación que producen las apariencias, propusimos el siguiente ejercicio mental, a partir de una situación bastante común: Supongamos que en un centro educativo se comparan las notas medias de matemáticas obtenidas en tres grupos-clase distintos y que dichas nota son, respectivamente, 4.9, 5.0 y 5.5. ¿Cuál sería nuestra valoración de dichos resultados? ¿Lamentaríamos escandalizados los resultados obtenidos en el primer grupo, por quedar detrás de los otros dos? Seguro que no, claro está; nadie con una mínima sensatez diría que dichas notas medias son significativamente distintas. Nadie alabaría la brillantez del tercer grupo ni se escandalizaría por los mediocres resultados del primero (los tres recibirían un simple aprobado). Sin embargo eso es exactamente lo que estamos haciendo al interpretar los datos ofrecidos por el informe PISA.
En efecto, por lo que se refiere, por ejemplo, a la cultura científica, España obtiene 487 puntos y queda por debajo de la media (500), mientras los países mejor clasificados son Japón y Finlandia con 548 puntos. Unas sencillas proporciones nos permiten calcular que, si asignamos a la media de la OCDE una clasificación de 5, a España le corresponde un 4.9 y a Finlandia o Japón, un 5.5. Igualmente pequeñas son las diferencias en comprensión de la escritura y en matemáticas: también en estos casos España obtiene una nota de 4.9 con relación al 5 correspondiente a la media. Nada justifica, pues, el alarmismo con que han sido valorados los resultados del informe PISA. Dicho informe no muestra otra cosa que una homogeneidad de resultados en el conjunto de los países de la OCDE… y la necesidad de mejoras en todos ellos. Merece la pena reflexionar sobre la forma en que se proporcionan dichos resultados «secuela, sin duda –comenta con acierto de Pro (2005, p. 32)– del arraigo que tienen las aficiones deportivas en nuestro contexto». Si presentamos un listado ordenado según la puntuación obtenida por cada país, es obvio que siempre habrá países por arriba y por debajo de la media. Y, si nos fijamos primordialmente en el orden, países con resultados prácticamente idénticos recibirán alabanzas o críticas. El propio Ministerio de Educación y Ciencia da pie a dicha lectura en sus documentos «Evaluación PISA 2003. Resumen de los primeros resultados en España» y «Aprender para el mundo de mañana. Resumen de resultados PISA 2003» (http://www.ince.mec.es/pub/index.htm). Pero, ¿aceptaríamos que se hiciera lo mismo con la valoración del trabajo de cada alumno y se enviara a sus padres un boletín de notas en el que se indicara, por ejemplo, que el alumno ha obtenido un pobre resultado porque ocupa el lugar 23 (de 30), aunque su nota no difiriera de la de quien ocupa el primer lugar más que en alguna décima? Eso es lo que ocurre con el informe PISA y conduce a que los resultados de Finlandia sean ofrecidos como modelo y los de España como expresión de «grave deterioro» de la educación secundaria… aunque apenas difieran entre sí. Es preciso cuestionar este tipo de presentación que distorsiona los resultados y responde a una absurda idea de competitividad que no pone el acento en lo esencial, que son los logros que se deben alcanzar y la necesidad de poner los medios para ello. Debemos insistir en que, en contra de las interpretaciones distorsionadas que se están realizando, la aplicación de la reforma LOGSE no se ha traducido en peores resultados sino que ha mantenido el nivel medio, pese a la incorporación de nuevos sectores de población derivada de la ampliación de la escolarización obligatoria. «Por lo tanto –con palabras de Jesús. M. Goñi (2005, p. 29)–, si lo que pretenden algunos es servirse de los resultados de PISA para atacar las posturas innovadoras en el sistema educativo español, conviene decirles que cuanto más critiquen esas reformas y más caso se haga a sus críticas, peores resultados obtendremos en este proyecto de evaluación internacional». No son, pues, las lecturas «deportivas» de las clasificaciones que muestran los informes PISA las que pueden ayudarnos a mejorar el sistema educativo. Otro tipo de análisis y otro tipo de medidas pueden y deben ayudarnos a aprovechar las potencialidades transformadoras del proyecto PISA.
¿CÓMO APROVECHAR LAS POTENCIALIDADES DEL PROYECTO PISA? Una primera medida que se debería adoptar con urgencia, si nuestras autoridades académicas conceden importancia a los informes del proyecto PISA y están preocupadas por los resultados que muestran, habría de ser proceder a dar la máxima difusión a las orientaciones y fundamentación del proyecto, proporcionando suficientes ejemplos para ayudar a reorientar la enseñanza en la dirección que éste marca. Una orientación que viene apoyada por una amplia investigación educativa y responde a los planteamientos de las reformas curriculares que están produciéndose en los países de la UE, incluido el nuestro. Precisamente, esta coherencia básica entre la orientación del proyecto PISA y las propuestas curriculares de la LOGSE y del actual proyecto de LOE convierte al proyecto en un instrumento privilegiado para hacer avanzar dichas reformas. Pero para ello debería procederse a una petición explícita y fundamentada a los departamentos de los centros, para que analizaran cuidadosamente los materiales del proyecto y consideraran la conveniencia de utilizarlos como instrumento de evaluación y de enseñanza. En segundo lugar, sería necesario presentar los resultados de una forma absolutamente diferente a como se viene haciendo. Lo que importa no es si las medias obtenidas por los estudiantes de un país están unas centésimas por debajo o por arriba de los de otro. Es preciso denunciar el uso de este tipo de clasificación para atribuir calificaciones de excelencia y fracaso a resultados que apenas difieren entre sí. Lo que realmente interesa es conocer en qué medida los estudiantes alcanzan los logros deseados, cuáles son las deficiencias y los obstáculos detectados, y utilizar dicha información para reorientar la acción educativa con vistas a mejorar el aprendizaje, la enseñanza y el propio currículo (Tamir, 1998)... sin olvidar la mejora de las pruebas de evaluación utilizadas. Esto último es de la mayor importancia: las propuestas del proyecto PISA no deben considerarse como algo intocable y deben someterse al escrutinio de su coherencia con los resultados de la investigación educativa y, por tanto, a su reorientación, si fuera necesario, para que contribuyan al logro de los objetivos planteados. Para el caso de educación científica, en particular, queremos señalar que, en coherencia con los resultados de la investigación en didáctica de las ciencias, es preciso enriquecer aún más el contenido de las pruebas (Gil Pérez y Martínez Torregrosa, 2005) de forma que contribuyan a proporcionar una imagen de la ciencia como actividad abierta y creativa, socialmente contextualizada, capaz de salir al paso de las actitudes de desinterés y rechazo que una enseñanza marcada por un reduccionismo conceptual y operativista está, lamentablemente, generando. Algo absolutamente necesario para contribuir a la formación de ciudadanas y ciudadanos capaces de participar, con espíritu crítico, en la toma de decisiones acerca de los problemas relacionados con el desarrollo tecnocientífico y de sentir la emoción de los apasionantes desafíos a los que se ha enfrentado y sigue enfrentándose la comunidad científica (Bybee, 1997; Gil Pérez y Vilches, 2004). La cuidadosa consideración de aquello que debe ser evaluado resulta esencial, insistimos, para evitar reduccionismos empobrecedores y ha de enfrentarse a tradiciones que sistemáticamente han limitado la evaluación a los aspectos más fáciles de medir. La toma en consideración de la naturaleza de la actividad científica y tecnológica (McComas, 1998; Gil Pérez et al., 2005), así como el desarrollo del modelo de aprendizaje como investigación orientada, fruto convergente de numerosas investigaciones (Gabel, 1994; Fraser y Tobin, 1998), permite romper con dichas tradiciones e incluir toda una pluralidad de aspectos como los que recogemos en el Cuadro I, planteado como una red para el análisis del contenido de las pruebas de evaluación. Si analizamos con dicha red los ejemplos de pruebas del proyecto PISA dados a conocer, así como sus presupuestos teóricos, encontraremos una aceptable similitud entre ambas propuestas, aunque es preciso llamar la atención acerca de olvidos fundamentales como es el de la emisión de hipótesis, que encontramos escasamente presente en lo que se ha hecho público del proyecto PISA. Lo esencial, en todo caso, es mantener una permanente actitud de investigación para analizar las propuestas y sus resultados y proceder a las necesarias rectificaciones y mejoras.
CUADRO I Análisis de la presencia de actividades de evaluación coherentes con las estrategias de construcción de conocimientos científicos 1 . ¿Se incluyen situaciones problemáticas abiertas que permitan a los estudiantes formular preguntas, plantear problemas? 2 . ¿Se piden comentarios sobre el posible interés de las situaciones propuestas (considerando las posibles implicaciones CTSA, la toma de decisiones, la relación con el resto del programa, etc.)? 3 . ¿Se piden análisis cualitativos, significativos, que eviten el mero operativismo y ayuden a comprender y acotar las situaciones planteadas? 4 . ¿Se pide la emisión de hipótesis, fundamentadas en los conocimientos disponibles, susceptibles de orientar el tratamiento de las situaciones y de hacer explícitas, funcionalmente, las preconcepciones? ¿Se plantea, al menos, el manejo o el análisis crítico de alguna hipótesis? ¿Se incluyen actividades que supongan atención a las preconcepciones (contempladas como hipótesis)? 5 . ¿Se plantea la elaboración de estrategias (en plural), incluyendo, en su caso, diseños experimentales? ¿Se pide, al menos, la evaluación crítica de algún diseño? ¿Se presta atención a la actividad práctica en sí misma (montajes, medidas...) dándole a la dimensión tecnológica el papel que le corresponde en este proceso? ¿Se presta atención, en particular, al manejo de la tecnología actual (ordenadores, electrónica, automatización...) con objeto de favorecer una visión más correcta de la actividad científico-técnica contemporánea? 6 . ¿Se piden análisis detenidos de los resultados (su interpretación física, fiabilidad, etc.), a la luz del cuerpo de conocimientos disponible, de las hipótesis manejadas y/o de otros resultados? ¿Se pide, en particular, el análisis de los posibles conflictos cognitivos entre algunos resultados y las concepciones iniciales? ¿Se favorece la «autorregulación» del trabajo de los alumnos (proporcionando, por ejemplo, indicadores que les permitan comprobar si van o no en una dirección correcta? ¿Se incluyen actividades para que los estudiantes cotejen su evolución conceptual y metodológica con la experimentada históricamente por la comunidad científica? Análisis de la presencia de actividades de evaluación coherentes con las estrategias de construcción de conocimientos científicos 7 . ¿Se piden esfuerzos de integración que consideren la contribución de los estudios realizados a la construcción de un cuerpo coherente de conocimientos (al afianzamiento o reforzamiento del mismo, a la superación de supuestas barreras...), las posibles implicaciones en otros campos de conocimientos, etc.? ¿Se pide algún trabajo de construcción de síntesis, mapas conceptuales, etc., que ponga en relación conocimientos diversos? 8 . ¿Se pide la consideración de posibles perspectivas (replanteamiento del estudio a otro nivel de complejidad, problemas derivados...)? ¿Se incluyen, en particular, actividades relativas a las implicaciones CTSA del estudio realizado (posibles aplicaciones, transformaciones sociales, repercusiones negativas...), a la toma de decisiones, en particular, frente a los graves problemas que afectan a la humanidad y la necesidad de contribuir a un futuro sostenible, saliendo al paso de la concepción que reduce la tecnología a mera aplicación de la ciencia? ¿Se incorporan actividades que presten atención a la educación no formal (museos, prensa...)? ¿Se valoran los «productos» elaborados por los estudiantes (prototipos, colecciones de objetos, carteles...) expresión de las estrechas relaciones ciencia-tecnología? 9 . ¿Se presta atención a la comunicación como aspecto esencial de la actividad científica? ¿Se plantea la elaboración de memorias científicas del trabajo realizado? ¿Se pide la lectura y comentario crítico de textos científicos? ¿Se pone en contacto a los estudiantes con la historia de la ciencia? ¿Se presta atención a la verbalización, solicitando comentarios significativos que eviten el «operativismo mudo»? ¿Se hace un seguimiento cuidadoso del dossier de los alumnos como memoria ordenada del trabajo realizado? 10. ¿Se potencia en la evaluación la dimensión colectiva del trabajo científico valorando los trabajos realizados en equipo, prestando atención al funcionamiento de los grupos de trabajo, etc.? ¿Se favorece la interregulación de los equipos? ¿Se permite (y potencia) el manejo funcional del cuerpo de conocimientos aceptado por la comunidad científica (sin exigir memorizaciones irracionales)? ¿Se presta atención, en ese sentido, a que los prerrequisitos no se conviertan en obstáculo para las tareas propuestas? Queremos terminar recordando las palabras de Marchesi (2005, p. 12): « No es fácil ni inmediato obtener mejores resultados, ni se logra una mayor calidad del sistema educativo con sólo aprobar una buena ley, elaborar un programa atractivo o incrementar los presupuestos. El cambio educativo exige tiempo, un proyecto amplio, coherente y equilibrado, una voluntad decidida y el compro» miso de la mayoría de la comunidad educativa y del conjunto de la sociedad»
No hay, obviamente, soluciones milagro, pero el proyecto PISA puede contribuir a la mejora de la educación... si hacemos un uso adecuado del mismo. Algo a lo que deberíamos comprometernos.
En este artículo se ofrece una perspectiva general del proyecto PISA con el fin de establecer un contexto para el debate de algunos resultados de la evaluación de 2003. Dicha perspectiva general describe los objetivos del proyecto, sus participantes, sus procedimientos y organización, sus principales componentes y metodologías, y las características concretas de las matemáticas en PISA, que fue la principal área de evaluación en 2003. Asimismo, se ofrece un brevísimo resumen de algunos resultados claves de la evaluación PISA 2003, extrayendo conclusiones relevantes en materia de política educativa.
RESUMEN. Teniendo en cuenta el interés que ha suscitado la evaluación PISA y sus resultados, el presente artículo presenta el «marco conceptual de lectura» que subyace a estas evaluaciones internacionales. Recoge la definición de «lectura» y hace unas reflexiones sobre el sentido de la misma en la sociedad del conocimiento. Se describen los tipos de textos contemplados en las pruebas de evaluación y las destrezas evaluadas. Además, se describen los cinco niveles de competencia lectora, así como las variables que explican los diferentes niveles de dificultad.
Después de analizar someramente los resultados en lectura alcanzados por nuestros alumnos en las dos últimas evaluaciones PISA,se plantean una serie de medidas para mejorar las competencias lectoras de los niños y jóvenes que se escolarizan en nuestro sistema educativo.
.jpg)
.jpg)
