¿Qué es lo que PISA intenta valorar realmente en las pruebas?

El concepto de "Calidad Educativa" es muy complejo, y las evaluaciones estandarizadas internacionales miden un aspecto, más relacioado con el rendimiento escolar. Las evaluaciones PISA han alcanzado un nivel planetario, una de ellas aborda el conocimiento científico ¿Qué idea de “competencia científica trae? ¿Qué se considera relevante en sus evaluaciones? ¿A qué aspectos no presta atención?

Aunque PISA se propone la medición de los tres tipos de capacidades relacionadas con lo que la OCDE define como “competencia científica” (identificación de cuestiones científicas, explicación científica de fenómenos y utilización de pruebas científicas), no parece prestar especial atención a los grupos de capacidades superiores o de segundo orden (‘transferencia’, ‘heurística’ y

‘argumentación’), quedándose en un concepto de competencia apegado casi de forma exclusiva al ‘saber’ como conocimiento y descuidando las áreas del ‘saber hacer’ y ‘saber decir’ (DeSeCo) en la evaluación de la competencia científica. Así pues, aunque en general PISA se desinteresa por el conocimiento científico entendido como mera reproducción de información de forma mecánica o memorística (lo que el grupo llama “reproducción”), encontramos que se deberían potenciar más las capacidades de segundo orden indicadas, tal y como establece el propio programa PISA en sus fundamentos teóricos.

En este sentido, cabe indicarse que PISA parece decantarse por las pruebas de elección múltiple que no admiten argumentación, una capacidad esencial, a nuestro juicio, en la competencia científica. Sólo en algunas actividades se incluye alguna pregunta abierta que requiere argumentación, pero el resto del problema sólo requiere elección entre respuestas múltiples. Además, cuando se utilizan preguntas abiertas, los criterios de corrección de las mismas son cerrados, valorando sólo como correctas un conjunto limitado de respuestas posibles, cuya valoración debería centrarse más en su adecuada justificación científica, capacidad mucho más relevante para la evaluación de un aprendizaje competente. Asimismo, consideramos que se debería favorecer más la creatividad del estudiante y la transferencia del conocimiento. Como hemos visto, en muy pocas ocasiones, se plantean problemas abiertos que den rienda suelta a la transferencia y mucho menos a la heurística.

Por último, se echa en falta actividades que evalúen la destreza de lectura/interpretación de imágenes gráficas (ej. esquemas, dibujos y diagramas de biología, geología, etc.), así como un mayor uso de la comunicación escrita (ej. redactar un informe, una valoración, etc.), habilidades científicas tradicionalmente consideradas importantes en la enseñanza de las ciencias y ahora en el desarrollo de la competencia científica.

Relevancia del contenido de las pruebas

Respecto a la relevancia, recordemos que hace referencia al concepto de aprendizaje situado, que se considera más idóneo para potenciar el aprendizaje. Esto significa que las actividades deben conectar con los intereses o inquietudes del alumnado para permitir que se desarrolle dicho aprendizaje. Un aprendizaje competente es aquél que el alumno/a utiliza para interpretar y actuar sobre su entorno inmediato. Por lo tanto, se plantea una importante dificultad de PISA respecto a la relevancia del contenido: ¿Cómo lograr conectar con los intereses e inquietudes del alumnado mediante una prueba estandarizada que se pasa a una gran cantidad de sujetos? La única manera que existe de que el contenido sea relevante para el alumnado pasa por el conocimiento de las inquietudes e intereses del mismo, cosa imposible de tener en cuenta en una prueba de las características de PISA, en la que la propia condición de estandarización internacional hace difícil crear contextos relevantes para realidades socio-culturales a veces muy distintas. Con ello no queremos indicar que sea imposible en todos los casos, pues, por ejemplo, la utilización de pruebas basadas en sucesos o eventos de repercusión mundial, o de fuerte repercusión mediática, ofrece marcos significativos o relevantes para todos los estudiantes, dada la globalización informativa.

Así pues, aunque el contenido de los ítems es, sin duda, actualizado y sobre temas vigentes y en discusión, PISA tiende a plantearlos de una forma academicista, desperdiciando oportunidades para plantear dilemas éticos o conflictos de actualidad en el ámbito científico para centrarse en el contenido académico de los ítems (véase “Clonación”, PISA 2000-03).

Esto puede verse también en la tipología de respuestas que PISA contempla en sus cuestiones. De todos los ítems analizados, sólo un 37% permiten la posibilidad de respuestas abiertas mientras que a las respuestas cerradas y múltiples les corresponde un 63% (siendo más predominantes, en un 41%, las respuestas múltiples). De igual modo ocurre con las pautas de corrección: mientras que para el 81% de las preguntas sólo puede obtenerse el total de la puntuación asignada o cero puntos, el 19% pueden puntuar de una manera parcial. Está claro que PISA no contempla la variedad de perspectivas y el conflicto que representa la competencia en ciencias y presta más atención a la “comprobabilidad” del conocimiento académico.

PISA parte de la base de que, si el alumno/a conoce el tema en su entorno más inmediato, automáticamente pasa a ser un tema relevante para él/ella, lo cual resulta difícil de sostener, ya que todo nuestro entorno está rodeado de diferentes temáticas cercanas a nosotros y no por ello todas nos resultan igualmente relevantes o interesantes. De esta manera, preguntas como: “El ejercicio físico”, “El efecto invernadero”, “Fumar tabaco”, “Clonación”, “El cambio climático” y “Ozono”, podrían tener cierta relevancia por la preponderancia del tema en los medios de comunicación. Otras les pueden parecer interesantes por su temática cotidiana: “Apta para beber”, “Caries dental”, “La luz de las estrellas”, “Brillo de labios”, “La masa del pan”, “Luz del día” o “El chocolate”. El resto de las preguntas, tales como “Lluvia ácida”, “Ultrasonido”, “El catalizador”, “La biodiversidad”, “La conducta del espinoso” y, específicamente, la referida a “El Gran Cañón” (de El Colorado, que nos queda un poco lejos), creemos que es más difícil que resulten relevantes para niños y niñas de quince años en general, aunque algunos y algunas de ellos y ellas pudieran tener una afición especial por la ciencia o la naturaleza que hiciese que encontrasen la pregunta relevante. Lo que está claro es que esto no pueden ser más que apreciaciones sin ningún argumento sobre una “supuesta” relevancia, ya que es imposible determinar el grado de relevancia del contenido de las pruebas.

En síntesis, encontramos que es difícil plantear preguntas relevantes para el alumnado mediante una prueba estandarizada para un abanico tan variado de realidades socioculturales debido al desconocimiento o imposibilidad de conectar con las inquietudes e intereses de tan diversa población muestreada y, por tanto, con el conocimiento necesario para desarrollar una aprendizaje situado, significativo, relevante y/o competente.

Por otro lado, cabe destacarse que el esfuerzo por parte de PISA para presentar temas actuales y con repercusión mediática en sus ítems no parece ser más que una actualización del contenido y no una nueva manera de tratarlo, lo que termina por caer, en muchas ocasiones, en la búsqueda de un grado de conocimiento, en lugar de la competencia en un ámbito, tal y como se hace tradicionalmente en nuestras escuelas.

¿A qué no presta atención PISA?

Si bien no parece, por las evidencias encontradas en la investigación, que PISA esté valorando ‘competencias’ tal y como se plantean en DeSeCo (una cuestión importante a pensar puede ser si esto puede hacerse mediante pruebas estandarizadas), sí podemos esbozar, tras el análisis de las pruebas, un panorama general de aspectos a los que el Programa parece prestar menor atención.

Parece evidente, viendo los porcentajes anteriores de respuestas cerradas y abiertas presentados más arriba, que la argumentación y la comunicación no son capacidades que PISA intente valorar con interés en sus pruebas (esta capacidad no aparece en el 67.65% de los ítems analizados). Esto se debe quizás a la dificultad que plantearía de cara a la corrección de las pruebas, ligado a una preocupación por la búsqueda de la objetividad en la corrección, imposible de garantizar si la argumentación y la comunicación son muy predominantes.

Asimismo, como hemos visto, en muy pocas ocasiones, plantea problemas abiertos que den rienda suelta a la capacidad de crear o a la heurística (esta capacidad no aparece en el 87.22% de los ítems analizados). Al parecer, a PISA le interesa más el seguimiento de las leyes y teorías científicas (mediante preguntas cerradas) que el pensamiento divergente implícito en el espíritu creativo, fundamental en el avance de la ciencia.

Por otra parte, una de las capacidades que reclama PISA es la de ‘búsqueda de información científica y su selección’. Es una lástima que esta búsqueda se restrinja únicamente a la información que se proporciona en el enunciado. Para que el alumnado pueda desplegar al máximo su competencia (recordemos que no tiene que ver con el contenido) en cualquier aspecto, es imprescindible que tenga a su alcance todo tipo de información, incluido un portátil conectado a la red (como parece haberse propuesto en PISA 2009, con una aplicación ‘cerrada’).

Otro aspecto llamativo de las pruebas de PISA es la restricción de los problemas a temas puramente académicos, con escasa o nula conexión con temas transversales. Así, aunque algunas actividades plantean cuestiones de salud y medio ambiente (nunca sobre otros derechos humanos), no aparecen preguntas en las que aflore en profundidad la actitud del alumno/a; asimismo, tampoco reclaman reflexiones o dilemas éticos por parte del estudiante, cuestiones éstas que se supone están indefectiblemente ligadas a la actividad científica.

Relacionado con esto, llama también la atención la presencia de algunos ítems que se plantean únicamente para intentar valorar la actitud del alumno/a frente a las ciencias, aunque de un modo superficial. Curiosamente, no aparecen liberadas las pautas de corrección para dichos ítems, con lo cual entendemos que no cuentan para la puntuación de la prueba (véase pregunta 1.6 de “Apta para beber” del Marco de 2006).

Por otra parte, en relación con el contenido, podría plantearse quizás un posible sesgo cultural en la elección de los temas propuestos, propios de una clase social determinada, alejados de culturas locales y minoritarias.

La preocupación de los diseñadores de las pruebas por conseguir evitar cualquier sesgo tanto en el contenido de la pregunta como en la exactitud de las respuestas provoca que se eviten en las pruebas contenidos o temas problemáticos, huyendo de la “contaminación” de las opiniones. La ciencia, en la orientación más positivista, ha de respetar determinados procesos y los hallazgos obtenidos no admiten respuestas equívocas. Ese conocimiento exacto y asimilación de sus métodos puede generar un racionalismo exacerbado y una actitud/creencia hacia el conocimiento científico como un saber acrítico y falto de referentes históricos, sociales, etc., que expliquen los porqués de la deriva de la ciencia hacia focos de investigación determinados.

No se han observado en las pruebas temas de conocimiento sujetos al debate, que pudieran sembrar la duda en los estudiantes por las opciones a elegir o las respuestas requeridas. Ahora bien, ese alejamiento de temas ‘problemáticos’ presenta a la ciencia y al conocimiento científico como una metáfora de la verdad suprema que, para algunos, es la nueva religión. De ahí que, en la tipología de las pruebas, parece existir la estrategia de los evaluadores de eliminar el “ruido de fondo” en la medición, es decir, eliminar cualquier cosa que no sea un procedimiento científico estricto. Esto es coherente con la forma en que se compartimenta el conocimiento en todos los currículos educativos de la OCDE.

La inclusión de la dimensión “actitudes” en 2006 indica un avance en ámbitos como la salud y el medio ambiente, pero nada aparece relacionado con el juicio moral sobre la actividad científica.

En las pruebas analizadas, pues, parece haber una falta total de atención a las implicaciones sociales y/o morales de las cuestiones tratadas, por ejemplo, en aspectos relacionados con la salud, el medio ambiente o la investigación científica. En general, estas ausencias podemos encontrarlas en pruebas como: “El Gran Cañón”, “Fumar Tabaco”, “El ejercicio físico”, “Ozono”, “El cambio climático”, “El efecto invernadero”, “Clonación”. En las citadas pruebas, no se hace alusión a los impactos del turismo en el medio ambiente, los intereses de las multinacionales sobre determinadas enfermedades, la ética sobre la reproducción, etc., soslayando, como decimos, aquellos apartados que son causa de debates morales, políticos, ecológicos, etc.

Extraído de

Gallardo-Gil, Monsalud; Fernández-Navas, Manuel; Sepúlveda-Ruiz, María-Pilar; Serván, María-José; Yus, Rafael & Barquín, Javier (2010).
PISA y la competencia científica: Un análisis de las pruebas de PISA en el Área de Ciencias. RELIEVE, v. 16, n. 2, p. 1-17. http://www.uv.es/RELIEVE/v16n2/RELIEVEv16n2_6.htm

Evaluaciones PISA de Ciencias ¿Cumple con sus propósitos?

Las evaluaciones en Ciencias es una de las que desarrolla el programa PISA. En este artículo presentamos una opinión sobre estas pruebas ¿Puede una evaluación estandarizada ser adecuada, para cumplir con sus propósitos? ¿Mide Calidad Educativa o rendimiesto escolar? ¿Qué deberían hacer los países implicados?

PISA pretende establecer un marco común, internacional, de evaluación del rendimiento de los estudiantes de quince años, entendido como nivel de competencia. Bajo el concepto de ‘competencia’, PISA ha tratado de promover la valoración de la ‘utilidad’ y ‘aplicación’ del conocimiento sobre la reproducción en la formación de la competencia, analizando y especificando los conocimientos, capacidades y actitudes que intervienen en la formación de la competencia científica. Sin embargo, en nuestro análisis, encontramos bastantes limitaciones de cara la evaluación de la competencia científica en los términos que define el propio programa PISA –como un ‘saber hacer complejo’–. En este sentido, consideramos que se debería potenciar una aproximación más holística e interdisciplinar a las competencias, en tanto que encontramos una falta de correspondencia entre el concepto de competencia que plantea DeSeCo y la forma en que PISA las evalúa finalmente, fragmentándolas en disciplinas, capacidades, habilidades y destrezas; alejándose de las capacidades de orden superior como son la transferencia, la heurística y la argumentación; haciendo, en definitiva, que la competencia pierda su sentido. Es posible que la pretensión de someter a estas pruebas a un análisis estadístico convencional obligue a los diseñadores a demandar ejercicios de respuestas cerradas para facilitar la corrección de los mismos y evitar el componente de subjetividad que conlleva una valoración.

Por otra parte, consideramos que se debería aprovechar todo el potencial crítico de las preguntas, en tanto que un artificio llamativo de las pruebas de PISA parece ser la restricción de los problemas a temas puramente académicos, con escasa o nula conexión con los temas transversales y de la ‘vida real’. Es cierto que algunas actividades plantean cuestiones de salud y medio ambiente, pero no profundizan en ellas, no plantean preguntas que revelen en profundidad la actitud del alumno/a, ni plantean reflexiones o dilemas éticos ligados a la actividad científica.

En otro orden de cosas, consideramos que permitir el acceso a material de consulta para responder las preguntas debe ser un recurso imprescindible para la evaluación de competencias; el alumnado, desde este punto de vista, debería tener a su alcance todo tipo de información.

A modo de conclusión final, cabría preguntarse para futuras investigaciones si este modelo de evaluación de competencias que plantea PISA (mediante pruebas estandarizadas) es o debe ser el más adecuado para las finalidades que se proponen desde el propio Programa de evaluación. Algunas de las dificultades que hemos visto a lo largo de todo el artículo, podrían resultar insalvables para una prueba de estas características: la relevancia del contenido de las pruebas, la corrección objetiva de preguntas que pudieran plantear argumentación y/o heurística, etc. Por lo tanto, estamos en condiciones de esgrimir la necesidad de otros modelos más acordes para la evaluación de competencias educativas en sentido holístico, poniendo en duda, por tanto, si la solución a la evaluación de competencias está en el perfeccionamiento de la prueba PISA o en el modelo elegido para la evaluación de las mismas. Tal vez los países implicados debieran acudir a enfoques cualitativos que permitieran la observación del comportamiento de los adolescentes en situaciones naturales para matizar los resultados estadísticos globales, puesto que en el horizonte no se atisba una desaparición de estos análisis mundiales.

Extraído de

Gallardo-Gil, Monsalud; Fernández-Navas, Manuel; Sepúlveda-Ruiz, María-Pilar; Serván, María-José; Yus, Rafael & Barquín, Javier (2010).
PISA y la competencia científica: Un análisis de las pruebas de PISA en el Área de Ciencias. RELIEVE, v. 16, n. 2, p. 1-17. http://www.uv.es/RELIEVE/v16n2/RELIEVEv16n2_6.htm

Perspectiva general del Programa para la Evaluación Internacional de Alumnos de la OCDE (PISA)

Las Evaluaciones Internacionales de Calidad Educativa PISA miden el rendimiento escolar de alumnos de 15 años, en algunas de las áreas. La idea de "Calidad Educativa" es mucho más completa. En los siguientes párrafos se transcribe una perspectiva general de estas evaluaciones estandarizadas, dada por los organizadores.

El Programa para la Evaluación Internacional de Alumnos de la OCDE (PISA) constituye un esfuerzo de colaboración acometido por todos los países miembros, así como por un buen número de países no miembros asociados, cuyo objetivo es medir hasta qué punto los alumnos de 15 años se encuentran preparados para afrontar los retos que les planteará su vida futura. Se ha elegido la edad de 15 años porque, en la mayoría de los países de la OCDE, los alumnos de esa edad se acercan ya al final del período de escolarización obligatoria y, por tanto, una evaluación realizada en ese momento permite obtener una idea bastante aproximada de los conocimientos, las habilidades y aptitudes que se han acumulado a lo largo de un período educativo de unos diez años. A la hora de evaluar los conocimientos, las habilidades y aptitudes de los alumnos, la evaluación PISA adopta un enfoque amplio que, si bien refleja los cambios más recientes en materia curricular, va más allá del enfoque centrado en la escuela para orientarse hacia la aplicación de los conocimientos a las tareas y los retos cotidianos. Las habilidades adquiridas por los alumnos reflejan su capacidad de seguir aprendiendo a lo largo de sus vidas mediante la aplicación de lo aprendido en la escuela a entornos extraescolares, la valoración de sus distintas opciones y la toma de decisiones. La evaluación, dirigida conjuntamente por los gobiernos participantes, aúna los intereses en materia política de los países mediante la aplicación de unos conocimientos científicos a escala nacional e internacional.

En PISA se combina la evaluación de áreas cognitivas de un campo específico, como son la lectura, las matemáticas y las ciencias, con una evaluación sobre el entorno doméstico de los alumnos, el enfoque que dan a su aprendizaje, la percepción que tienen del entorno de aprendizaje y su grado de familiaridad con el uso de ordenadores. Una de las máximas prioridades de PISA 2006 consiste en una innovadora evaluación de las actitudes de los alumnos hacia las ciencias, un aspecto que quedó recogido mediante una serie de preguntas contextualizadas dentro del apartado cognitivo de la prueba. Esta proximidad entre las preguntas de actitud y los ejercicios cognitivos permitió asimismo dirigir las preguntas a unas áreas específicas que se centraron en el interés por las ciencias y el respaldo que prestan los alumnos a la investigación científica. Los resultados obtenidos por los alumnos en la evaluación cognitiva se asocian luego a estos factores contextuales.

PISA utiliza:

i) mecanismos muy rigurosos de control de calidad de la traducción, el muestreo y la administración de las pruebas;

ii) medidas para conseguir la máxima amplitud cultural y lingüística en los materiales de evaluación, objetivo que se alcanza fundamentalmente mediante la implicación de los países en el proceso de elaboración y revisión de los ejercicios; y

iii) la aplicación de las tecnologías y metodologías más avanzadas para el proceso de datos. Mediante la conjunción de todas estas medidas se obtienen unas herramientas de gran calidad, así como unos resultados con un alto grado de validez y fiabilidad, que permiten comprender mejor el funcionamiento de los sistemas educativos y los conocimientos, las habilidades y actitudes de los alumnos.

PISA se basa en un modelo dinámico de aprendizaje en el que los nuevos conocimientos y las habilidades necesarios para adaptarse con éxito a un mundo cambiante se adquieren de forma continuada a lo largo de toda la vida. PISA se centra en todo aquello que los jóvenes de 15 años necesitarán en el futuro y se propone evaluar qué son capaces de hacer con lo que han aprendido. La evaluación toma en consideración el común denominador de los currículos nacionales, pero no se circunscribe a él.

Así, a la vez que evalúa los conocimientos adquiridos por los alumnos, PISA examina su capacidad para reflexionar y aplicar sus conocimientos y experiencias a los problemas que plantea la vida real. Por ejemplo, un adulto que pretenda comprender y valorar las recomendaciones científicas relativas a la seguridad de los alimentos no podrá limitarse a conocer algunos hechos básicos sobre la composición de los nutrientes, sino que deberá ser capaz de aplicar dicha información. El término «competencia» se emplea para condensar esta concepción más amplia de los conocimientos y las habilidades.

El proyecto PISA ha sido diseñado con objeto de recopilar información en ciclos trienales, presentar datos sobre la competencia lectora, matemática y científica de los alumnos, los centros de enseñanza y los países, proporcionar datos reveladores sobre los factores que influyen en el desarrollo de las habilidades y las actitudes, tanto en el entorno doméstico como en el escolar, y analizar cómo interactúan esos factores y cuáles son sus implicaciones para la adopción de pautas de actuación política.

En esta publicación, que presenta el marco conceptual que sirve de base a las evaluaciones PISA 2006, se incluye una reelaboración y ampliación del marco de la competencia científica y un aspecto innovador relativo a la evaluación de la actitud de los alumnos hacia las ciencias, así como los marcos de evaluación de lectura y matemáticas. Para cada área, el marco de la evaluación define los contenidos que los alumnos deben adquirir, los procesos que deben ser capaces de ejecutar y los contextos a los que deben aplicar sus conocimientos y habilidades. Finalmente, cada área, así como sus distintos aspectos, se ilustra con una serie de ejercicios de muestra.

Extraído de

PISA 2006
MARCO DE LA EVALUACIÓN
Conocimientos y habilidades en Ciencias, Matemáticas y Lectura

Evaluación de la Competencia Científica en PISA

Las evaluaciones PISA investigan el nivel alcanzado por los alumnos, entre otras áreas, en “Competencia científica” ¿Qué aspecto deben los evaluados valorar en ciencias y tecnología?  ¿Qué actividades deben ser capaces de desarrollar?

Por su condición de área de evaluación prioritaria, la competencia científica tiene especial relevancia en PISA 2006. Al ser la primera vez que dicha competencia se evalúa de una forma tan detallada, el área ha experimentado un intenso proceso de reelaboración desde el estudio de 2003, que comporta, entre otras cosas, una interpretación más amplia de la materia objeto de evaluación. Esto implica no solo una descripción más pormenorizada de la competencia científica, sino también una importante innovación en el enfoque de la evaluación, que repercutirá en el conjunto de PISA en el futuro. Por vez primera se incluyen en el estudio principal una serie de preguntas de actitud adjuntas a la evaluación de los conocimientos y habilidades cognitivas. Llevar a cabo una investigación que permita determinar en qué medida las cuestiones que se plantean en el curso de la prueba de evaluación despiertan el interés de los alumnos contribuye a fortalecer la evaluación de una serie de elementos relativos a la actitud y la motivación que serán importantes en el futuro compromiso con la ciencia. Con anterioridad, las preguntas referidas a estos aspectos se hallaban limitadas a un cuestionario independiente donde se preguntaba de una forma más general sobre el interés y la motivación.

La comprensión de las ciencias y la tecnología resulta crucial para la preparación para la vida de los jóvenes en la sociedad contemporánea. Mediante ella, el individuo puede participar plenamente en una sociedad en la que las ciencias y la tecnología desempeñan un papel fundamental. Esta comprensión faculta asimismo a las personas para intervenir con criterio en la definición de las políticas públicas relativas a aquellas materias científicas o tecnológicas que repercuten en sus vidas. En suma, comprender las ciencias y la tecnología influye de manera significativa en la vida personal, social, profesional y cultural de todas las personas.

Un alto porcentaje de los problemas, situaciones y asuntos a los que deben hacer frente las personas en sus vidas cotidianas requieren un cierto grado de conocimiento de las ciencias y la tecnología antes de poder ser valorados, comprendidos o abordados. Las personas se enfrentan a cuestiones con un componente científico o tecnológico tanto a nivel personal como a nivel comunitario, nacional e incluso global y, por tanto, se debería animar a los dirigentes nacionales a interrogarse sobre el grado de preparación que tienen los individuos de sus respectivos países para abordar este tipo de cuestiones. No obstante, quizá sea aún más importante preguntarse cómo responden ante estas cuestiones los alumnos de 15 años. Contestar a esta pregunta proporcionará un indicador anticipado sobre la forma en que responderán en un momento posterior de sus vidas ante la gran diversidad de situaciones vitales en las que se hallan presentes las ciencias y la tecnología.

Para establecer las bases de una evaluación internacional de los jóvenes de 15 años parece, pues, razonable formularse la siguiente pregunta: «¿Qué es importante que sepan, valoren y sean capaces de realizar los ciudadanos en las situaciones que comportan un contenido científico o tecnológico?». Responder a esta pregunta supone determinar los cimientos de la evaluación en los siguientes términos: los conocimientos, valores y habilidades que poseen hoy los estudiantes se relacionan con lo que necesitarán en el futuro. En este sentido, la clave de la respuesta reside en el conjunto de competencias concretas que se encuentran en el núcleo mismo de la definición que hace PISA 2006 del concepto de competencia científica. Mediante ellas se interroga sobre la capacidad de los estudiantes a la hora de:

•          identificar cuestiones científicas,

•          explicar fenómenos científicamente,

•          utilizar pruebas científicas.

Estas capacidades concretas requieren que los alumnos den muestra, por un lado, de sus conocimientos y sus destrezas cognitivas y, por otro, de sus actitudes, valores y motivaciones al abordar y dar respuesta a las cuestiones relacionadas con las ciencias.

Identificar lo que deben conocer, valorar y ser capaces de realizar los ciudadanos en las situaciones que comportan aspectos científicos y tecnológicos puede parecer una tarea bastante clara y sencilla. Hacerlo, no obstante, significa plantearse la cuestión de la comprensión científica, sin que ello implique un dominio del conjunto del conocimiento científico. En este sentido, el principio rector por el que se guiará el presente marco de evaluación serán las necesidades de los ciudadanos. En su condición de ciudadano, ¿qué conocimiento es el más indicado para una persona? La respuesta a esta pregunta incluye sin duda los conceptos básicos de las disciplinas científicas, pero ese conocimiento ha de ser a su vez utilizado en los contextos que los individuos se encuentran en sus vidas. Por otra parte, resulta bastante normal que las personas se vean en situaciones que requieren un cierto grado de conocimiento de la ciencia, entendida como un proceso que genera conocimiento y postula explicaciones del mundo natural1. Finalmente, los ciudadanos también deben ser conscientes de las relaciones complementarias que se dan entre las ciencias y la tecnología, así como de la ubicua influencia que ejercen las tecnologías de base científica sobre la naturaleza de la vida moderna.

¿Qué aspectos de las ciencias y la tecnología deben valorar los ciudadanos? La respuesta debería incluir el papel y la contribución de las ciencias y las tecnologías de base científica a la sociedad, así como su importancia en muchos contextos personales, sociales y globales. Es razonable esperar, por tanto, que los individuos se muestren interesados en las ciencias, apoyen los procesos de investigación científica y adopten una actitud responsable en relación con los recursos naturales y el medio ambiente.

¿Qué actividades relacionadas con las ciencias debe ser capaz de realizar una persona? Cualquier individuo se ve a menudo en la necesidad de extraer conclusiones adecuadas a partir de una serie de pruebas e informaciones que se le han suministrado. Asimismo, puede tener que evaluar las afirmaciones de terceros sobre la base de las pruebas presentadas o diferenciar entre una opinión personal y una aseveración basada en pruebas. En muchas ocasiones, las pruebas presentes en este tipo de situaciones tienen un carácter científico. No obstante, las ciencias también pueden desempeñar un papel de carácter más general debido a su estrecha vinculación con la aplicación de criterios racionales para contrastar ideas y teorías con las pruebas disponibles. Esto no significa, por supuesto, una negación de la importancia que tienen la creatividad y la imaginación en las ciencias, dos aspectos que siempre han desempeñado un papel crucial en el progreso de la comprensión humana del mundo.

¿Poseen los ciudadanos la capacidad de diferenciar las afirmaciones dotadas de solidez científica de las que carecen de ella? No es habitual que se pida al ciudadano medio que emita un juicio sobre la validez de las principales teorías científicas o sobre los potenciales avances de la ciencia. En cambio, lo que sí que hacen es tomar decisiones basándose en los datos que presentan los anuncios, en las pruebas esgrimidas en cuestiones jurídicas o en informaciones concernientes a su salud o a los temas relacionados con el medio ambiente y los recursos de su entorno más inmediato. Una persona cultivada debería ser capaz de distinguir el tipo de cuestiones a las que pueden dar respuesta los científicos, o el tipo de problemas que pueden ser solucionados mediante la aplicación de tecnologías de base científica, de aquellas otras que no pueden responderse ni solucionarse de esa manera.

Extraído de

PISA 2006
MARCO DE LA EVALUACIÓN
Conocimientos y habilidades en Ciencias, Matemáticas y Lectura

La competencia científica en PISA 2006

Las pruebas PISA miden el rendimiento escolar relacionado con las “competencias científicas” de los alumnos de 15 años ¿Qué significado se otorga a “Educación en ciencias”? Los siguientes párrafos nos dan la explicación de los organizadores.

El término competencia científica ha sido elegido por las siguientes razones: es aceptado como un término que representa las metas de la educación en ciencias que son aplicables a todos los estudiantes; connota la gran amplitud y el carácter aplicado que tiene como objetivo la educación en ciencias; representa un continuo que engloba tanto el conocimiento científico como las habilidades científicas asociadas a la investigación en ciencias; incorpora una multiplicidad de dimensiones e incluye las relaciones entre la ciencia y la tecnología. En su conjunto, las competencias específicas que constituyen el núcleo de la definición caracterizan los fundamentos de la competencia científica en su sentido más amplio, así como el objetivo de la evaluación en ciencias de PISA 2006, que no es otro que evaluar el nivel de competencia alcanzado por los alumnos.

A efectos de la evaluación PISA 2006, el concepto de competencia científica2 aplicado a un individuo concreto hace referencia a los siguientes aspectos:

•          el conocimiento científico y el uso que se hace de ese conocimiento para identificar cuestiones, adquirir nuevos conocimientos, explicar fenómenos científicos y extraer conclusiones basadas en pruebas sobre temas relacionados con las ciencias;

•          la comprensión de los rasgos característicos de la ciencia, entendida como una forma del conocimiento y la investigación humanos;

•          la conciencia de las formas en que la ciencia y la tecnología moldean nuestro entorno material, intelectual y cultural;

•          la disposición a implicarse en asuntos relacionados con la ciencia y a comprometerse con las ideas de la ciencia como un ciudadano reflexivo.

Las observaciones que siguen contribuirán a clarificar esta definición.

Competencia científica

El empleo del término «competencia científica» en lugar del término «ciencia» pone de relieve la importancia que concede la evaluación PISA 2006 a la aplicación del conocimiento científico al contexto de las situaciones vitales, a la vez que se contrapone a la mera reproducción del conocimiento científico que caracteriza la enseñanza escolar. El uso funcional del conocimiento comporta la aplicación de los procesos que caracterizan a las ciencias y al método de investigación científica (las competencias específicas de las ciencias), y viene determinado por la apreciación, el interés, los valores y los actos de los individuos en relación con los asuntos científicos. La capacidad de un alumno para poner en práctica sus competencias científicas conlleva necesariamente el conocimiento de la ciencia, así como la comprensión de los rasgos propios de la ciencia, entendida como un método para adquirir conocimientos (esto es, el conocimiento acerca de la ciencia). La definición reconoce asimismo que la disposición a ejercitar estas competencias concretas depende de las actitudes del individuo hacia las ciencias y de su disposición a implicarse en cuestiones relacionadas con las ciencias.

El conocimiento científico y el uso que se hace de ese conocimiento para identificar cuestiones, adquirir nuevos conocimientos, explicar fenómenos científicos y extraer conclusiones basadas en pruebas

Según esta definición de la competencia científica, el conocimiento entraña mucho más que la capacidad de recordar información, hechos y nombres. La definición hace referencia tanto al conocimiento de la ciencia (el conocimiento del mundo natural) como al conocimiento acerca de la propia ciencia. El primero de ellos comporta la comprensión de los conceptos y las teorías científicas fundamentales, mientras que el segundo implica comprender la naturaleza de la ciencia como actividad humana, así como el poder y las limitaciones del conocimiento científico. Las cuestiones que se han de identificar son aquellas a las que puede dar respuesta la investigación científica, lo cual, una vez más, requiere un conocimiento acerca de la ciencia y un conocimiento científico de los temas pertinentes. Especial relevancia para la definición de la competencia científica tiene el hecho de que, a la hora de adquirir nuevos conocimientos, las personas en muchas ocasiones no pueden llevar a cabo sus propias investigaciones, sino que deben acudir a otras fuentes, como son las bibliotecas o Internet. Extraer conclusiones basadas en pruebas supone seleccionar y evaluar la información y los datos, sabiendo reconocer al mismo tiempo que a menudo no se dispone de información suficiente para extraer una conclusión definitiva, lo cual obliga a especular sobre la información disponible de forma consciente y con la debida cautela.

Los rasgos característicos de la ciencia, entendida como una forma del conocimiento y la investigación humanos

Como ya se ha señalado, la competencia científica implica que los alumnos deben tener un cierto conocimiento de la forma en que los científicos obtienen datos y plantean explicaciones, así como la capacidad de reconocer los rasgos esenciales de las investigaciones científicas y los tipos de respuesta que es razonable obtener por medio de la ciencia. Deben saber, por ejemplo, que los científicos recurren a la observación y los experimentos para recopilar datos sobre los objetos, los organismos y los sucesos del mundo natural. Esos datos se utilizan luego para proponer explicaciones que pasan a ser del dominio público y pueden ser empleadas en diversos tipos de actividades humanas. De hecho, la recogida y la utilización de datos constituyen dos elementos clave de las ciencias. La recogida de datos, en concreto, se guía por ideas y conceptos (a veces planteados en forma de hipótesis), y conlleva las nociones de relevancia, contexto y precisión, así como el carácter provisional de los conocimientos postulados, la receptividad a la revisión escéptica, el empleo de argumentos lógicos y la obligación de establecer nexos con el conocimiento actual e histórico y de dar cuenta de los métodos y procedimientos empleados para la obtención de pruebas.

Las formas en que la ciencia y la tecnología moldean nuestro entorno material, intelectual y cultural

Los puntos clave de esta afirmación residen en la idea de que la ciencia constituye una empresa humana y que dicha empresa ejerce una notable influencia en nuestras sociedades y en nosotros mismos como individuos. La categorización de empresa humana es aplicable asimismo al desarrollo tecnológico (Fleming, 1989). Aun cuando la ciencia y la tecnología difieren hasta cierto punto en sus objetivos, procesos y realizaciones, lo cierto es que se encuentran estrechamente relacionadas y, en muchos aspectos, resultan complementarias. A este respecto, la definición de competencia científica que aquí se postula incluye tanto la naturaleza de la ciencia y la tecnología como sus relaciones de complementariedad. A través de las políticas públicas, los individuos tomamos decisiones que influyen en la orientación de la ciencia y la tecnología. Sin embargo, el papel de la ciencia y la tecnología en la sociedad tiene un componente paradójico, pues a la vez que plantean respuestas a interrogantes y dan soluciones a problemas, pueden ser el origen de nuevos interrogantes y problemas.

La disposición a implicarse en asuntos relacionadas con la ciencia y a comprometerse con las ideas de la ciencia como un ciudadano reflexivo. El alcance de los significados que conlleva la primera parte de esta aseveración va más allá de la mera toma de apuntes o la realización ocasional de alguna práctica científica. Implica que se mantiene un interés continuado por la ciencia, que se tienen opiniones sobre ella y que se participa en actividades actuales y futuras de carácter científico. La segunda parte de la aseveración cubre varios aspectos de las actitudes y los valores de los individuos en relación con la ciencia. La frase hace referencia a una persona que se interesa por los temas científicos, piensa en temas de carácter científico, tiene interés en cuestiones relacionadas con la tecnología, los recursos y el medio ambiente, y reflexiona sobre la importancia de la ciencia desde una perspectiva personal y social.

Como no podía ser de otra manera, la competencia científica recurre a la competencia en matemáticas y en lectura. La competencia lectora, por ejemplo, puede resultar necesaria para que un estudiante demuestre su comprensión de la terminología científica. De modo similar, en un contexto de interpretación de datos, pueden ser necesarios diversos aspectos de la competencia matemática. Si bien la intersección de estas otras competencias con la definición y la evaluación de la competencia científica de PISA 2006 es algo inevitable, en el núcleo de cada una de las tareas de evaluación deberá haber siempre determinados aspectos que pertenezcan de manera inequívoca al campo de la competencia científica.

En comparación con la definición de competencia científica de las evaluaciones PISA 2000 y 2003, la definición de 2006 presenta un mayor grado de elaboración, así como una serie de mejoras. En las anteriores evaluaciones, donde las ciencias eran un área secundaria, la competencia científica se definía en los siguientes términos:

La competencia científica es la capacidad de utilizar el conocimiento científico, identificar cuestiones científicas y sacar conclusiones basadas en pruebas con el fin de comprender y ayudar a tomar decisiones relativas al mundo natural y a los cambios que ha producido en él la actividad humana (OCDE, 1999, 2000, 2003a).

Las aseveraciones iniciales de las definiciones de 2000, 2003 y 2006 son sustancialmente las mismas, puesto que en todos los casos se centran en el uso que hacen los individuos del conocimiento científico con el fin de sacar conclusiones. Sin embargo, mientras que en las definiciones de 2000 y 2003 el conocimiento de la ciencia y la comprensión acerca de la ciencia se englobaban dentro de la noción de conocimiento científico, la definición de 2006 desglosa y desarrolla este aspecto de la competencia científica mediante la adición de unos términos que ponen de relieve el conocimiento que tienen los alumnos acerca de los rasgos característicos de la ciencia. Ambas definiciones se refieren luego a la aplicación del conocimiento científico con el fin de comprender y tomar decisiones sobre el mundo natural. En PISA 2006 esta parte de la definición se mejora al añadir el conocimiento de las relaciones entre ciencia y tecnología, un aspecto de la competencia científica que, si bien no se llegaba a desarrollar, se presuponía en las definiciones anteriores. En el mundo actual, la ciencia y la tecnología se hallan estrechamente ligadas y es frecuente que se den relaciones sinérgicas entre ambas.

En contraposición con las definiciones anteriores, la definición de competencia científica de PISA 2006 se ha ampliado para incluir de forma explícita distintos aspectos de la actitud que manifiestan los alumnos ante aquellas cuestiones dotadas de relevancia científica y tecnológica. En suma, exceptuada la inclusión del elemento de actitud, la definición de 2006 concuerda conceptualmente con la definición de 2000/2003. Otros cambios, como son el desarrollo del concepto del conocimiento acerca de la ciencia o la noción de la tecnología de base científica, se limitan a enfatizar unos aspectos concretos que ya estaban englobados o implícitos en las definiciones anteriores.

Extraído de

PISA 2006
MARCO DE LA EVALUACIÓN
Conocimientos y habilidades en Ciencias, Matemáticas y Lectura