sábado, 8 de noviembre de 2008

Evaluaciones Internacionales de Calidad Educativa desde sus comienzos.

Este artículo, en forma completa, puede bajarse de ACA, le pertenece a Alejandro Tiana Ferrer

Comienzos de las Evaluaciones
La última década del siglo XX fue testigo de una preocupación creciente por la mejora de la calidad de la educación, tanto en los países desarrollados, como en aquellos que aún estaban en vías de serlo. La presión económica internacional, la expansión del proceso de globalización, la introducción masiva de las nuevas tecnologías de la información y la comunicación, junto con otros fenómenos económicos y sociales de gran impacto, volvieron a atraer la atención hacia la educación, considerada nuevamente como un factor decisivo para asegurar el desarrollo de los pueblos (OECD, 1992). En ese contexto de renovada preocupación educativa, aumentó el interés por evaluar y comparar la situación y los resultados de los sistemas educativos, apareciendo nuevas iniciativas en ese sentido, como la construcción de un sistema internacional de indicadores de la educación, tarea impulsada por la OCDE desde finales de los años ochenta (CERI, 1994).

Siguiendo ese impulso, durante los diez últimos años se han iniciado y puesto en marcha diversos proyectos internacionales de evaluación de la educación, que están dando lugar a informes que cada vez reciben más atención. El caso de la reciente publicación de los resultados del proyecto PISA de la OCDE, que ha producido debates públicos en muy diversos países, es un ejemplo palpable de esa nueva situación (OECD, 2001b). Podría decirse que la evaluación internacional de los resultados de la educación es una tendencia que se ha consolidado en los últimos diez años.

El mundo como un laboratorio educativo: la actuación de la IEA
Y decimos que se trata de una tendencia que se ha consolidado, porque no se puede considerar que sea estrictamente nueva. En efecto, los antecedentes de esta expansión actual se remontan a una época tan lejana en el tiempo como el final de los años cincuenta, cuando un grupo de reconocidos investigadores en educación decidieron crear una asociación internacional para evaluar los resultados de los sistemas educativos. Así es como se constituyó la International Association for the Evaluation of Educational Achievement (IEA), tras una primera reunión celebrada en 1958 en el Instituto de Educación de la UNESCO en Hamburgo (Tiana, 2001).

La propuesta de aquellos investigadores consistía en realizar estudios internacionales del rendimiento educativo, adoptando para ello una perspectiva comparada. Desde su punto de vista, los estudios comparativos de los sistemas educativos debían tomar necesariamente en consideración los resultados que conseguían los estudiantes, cosa que no siempre ocurría. Aunque no menospreciaban las iniciativas centradas en el análisis comparado de aspectos tales como los recursos disponibles o las condiciones en que se desarrolla la enseñanza, consideraban que la evaluación de un sistema educativo debía basarse en la emisión de juicios rigurosos sobre los resultados alcanzados por los alumnos.

No obstante, aquel grupo de investigadores que constituyó la IEA no quería limitarse a medir y comparar los resultados educativos conseguidos por los estudiantes, sino que pretendía explicarlos de manera convincente. Además de calcular y valorar los resultados, querían identificar los principales factores capaces de explicar las diferencias de rendimiento encontradas y analizar de qué modo interactuaban entre sí. Esa explicación constituía, en última instancia, la base para diseñar cualquier acción de mejora de la educación, que era lo que realmente les preocupaba.

Fue ese el contexto en que surgió la idea de considerar el mundo como un laboratorio educativo (Purves, 1993). La idea es ciertamente simple, pero hay que reconocer que fue una idea feliz. Se basa en la explotación de la variación natural que existe entre los sistemas educativos, cuando se pretende explicar sus resultados. Frente al caso de otros campos científicos, donde se pueden aplicar procedimientos experimentales para estudiar el efecto de determinadas condiciones o intervenciones, en el ámbito educativo es muy complicado, e incluso para muchos éticamente discutible, seguir procesos estrictamente experimentales. Los investigadores suelen recurrir a otro tipo de métodos, en muchos casos empíricos, pero pocas veces experimentales en sentido estricto. A pesar de esa dificultad, hay que tener en cuenta que los sistemas educativos difieren notablemente entre sí, con una variación que podemos considerar natural (aunque, en realidad, puede argumentarse que deriva en buena medida de su historia y de las condiciones de su entorno), circunstancia que puede permitir extraer conclusiones interesantes aplicando una metodología comparativa.

De acuerdo con esa concepción, los sistemas educativos deben ser considerados como sistemas complejos, formados por escuelas, clases, profesores, estudiantes y comunidades. Cada sistema tiene algunos rasgos distintivos propios, mientras que otras de sus características son comunes. Por lo tanto, sería teóricamente posible comparar los resultados conseguidos por los estudiantes, controlando en la medida de lo posible las variables diferenciales que intervienen en el rendimiento. Ese tipo de comparación permitiría analizar y valorar la influencia de dichos factores, contribuyendo a explicar sus efectos respectivos. Así, podrían valorarse las consecuencias de los diversos modos de diseño y desarrollo curricular, la integración o segregación de los alumnos en vías académicas alternativas, los modelos de formación del profesorado o la interacción didáctica en el interior del aula, por no citar sino algunos factores frecuentemente estudiados. Sin necesidad de introducir cambios en un sistema educativo determinado, lo que no siempre resulta posible, sencillo ni conveniente, la existencia de esa variación natural permitiría analizar y valorar el efecto de los principales factores asociados con el rendimiento. Esa es, en síntesis, la concepción del mundo como laboratorio educativo, que la IEA difundió entre los investigadores de la educación.

Esa idea directriz sirvió de esquema básico para diseñar y poner en marcha los primeros estudios emprendidos por la IEA, entre los que destacan el primer Estudio de Viabilidad (Feasibility Study), de carácter piloto y desarrollado entre 1959 y 1962 en doce sistemas educativos el Primer Estudio Internacional de Matemáticas (First International Matematics Study – FIMS), que se llevó a cabo entre 1959 y 1967; el Estudio de Seis Materias (Six-subject Survey), iniciado en 1966 y finalizado a comienzos de los setenta; y el Segundo Estudio Internacional de Matemáticas (Second International Matematics Study -SIMS), realizado entre 1964 y 1967. Posteriormente, durante los años setenta y ochenta, la IEA desarrolló el Estudio del Entorno Escolar (Classroom Environment Study, 1978-1981), el Estudio Internacional de Composición Escrita (International Study of Achievement in Written Composition, 1980-1986), y el Segundo Estudio Internacional en Ciencias (Second International Science Study – SISS, 1980-1987). Ya en los noventa llevaría a cabo el ciclo conocido como Tercer Estudio Internacional de Matemáticas y Ciencias (Third International Matematics and Science Study – TIMSS), el ciclo sobre Comprensión Lectora (Reading Literacy Study y Progress in Reading Literacy Study – PIRLS), el ciclo de estudios sobre Tecnologías de la Información en Educación (Computers in Education y Second Information Technologies in Education Study – SITES), el estudio sobre Educación Preescolar (Pre- Primary Education) y el estudio sobre Educación Cívica (Civic Education).

Este conjunto de trabajos, que ha dado lugar a una amplia serie de informes y publicaciones (Degenhart, 1990), ha proporcionado una valiosa información sobre el nivel comparativo de rendimiento de los sistemas educativos, por una parte, y sobre las variables asociadas a los resultados, por otra. Para permitir tales logros, la IEA ha aplicado una metodología básicamente cuantitativa, que presenta tres rasgos característicos:

a) En primer lugar, la IEA ha aplicado procedimientos estandarizados de evaluación, consistentes fundamentalmente en pruebas de rendimiento de los alumnos y cuestionarios dirigidos a profesores, directores escolares y a los propios alumnos. En ocasiones ha aplicado otros procedimientos, tales como realización de tareas prácticas (performance tasks) o técnicas cualitativas (estudios de caso, por ejemplo), pero insistiendo siempre en su carácter estandarizado. La recogida de datos por medio de dichos instrumentos permite aplicar técnicas de análisis rigurosas, respetuosas de las condiciones de una comparación fiable y válida. Con el paso de los años, los procedimientos concretos de recogida y análisis de datos han ido variando, esforzándose siempre por mantener su carácter innovador.

b) En segundo lugar, los estudios de la IEA se han basado en marcos conceptuales centrados en el currículo escolar. Ese modo de actuar ha estado motivado por la voluntad de realizar estudios que pudiesen ofrecer orientaciones para la mejora de los sistemas educativos de los países participantes. En consecuencia, los resultados que se pretende valorar deben guardar relación con los objetivos establecidos para las diversas etapas educativas. Esa decisión condujo a la elaboración de una distinción que ya se ha convertido en clásica entre currículo prescrito, impartido y alcanzado (Pelgrum, 1989), así como al desarrollo del concepto de oportunidad de aprender, que ha inspirado muchos trabajos e investigaciones (Anderson, 1991).

c) En tercer lugar, la IEA se ha esforzado por conseguir que los instrumentos de evaluación aplicados estuviesen libres de sesgos culturales, idiomáticos o de otro tipo. Para alcanzar ese objetivo ha basado sus estudios en análisis curriculares previos, capaces de permitir la elaboración de instrumentos adecuados a la diversidad internacional de situaciones escolares, ha desarrollado procedimientos cooperativos de construcción de pruebas, en la que colaboran todos los países participantes, y ha establecido criterios rigurosos para la traducción de los instrumentos elaborados a las diversas lenguas.

Los estudios internacionales de evaluación de la educación en la actualidad
A lo largo de las últimas décadas del siglo XX, los estudios de la IEA han servido de referencia y de modelo para la puesta en marcha de nuevas iniciativas de evaluación internacional de los resultados educativos. En la actualidad, son diversos los organismos y las instituciones que llevan a cabo estudios de esta naturaleza, bien a escala mundial, bien circunscribiéndose a algunas áreas geográficas o geopolíticas concretas. La situación es tal que puede afirmarse que estamos asistiendo a un auge considerable de los estudios internacionales que tienen por objeto la evaluación del rendimiento educativo.

Entre las organizaciones que más han impulsado este tipo de estudios internacionales, hay que destacar a la Organización para la Cooperación y el Desarrollo Económico (OCDE). Aunque su interés por los asuntos educativos viene de antiguo (Papadopoulos, 1994), en la década de los noventa puso en marcha un ambicioso proyecto de construcción de indicadores internacionales de la educación, que ha dado importantes frutos. Se trata del denominado Proyecto INES, que ha producido la serie de informes que viene publicándose desde 1992 con el título de Education at a Glance / Regards sur l’éducation.

Los indicadores elaborados por la OCDE se refieren tanto al contexto de la educación como a los recursos humanos y económicos utilizados, los procesos escolares y los resultados logrados. No obstante, esta última dimensión ha estado poco atendida, dado que los únicos datos hasta ahora existentes eran los procedentes de los estudios de la IEA, que no siempre se ajustaban a las demandas formuladas, ni por el número de países participantes, ni por las áreas evaluadas, ni por su periodicidad. Para salvar esa carencia de indicadores de resultados educativos, la OCDE diseñó y puso en marcha a finales de los noventa el proyecto denominado PISA (Programme for International Student Assessment), que pretende valorar
el grado de formación de los jóvenes de quince años, en tres áreas básicas: matemáticas, lectura y ciencias. La primera recogida de datos se realizó en el año 2000 (OECD, 2001b), estando previsto que se repita cada tres años, aunque haciendo énfasis sucesivamente en cada una de las áreas mencionadas.

Además del Proyecto PISA, la OCDE ha realizado otros estudios orientados a la evaluación de las capacidades de la población adulta (International Adult Literacy Survey, International Life Skills Survey), que han empezado a producir algunos resultados de interés (OECD & Statistics Canada, 1995). Su objetivo consiste en aproximarse a una estimación del capital humano de los países, a través de la estimación del grado de formación de su población en edad laboral (de 16 a 65 años).

La Unión Europea ha desarrollado algunas tareas orientadas en la misma dirección durante los últimos años. En primer lugar, merece la pena citar la publicación de la serie denominada Cifras claves de la educación en la Unión Europea, aunque el informe no incluye datos procedentes de estudios de evaluación de los resultados de los estudiantes. En segundo lugar, hay que mencionar el reciente empeño tendente a construir unos indicadores europeos de calidad de la educación, cuyos primeros resultados aún no se han publicado.

También la UNESCO ha emprendido algún proyecto de la misma naturaleza, entre los que destaca especialmente el denominado Laboratorio Latinoamericano de Evaluación de la Calidad de la Educación, cuyos trabajos se han desarrollado también en la última década (Laboratorio Latinoamericano de Evaluación de la Calidad de la Educación, 1998). Otras iniciativas de distinta naturaleza han sido emprendidas por la Organización de Estados Iberoamericanos para la Educación, la Ciencia y la Cultura (OEI), la Cumbre de las Américas o el Programa de Promoción de la Reforma Educativa en América Latina (PREAL), por hacer simplemente referencia al continente americano (Tiana, 2000).

Ahora bien, toda esta serie de estudios, aun siendo semejantes, tienen sin embargo características parcialmente distintas, que conviene destacar. Ante todo, hay que distinguir los proyectos directamente orientados a evaluar los resultados conseguidos por los estudiantes (como son el TIMSS, PIRLS o PISA) de aquellos otros que tienen unos objetivos más amplios, como es el caso de la construcción de sistemas de indicadores (Proyecto INES e indicadores de la Unión Europea o de la Cumbre de las Américas). Si bien es cierto que estos últimos sistemas suelen incluir algunos indicadores de resultados, no siempre constituyen su núcleo central, ni consiguen en todos los casos aportar datos originales. Puede decirse que los sistemas de indicadores elaborados hasta el momento son tributarios del desarrollo experimentado por la estadística educativa, más que de los avances registrados en el campo de la evaluación del rendimiento. Al estar este trabajo centrado en el primer tipo de estudios de los mencionados, las consideraciones que siguen deben entenderse desde esa perspectiva.

La cuestión clave que puede ayudarnos a establecer distinciones pertinentes en el conjunto de los estudios internacionales de evaluación del rendimiento consiste en saber qué miden exactamente. Aunque todos ellos tienen características en parte semejantes, difieren en algunos aspectos fundamentales, lo que obliga a interpretarlos de modo distinto. A efectos de este análisis, hemos distinguido cuatro aspectos diferenciales básicos, que son presentados en forma dicotómica, aun cuando hay que reconocer que entre los dos extremos mencionados en cada caso suelen existir posiciones intermedias.

a) Una primera distinción puede establecerse entre los estudios encaminados a la evaluación del rendimiento escolar y los orientados a la estimación del nivel formativo de una población. Los estudios del primer tipo pretenden evaluar los resultados que logran los alumnos que alcanzan un determinado grado o curso escolar. Es el caso de estudios como el TIMSS, centrado en los aprendizajes adquiridos en matemáticas y ciencias por los alumnos de los cursos cuarto y octavo (equivalentes a los diez y catorce años de edad modal) o el PIRLS, centrado en el aprendizaje lector logrado al alcanzar el cuarto curso.
En ambos estudios, los alumnos evaluados son los que alcanzan dicho curso, con independencia de su edad concreta, aunque se controle esa variable y se tenga en cuenta en los análisis. Los estudios del segundo tipo pretenden estimar el nivel formativo alcanzado por todas las personas que tienen una determinada edad, independientemente de su situación y grado de avance escolar. Es el caso de PISA, que evalúa las capacidades adquiridas por los jóvenes de quince años de edad en las áreas de matemáticas, lectura y ciencias, o del IALS, cuya población de estudio es la comprendida entre 16 y 65 años. En ambos estudios, los sujetos evaluados son elegidos al azar entre los que tienen dicha edad o edades, con independencia del nivel escolar que hayan alcanzado. Mientras que los estudios del primer tipo están más directamente relacionados con la eficacia interna del sistema educativo, los del segundo valoran sus resultados finales.

b) Una segunda distinción es la existente entre los estudios centrados en las áreas curriculares básicas y los dedicados a la evaluación de capacidades transversales. Los estudios del primer tipo pretenden medir el grado de dominio de diversas habilidades ligadas a áreas tales como las matemáticas, la lengua materna o extranjera o las ciencias, esto es, a áreas instrumentales básicas del currículo escolar. Es el caso de TIMSS, PIRLS o PISA, antes mencionados. Los estudios del segundo tipo pretenden medir el grado de desarrollo de diversas capacidades no vinculadas a áreas curriculares concretas, sino relacionadas con otras dimensiones formativas, como pueden ser la educación cívica o la utilización de las nuevas tecnologías de la información. Es el caso del estudio CIVICS de la IEA, que evalúa los conocimientos y las actitudes cívicas de los jóvenes y adolescentes, y también del SITES o la componente adicional del PISA, que valoran la familiaridad con la tecnología informática y el uso que los escolares hacen de la misma. Mientras que los estudios del primer tipo están muy relacionados con los objetivos explícitos del currículo escolar, los segundos tienen que ver con un tipo de formación más amplia y vinculada con distintos tipos de aprendizajes y de comportamientos.

c) Una tercera distinción es la que contrapone los estudios centrados en la evaluación de las capacidades o conocimientos adquiridos por los estudiantes con los que tienen como objetivo estimar el nivel formativo general de una población. Los estudios del primer tipo se basan en la aplicación de pruebas idénticas para todos los alumnos evaluados, lo que proporciona la posibilidad de establecer comparaciones o de realizar análisis basados en unidades individuales. Su contrapartida consiste en que obligan a limitar la cobertura curricular de las pruebas, para evitar su extensión excesiva, lo que implica reducir la profundidad de los análisis subsiguientes. Los estudios del segundo tipo se basan en la aplicación de pruebas rotadas, respondiendo los alumnos a combinaciones diferentes de cuadernillos parciales, con lo que no existe un modelo único de prueba. A cambio, puede ampliarse notablemente la cobertura curricular y se pueden hacer análisis más profundos, aunque sin poder establecer conclusiones de nivel individual, sino únicamente grupal. Cada tipo de estudios permite llegar a conclusiones de distinta naturaleza sobre la situación del sistema educativo.

d) Una cuarta distinción puede establecerse entre los estudios que evalúan los resultados educativos en un momento concreto y los que pretenden medir el progreso educativo a lo largo del tiempo. Los estudios del primer tipo proporcionan una información valiosa acerca del estado de una parcela determinada del sistema educativo en un momento dado, en una circunstancia temporal concreta. Los del segundo tipo se proponen valorar el progreso producido en un lapso de tiempo determinado. Los estudios más sofisticados de los que se desarrollan en la actualidad combinan ambos propósitos. Así, por ejemplo, el TIMSS y el PIRLS están concebidos como ciclos cuatrienales, mientras que el PISA tiene una periodicidad trienal. Ello permite, por una parte, conocer cuál es la situación educativa en un año concreto, y por otra, valorar el progreso producido cada varios años. De ese modo, los países participantes no sólo pueden compararse con otros en un momento dado, sino que pueden analizar cuál es su tendencia de evolución.

Como puede apreciarse, los estudios internacionales tienen características diferentes, que permiten establecer distinciones entre ellos, tanto por el enfoque que adoptan como por la población elegida y el tipo de comparación predominante. Por lo tanto, se puede concluir que para poder interpretar o valorar correctamente un estudio determinado hay que analizar y tener en cuenta sus características específicas.

No hay comentarios:

Related Posts Plugin for WordPress, Blogger...

Busca en mis sitios