Mostrando entradas con la etiqueta impacto. Mostrar todas las entradas
Mostrando entradas con la etiqueta impacto. Mostrar todas las entradas

miércoles, 22 de agosto de 2012

Realizar investigación y evaluar el impacto de programas

Las evaluaciones estandarizadas no se limitan a medir los aprendizajes de los alumnos y su capacidad de usarlos en otros contextos, sino también se ocupa de numerosos aspectos vinculados con el ambiente escolar. Todo esto hace que se convierta en una fuente importante, al momento de investigar la realidad educativa, tal como se explica en el siguiente artículo.




Si consideramos que el aprendizaje - académico o de otra índole - es la misión central de la educación, es posible afirmar que la "variable dependiente" más importante para la investigación educativa orientada a la formulación de políticas no estaba disponible en gran parte de Latinoamérica antes de que los sistemas de evaluación comenzaran a generar resultados. Y dado que la investigación debería ser un insumo importante para la toma de decisiones, la región mostraba un serio retraso.


Antes de los 90, cuando se quería estimar los efectos sobre el aprendizaje de, por ejemplo, la relación estudiante/profesor, las calificaciones formales de profesores/as, la disponibilidad de libros de texto y otros materiales de aprendizaje, así como del nivel de gasto público en educación, la información sobre el rendimiento debía extraerse de otras medidas como las tasas de matrícula, repetición o deserción escolar. Los resultados de las pruebas nacionales han proporcionado un indicador crucial para determinar los efectos de la escolaridad en el aprendizaje. Hasta 1999, en toda América Latina no se podía encontrar más de una veintena de estudios empíricos sobre posibles asociaciones entre las diferencias en rendimiento, diferencias en las características intraescolares o de aula y diferencias en factores externos tales como las características educativas y la condición socioeconómica de las familias.
 

Apenas seis años más tarde, una consulta bibliográfica rápida de 48 horas reveló la existencia de no menos de 150 estudios para 16 países, que exploran los efectos sobre el rendimiento de factores tales como (a) la condición socioeconómica de los estudiantes, el trabajo durante el año escolar, la raza y la condición nutricional, (b) el salario, calificaciones y prácticas de enseñanza en aula de los docentes, (c) características de la escuela tales como la cultura organizacional, la autonomía, la composición socio-económica de los distintos grupos, las prácticas de evaluación en aula, la cobertura del plan de estudios, las políticas sobre la realización de tareas en casa, el liderazgo de los directores, la infraestructura, la disponibilidad de libros de textos y (d) el financiamiento y/o administración pública o privada de la escuela, la presencia de programas de bonos escolares (vouchers), de programas de alimentación escolar, las prácticas de retención/repetición, el número de alumnos por aula, y la duración de la jornada escolar.
 

Algunos de estos estudios exploran un rango completo de posibles influencias sobre el desempeño y procuran medir su importancia relativa, mientras que algunos examinan el peso de y los mecanismos por los cuales una variable particular influye sobre (o cambia con) el desempeño. Otros estudian los cambios en las relaciones entre las variables predictivas y los resultados a lo largo del tiempo.


Algunos investigadores utilizan los puntajes promedio de las escuelas para seleccionar escuelas "exitosas" y escuelas con un alto índice de "fracaso", en las cuales después conducen estudios cualitativos en profundidad sobre los factores que pueden explicar las diferencias en el desempeño o recogen evidencia para determinar la validez de los puntajes de las pruebas como medidas de la calidad de las escuelas.


 Los resultados de las pruebas se están utilizando cada vez más para estimar el impacto de políticas y programas educativos y sociales en general. Así, por ejemplo, los ministerios de educación incluyen muestras mayores de algunas poblaciones escolares de manera de poder hacer algunas generalizaciones válidas sobre el impacto de intervenciones especiales, tales como escuelas bilingües indígenas (en Perú y Guatemala), programas de expansión escolar basados en la comunidad (Nueva Escuela Unitaria de Guatemala y escuelas del PRONADE), perspectivas nuevas o experimentales para planes de estudios (Escuelas de Excelencia y el SIMAC en Guatemala), y mecanismos diversos de gestión y financiamiento (escuelas privadas subvencionadas en Chile y Nicaragua). Con frecuencia se ha permitido e incluso se ha estimulado a los investigadores a usar los resultados de las pruebas nacionales y/o re- aplicaciones o adaptaciones de los instrumentos de las pruebas para evaluar programas específicos, tales como la Escuela Nueva en Colombia, Educatodos en Honduras, Desayunos Escolares, Escuelas Activas y escuelas Fe y Alegría en Perú, etc.





Extraído de
Uso de los resultados de evaluaciones educativas a gran escala en América Latina
Patricia Arregui
Grupo de Trabajo sobre Estándares y Evaluación del PREAL





Publicaciones recomendadas
Carácter arbitrario del conocimiento escolar
Sin lugar para frágiles
Prensa poderes y democracia


viernes, 24 de abril de 2009

LOS OBJETIVOS DE PISA EN POLÍTICA EDUCATIVA

El propósito de PISA va mucho más allá de la simple supervisión del estado actual del aprendizaje por parte de los alumnos en los sistemas educativos nacionales.

La información facilitada por PISA debía permitir a los responsables políticos observar qué factores están asociados al éxito educativo, y no limitarse a establecer comparaciones entre resultados aisladamente.

Los gobiernos estructuraron los resultados que se deseaban obtener de PISA desde una perspectiva política, en cuatro campos temáticos relativos a:
la calidad de los resultados del aprendizaje;
igualdad en los resultados del aprendizaje y equidad en las oportunidades educativas;
la eficacia y eficiencia de los procesos educativos; y
el impacto de los resultados del aprendizaje en el bienestar social y económico.

A continuación se detallan dichos resultados para cada uno de estos temas.

COMPARANDO LA CALIDAD DE LOS RESULTADOS DEL APRENDIZAJE
PISA se estableció principalmente para medir hasta qué punto los adultos jóvenes, que a los 15 años están a punto de terminar la educación obligatoria, se hallan bien preparados para afrontar los retos de las actuales sociedades del conocimiento. El estudio estaba orientado hacia adelante: se centraba en la capacidad de la gente joven para usar su conocimiento y sus destrezas para afrontar los retos de la vida real, más que en qué medida dominan un currículo escolar específico. Esta orientación refleja un cambio en los objetivos y finalidades de los propios currículos, que están cada vez más centrados en lo que los alumnos saben hacer con lo que aprenden en los centros educativos, y no simplemente en si saben reproducir lo que han aprendido.

El interés de los países por las implicaciones políticas de PISA significa que la atención dedicada a medir la calidad de los resultados del aprendizaje va mucho más allá de una suerte de «carreras de caballos», en las que los países simplemente se clasifican por puestos según la puntuación media de los alumnos. En consecuencia, PISA no sólo revisa la calidad de los resultados del aprendizaje, sino que examina asimismo la distribución de dichos resultados para facilitar la comprensión de los atributos individuales, institucionales y del sistema que están asociados a diferencias de rendimiento entre individuos, instituciones y países.

Como primer paso, PISA presta considerable atención a la distribución de logros usando, en particular, escalas de rendimiento con las cuales se pueda interpretar de manera sustancial la distribución del rendimiento de los alumnos. En algunos países, la información que se desprende de las distribuciones es bastante diferente de la aportada por la media. España, por ejemplo, ocupa un puesto por debajo de la media de la OCDE en Matemáticas debido sobre todo a que posee una proporción mucho menor de alumnos que manejen Matemáticas del más alto nivel (1,4% comparado con una media de 4% en la OCDE), no porque posea una proporción de malos estudiantes mayor que la media (tabla 2.5a, OECD, 2004b).

En segundo lugar, PISA también busca distinguir, dentro de la variación en el rendimiento de los alumnos, entre dos componentes: variación dentro de un mismo centro, y variación entre centros. Tal comparación puede ayudar a valorar hasta qué punto la calidad de los resultados del aprendizaje varía entre los centros, y es por tanto un resultado constante y predecible del sistema educativo. Las comparaciones en estas áreas muestran de hecho que hay grandes diferencias entre los países en lo que respecta a cómo varía el rendimiento del alumno según los centros, con una variación en el rendimiento entre centros en algunos de los países mejor clasificados, que asciende a menos del 10% de la variación en el rendimiento conjunto de los alumnos (de manera que los padres en estos países pueden contar con estándares altos y constantes de rendimiento en todo el sistema educativo), mientras que, en otros países, más de la mitad de la variación media de la OCDE en el rendimiento se origina en los ámbitos del centro y/o del programa, a menudo combinada con un rendimiento conjunto moderado (tabla 4.1, OECD, 2004b). Por ejemplo, Canadá o Finlandia están entre los diez países de la OCDE que tienen la variación más pequeña respecto al rendimiento en Matemáticas entre centros, al tiempo que se encuentran entre los diez países de la OCDE con los mejores resultados de rendimiento conjunto, mientras que en Polonia y España sucede lo contrario. A medida que discurra el ciclo de evaluación, PISA dedicará cada vez más atención a examinar cómo están cambiando las cosas. La evaluación de 2009 proporcionará el primer análisis completo de tendencias en competencia lectora durante el período 2000-2009, y permitirá comparar las mejoras en la calidad de los resultados educativos de cada país en las áreas evaluadas por PISA con las de otros países. El período de nueve años se juzga apropiado para analizar el impacto de las políticas introducidas a raíz de PISA 2000.

Además de examinar las tendencias en los resultados del aprendizaje a lo largo del tiempo, PISA está trasladando parte del énfasis puesto en tomar como parámetro el rendimiento estudiantil por países, a la comparación del progreso en el aprendizaje dentro de los sistemas educativos, realizada mediante la evaluación de los conocimientos y destrezas de los alumnos en distintas etapas del sistema educativo.

Dicho examen se llevará a cabo evaluando, de forma coordinada y en diferentes niveles de educación, los resultados en el aprendizaje y los factores contextuales asociados a ellos. Estos análisis no se limitarán a examinar cómo crece el rendimiento de los alumnos, sino que la evaluación del rendimiento a diversas edades ayudará a comprender cómo evolucionan la motivación y las características de los alumnos en diferentes países a medida que los estudiantes avanzan en el sistema educativo. En potencia, los análisis también podrían ayudar a comprender qué factores de la instrucción y del sistema están asociados a dicho aumento del rendimiento y a los cambios en la actitud de los alumnos hacia el aprendizaje.

Finalmente, PISA ha puesto en marcha un cuestionario para padres que aportará una opinión externa sobre cómo es, desde su punto de vista, la calidad de la enseñanza.
Mediante este instrumento, los padres de los alumnos evaluados proporcionarán información sobre sus expectativas y aspiraciones respecto a los resultados que la educación de sus hijos conseguirá en el mercado laboral, su estrategia global respecto a la educación de sus hijos, cuánto planean invertir actualmente en el futuro educativo de sus hijos, la influencia de los progenitores en puntos críticos de la educación de un alumno (por ejemplo, la elección de materias), las actitudes de los padres hacia las diferentes materias y la eficacia que atribuyen a éstas para obtener resultados en el mercado laboral, y la implicación de los padres en el centro de enseñanza.

COMPARANDO LA IGUALDAD DE LOS RESULTADOS DEL APRENDIZAJE Y LA EQUIDAD DE LAS OPORTUNIDADES PARA APRENDER
PISA 2000 y PISA 2003 ya han dedicado una considerable atención a cuestiones de equidad, concretamente a cómo influye el contexto socioeconómico de alumnos y centros en los resultados del aprendizaje, y qué palancas políticas están asociadas con estos resultados. Dado que la diversidad socioeconómica en los países de la OCDE está en aumento (en España, por ejemplo, el porcentaje de alumnos de origen inmigrante se ha multiplicado por diez a lo largo de la última década), y dada la creciente desventaja en que se encuentran en la sociedad y en el mercado laboral los individuos con escasas competencias (OECD, 2005), el tema de la equidad continuará estando entre las prioridades de PISA en los próximos años.

La información sobre el contexto social de alumnos y centros se obtiene a través de un cuestionario que rellenan los alumnos junto con los tests de rendimiento. Usando la información proporcionada por los alumnos, se elabora un índice PISA del estatus económico, social y cultural a partir del más alto de los índices socioeconómicos del estatus ocupacional de la madre o del padre, del nivel educativo más alto de la madre o del padre, y de información sobre libros y otros recursos educativos y culturales presentes en el hogar. Al aplicar este índice al ámbito del centro, se obtiene un indicador de la composición social de los centros (OECD, 2004b, p.307).

Relacionar dichos indicadores socioeconómicos con el rendimiento logrado ofrece una vía para comprender hasta qué punto los sistemas educativos proporcionan oportunidades equitativas de aprendizaje. En todos los países existe una correlación positiva y una pendiente de regresión positiva que indican en qué medida, por término medio, lo ventajoso que sea el entorno social de los alumnos se asocia con el incremento en el nivel medio de rendimiento de las evaluaciones PISA. Sin embargo, ha resultado llamativo que la intensidad de esta relación varíe mucho en función del país del que se trate. En algunos países, incluido España, las diferencias de contexto social están relacionadas con diferencias de rendimiento educativo mucho menores que en otros Estados, lo cual sugiere que las cosas no han de ser forzosamente como son en otros países donde existe una relación muy acusada

PISA ha llevado más allá el análisis de problemas relacionados con la equidad, separando aquéllos relativos a la heterogeneidad socioeconómica dentro de cada centro de aquéllos relativos a la segregación socioeconómica presente en el propio sistema escolar. Esto ha permitido examinar hasta qué punto los sistemas educativos moderan o refuerzan los factores del contexto socioeconómico. En países como Japón, los Países Bajos, la República Checa, Bélgica, Austria y Alemania, por ejemplo, se agrupa a los alumnos de alto rendimiento en centros de alto rendimiento, y éstos muestran una marcada tendencia a provenir de contextos sociales favorecidos. En cambio, los alumnos de bajo rendimiento se agrupan en centros de bajo rendimiento y tienden a proceder de entornos sociales desfavorecidos. La consecuencia es que hay muy poca relación entre el contexto social de los alumnos y su rendimiento en Matemáticas en un mismo centro, dada la restricción impuesta a ambas variables. En Finlandia y Canadá, por el contrario, el efecto del agrupamiento por centros es pequeño. En dichos países, la relación entre contexto social y rendimiento en Matemáticas es similar en los tres ámbitos: global, entre centros y dentro del centro. España también pertenece a este último grupo de países.

En algunos de los países en los que una proporción considerable de la varianza total corresponde a los centros, dicho fenómeno es una consecuencia de la política educativa. En Alemania, por ejemplo, los alumnos son distribuidos por centros de diferentes tipos a partir de los 10 años de edad, basándose en su rendimiento hasta ese momento y en una valoración sobre la conveniencia de un centro más académico o uno de formación profesional para la siguiente etapa. La intención deliberada de esta política es reducir la variación dentro de los centros reuniendo a alumnos relativamente similares, y aumentar la variación entre centros, lo cual se verá reflejado en las diferencias entre los currículos de los centros.

Por supuesto, en ningún país se distribuye deliberadamente a los alumnos por centros según su extracción social, pero la consecuencia de esta clasificación es que de hecho se distribuye también en función del contexto social. En muchos países la consecuencia es que los alumnos procedentes de un contexto social privilegiado son dirigidos a los centros académicos más prestigiosos, que proporcionan resultados educativos superiores (como indica su mayor rendimiento en las mediciones PISA), y los alumnos procedentes de un contexto social desfavorecido son dirigidos a los centros de formación profesional, menos prestigiosos, que proporcionan resultados educativos más pobres (como indica su menor rendimiento en las mediciones PISA). Por lo tanto, la organización de los centros refleja y reproduce al mismo tiempo las divisiones sociales existentes.

La relación que se planea establecer entre la evaluación PISA de los alumnos de 15 años y el rendimiento en un nivel primario de educación permitirá ampliar el potencial analítico de PISA en este contexto, de modo que PISA examinará también cómo evoluciona la distribución de resultados del aprendizaje en los diferentes niveles educativos; hasta qué punto tienen éxito los sistemas educativos a la hora de moderar el impacto que tiene en el rendimiento el capital económico, social y cultural de los alumnos y sus familias a medida que los alumnos se hacen mayores; y qué relación guardan los recorridos educativos y las estructuras institucionales de diferentes países con dichos resultados.

EFICACIA Y EFICIENCIA DE LOS SISTEMAS EDUCATIVOS
Una de las principales razones por las que los responsables políticos están interesados en las comparaciones internacionales del rendimiento de los alumnos es que nos ayudan a comprender las diferencias en el rendimiento de los centros y sistemas educativos, las cuales reflejan la eficacia y eficiencia de los procesos educativos. No obstante, a pesar de mostrar las importantes diferencias de rendimiento existentes entre sistemas educativos, las evaluaciones internacionales siguen teniendo grandes limitaciones a la hora de determinar cuáles son las actuaciones políticas asociadas a dichas diferencias.

Aunque los análisis en este campo se encuentran aún en su etapa inicial, PISA ha conseguido identificar una serie de características de los centros que pueden tener relevancia en los resultados del aprendizaje y en las diferencias de resultados entre centros. Tomando en conjunto las características de los alumnos, el contexto socioeconómico de alumnos y centros, la percepción del ambiente en el centro que tienen los alumnos y directores del mismo, los informes de los directores sobre las políticas y prácticas del centro y, finalmente, la evaluación de la disponibilidad y calidad de los recursos educativos, descrita en el informe internacional de PISA sobre resultados iniciales (OECD, 2004b), se explica el 54% de la variación en el rendimiento medio de los países de la OCDE, una media del 71% de la variación de rendimiento entre centros de un mismo país, y una media del 8% de la variación del rendimiento de los alumnos en un centro dado.

Aunque no siempre es posible medir con precisión el impacto que cada uno de estos factores tiene en el rendimiento de los alumnos, muchas de las diferencias que se han descubierto en un centro o entre centros ponen de manifiesto temas críticos para los responsables políticos. Por ejemplo, tanto directores como alumnos tienen opiniones muy dispares sobre la calidad del ambiente educativo de sus centros, ya los consideremos por países o por centros dentro de cada país.

Se ha comprobado durante la investigación que estas diferencias afectan a la efectividad de la enseñanza y el aprendizaje, como también ocurre con las diferencias en la manera de administrar los centros. Por tanto, estos resultados muestran ante todo la necesidad de asegurar que todos los centros posean un ambiente que favorezca el aprendizaje, así como una cultura administrativa y unos recursos que sean compatibles con una enseñanza y aprendizaje efectivos.

Además de describir estos fenómenos de los centros educativos, PISA ha buscado la manera de medir el efecto que tienen en el rendimiento de alumnos y centros. Este efecto es de tres tipos.

El primero es un efecto independiente de otros factores del centro y del contexto socioeconómico. Por ejemplo, en el caso de la disciplina, ¿hasta qué punto pueden esperar los alumnos de un centro bien disciplinado obtener mejores resultados que en otro con poca disciplina, si la composición social de ambos centros es la misma, y si ambos son semejantes con respecto a política del centro, procesos y recursos? En estos términos, los resultados de PISA indican que el que se trate de un centro u otro supone una gran diferencia. Alumnos y centros tienden a rendir más en un ambiente caracterizado por la disciplina y por altos niveles de moral y compromiso en los alumnos. Por el contrario, los centros donde la relación alumno-profesor es pobre, tienden a rendir considerablemente menos. Por tanto, los centros pueden beneficiarse si ponen énfasis no sólo en las técnicas didácticas, sino también en la forma en que los profesores se relacionan con los alumnos. Además, los centros que ofrecen actividades relacionadas con Matemáticas también tienden a rendir más, como también ocurre en aquéllos que tienden a evitar la agrupación de alumnos según su capacidad, y en aquéllos donde los directores evalúan positivamente la adecuación de los profesores suplentes y de los recursos educativos.

Un segundo tipo de efecto tiene lugar cuando la composición socioeconómica de los centros contribuye a que aquéllos con determinadas características consigan mejores resultados. Esta faceta del efecto no tendría relevancia directa desde la perspectiva de los responsables políticos, ya que no sería aconsejable tratar de incrementar un factor debido a que parece estar asociado con el rendimiento, cuando de hecho es el contexto social el que tiene la influencia decisiva.

No obstante, los padres que estén buscando qué centro elegir harían bien en prestar atención a tales factores, dado que a ellos les interesan los resultados globales del rendimiento en el centro, incluyendo cualquier efecto causado por la composición socioeconómica del mismo.

Un tercer tipo de efecto se da donde los factores socioeconómicos y del centro actúan juntos. Este análisis indica que los primeros refuerzan el impacto que el ambiente tiene en el rendimiento del centro de manera importante, y esto debería ser relevante para responsables políticos que deseen asegurar que todos los centros cuentan con profesores comprometidos y un ambiente de orden, con independencia de su composición socioeconómica. Es posible que este efecto aparezca porque los alumnos de extracción privilegiada traen con ellos un nivel mayor de disciplina y una concepción más positiva de los valores escolares, o quizá porque las expectativas de los padres con respecto a una buena disciplina en clase y a un fuerte compromiso del profesorado son más altas en centros con una composición socioeconómica favorecida. A la inversa, centros desfavorecidos experimentarían una menor presión por parte de los padres a la hora de fomentar prácticas disciplinarias efectivas o asegurarse de reemplazar a profesores ausentes o desmotivados. De manera similar, el análisis ha puesto de manifiesto que una gran parte de la variación en el rendimiento entre centros es atribuible a políticas, prácticas y recursos del centro, junto con el aspecto socioeconómico. Los centros favorecidos en este último aspecto aplican probablemente políticas y prácticas más efectivas, quizá porque los mejores profesores eligen trabajar allí o porque tienen acceso a más y mejores recursos.

La intención de PISA es ahondar en estas cuestiones y hacer de la eficiencia y eficacia de los procesos educativos el tema «interdisciplinar» del estudio PISA 2012. Hay al menos dos razones por las que PISA 2012 es la ocasión más oportuna para abordar este tema. Futuras innovaciones harán posible relacionar los resultados observados con un input relevante y con variables de proceso en los distintos ámbitos de los alumnos, de los profesores y del centro, con un sondeo de la OCDE sobre el profesorado que se llevará a cabo de 2007 en adelante. Aparte de esto, PISA también quiere ampliar el panorama recopilando información, en el contexto del sistema, sobre ciertas palancas políticas clave que, en general, se considera que conducen al aumento de eficacia y eficiencia; y relacionando la información sobre políticas deseables con su puesta en práctica en el ámbito de los centros, junto con la opinión que les merece a padres, profesores y centros, y, por supuesto, con los resultados de aprendizaje que se hayan observado.

IMPACTO DE LOS RESULTADOS DEL APRENDIZAJE EN EL BIENESTAR SOCIAL Y ECONÓMICO
Se dispone de escasa documentación comparativa sobre el impacto que las competencias adquiridas durante la formación tienen en el bienestar económico y social del individuo y de la sociedad, o hasta qué punto las oportunidades de aprendizaje están conectadas de manera coherente entre las distintas instituciones educativas, o entre éstas y otras formas de aprendizaje.

Sin embargo, en el futuro, un vínculo más estrecho entre los estudios sobre los centros y el estudio planeado por la OCDE sobre las competencias de los adultos permitirá reexaminar las competencias, aspiraciones y compromiso de los jóvenes que están acabando su educación inicial y están adquiriendo responsabilidades en el trabajo y en la vida, junto con su impacto en el bienestar social y económico. Este último incluiría las consecuencias para el individuo, tales como una integración satisfactoria en el mercado laboral, estatus y ganancias propias de un trabajador, participación en otros aprendizajes, en la vida cívica y en la educación a lo largo de todo el ciclo vital, además de resultados


Andreas Schleicher
Jefe de la División de Indicadores y Análisis del Directorio para la Educación de la OCDE
Revista de Educación, extraordinario 2006, pp. 21-43.

Recuperado de http://www.oei.es/evaluacioneducativa/pisa_revista_educ_mec_2006.pdf
El 16 de febrero de 2009

lunes, 13 de abril de 2009

¿QUÉ ES PISA?

El Programa para la Evaluación Internacional de los Alumnos (PISA) fue diseñado y puesto en marcha por la OCDE a finales de los años noventa como un estudio comparado, internacional, periódico y continuo sobre determinadas características y competencias de los alumnos. Su finalidad es generar indicadores sobre aspectos del rendimiento educativo. Por tanto, no es esencialmente un proyecto de investigación, aunque los datos generados pueden resultar de gran interés para los investigadores. Son los países miembros de la OCDE quienes gestionan y dirigen cooperativamente PISA, en colaboración con un número elevado y cada vez mayor de países asociados. La OCDE, a través de un concurso público, designa a un proveedor de servicios externo para llevar a cabo el proyecto en cada ciclo del estudio.

Los estudios PISA se realizan cada tres años. Las primeras evaluaciones tuvieron lugar en el año 2000 y las segundas en 2003, y están previstos ya los estudios para 2006 y 2009. Los procedimientos científicos de muestreo se emplean para determinar qué centros educativos y qué alumnos se incluirán en cada estudio.

Cada país participante utiliza un conjunto típico de instrumentos de evaluación y estudio según unas condiciones comunes y controladas que permiten la comparación basándose en los datos resultantes. Se hace uso de técnicas analíticas que permiten la realización de comparaciones en cada país participante, entre todos ellos y entre los distintos ciclos del estudio.

PISA evalúa a escolares de 15 años. Estos alumnos se acercan al final de la escolarización obligatoria en la mayoría de los países participantes, lo que los convierte en un grupo de edad adecuado para realizar una evaluación sobre su grado de preparación con el fin de afrontar los desafíos diarios de nuestras sociedades modernas.

Para ello, PISA adopta una perspectiva «competencial» centrada en averiguar hasta qué punto los alumnos son capaces de usar los conocimientos y destrezas que han aprendido y practicado en la escuela cuando se ven ante situaciones y desafíos en los que esos conocimientos pueden resultar relevantes. Es decir, evalúa cómo los alumnos pueden hacer uso de sus destrezas lectoras para comprender e interpretar distintos tipos de material escrito con el que probablemente se van a encontrar al gestionar su vida diaria; de qué forma pueden utilizar sus conocimientos y destrezas matemáticas para resolver distintos tipos de desafíos y problemas relacionados con las matemáticas, y el modo en que los alumnos pueden hacer uso de sus conocimientos y destrezas científicas para comprender, interpretar y resolver distintos tipos de situaciones y desafíos científicos. PISA también permite en ocasiones la evaluación de competencias transversales, según lo estimen oportuno los países participantes.

Por ejemplo, el ciclo del estudio de 2003 incluía una evaluación de competencias generales sobre la resolución de problemas. Además, el estudio PISA recopila información de los alumnos sobre distintos aspectos de su entorno familiar y escolar e información de los centros sobre distintos aspectos de su organización y oferta educativa. Esta información se recoge para facilitar un estudio pormenorizado de los factores, tanto de los países como entre ellos, que están asociados con los distintos niveles de competencia lectora, matemática y científica de los alumnos de 15 años de cada país. Los análisis resultantes serán de interés para los responsables políticos de los países participantes y para los investigadores que buscan comprender mejor los factores que influyen en los resultados educativos.

CARACTERÍSTICAS ORGANIZATIVAS DE PISA
Se puede pensar PISA como en un proyecto que opera en una serie de niveles. La organización del proyecto PISA corre a cargo de un Secretariado de la OCDE. El Consejo de Gobierno de PISA (PGB) es un comité de la OCDE formado por delegados y observadores de los países participantes, que supervisa y establece los parámetros de la política reuniéndose unas dos veces al año. Por tanto, la gestión de PISA se realiza a través de un proceso de colaboración en el que participan burócratas funcionarios de alto rango y responsables en materia de educación de los países participantes.

En cada país participante se establece un Centro Nacional y se nombra a un Coordinador Nacional del Proyecto (NPM) para coordinar todas las actividades a escala nacional. Normalmente, éste trabaja en estrecha colaboración con el miembro del Consejo de Gobierno de PISA del país, para establecer una perspectiva nacional sobre aspectos de la política y sobre cuestiones relacionadas con la aplicación del proyecto.

Por lo general, el Centro Nacional cuenta con un pequeño equipo que trabaja en la elaboración y puesta en marcha del proyecto a escala nacional. A escala internacional, el proyecto lo desarrolla un contratista designado por la OCDE para realizar dicho trabajo. Se selecciona a un contratista para cada ciclo de evaluación a través de un concurso público. Un consorcio internacional, dirigido por el Consejo Australiano de Investigación Educativa (ACER) ha sido el contratista elegido para cada uno de los tres primeros ciclos del estudio PISA. El contratista es el responsable de desarrollar todos los aspectos de la evaluación bajo la estricta supervisión del Secretariado. Esto incluye una amplia gama de actividades, algunas de las cuales se enumeran a continuación:
  • el establecimiento de normas de calidad con relación a todos los aspectos del proyecto;
  • el establecimiento de procedimientos para garantizar que todos los participantes cumplen correctamente esas normas de calidad, y de mecanismos para supervisar la calidad de la puesta en marcha del proyecto;
    el mantenimiento de comunicaciones abiertas y eficaces entre todos los participantes del proyecto;
  • el trabajo en estrecha colaboración con el personal del Centro Nacional para recopilar todos los datos nacionales sobre cuestiones relativas a la elaboración y puesta en marcha del proyecto;
  • el establecimiento de marcos de evaluación;
  • el establecimiento de todos los instrumentos de evaluación y estudio;
  • el establecimiento y puesta en marcha de métodos de muestreo;
  • el establecimiento de procedimientos operativos para la administración de
    la prueba y de toda la documentación pertinente;
  • la formación del personal más importante del Centro Nacional en cuestiones relativas a los requisitos para la puesta en marcha del estudio;

Para llevar a cabo todas estas tareas el contratista debe, en primer lugar, reunir a un amplio equipo de personas con conocimientos especializados en varias áreas. Parte de estos conocimientos compete al personal disponible a través de los organismos asociados al Consorcio. Además, el Consorcio trabaja con varios grupos e individuos claves: una serie de grupos de expertos integrados por reconocidos expertos en áreas como la evaluación, la traducción, especialistas técnicos en muestreo, análisis estadístico y elaboración de cuestionarios. En caso necesario, el contratista puede recurrir a los servicios de otros profesionales.

Lo más importante es que el contratista trabaja en estrechísima colaboración con el personal empleado a escala nacional. La conexión entre los coordinadores nacionales del proyecto y el Consorcio Internacional es vital para el éxito del proyecto. Cada uno depende del otro para garantizar dicho éxito. Los centros nacionales proporcionan al Consorcio información sobre las condiciones y limitaciones que operan en cada país y, a su vez, éste responde con datos sobre los distintos elementos del proyecto que se están elaborando y con importantes recomendaciones sobre la mejor manera de llevarlo a cabo en cada país. El contratista proporciona a los centros nacionales información sobre los requisitos del proyecto, materiales preliminares para ser analizados a escala nacional, y respuesta, formación y materiales para facilitar la puesta en marcha del proyecto.

En ocasiones, se han empleado mecanismos de consulta, como el Foro de Ciencias. Se trata de un foro abierto que proporciona a los países participantes la oportunidad de designar a expertos nacionales que puedan representar directamente los intereses y las opiniones del país cuando se analizan ciertos aspectos técnicos específicos del proyecto. Este foro permite disponer de una base más amplia de información especializada de la que es posible obtener a través de los grupos de expertos del contratista internacional. En el caso del Foro de Ciencias, este grupo analizó las prioridades y los temas cuando se estaba conceptualizando el marco de esta área y ha proporcionado datos importantes para la elaboración del material del estudio relacionado con la evaluación de las ciencias y la evaluación de las actitudes de los alumnos hacia éstas. El miembro del Consejo de Gobierno de PISA de cada país designa a los delegados del foro. Un Foro de Matemáticas similar operó en PISA 2003 y ocasionalmente se ha convocado un Foro del Cuestionario.


Fuente

El Programa Internacional para la Evaluación de los Alumnos (PISA). Una perspectiva general
Ross Turner
Investigador principal del Australian Council for Educational Research (ACER)
Re2006.pdf
Número extraordinario PISA
http://www.revistaeducacion.mec.es/

miércoles, 11 de marzo de 2009

Usos de la evaluación PISA

Queda claro que la principal función de toda evaluación educativa es la de “conocer para mejorar”, por sobre la de obtener acreditaciones.

Lamentablemente, en la realidad sucede lo inverso, se prioriza el valor de acreditación, como lo muestra el artículo aparecido en un diario mexicano.

Me parece oportuno destacar que el Secretario de Educación afirma estado “podemos lograr grandes resultados y salir con niveles de excelencia en este examen internacional”, dejando en claro lo que para él significa la evaluación. En otro párrafo se expresa “Por su parte, la directora de Evaluación y Control Educativo, Laura Martínez Márquez, delineó el plan de trabajo interinstitucional que se está aplicando con éxito a alumnos y maestros de diversas escuelas de nivel básico, medio y medio superior, con la idea de que se familiaricen con esta prueba de matemáticas, ciencias y lectura y así se obtengan los resultados positivos que reflejen el avance educativo que Veracruz ha conseguido en esta administración”, cabe preguntarse ¿Para esta funcionaria la evaluación ya está hecha? ¿Entonces PISA es una simple certificación?

Creo que es necesario una preparación para obtener un cierto compromiso con la evaluación, y para habituarse a este tipo de pruebas, evitando todo factor distorsionante que pudiera existir, pero de ahí a prepararse PARA la evaluación, hay un trecho muy importante. A continuación transcribo la nota del diario.

Exhorta Arredondo a estudiantes a prepararse para la prueba PISA
El titular de la SEV aseguró que en este trabajo previo al examen, es de suma importancia el papel que están jugando los programas detonadores como los Vehículos Vasconcelos, el Consorcio Clavijero y el Canal Educativo

NOTIVER EXPRESS XALAPA, VER. 10 de Marzo de 2009.-Con el exhorto a maestros, padres de familia y alumnos a prepararse con ahínco y conciencia para enfrentar la prueba del Programa Internacional de Evaluación de Estudiantes (PISA, por sus siglas en inglés) que será aplicada el 24 de marzo a cerca de 2 mil estudiantes de una premuestra de más de 8 mil 800 alumnos en diversas escuelas asentadas en lo largo y ancho del territorio veracruzano, el secretario de Educación, Víctor Arredondo Álvarez, sostuvo una reunión de trabajo con funcionarios de la Secretaría de Educación de Veracruz (SEV).

Bajo esta premisa, en la Sala de Consejo de la dependencia educativa, el secretario Arredondo, instruyó a directores, subdirectores y directivos de los subsistemas Conalep, Cobaev, Telebachillerato, preparatorias y a directores de educación básica a involucrarse a fondo y llevar el mensaje que haciendo un trabajo colaborativo e interinstitucional y con el apoyo de los programas detonadores y los institutos tecnológicos del estado “podemos lograr grandes resultados y salir con niveles de excelencia en este examen internacional”.

El titular de la SEV aseguró que en este trabajo previo al examen, es de suma importancia el papel que están jugando los programas detonadores como los Vehículos Vasconcelos, el Consorcio Clavijero y el Canal Educativo, sumado al gran trabajo que están desarrollando alumnos y maestros de los institutos tecnológicos de Veracruz dentro de las aulas de nivel básico, medio y medio superior.

Por ello, pidió a directivos, profesores, padres de familia y a todos los involucrados en el sistema educativo veracruzano que participarán en esta evaluación a brindar toda la atención y apoyo que se requiere para apuntalar el desempeño de los alumnos en este examen PISA que evalúa a estudiantes de 15 y 16 años que cursan principalmente la educación media superior, en bachillerato y sus modalidades de formación técnica, y también incluye alumnos de secundarias generales, técnicas y telesecundarias.

Por su parte, la directora de Evaluación y Control Educativo, Laura Martínez Márquez, delineó el plan de trabajo interinstitucional que se está aplicando con éxito a alumnos y maestros de diversas escuelas de nivel básico, medio y medio superior, con la idea de que se familiaricen con esta prueba de matemáticas, ciencias y lectura y así se obtengan los resultados positivos que reflejen el avance educativo que Veracruz ha conseguido en esta administración.

La evaluación PISA conocida en español como el Programa Internacional de Evaluación de Estudiantes es una prueba desarrollada por la Organización para la Cooperación y el Desarrollo Económicos (OCDE) que mide cómo se educan los jóvenes para ser adultos plenos y capaces de construir una mejor sociedad y este 24 de marzo, por cuarta ocasión México participará en la aplicación de PISA, la cual tendrá énfasis en la lectura


Recuperado de http://www.notiver.com.mx/index.php?news=22413 el 11 de marzo de 2009

lunes, 16 de febrero de 2009

EL IMPACTO DE PISA EN POLÍTICA EDUCATIVA

El siguiente texto fue extraído de Fundamentos y cuestiones políticas subyacentes al desarrollo de PISA. Autor Andreas Schleicher
Jefe de la División de Indicadores y Análisis del Directorio para la Educación de la OCDE
Publicado en Revista de Educación, extraordinario 2006, pp. 21-43.
Re2006_04.pdf
Me interesa publicarlo ya que en mi país, Argentina, el impacto fue NULO, a pesar que mucho lo necesita. A continuación lo expresado por el autor:

La presentación selectiva en el presente artículo de algunos de los análisis y conclusiones procedentes de las dos primeras rondas de PISA (2000 y 2003) ilustran el modo en que PISA contribuye al debate político. Se puede encontrar un resumen más completo en la OCDE (2004b).

La simple comparación entre los rendimientos de los países es probablemente el análisis menos interesante, aun cuando es el que antes capta la atención de los medios de comunicación y del público, y también el que de forma más inmediata provoca el deseo de actuar cuando los resultados son decepcionantes. Se pueden elevar las expectativas nacionales con la prueba de que se están logrando más cosas en otros lugares.

Los resultados de PISA 2000 provocaron un intenso debate en muchos países. Una respuesta inmediata del Ministerio Federal Alemán de Educación e Investigación fue encargar un estudio multilateral, dirigido por Eckhard Klieme, quien reclutó colaboradores en países con los que Alemania deseaba una comparación más detallada, esto es, Canadá, Inglaterra, Finlandia, Francia, los Países Bajos y Suecia. Su estudio conecta los resultados de PISA 2000 con pruebas cualitativas en mediciones tales como estrategias para la reforma e innovación educativa; cuestiones de administración y asignación de recursos; enfoques nacionales para la determinación de estándares, evaluación y seguimiento del sistema; la organización de sistemas de apoyo; el desarrollo profesional de los profesores; y enfoques para tratar las diferencias socioeconómicas en los contextos de los alumnos (OECD, 2004e).

Dinamarca estaba asimismo decepcionada con sus resultados en PISA 2000 porque, respecto al rendimiento, se encontraba tan sólo en la media de la OCDE, a pesar de haber gastado por cada alumno de 15 años más que cualquier otro país (salvo dos), y ciertamente más que en muchos otros que habían obtenido resultados mucho mejores. Dinamarca invitó a la OCDE a realizar una revisión general de su política bajo los auspicios de su programa de revisiones de políticas educativas nacionales. En dicha crítica, llevada a cabo por un grupo de expertos, se concluyó que el sistema carecía de cultura de evaluación, y se señaló que el nivel general de satisfacción con el sistema dentro del país había sido socavado no sólo, y de forma más sustancial, por los resultados de PISA 2000, sino que ya había sido desafiado por comparaciones internacionales anteriores (OECD, 2004a). Tras discutir el informe con el grupo de expertos y el Comité de Educación de la OCDE, el ministro danés indicó que el gobierno llevaría a la práctica las reformas propuestas.

Estos no son más que dos de los muchos análisis y reflexiones posteriores emprendidos por países que han participado en PISA hasta la fecha. En la página web de PISA se pueden encontrar todos los detalles de los informes nacionales y de los informes temáticos internacionales encargados por países conjuntamente a través del Consejo Directivo de PISA.

El seguimiento de los resultados de PISA por parte de los medios de comunicación ha sido extraordinario en muchos países. En la presentación de los resultados de PISA 2003 se prestó menos atención a las comparaciones entre países y al orden en la clasificación que con PISA 2000, aunque por supuesto seguía estando presente. Muchos reportajes dedicaron su atención a los análisis más complejos, como aquéllos que relacionan calidad y equidad. A éstos están dedicando también su atención las administraciones educativas, tanto en discusiones nacionales como internacionales.

Cuando PISA 2006 aporte un tercer conjunto de datos para 28 de los 30 países de la OCDE, el análisis y la discusión se ampliarán, incluyendo en sus consideraciones las tendencias observables, y avanzarán más allá de los análisis de cambios ofrecidos por PISA 2000 y 2003 facilitando pruebas de la estabilidad de esos cambios.
Related Posts Plugin for WordPress, Blogger...

Busca en mis sitios