LOS NIVELES DE COMPETENCIA EN MATEMÁTICAS EN PISA 2006 Y REALIDAD ARGENTINA

La evaluación PISA 2006 se llevó a cabo en alumnos de 15 años en numerosos países, fundamentalmente los llamados “desarrollados” (OCDE) y otros asociados, ente ellos Argentina.

Para esta nota, se tomaron los resultados en matemáticas, pero se lo hizo a modo de ejemplo, ya que los resultados en Ciencias y Lectura son similares

El objetivo es mostrar en forma cuantitativa la “dramática realidad educativa” argentina, o sea el bajísimo nivel de rendimiento escolar (NO podemos esperar alguna explicación oficial, ya que ante otras situaciones, solo hubo silencio). Las causas del mismo no corresponden a esta nota, pero tal vez los factores más importantes estén fuera del sistema educativo.

PISA toma como referencia la muestra de todos los países que toman parte en la evaluación y sitúa la media global en 498 con una desviación típica de 91,5.

Para medir la competencia en matemáticas PISA 2006 propone 6 niveles de rendimiento, mediante los cuales se describe el grado de competencia alcanzado por los y las estudiantes. A éstos se añade un nivel inferior que encuadra al alumnado que no alcanza la puntuación correspondiente al primer nivel.

La definición de estos niveles permite, por un lado, asignar a cada alumno o alumna una puntuación específica en función de los ítems que ha respondido correctamente; por otro lado, sirve para describir qué tipo de tareas es capaz de realizar en cada nivel. Para la construcción de estos niveles se asigna a los ítems una puntuación que está en la misma escala que la puntuación obtenida por el alumnado. Posteriormente se establecen 6 niveles en orden ascendente de dificultad a los que se le asigna la puntuación correspondiente, teniendo en cuenta que entre cada nivel se mantiene una distancia de 62 puntos.

Las habilidades correspondientes a cada uno de estos niveles se pueden entender como la descripción de competencias matemáticas que son necesarias para que un alumno o alumna alcance la puntuación correspondiente a ese nivel.

Son las siguientes:
Descripción de competencias en cada nivel de alfabetización matemática
RENDIMIENTO DE LOS ALUMNOS EN MATEMÁTICAS
Los niveles de competencia que se manejan para las matemáticas en PISA 2006 son los mismos que los establecidos para las matemáticas cuando esta materia fue el área principal de evaluación en PISA 2003.
El proceso seguido para establecer niveles de competencia en matemáticas es similar al descrito detalladamente en el capitulo 2. En matemáticas hay seis niveles de competencia.

Competencia en el Nivel 6 (más de 669,3 puntos)
Los alumnos competentes en el Nivel 6 de la escala de matemáticas son capaces de llevar a cabo pensamientos y razonamientos matemáticos avanzados. Estos alumnos pueden aplicar su entendimiento y conocimiento, así como su dominio de las operaciones y relaciones matemáticas simbólicas y formales, con el fin de desarrollar nuevos enfoques y estrategias para afrontar situaciones novedosas. Los alumnos de este nivel pueden formular y comunicar con precisión sus actos y reflexiones, relativos a sus averiguaciones, interpretaciones, argumentaciones, y su adecuación a las situaciones originales.
En el área de la OCDE, una media del 3,3 % de los estudiantes alcanza el Nivel 6. En Corea, el 9,1 % de los alumnos esta en este nivel, y el 6 % o mas en la Republica Checa, Finlandia, Bélgica y Suiza. Las economías asociadas Taipei chino y Hong Kong-China tienen un 11,8 y 9,0 % en este nivel, respectivamente.
Como contraste, el 0,1 % de los alumnos de México alcanza el Nivel 6, y en los países asociados Colombia, Túnez, Indonesia, Kirguizistán y Jordania el porcentaje es aun menor.
Porcentaje de España 1,2%
Porcentaje de Argentina 0,1%
O sea que en España hay doce veces más en porcentaje de alumnos que alcanza este nivel

Competencia en el Nivel 5 (puntuaciones superiores a 607,0 puntos, pero inferiores o iguales a 669,3 puntos)
Los alumnos competentes en el Nivel 5 en la escala de matemáticas pueden desarrollar modelos y trabajar con ellos en situaciones complejas, identificando los condicionantes y especificando los supuestos. Son capaces de seleccionar, comparar y evaluar estrategias adecuadas de solución de problemas para enfrentarse a problemas complejos relacionados con estos modelos. Los alumnos de este nivel pueden trabajar estratégicamente utilizando habilidades de pensamiento y de razonamiento bien desarrolladas, así como representaciones adecuadamente relacionadas, caracterizaciones simbólicas y formales, e intuiciones relativas a estas situaciones.
En el área de la OCDE, una media del 13,4 % de los alumnos es competente en los Niveles 5 o 6. Con un 27,1 %, Corea es el país de la OCDE con el mayor porcentaje de alumnos en estos dos niveles. Finlandia, Suiza, Bélgica y Países Bajos tienen más de un 20 % de alumnos en estos niveles, y las economías asociadas Taipei chino y Hong Kong-China tienen un 31,9 y un 27,7 %, respectivamente.
Salvo en México y Turquía, al menos el 5 % de los alumnos de cada país de la OCDE alcanza el Nivel 5.
Porcentaje de España en el Nivel 5: 6,1%
Porcentaje de Argentina en el Nivel 5: 0,9
En la Argentina el porcentaje de alumnos que alcanzan los dos niveles superiores, apenas es de 1%

Competencia en el Nivel 4 (puntuaciones superiores a 544,7, pero inferiores o iguales a 607,0 puntos)
Los alumnos competentes en el Nivel 4 de la escala de matemáticas pueden trabajar eficazmente con modelos explícitos para situaciones complejas concretas que pueden conllevar condicionantes o exigir la formulación de supuestos. Son capaces de seleccionar e integrar distintas representaciones, incluyendo las simbólicas, asociándolas directamente a situaciones de la vida real. Los alumnos en este nivel pueden utilizar habilidades bien desarrolladas y razonar de forma flexible, con cierta perspicacia, en estas situaciones.
En el área de la OCDE, una media del 32,5 % de los alumnos es competente en el Nivel 4 o superior (esto es, en los Niveles 4, 5 y 6). En Corea, Finlandia y las economías asociadas Taipei chino y Hong Kong-China, la mayoría de los alumnos se encuentra en este nivel. En Suiza, Países Bajos, Bélgica, Canadá, Japón y Nueva Zelanda, así como en el país asociado Liechtenstein y en la economía asociada Macao-China, mas del 40 % de alumnos lo esta. No obstante, en México, Turquía, Grecia, Italia, Portugal, Estados Unidos y España, así como en la mayoría de las economías o piases asociados, menos de una cuarta parte de los alumnos alcanza el Nivel 4. Porcentaje de España para los tres niveles superiores: 24,1%
Porcentaje de Argentina para los tres niveles superiores: 4,8%, o sea que menos de uno de cada veinte llegó a los tres niveles superiores.

Competencia en el Nivel 3 (puntuaciones superiores a 482,4 pero inferiores o iguales a 544.7 puntos)
Los alumnos en el Nivel 3 de la escala de matemáticas pueden llevar a cabo procedimientos descritos de forma clara, incluyendo aquellos que requieren decisiones secuenciadas. Son capaces de seleccionar y aplicar estrategias de solución de problemas simples. Los alumnos en este nivel saben interpretar y utilizar representaciones basadas en diferentes fuentes de información. Pueden también elaborar breves escritos exponiendo sus interpretaciones, resultados y razonamientos. En el área conjunta de la OCDE, una media del 56,8 % de los alumnos son competentes, al menos, en el Nivel 3 (es decir, Niveles 3, 4, 5 y 6) en la escala de matemáticas (Figura 6.19 y Tabla 6.2a). En 6 de los 30 países de la OCDE (Finlandia, Corea, Canadá, Países Bajos, Suiza y Japón), y en las economías o países asociados Hong Kong-China, Taipei chino, Macao-China y Liechtenstein, mas del 67 % de alumnos de 15 anos son competentes al menos en el Nivel 3.
Porcentaje de España para los cuatro niveles superiores: 50,3%
Porcentaje de Argentina para los cuatro niveles superiores: 15,4% , o sea que un 84,6% está en las últimas categorías.

Competencia en el Nivel 2 (puntuaciones superiores a 420,1, pero inferiores o iguales a 482,4 puntos)
Los alumnos competentes en el Nivel 2 de la escala de matemáticas saben interpretar y reconocer situaciones en contextos que solo requieren una inferencia directa. Pueden extraer información pertinente de una sola fuente y hacer uso de un único modelo de representación. Los alumnos en este nivel pueden emplear algoritmos, formulas, procedimientos o convenciones elementales. Son capaces de realizar razonamientos directos e interpretaciones literales de sus resultados. Este nivel representa el nivel de referencia de la competencia matemática en la escala de PISA en el cual los alumnos comienzan a demostrar las habilidades de conocimiento necesarias para utilizar las matemáticas de forma activa, habilidades consideradas fundamentales para su futuro desarrollo y empleo de las matemáticas. En el área de la OCDE, una media del 78,7 % de los alumnos es competente en el Nivel 2 o superior. En Finlandia y Corea, y en la economía asociada Hong Kong-China, mas del 90 % de los alumnos se encuentra en este umbral o por encima de el.
En todos los países de la OCDE, salvo Portugal, Grecia, Italia, Turquía y México, al menos el 70 % de los alumnos esta en el Nivel 2 o superior.
En España el 75,7% alcanzó al menos este nivel, en Argentina el 35,9%

Competencia en el Nivel 1 (puntuaciones superiores a 357,8, pero inferiores o iguales a 420,1 puntos) o inferior
Los estudiantes competentes en el Nivel 1 saben responder a preguntas relacionadas con contextos que les son conocidos, en los que esta presente toda la información pertinente, y las preguntas están claramente definidas. Son capaces de identificar información y de llevar a cabo procedimientos rutinarios, con instrucciones directas en situaciones explicitas. Saben realizar acciones obvias que se deducen inmediatamente de los estímulos presentados.
Los alumnos con resultados inferiores a 357,8 puntos –esto es, con un nivel inferior al Nivel 1– normalmente no son capaces de resolver con éxito el tipo de matemáticas más básicas que PISA pretende medir. Su patrón de respuestas en la evaluación es tal, que según el podrían responder tan solo a menos de la mitad de las tareas de una prueba compuesta por ejercicios del Nivel 1 exclusivamente. Estos alumnos tendrán serias dificultades para utilizar las matemáticas como herramienta efectiva para beneficiarse de nuevas oportunidades educativas y de aprendizaje a lo largo de sus vidas.
En el área de la OCDE, una media del 13,6 % de los alumnos tiene una competencia del Nivel 1, y el 7,7 % aun inferior a este nivel, pero hay grandes diferencias entre países. En Finlandia y Corea, así como en la economía asociada Hong Kong-China, menos del 10 % de los alumnos se encuentra en el Nivel 1 o inferior.
En el resto de países de la OCDE, el porcentaje de alumnos que están en un nivel inferior al Nivel 1 varía desde el 10,8 % en Canadá hasta el 56,5 % en México.
En España alcanza un máximo del nivel 1 el 24,7%, en Argentina el 64,1%, o sea ¡¡Dos de cada tres alumnos!!



Para acceder al informe completo ir a
http://www.oecd.org/document/51/0,3343,en_32252351_32235731_39732595_1_1_1_1,00.html

¿Cómo nos ven desde el exterior?

El 15 de octubre de 2008 en http://www.magisnet.com/articulos.asp?idarticulo=3669 publicaron una nota sobre la realidad de la educación en Argentina, me pareció importante publicarla, ya que nos proporciona una mirada “desde afuera”, que nos puede ayudar a pensar. A continuación transcribo el escrito:

Miles de profesores argentinos se movilizan contra la crisis educativa
Los docentes piden un 20% más de salario, becas y comida de calidad. No es que en Argentina se tenga afición por echarse a la calle con cacerolas, cucharas y demás utensilios de cocina, sino que cuando la cosa se pone fea, no queda otra que hacerse oír.

El pasado 9 de octubre, –tres días antes de que toda Hispanoamérica celebrase el 516 aniversario del llamado “descubrimiento” del continente –, en varias provincias de Argentina, miles de profesores se movilizaban por otra causa, la mejoras de las condiciones laborales del profesorado. Una petición que no sólo atiende a una subida salarial proporcional a la inflación, sino a encarar la otra crisis –adicional a la de la economía internacional y la de la agricultura nacional –, la educativa. Estas manifestaciones se suman a las decenas de paros y movilizaciones del profesorado que se repiten desde hace meses. Algunas de ellas sin ningún logro, aunque con consecuencias imprevistas, como la desafortunada muerte en abril de 2007 de Carlos Fuentalba, uno de los profesores manifestantes, que pereció en una represalia policial y que multiplicó las manifestaciones. Además del aumento del sueldo docente –que los maestros exigen que se eleve en un 20%, más allá del 24% que ya se les acordó subir en abril pasado–, los profesores reclaman la restitución de todas las becas estudiantiles, la concesión de licencias médicas para los maestros y una “mejor calidad y cantidad en las comidas de los estudiantes” –como rezaba alguna de las pancartas–.

Pero la crisis educativa argentina no sólo afecta al profesorado, sino que brota especialmente por la calidad de la enseñanza, aspecto que destacó el ministro de Educación argentino, Juan Carlos Tedesco, en su visita al I Seminario Iberoamericano sobre el Desarrollo Profesional de los Docentes, en Madrid, el pasado 9 de octubre. “El riesgo está en conseguir una buena calidad educativa para pocos o una mala Educación para muchos”, advirtió…

El principal problema educativo en Argentina, que las positivas cifras de escolarización –de un 98,1% en Primaria, según el censo de 2001– no se corresponden con los desesperanzadores resultados. Prueba de ello son las conclusiones de la última evaluación internacional de la Unesco sobre lectura, Matemáticas y Ciencias, celebrada en Chile sobre 16 países de la región entre niños de 9 a 12 años y que sitúan a Argentina por detrás de Cuba, Uruguay, Costa Rica, Chile y México; a años luz de la situación de hace una década en la que alcanzaba el segundo lugar en Matemáticas; y por debajo de la media de países en Ciencias.Y más de lo mismo fueron las últimas puntuaciones de PISA que ubicaron a Argentina a la cola de la lista –en el puesto 53 en lectura y comprensión de textos y el 52 y 51 en Matemáticas y Ciencias, respectivamente-.

Peor parada sale la Secundaria, en las que las cifras de escolarización ya no son tan buenas –empiezan a resentirse a los 14 años, con un 8% de absentismo, hasta situarse en el 27,8% en Bachillerato–. Para remediarlo, el ministerio argentino prepara una considerable reforma que pasa por suprimir los exámenes de ingreso, poner fin a las expulsiones y modificar el sistema de evaluación por tramos de aprendizaje, según el último borrador.

El vaivén de la Educación argentina lucha ahora por mejorar la Secundaria
La Educación en Argentina es como el torbellino de la Historia del propio país, con movimientos políticos que la empujan y disuaden a su antojo. Y que acarrean con las víctimas de siempre, los estudiantes, los profesores y lo que es aún más grave, el futuro del país.

Conocido por la lucha por la Educación pública en Argentina fue el presidente Domingo Faustino Sarmiento, que durante su mandato construyó bibliotecas, trajo educadores europeos y duplicó la escolarización de alumnos. El aniversario de su muerte, el 11 de septiembre, se conmemora el día del maestro en Argentina. Desde entonces ha pasado casi de todo. El carácter laico de la primera ley de Educación universal y obligatoria de Argentina, en 1884, le costó al Estado las buenas relaciones con la Iglesia, que no se restablecieron hasta la revolución del 43. El gobierno peronista también reafirmó la Educación religiosa –hasta 1954, cuando por motivos políticos la suprimió–, aunque especialmente se dedicó a ensalzar las figuras del presidente, Domingo Perón y su esposa, Evita.

El golpe militar que le sustituyó en 1955 –la Revolución Libertadora–, supuso un cambio de 180 grados para el currículo del país, tanto que se destruyeron todos los libros de texto con propaganda peronista y se prohibió cualquier tipo de mención a las figuras de Perón y de su esposa.Política y Educación han ido casi de la mano en Argentina. Por lo que los dos frenazos siguientes que sufrió la enseñanza se corresponden con las dos dictaduras militares de los 60 y 70. La primera, la conocida como la ‘Revolución Argentina’ entre 1966 y 1973 y la segunda entre 1976 y 1983, que supusieron un retroceso en la Educación del país tanto en contenido, como en derechos, al restringirse la libertad de cátedra del profesorado.

Los últimos tiempos tampoco son gloriosos para las escuelas argentinas. Las evaluaciones internacionales no dejan a sus estudiantes en buen lugar y aunque la cobertura –en Primaria– goza de porcentajes que se aproximan al 100%, la calidad no obtiene tan buena nota.Otra de las cuentas pendientes en Argentina es la Secundaria, con la casi recién estrenada obligatoriedad, que estableció la Ley de Educación Nacional en diciembre de 2006 y que se suma a la de los únicos dos países que la presentan en la zona, Cuba y Chile. El siguiente paso es la reforma de Secundaria que planea el gobierno actual, con cambios en el sistema de evaluación y plan de estudios y que pretende redefinir la carrera docente.

Aqui nunca pasa nada

A principios de diciembre del 2007 se publicó en Primer Informe Internacional sobre el Estudio PISA 2006. Este informe confirma la sensación palpable en nuestro país y además nos deja una serie de interrogantes: ¿Por qué existe un absoluto silencio en las autoridades gubernamentales y en los medios de prensa?, ¿De qué manera se va a actuar para corregir rumbos que permitan mejorías?, ¿Se volverá a culpabilizar a los docentes por los pésimos resultados de Argentina?. A continuación reproduzco parte de un informe del Observatorio Regional de Políticas de Evaluación Educativa, que apunta a una forma de ver equivocada de estos trabajos, y que llevan posteriormente a una inadecuada utilización de los mismos.

PRIMEROS RESULTADOS DE PISA 2006: UNA MIRADA EQUIVOCADA
El pasado martes 4 de diciembre la OCDE dio a conocer el Primer Informe Internacional de Estudio PISA 2006 titulado “Competencias Científicas para el Mundo de Mañana”. La divulgación estuvo precedida por una filtración en un medio de España durante el fin de semana previo.

Una vez más toda la atención de los medios y, en consecuencia, de la opinión pública, estuvo dirigida hacia los rankings de posiciones relativas entre los países. Algunos ejemplos tomados de lo que se publicó durante los primeros días ilustran el problema:

“El estudio aporta también los resultados de diez comunidades autónomas que han participado con muestra propia. De esta forma, Castilla y León y La Rioja son las comunidades españolas con mejores resultados en PISA 2006, en lo que se refiere a la escala de Ciencias y Matemáticas, ambas con 520 puntos. Más adelante se encuentra Aragón (513 puntos), Navarra (511), Cantabria (509), Asturias (508) y Galicia (505). En cuanto a comprensión lectora, los resultados también fueron óptimos para La Rioja y el País Vasco”. (www.aprendemas.com / 04-12-07).

“Chile lidera en Latinoamérica resultados de prueba internacional PISA. La Ministra de Educación, Yasna Provoste detalló hoy que en Ciencia y Lectura, los estudiantes chilenos lograron el puntaje más alto de todos los países latinoamericanos participantes en PISA 2006, mientras que en Matemáticas sólo Uruguay superó la marca en la región”. (Portal del Ministerio de Educación de Chile, 04-12-07)

“Colombia ocupó el puesto 53, entre 57 países, en prueba internacional de educación En los resultados, nuestro país solo superó a Túnez, Azerbayán, Qatar y Kyrguistán”. (El Tiempo, Bogotá, 04-12-07).

La mayoría de los enfoques ponen el énfasis en las posiciones relativas y no en qué conocimientos y capacidades han adquirido los jóvenes. El “puesto” que ocupa cada país es un dato menor porque no se trata de “ganarle” a otros, sino de lograr que los estudiantes desarrollen las competencias deseadas. Por otra parte, los análisis de posiciones ignoran que las diferencias en puntos en muchos casos son ridículas (4 o 5 puntos, como en el caso de las Comunidades Autónomas de España). Del mismo modo, la conclusión de que los estudiantes uruguayos “se manejan bien con los números pero no tanto con las letras” porque en Matemática quedaron “primeros” en la región, raya con el absurdo.

El primer paso para hablar con propiedad de los resultados es conocer de qué se está hablando, es decir, qué evaluaron las pruebas. Para ello es preciso comenzar por leer la descripción del excelente marco conceptual que PISA tiene en relación a la cultura científica y ver el tipo de tareas que se propuso a los estudiantes.
El segundo paso para una buena comprensión y divulgación de los resultados es observar los denominados “niveles de desempeño”. En cada área evaluada (Cultura Científica, Cultura Matemática y Competencia Lectora) PISA establece varios niveles, que permiten distinguir entre estudiantes con excelente capacidad en el área en cuestión y estudiantes con desempeños muy elementales, y toda la gama intermedia.

En el caso de Ciencias hubo seis niveles. Los estudiantes de los niveles 4, 5 y 6, por ejemplo, pueden identificar los componentes científicos de muchas situaciones complejas de la vida real, pueden tener una mirada crítica sobre las situaciones, pueden seleccionar e integrar explicaciones de diferentes disciplinas de la ciencia y la tecnología, pueden construir explicaciones basadas en evidencia y argumentos, pueden construir y comunicar decisiones usando conocimiento científico.

"Los estudiantes en el nivel 1 o por debajo del mismo tienen un conocimiento científico tan limitado que solo pueden aplicarlo a unas pocas situaciones muy familiares. Pueden también ofrecer explicaciones científicas muy obvias, que se derivan directamente de la información que se les proporciona".

A la hora de hablar de cifras, antes de mirar ningún promedio ni posiciones relativas, es importante observar cómo se distribuyen los estudiantes en los niveles de desempeño, es decir, qué proporción de los estudiantes de cada país alcanzó niveles de excelencia en la prueba y qué proporción estuvo en niveles elementales.

A modo de ejemplo:
Porcentaje de estudiantes en el nivel 1 o por debajo
Finlandia 4,1
OCDE 19,3
Argentina 56,2
Brasil 61,0
Colombia 60,2
Chile 39,8
México 51,0
Uruguay 42,1

Porcentaje de estudiantes en los niveles 4, 5 y 6
Finlandia 53,1
OCDE 29,3
Argentina 4,5
Brasil 3,9
Colombia 2,1
Chile 10,3
México 3,5
Uruguay 8,3

Fuente: OECD, 2007. PISA 2006 SCIENCE COMPETENCIES FOR TOMORROW´S WORLD. Vol. 2: Data

Según es posible apreciar, las proporciones en los países latinoamericanos varían poco, con resultados un poco mejores en Chile y Uruguay pero, en el mejor de los casos (Chile) tenemos apenas uno de cada 10 estudiantes en niveles avanzados (Finlandia tiene uno de cada dos) y casi uno de cada dos en un nivel muy elemental, cuando Finlandia sólo tiene uno de cada 20 en esta situación.

Dicho en otras palabras, la comparación relativa al interior de la región es un dato interesante, pero menor, en comparación con lo que realmente importa: nuestros jóvenes están logrando unos conocimientos y unas capacidades que están muy lejos de lo que se necesita para participar activamente en la sociedad contemporánea y de lo que otros jóvenes -en mejores condiciones sociales y educativas, sin duda- son capaces de alcanzar.

Para leer más sobre PISA es posible encontrar información en los siguientes sitios web:
Información oficial de la OCDE (en inglés y francés), acceso a tablas de datos y a los reportes completos:
Http://www.oecd.org/document/2/0,3343,en_32252351_32236191_39718850_1_1_1_1,00.html
Informe de España:
http://www.institutodeevaluacion.mec.es/publicaciones/?IdCategoriaPublicacion=3#0
Informe de México:
Http://www.inee.edu.mx/index.php?option=com_content&task=view&id=2337&Itemid=947
Informe de Chile:
http://www.simce.cl/fileadmin/Documentos_y_archivos_SIMCE/PISA2006/PISA_2006.pdf
Estos tres últimos informes están en castellano y permiten acceder a información general sobre el estudio, así como a una visión propia de cada país. Los otros países latinoamericanos participantes no habían subido informes nacionales a sus sitios web al momento del cierre de este boletín.

Conclusión
Creo que es necesario que los gobernantes asuman su rol de conductores, y sepan estimular al conjunto de la población a tomar actitudes adecuadas frente a la educación, además de mejorar la eficiencia del sistema que permita la aparición de escuelas democráticas con todos los sectores involucrados en el logro de objetivos comunes.

Es imprescindible un gran acuerdo entre todos los sectores que incluya una mejor distribución de los bienes económicos y culturales, estos por medio del mejoramiento de la equidad y calidad educativa.