Los exámenes PISA se otorgan a estudiantes de 15 años en las áreas de lectura, escritura y matemáticas y cada año tienen una especial enfoque en una de las áreas que se evalúan. Los TIMSS (Trends in International Mathematics and Science Study) se imparten a estudiantes de cuarto y octavo curso, pero solo en el área de matemáticas y ciencias. Hay diferencias bastante soslayables en la forma de evaluar de ambos estudios.
Los ítems de los exámenes PISA están categorizados en 6 niveles de dificultad, siendo 6 el más difícil y a cada ítem se le asigna puntuaciones que rondan desde los 300 hasta los 800 puntos los de mayor grado de dificultad.
Los primeros 4 niveles que representan el 71 % del total de ítems Rpágina 42, prácticamente se pueden resolver o deducir sin tener ningún conocimiento del currículo escolar que no sean simples sumas, restas, multiplicación o división simple. No hay necesidad de aplicar formulas geométricas, ni factorización, algebra, despejes ni nada (a estudiantes de 15 años).
En el nivel 5 que representan un 18 % del total de ítems es que por fin se pueden encontrar algunas preguntas (no todas) que requieren de habilidades adquiridas en la escuela, pero muy simples, despejes bastantes simples y reglas de 3 de las más simples, pero incluso en esta categoría existen muchos ítems bastante fáciles que no requieren absolutamente de ningún conocimiento de la escuela para obtener la respuesta correcta. Son comprensión lectora, pero que como hablan de probabilidades (simples y lógicas) entonces corresponden a “literatura matemática.”
Es solo en el nivel 6 que se encuentran ítems que sí verdaderamente para llegar a la respuesta se tiene que demostrar conocimientos adquiridos en la escuela y aplicación de estos conocimientos a situaciones nuevas. En el nivel 6 se encuentran figuras geométricas a las cuales hay que aplicarles formulas geométricas y que para aplicarlas se requiere también de mucho análisis espacial y esfuerzo lógico. Esto sería trigonometría inicial. El problema es que apenas un 11 % del total son de nivel 6, pero al igual que en la categoría 5, en esta también existen muchas preguntas bastante fáciles que son únicamente compresión lectora.
Es decir, en los PISA las preguntas realmente rigurosas y que realmente podrían ser indicadores de la eficiencia de un sistema escolar tienen muy poca ponderación. -Para la calificación final se hace un promedio simple de las sumas de los valores de los ítems-
Pero esto no es así en los exámenes TIMSS, donde verdaderamente sí se evalúa el currículo y aplicación de estos conocimientos.
Si comparamos los rankings de los países en los exámenes TIMSS de 1999 o TIMSS 2011 de octavo grado, con los de PISA de 2003 enfocados en matemáticas y PISA 2006 enfocados en ciencias, encontramos diferencias importantes.
Lo primero es que Finlandia que obtuvo la primera posición en los PISA 2003 de matemáticas; en los TIMSS de 1999 de matemáticas quedó en el puesto 14 y en los TIMSS 2011 de matemáticas quedó en el puesto 8. En los PISA 2006 especializados en ciencias Finlandia obtuvo el primer puesto también, pero en los TIMSS de ciencias de 1999 Finlandia quedó en el puesto 10 y en los de 2011 en el 5. Finlandia no participó en los TIMSS de 2003 ni de 2007.
Comparando las posiciones también encontramos que los países asiáticos casi no varían sus posiciones de liderato. Pero la Federación Rusa, Eslovaquia, la República Checa, Hungría y Eslovenia varían muy significativamente sus posiciones hacia arriba.
El informe de la OCDE Learning Mathematics for Life: A Perspective from PISA en las paginas 120 y 126 señala que el pésimo desempeño de Rusia y Eslovaquia se debe a la debilidad en los ítems de análisis de datos y gráficos y sugiere que esto sucedía por diferencias curriculares. Sin embargo, en los TIMSS en la Federación Rusa y en Eslovaquia en los ítems de análisis de datos y graficas, casi siempre el porcentaje de estudiantes que acertó la respuesta correcta estuvo por encima del promedio de los demás países. Es que realmente tanto los estudiantes de Rusia como los de Finlandia pudieron nunca en su vida haber visto una gráfica o haber oído hablar de valores extremos distorsionantes en una serie datos, pero aun así pueden perfectamente deducir las respuestas.
Contrario a lo que se podría pensar, en los PISA 2003 en la Federación Rusa y Eslovaquia un alto porcentaje de sus estudiantes respondieron correctamente los ítems que son más difíciles, esto es de nivel 5 y 6, y por encima del porcentaje en Finlandia. Pero en los niveles 1, 2, 3 y 4 que consisten básicamente en análisis espaciales de cubos, dados, cuadrados, fichas de dominós, identificación de patrones etc, (parecido a un test de inteligencia o psicológico) a estos 3 países les fue pésimo pero a Finlandia le fue excelente.
Podemos desagregar más el análisis y notar que en los ítems (incluso de los niveles 5 y 6) en los cuales realmente no se requiere de prácticamente ningún conocimiento del currículo, a Finlandia le fue excelente, pero a la Federación Rusa y Eslovaquia pésimo, y en los ítems más difíciles y que requieren conocimientos del currículo, a estos dos países les fue muy bien, incluso mejor que a Finlandia.
La filosofía de los exámenes PISA es que supuestamente los estudiantes deben ser capaces de interpretar el conocimiento y aplicarlo a la vida diaria o a situación nuevas y que la aplicación del conocimiento es realmente lo que importa. ¿Pero qué aplicación de conocimiento es que realmente se está haciendo aquí? La gran mayoría de las ítems de los exámenes PISA la única aplicación de conocimiento que se hace no pasa de sumas y restas simples y quizá alguna división simple, ni siquiera aplicación de formulas geométricas, reglas de tres o álgebra; muy poco para no decir nada.
Pero si realmente los PISA evalúan la “aplicación del conocimiento”, ¿por qué entonces, en Singapur -país que participa en los PISA desde 2009 y que obtuvo segundo puesto en matemáticas (solo detrás de la ciudad china de Shangai), cuarto en ciencias y quinto en lectura- el mismo director de la Agencia para la Ciencia, Tecnología e Investigación de ese país se quejaba de que los estudiantes singapurenses memorizaban mucho? R (en el minuto 2:33)
Lo primero que hay que criticar aquí es que realmente cómo y por qué discriminar y comparar a los sistemas educativos con los resultados de los exámenes PISA cuando el conocimiento tiene una ponderación tan baja. Aquí ya las estrategias de enseñanza y aprendizaje no entran en juego, aquí de lo que se trata realmente es de una evaluación de la inteligencia (IQ) y también de la aptitud matemática que tenga el estudiante.
¿En qué sistema escolar y para qué a los estudiantes se les imparten análisis espaciales de cubos, dados, cuadrados, fichas de dominós e identificación de patrones? A los estudiantes no se les puede pedir que demuestren habilidades que nunca han puesto en práctica en la escuela y por lo tanto no se puede inferir que los resultados de estos tests son medida de la calidad de la enseñanza en los países.
Una teoría que podría explicar las diferencias en los resultados podría ser las existencias de diferentes niveles promedios de Coeficientes Intelectuales en diferentes sociedades. En el IQ entran en juego diversos factores que nada tienen que ver con la escuela, como son la genética, el cuidado prenatal y la alimentación en la infancia. Los blancos genéticamente tienen mayor preponderancia a tener IQ más altos que los negros. Los asiáticos son los que tienen los IQ más altos Thirty years of research on race differences in cognitive ability
Entonces en Estados Unidos, donde los latinos y los afroamericanos representan el 28.9 % de la población, estas minorías tienen gran peso en la mediciones generales, pero diferente de Finlandia, donde las minorías no caucásicas representan solo un 0.2 % de la población.
Por otro lado, los países de Europa del Este (Eslovaquia y Hungría), al ser países de relativamente bajos ingresos, tendrían IQ más bajos y por eso les iría tan mal en los PISA (por debajo del promedio) y mucho mejor en los TIMSS (muy por encima del promedio), y el pésimo desempeño de la Federación Rusa en los PISA y excelente resultado en los TIMSS (muy por debajo del promedio de 500 puntos en los PISA y muy por encima del promedio de 487 en los TIMSS) se explicaría por los aun más bajos ingresos per cápita que en Eslovaquia y Hungría.
El libro «IQ and the wealth of nations» de Richard Lynn y Tatu Vanhanen es la única obra que intenta comparar los IQ de los países. Sin embargo, las muestras fueron realizadas a grupos de edad y épocas muy distantes y recolectadas por una gran variedad de estudios y autores. Van desde una muestra de 755 a niños de 7 años en 1972 con IQ de 98 en Finlandia, una muestra de 472 niños de 14 años en 1988 con IQ de 96 en Rusia, hasta una muestra de 832 niños de 5 a 11 años en 1995 con IQ de 98 en Checoslovaquia.
Veamos a continuación los rankings en los PISA 2003 de matemáticas en la primera tabla Rpagina 34, y luego en la segunda tabla los rankings de los TIMSS de matemáticas de 1999 de octavo curso R. El Reino Unido obtuvo una puntuación de 502, pero fue excluido por la OCDE de las comparaciones internacionales de PISA 2003 al concluir que la muestra de estudiantes que se examinaron no era representativa del país. Informe PISA 2003 pagina 332
–
A continuación tenemos una muestra de 20 ítems de los exámenes PISA 2003 de matemáticas. Los primeros 6 ordenados intercaladamente según se requiera o no de algún conocimiento del currículo para resolver el problema, luego 4 problemas consecutivos que son típicos de un test de inteligencia y 10 elegidos aleatoriamente. Presten especial atención a las porcentajes de respuestas correctas alcanzadas en Finlandia, Eslovaquia y la Federación Rusa en cada ítem. Después tenemos una muestra de 20 ítems de los exámenes TIMMS de matemáticas de 1999 y 2003 de octavo grado y finalmente una muestra de 4 ítems de los exámenes SERCE 2007 de la CEPAL. Notaremos muy claramente la gran diferencia de estos dos últimos tests frente a los PISA. Los PISA claramente se pueden tomar como exámenes globales de inteligencia de los países más que exámenes escolares. Todos los items de los exámenes PISA están disponibles aquí, los de los TIMMS aquí y Serce aquí
—
No requiere de ningún conocimiento escolar.
Sí requiere de conocimiento escolar
No requiere de ningún conocimiento escolar.
Sí requiere de conocimiento escolar.
No requiere de ningún conocimiento escolar.
Sí requiere de conocimiento escolar.
.
Aquí no están organizados en el orden del mayor porcentaje de estudiantes que respondieron correctamente. En la Federación Rusa un mayor porcentaje de estudiantes que en Finlandia respondió correctamente esta pregunta.
.
No requiere de ningún conocimiento escolar que no sea suma o resta simple
No requiere de ningún conocimiento escolar que no sea suma o resta simple
No requiere de ningún conocimiento escolar
No requiere de ningún conocimiento escolar
–
Click aquí para ver los 10 items de los PISA que fueron elegidos aleatoriamente.
……
Exámenes TIMMS de matemáticas de Octavo grado de 1999.
–
TIMMS 2003
—
Exámenes Serce sexto grado:
elgastoeducativodominicano.wordpress.com 
http://www.businessinsider.com/why-finland-fell-in-the-pisa-rankings-2013-12
-It’s also worth noting that Finland’s high PISA rankings had caused some controversy amongst Finnish educators. The problem was especially acute in mathematics, where many educators disagreed with the method by which PISA ranked students (PISA focuses on everyday knowledge, rather than curriculum-based knowledge).
For example, in 2005, more than 200 Finnish academics issued a warning about complacency as a result of the PISA success. Business Insider recently emailed with two Finnish education experts — Markku Halmetoja, chief editor in chief of in mathematics magazine Solmu, and Matti Lehtinen, Finnish team leader in IMO (International Mathematical Olympiad) — who offered this explanation for Finland’s mathematics problem.
Following a political decision made in 1985, there is only one math pro- gram in the compulsory phase of education, in the first nine school years (age 7 to 15). We consider this quite natural in the primary level: everybody has to acquire the basic arithmetic skills. But the present situation means that almost all formal algebra and geometry has disappeared from the curriculum as too difficult for a major part of the student population. A consequence of this is that upper high school math has to start almost from scratch, and there is really a long way to go if one hopes to reach a level sufficient to university studies in any subject involving mathematics. One indicator of the low level from which the part of student population to which mathematics is or would be important is the consistently low results obtained by Finland in high school level international competitions like the International Mathematical Olympiad.
This aspect is usually ignored by supporters of Finland’s education reforms. Gabriel Heller Sahlgren, a Swedish academic writing for the Spectator, points out that the «Finland fan club» rarely talks about another survey called TIMSS that focuses more on curriculum-based knowledge. Interestingly, the biggest drop in Finland’s results came this year in math (the focus of the PISA exams for the first time in ten years), and Finland ranked just 12th in math.
Finland’s educators themselves are not really surprised by the rankings, Kai-Ari Lundell, an elementary school teacher who recently became «teacher of the year» in Finland, explains, but they are disappointed. «We teach mathematics only four times a week,» Lundell adds. «It’s not a lot, especially when we compare how much they teach maths in some Asian countries.»
Of course, everything is relative, and Finland still ranked highly in reading and science, where it was the top European nation. But the domination of PISA rankings by Asian countries looks complete, with countries from the region holding all the top seven spaces in math, the top five in reading, and the top four in science. Ultimately, this success might come down to something simple and harder to imitate — hard work.
«Some teachers think that our life in Finland is so easy, our pupils have forgotten how to work,» Lundell says. «You won’t learn mathematics if you don’t work enough.»-