Aplicando una prueba

Como último ejercicio del curso sobre Evaluaciones Externas realizado a través de Educalab, toca realizar una aplicación de una prueba externa.

Lamentablemente no tengo alumnado a quien aplicar esta prueba y aunque en casa hay tres miembros que están en edad de escolarización y precisamente dos se encuentran en edades / cursos correspondientes a dos pruebas (PISA y PIRLS) no tengo una muestra suficiente a la solicitada así que he decidido buscar dentro del mundo de los adultos... Y he aplicado la prueba PIAAC, aunque durante el curso no se ha hecho referencia a ella.

Cabe destacar que los ítems que dispongo de la prueba no tienen todas las tipologias de respuesta (alternativa múltiple / respuesta elaborada / respuesta corta...  y tampoco hay una guia de codificación específica. No obstante, si que se indican los niveles de dificultad, que he utilizado como guía para la valoración.

Por otro lado no puedo especificar una asignatura, puesto que es una valoración de competencias a nivel de edad adulta.


Con todos los ítems que existen liberados, no se puede llegar a completar la hora de aplicación y además de la última pregunta no existe la página web que se menciona, por lo que no se puede aplicar directamente. La prueba en cuestión que elaboro queda presentada de la siguiente manera:

PIAAC Preguntas

Para conocer los criterios de corrección he elaborado el siguiente documento:

PIAAC correccion

El número total de personas a las que he aplicado la prueba ha sido de 10, en diferentes rangos de edad. Los resultados de la aplicación y los rangos de edad de las personas a quien se ha aplicado, se especifican en el siguiente documento:

PIAAC resultados

De los resultados obtenidos, he realizado algunas conclusiones, aunque considero que no se pueden extrapolar a nivel de toda la población adulta por falta de significatividad estadística.

Aún así cabe valorar que, efectivamente, aquellos ítems considerados como fáciles, han sido los que mejores resultados han obtenido.

Observo que los ítems con mayor dificultad han sido el Ítem 4 que requería un trabajo matemático específico y la el ítem 9, que realizaba valoración de contextos informatizados, donde la población de mayor edad no ha sabido superar la resolución del ejercicio.

Charla #preguntasPISA - Procesos de evaluación. Más allá de las preguntas.

Aunque tarde, ahora he conseguido poder escuchar la más que interesante charla que el pasado 3 de diciembre se realizó como parte del curso Mooc Las preguntas de PISA y TIMSS.

Primero, agradecer al equipo de INEE esta iniciativa y dar la opción de poder aclarar tantas dudas y eliminar tantas "leyendas urbanas" existentes alrededor de estas pruebas externas.

Personalmente me quedo con dos aspectos que más me han llamado la atención: las aclaraciones sobre los cuestionarios de contexto y sobretodo los indicadores de nivel socio-económico, puesto que la población educativa con la que trabajo es de un nivel sociocultural bastante deprimido y considero que es un valor muy importante a tener en cuenta. Ciertamente, como se ha comentado en la charla, aquel país que consigue los mismos resultados independientemente del nivel socio-económico de la población escolar es un país que demuestra tener un sistema educativo equitativo. Me han entrado ganas de buscar esos resultados a nivel de España, aunque no se si seré capaz de encontrarlos... No obstante, mucho me temo mucho que por mi experiencia, puedo avanzar que los resultados no son excesivamente equitativos.

Otro aspecto que me ha llamado la atención es el relacionado con las pruebas de Educación Infantil... También me pongo como objetivo buscar el informe de los resultados del piloto que se realizó Infantil.

Elaborando Items

El ejercicio que he elaborado está dirigido a alumnado de 4º de la ESO y concretamente quiere trabajar la comprensión lectora.

La lectura escogida es una oferta de empleo. La propuesta es realizar la actividad consultando la web original, aunque yo he puesto la información en el documento (aunque queda más aburrida) para facilitar la corrección.

El enlace de la oferta es:
Oferta Trabajo Orihuela

La oferta de trabajo se ha buscado para la zona donde vive el alumnado, buscando de este modo la cercania a su realidad y favorecer la comprensión de la actividad.

Auque no se ha incluido, esta actividad merece realizar un trabajo posterior de reflexión socio-económico sobre la actual situación del mercado y de las ofertas laborales.

Adjunto el documeto donde está detallado el ejercicio:

COMPRENSION LECTORA MOOC by esterspe

Adaptación Estímulos

Como orientadora educativa, no tengo un grupo concreto con el que pensar una adaptación de estímulos, por lo que este ejercicio me está costando bastante de pensar...

No obstante, he intentado adaptar dos estimulos a alumnado de 4º de Educación Primaria (9 años de edad) y he intentado hacer dos adaptaciones de compresión lectora de PIRLS y PISA.

Las adaptaciones son:

Adaptación estímulo para alumnado de 4º de Educación Primaria. Prueba PIRLS 2001

PIRLS 2001 Y 2006

Texto: La liebre anuncia un terremoto

Estímulo:

¿Qué significa que la liebre se pasaba el día “diciendo entre dientes”?

1. Que siempre estaba gritando. 

2. Que se cepillaba los dientes tres veces al día. 

3. Que hablaba en voz baja a sí misma.

4. Que llamaba por teléfono.

Adaptación estímulo para alumnado de 4º de Educación Primaria. Prueba PISA 2012:

PISA 2012

Texto: El Olfato

Estímulo: 

¿Según la lectura, qué nos indica el olor a humo?

1. Indica que hay cerca un cazador/a. 

2. Indica fuego.

3. Indica que hay personas cerca.

4. Indica que es hora de comer.

¿Cómo corrijo?

Como orientadora educativa, esta respuesta está muy limitada por mi parte. En mi profesión, las correcciones son a través de pruebas tipos test o tenemos unos criterios específicos de corrección.

Pero es cierto que a nivel de profesorado, si no se hace una reflexión previa de los criterios o estándares a corregir se pueden realizar valoraciones subjetivas condicionadas por qué alumno/a nos da la respuesta o el momento del día en el que estemos.

COMPARATIVA PISA / PIRLS

En relación a la valoración de la comprensión lectora de dos pruebas externas PIRLS / PISA, la primera observación y más obvia es que la población a la que se dirigen son muy diferentes.

PIRLS es una prueba que se dirige a 4º de Educación Primaria mientras que PISA la población a la que se dirige es de Educación Secundaria. Puesto que la población es muy diferente, evidentemente las pruebas también marcan esa diferencia, siendo más infantil la prueba PIRLS que la PISA (no hay imágenes en la segunda)

Pero lo más destacable a mi parecer es que desde la prueba PISA se va más allá de la comprensión lectora a nivel literal, provocando que el alumno/a realice un "salto" a nivel de reflexión y de extrapolación con su entorno.

Pruebas liberadas

Las pruebas que se han liberado de las evaluaciones externas, pueden tener la utilidad, de cara al profesorado para conocer las competencias que se están evaluando así como las características de las pruebas a las que se enfrentan los alumnos, para así poder elaborar recursos similares con el alumnado.

Algunos enlaces que son de interés para observar las pruebas son los siguientes:

http://www.mecd.gob.es/dctm/inee/internacional/pisa2012/itemsliberadospisa.pdf?documentId=0901e72b8178650a

http://blog.educalab.es/leer.es/web_descartes_eecl/R2-A1_ing/index.html

http://www.mecd.gob.es/dctm/inee/recursos/pdf-web.timss-2011-preguntas-ciencias.pdf?documentId=0901e72b81b12ae1

Igualmente el presente documento, que realiza una recopilación de publicaciones es de interés:

http://www.mecd.gob.es/dctm/inee/recursos/recopilacionpublicacionesineeenlacesweb.pdf?documentId=0901e72b81422ff4