Preguntas PAES 2022: Cómo se crearon las preguntas de la prueba

×

“Nada es al azar. Todo está planificado, probado y revisado por expertas y expertos internos y externos del DEMRE”. Así responde Ingrid Oyarzún a la frecuente consulta sobre cómo se construyó el cuestionario de preguntas PAES que deben responder quienes se inscriben para dar las pruebas de acceso a la educación superior.

La jefa de la Unidad de Construcción de Pruebas del Departamento de Evaluación, Medición y Registro Educacional (DEMRE) de la Universidad de Chile, explica que este es “un trabajo que se realiza con dos o tres años de anticipación”.

Seguidamente, asegura que el proceso comienza con la conformación de los equipos de constructores de ítems, que “son profesores de educación media, académicos, estudiantes de postgrado e, incluso, expertos de distintas áreas, como geógrafos o ingenieros, interesados en participar de este proceso que termina, recién, cuando las preguntas aparecen en los cuadernillos de la PAES”.

¿Qué sigue después? Acá se detalla el minucioso proceso que permite que una pregunta llegue al folleto oficial.

Paso 1: Creación de preguntas PAES

Los equipos de constructores y constructoras son los que crean las preguntas PAES y están conformados por personas capacitadas para realizar esta labor.

Ellos tienen como referencia los Manuales de Construcción de Ítems, en los que se establecen los lineamientos de las preguntas que se construirán, y los protocolos que este tipo de trabajo requiere.

Para confeccionar las preguntas, los integrantes de estos equipos tienen que seguir una serie de indicaciones entregadas por el DEMRE, las que se relacionan con los Marcos de Evaluación de las pruebas.

En estos se precisa lo que se quiere evaluar y cómo se evaluará, para lograr un conjunto de preguntas pertinentes y con distintos niveles de dificultad.

También, “deben considerar la seguridad con la que se trabaja, porque nada se puede filtrar”, enfatiza Oyarzún.

Una vez que las preguntas están listas, pasan a un proceso de revisión.

Luego, a un “banco de ítems” (como formalmente se le llama al lugar donde se guardan las preguntas) y, por último, a un proceso de ensamblaje de pruebas piloto.

Esto último consiste “en armar las pruebas, es decir, seleccionar las preguntas y darles un orden de acuerdo con sus respectivas especificaciones”, señala Ingrid Oyarzún.

Las preguntas ensambladas serán nuevamente revisadas por expertos que no fueron parte de la creación de estas. Lo mismo hará el área de Inclusión del DEMRE.

Paso 2: Pilotaje

La segunda etapa comienza con la gestión y realización de pruebas pilotos.

Esta etapa permite “calibrar las preguntas y determinar si son adecuadas a la población, ya sea en sus dificultades como en los distintos parámetros psicométricos requeridos en instrumentos de altas consecuencias”, detalla Oyarzún.

Los pilotajes se llevan a cabo una o dos veces al año y entregan datos estadísticos cercanos a la realidad, que ayudan a determinar cuáles preguntas se aprueban y cuáles se rechazan, según una serie de criterios técnicos que determina la Unidad de Análisis de Datos del DEMRE.

Así, las preguntas aceptadas quedarán en el estado de “Disponibles para ser usadas en una prueba oficial”, destaca.

Posteriormente, se incluyan en las PAES de Competencia Lectora, Competencia Matemática 1 (M1) y Competencia Matemática 2 (M2). Además, de las de Ciencias e Historia y Ciencias Sociales.

Pasos 3 y 4: Impresión y Prueba

Después de este largo camino de análisis, por fin las preguntas visadas, gracias a “muchos ojos expertos” y datos psicométricos, pasarán al folleto oficial que irá a impresión y llegará a las manos de las y los inscritos en el proceso de admisión.

No sin antes, eso sí, ser examinadas nuevamente por académicos e investigadores que nunca antes las habían chequeado.

“Hay que ser enfáticos: como DEMRE nunca aplicaremos una prueba oficial con preguntas que no hayan sido piloteadas previamente y que no cumplan con los estándares de calidad preestablecidos. Es importante que quienes vayan a rendir la PAES no piensen que por ser una prueba nueva no ha pasado por pilotajes anteriores y todos los estudios correspondientes”, sostiene Ingrid Oyarzún.

Mirada del DEMRE

Leonor Varas, directora del DEMRE, se suma a lo anterior, al explicar que “todos los cambios en las pruebas que se han estado implementando, se han basado en estudios, que entregan datos sobre cómo se comportan estos instrumentos en la población, y en extensos análisis con expertos externos y actores relevantes».

Añade que «esto ha permitido que el Comité Técnico de Acceso del Subsistema Universitario (formado por 7 rectores y rectoras y el(la) Subsecretario(a)) haya podido tomar decisiones que aporten a un sistema de admisión más justo y de mayor calidad”.

Varas finaliza citando un ejemplo que, en su opinión, resulta paradigmático al respecto: “Si el DEMRE no hubiese iniciado en 2017 un proyecto FONDEF para desarrollar nuevas pruebas de admisión, habría sido muy difícil, hasta imposible, poner fin a la PSU cuando por otra parte el rechazo de la población tampoco permitía mantenerla», dice.

Además, detalla, «en esto también se ve la anticipación con la que debemos trabajar. No hay atajos posibles.

Incluso teniendo pruebas desarrolladas con tiempo y harto estudio, lo prudente es transitar con cuidado, evaluando los resultados en aplicaciones nacionales, de verdad, así como se hizo este camino de transición con la PDT, para llegar finalmente a la PAES, que se aplicará por primera vez en noviembre. Estamos muy contentos por ello”, finaliza.

Fuente: Demre