La evaluación formativa desde la perspectiva de docentes noveles en las clases de educación física en primaria y secundariaResumen
Objetivo. Valorar cómo se llevan a cabo los procesos de evaluación formativa en la educación física escolar por parte de profesorado novel.
Metodología. Se desarrolló un estudio de casos con cuatro docentes noveles (menos de tres años de experiencia docente) que habían realizado su formación previa dentro del marco del Espacio Europeo de Educación Superior y que imparten docencia en la asignatura de Educación Física en primaria o secundaria. La recogida de información se efectuó a través de entrevistas semiestructuradas, observaciones no participantes y análisis documental.
Resultados. Se desarrollan procesos sistemáticos de evaluación formativa, aunque introducen pequeños matices en las prácticas evaluativas que dan un enfoque alternativo a esta misma, y se alejan de las formas tradicionales de evaluar en educación física. Además, se destaca la dificultad que supone en los primeros años docentes ajustar todos los elementos de los procesos evaluativos, así como hacer ver al alumnado la importancia y utilidad de estos procesos.
Discusión. Los resultados encontrados en este estudio deben servir como referencia para ajustar la formación inicial a las necesidades y dificultades mostradas por el personal docente novel con el objetivo de facilitar su tránsito hacia la profesión docente en la aplicación de procesos de evaluación formativa.
Palabras claves: Educación física; educación primaria; educación secundaria; evaluación formativa
Abstract
Aims. To value how formative assessment processes are used by novel teachers in physical education classes.
Methods. A case study with four graduates (less than three years of teaching experience) was conducted; they have developed their teacher education in European Higher Education Area and currently teach in primary or secondary physical education classes. Information was collected through semi-structured interviews, non-participant observations, and documentary analysis.
Results. The results show that systematic formative assessment processes are not carried out, although they introduce small changes in the assessment practices that give an alternative approach to the formative assessment, moving away from the traditional ways of assessment in physical education. In addition, the difficulty of adjusting all the elements of the assessment processes and making students see the importance and usefulness of these processes is highlighted in the first teaching years.
Discussion. The results found in this study should serve as a reference to adjust the initial training to the needs and difficulties shown by novel teachers in order to facilitate their transition to the teaching profession in the application of formative assessment processes.
Keywords: Physical education; primary education; secondary education; formative assessment
Resumo
Objetivo. Esta pesquisa busca avaliar como os processos de avaliação formativa são realizados na Educação Física escolar por docentes novatos.
Metodologia. Para isso, foi desenvolvido um estudo de caso com 4 docentes novatos (com menos de 3 anos de experiência de ensino) que concluíram sua formação anterior no âmbito da Área Europeia de Ensino Superior e que lecionam na disciplina de educação física no ensino fundamental ou médio. As informações foram coletadas por meio de entrevistas semiestruturadas, observações não participantes e análise documental.
Resultados. Os resultados indicam que processos sistemáticos de avaliação formativa não são desenvolvidos, embora introduzam pequenas nuances nas práticas de avaliação que oferecem uma abordagem alternativa, afastando-se das formas tradicionais de avaliação em educação física. Além disso, destaca-se a dificuldade de ajustar todos os elementos dos processos de avaliação, bem como de fazer com que os estudantes vejam a importância e a utilidade desses processos, nos primeiros anos de ensino.
Discussão. Os resultados encontrados neste estudo devem servir de referência para adequar a formação inicial às necessidades e dificuldades apresentadas por docentes novatos, com o objetivo de facilitar sua transição para a profissão docente na aplicação de processos de avaliação formativa.
Palavras-chave: Educação física; ensino fundamental; ensino médio; avaliação formativa
Introducción1
Los procesos de enseñanza y aprendizaje de calidad no se entienden si no van acompañados de procesos de evaluación de calidad. Con este objetivo, los procesos evaluativos deben superar la tradicional visión de selección y clasificación del alumnado a partir de calificaciones establecidas al final de los procesos educativos a través de test o exámenes imperantes desde hace décadas (López-Pastor y Sicilia-Camacho, 2017). Por ello, debe plantearse una evaluación que busque una mejora continua de los procesos de enseñanza y aprendizaje adquiriendo un carácter formativo (Cañadas, 2020;Hamodi et al., 2017). Con este fin, el proceso evaluativo debe centrarse en recoger información de forma sistemática a lo largo del proceso formativo para poder incrementar el aprendizaje del estudiantado partiendo de aquello que saben o saben hacer (López-Pastor y Sicilia-Camacho, 2017).
Esta forma de entender la evaluación adquiere gran relevancia en todos los niveles educativos. En la formación inicial de docentes se han desarrollado numerosas investigaciones que han mostrado su utilidad para el desarrollo de las competencias docentes (Cañadas, 2021; ; ; Sin embargo, en los niveles de educación obligatoria (Educación Primaria y Secundaria), son pocas las investigaciones que se han centrado en valorar la repercusión de la utilización de la evaluación formativa (Antoniou y James, 2014; Chng y Lund, 2018; Ní Chróinín y Cosgrave, 2013), y, más concretamente, cuando esta se focaliza en una materia curricular específica.
Los procesos de evaluación formativa en la educación física escolar
Entre las diferentes asignaturas que componen la educación obligatoria en España, la educación física (EF), tiene unas características particulares, como es su marcado carácter procedimental, que le requiere de métodos e instrumentos de evaluación que permitan valoran los desempeños de carácter motriz realizados por el alumnado. Tradicionalmente se han empleado los test de condición física provenientes del entrenamiento deportivo (Herrero-González et al., 2021; López-Pastor et al., 2013) que identifican en la EF las realizaciones del alumnado con la noción de rendimiento, de récord. Su principal finalidad es establecer diferencias y clasificar a las personas a través de las pruebas físicas y tests, sometiendo estos datos a un tratamiento estadístico, y poniendo el énfasis únicamente en el resultado de aprendizaje (Díaz Lucea, 2005). Sin embargo, empiezan a verse experiencias de evaluación formativa en el aula de EF (Barrientos Hernán, 2017; Borghouts et al., 2017), que muestran que el empleo de esta en las clases de EF contribuye a la mejora del autoconcepto; la motivación y el desarrollo de habilidades; ayuda al desarrollo de las competencias de iniciativa y espíritu emprendedor y de aprender a aprender; incita a que el alumnado tenga que asumir mayor responsabilidad en su aprendizaje e implicarse en el mismo, favorece el desarrollo de la competencia social; o bien, el hecho de que el alumnado conozca qué se espera de ellos y ellas, qué deben aprender y que tomen en consideración el feedback recibido para ello, contribuirá al desarrollo de la competencia de aprender a aprender.
En los procesos de evaluación formativa en EF se comprueba que hay un conjunto de temas que la investigación ha mostrado deben ser tenidos en cuenta (Espinel Barceló, 2017; Zubillaga-Olague y Cañadas, 2021, 2021, 2018, 2018, 2021, 2018). Entre estos encontramos quién es el responsable de la evaluación (desde la heteroevaluación a la autoevaluación) y la calificación; los momentos singulares de la evaluación formativa, en caso de una evaluación continua y no final; cómo se registran los aprendizajes y se informa al alumnado sobre los mismos; o qué tipo de aprendizajes se tienen en cuenta para la evaluación (procedimentales, conceptuales, actitudinales). Por otro lado, las investigaciones sobre evaluación formativa también muestran aspectos relevantes en cuanto a la dificultad de su puesta en práctica. En las etapas de la educación obligatoria se manifiestan en diferente sentido, como pueden ser las reticencias del propio alumnado, la materia de la que se trate o el contexto educativo (Looney, 2018; Martínez Rizo, 2013). Además, estas dificultades pueden mostrarse por el perfil y formación del profesorado. Entre los estudios realizados, no se ha valorado cómo el profesorado novel implementa en EF los procesos de evaluación formativa, ni las dificultades que experimenta. Por ello, este trabajo busca valorar cómo se llevan a cabo los procesos de evaluación formativa en la EF escolar por parte de profesorado novel.
Método
Tipo de estudio y finalidad de la investigación
Se desarrolló un estudio de casos instrumental (Stake, 2010). Para dar respuesta al objetivo de la investigación, se plantearon estas interrogantes: a) ¿Cómo aplica el profesorado novel de Educación Física la evaluación formativa? b) ¿Qué dificultades encuentra en la aplicación de procesos de evaluación formativa?
Participantes
Para la selección de las personas participantes se concretaron unos requisitos para su inclusión en el estudio. Esto marca el número y perfil de las personas participantes. Encontramos: a) que hayan estudiado un Grado universitario (entendido dentro del Espacio Europeo de Educación Superior) en Maestro/Maestra en Educación Primaria (Mención EF) o en Ciencias de la Actividad Física y el Deporte (más el Máster Universitario en Formación de Profesorado de Educación Secundaria Obligatoria y Bachillerato), por tanto, su formación había finalizado hacía 5 años o menos; y b) que trabajasen como docentes de EF en educación primaria o secundaria.
Partiendo de estos criterios se localizó únicamente a cuatro docentes que cumpliesen dichas características. Dos eran docentes de EF en la etapa de educación primaria, y habían realizado el Grado en Maestro/Maestra en Educación Primaria (Mención EF); las otras dos personas eran docentes de EF en la etapa de educación secundaria, y habían realizado el Grado en Ciencias de la Actividad Física y el Deporte y el Máster Universitario en Formación de Profesorado de Educación Secundaria Obligatoria y Bachillerato. En ambos casos terminaron sus titulaciones hace 5 años o menos (2013-2018) y todos trabajaban como docentes en centros educativos privados (entre 1-3 años de experiencia docente). En la Tabla 1 se encuentra la información completa sobre quienes participaron en esta investigación empleando para ello nombres ficticios.
Instrumentos
Para la recogida de la información se utilizaron:
-
Entrevista semiestructurada: Se desarrolló un guion con preguntas relativas al tipo de evaluación que aplican en el aula y cómo ponen en práctica los diferentes elementos que dan forma a los procesos de evaluación formativa. La entrevista fue diseñada por la investigadora principal y se sometió a un proceso de validación por pares, revisando dos expertos en la materia las preguntas desde el punto de vista de la temática y la comprensión para el entrevistado. Las aportaciones se recogen con el acrónimo de quienes participaron (por ejemplo, DS1).
-
Observación no participante: Se decidió observar una unidad didáctica completa porque nos permitía ver todo el proceso de enseñanza y aprendizaje. Esta información se recogió a través de un diario, de forma abierta. En el diario se apuntaba la fecha y la persona, curso y sesión que estaba siendo observada. La información se iba recogiendo a medida que los eventos iban ocurriendo en la clase, lo que nos permitió recoger todos los hechos relevantes que ocurrían relacionados con la investigación. Las aportaciones se recogen con la siguiente estructura: Participante observado: Fechas; Sesión Observada (por ejemplo, DP1: 28/04/2017; Sesión 4).
-
Análisis documental: solicitamos al personal docente sus programaciones y documentos (pruebas escritas, trabajos, portafolios, diarios, etc.) donde se reflejase la forma en que llevan a cabo la evaluación con su alumnado.
Procedimiento
Para llevar a cabo este estudio, se contactó con los posibles participantes, explicándoles la finalidad de la investigación y los compromisos, que en caso de que decidiesen participar, se adquirían por ambas partes. Una vez accedían a participar se les entregaba una carta detallada con toda la información del estudio solicitándoles su consentimiento informado y garantizando el anonimato y confidencialidad de la información recogida. Tras esta primera fase, procedimos a solicitar al personal docente sus programaciones y los diferentes documentos o instrumentos donde se recogía información sobre los procesos de evaluación. Posteriormente, se realizaron las observaciones en las diferentes unidades didácticas y cursos de cada una de las personas docentes. En este periodo llegábamos al centro y acompañábamos al docente a sus diferentes clases. Una vez inmersos en la sesión, nos manteníamos apartados, recogiendo la información que considerábamos relevante y que se correspondía con los objetivos de la investigación. Por último, realizamos las entrevistas. A partir de la literatura y de la información recogida a través de la observación y las programaciones, se planteó un guion con preguntas para guiarlas. Estas duraron entre 40 minutos y una hora. Al comienzo se recordaba a las personas participantes el propósito de la investigación para que estuviesen centrados en el tema central, que esta sería grabada y que todas sus respuestas serían anónimas. Se siguió el guion planteado, reconduciendo en algunos casos las preguntas cuando las respuestas no proporcionaban información sobre los temas que queríamos. Tras la transcripción, las entrevistas se enviaban a las personas participantes para que, si lo consideraban necesario, realizasen nuevas aportaciones o correcciones.
Análisis de la información
Después de recopilar toda la información, procedimos a analizarla. Comenzamos con la transcripción de las entrevistas que habían sido grabadas, las observaciones recogidas y los documentos proporcionados por quienes participaron. Una lista de códigos se desarrolló acorde a la literatura existente, los tópicos de la investigación y la información obtenida de la lectura detallada de las entrevistas, permitiéndonos tener una visión precisa de la información recopilada. La información obtenida se analizó con el software cualitativo NVivo v.12. Esta información se codificó y categorizó. Finalmente, la información se interpretó teniendo en cuenta el contexto en el que había sido recogida. A continuación, se muestran los códigos empleados:
-
La competencia evaluativa: aplicación de la evaluación formativa en las clases de Educación Física
-
Qué se evalúa
-
Momentos de la evaluación
-
Información inicial sobre los objetivos
-
Seguimiento del alumnado y feedback
-
Valoración de la adquisición de los objetivos
-
Quién evalúa: participación del alumnado en la evaluación y calificación
-
Cómo se evalúa: instrumentos de evaluación empleados
-
Dificultades en la aplicación de la evaluación formativa
Resultados y discusión
Prácticas de evaluación llevadas a cabo en las clases de Educación Física
Qué se evalúa
La concepción actual de la EF y del aprendizaje hace necesario que el alumnado trabaje no solo el ámbito procedimental, sino también el ámbito conceptual y el actitudinal. Elisa y Diego coinciden en la necesidad de evaluar los tres ámbitos mencionados. Sin embargo, a través de las observaciones comprobamos que en Primaria parece que el ámbito conceptual y el actitudinal no tienen una consideración relevante como para tener que llevar a cabo un seguimiento sistematizado de los aprendizajes. En secundaria, sin embargo, parece que se evalúa de una forma más estructurada y sistematizada los aprendizajes conceptuales, siendo los aprendizajes actitudinales aquellos que se asume que se pueden evaluar sin llevar un seguimiento sistematizado. Esto puede llevar a que en ocasiones no sea un aspecto bien valorado y que no se apliquen unos criterios de calidad acorde con lo que se está trabajando.
Pues creo que de cada UD que hago toco un poquito las tres, lo que es el conceptual, los conceptos que han asimilado, el actitudinal, la actitud que han tenido, el esfuerzo de participar, de superarse a sí mismo, porque lo que yo evalúo es eso que se superen a sí mismo, que tengan intención por superarse, que no se conformen; y luego evidentemente la parte motriz, si ha habido una evolución. (DP1).
Como en el trimestre se evalúa articulaciones, músculos y huesos, repasan los músculos de abajo a arriba. Van levantando la mano y cada uno dice uno en orden. (DP1: 28/04/2017; Sesión 4).
Así evalúo un poquito el aprendizaje diario. Normalmente yo suelo tener mi IPAD y al final del día cuando yo noto algo hago un registro de incidencias, pero… no suelo escribir mucha cosa. Suelo hablar de dos personas al día de las dos clases, es decir, poquita cosa. (DS1)
Del comentario de Diego (DS1) se desprende que la sistematización evaluativa no es precisamente exhaustiva, más bien obedece a resaltar aspectos relevantes, pero no aquellos que se tienen o se deben prever, y que debe conocer alumnado y profesorado. La visión que presenta el personal docente muestra un avance hacia la evaluación de todos los ámbitos de la persona implicados en el aprendizaje, y no únicamente sobre la valoración de una ejecución motriz o habilidad a través de test de condición física o de habilidad motriz, como habitualmente se ha entendido en EF (López Pastor et al., 2006). Investigaciones como la de González Gutiérrez (2013) o la de James et al. (2005) han mostrado la tendencia del profesorado de estas etapas a evaluar cada vez más estos tres ámbitos, y no únicamente el aspecto procedimental. Aun así, se observa la tendencia a evaluar de forma estructurada únicamente los aprendizajes procedimentales, mientras que el resto de los aprendizajes se hace de forma no sistematizada. Aunque estamos en EF donde la base del conocimiento es la motricidad, no se deben olvidar el resto de conocimientos, que deben constar entre los objetivos y resultados de aprendizaje.
Momentos de la evaluación
Conocer los momentos en que el personal docente realizan la evaluación contribuirá a valorar si llevan un seguimiento continuado de su alumnado y si tienen en cuenta de qué aprendizajes previos parten para desarrollar sus unidades didácticas. Entre el personal docente parece existir una coincidencia en evaluar al alumnado al principio de las unidades didácticas. Elisa y Adrián enfatizan el empleo de la evaluación al comienzo del periodo, generalmente la unidad didáctica, para adaptar aquello que tienen programado en función de las necesidades o dificultades que observen en el alumnado. Esto le permitirá que su alumnado pueda seguir el ritmo de la unidad didáctica. Diego (DS1), también realiza esta evaluación inicial, sin embargo, no considera necesario hacerlo en todas las unidades didácticas, sino en los contenidos de juegos y deportes. Quizá el hecho de considerar que el resto de los contenidos no necesitan esta evaluación previa puede llevar a que no se ajuste a las necesidades del alumnado aquello propuesto y se pierde la flexibilidad adaptativa a las necesidades e intereses. Además de no dar la misma importancia a todos los contenidos curriculares pensando que solo juegos y deportes tienen la complejidad suficiente para que existan diversos niveles en la clase.
Siempre parto de una evaluación inicial, es decir, la primera sesión siempre es para ver por dónde va cada alumno, luego en la progresiva veo como las sesiones que ya tengo programadas, si tengo que cambiar algo para algún alumno que tenga necesidades o que vea que no va a llevar el ritmo de esa sesión, o que si va a ir más adelantado darle un poquito más, y luego en la evaluación final evalúo a cada alumno, desde su inicio a la final, teniendo en cuenta todo lo que ha habido de progreso. (DP1)
No, depende… cuando trabajo juegos y deporte, siempre. Cuando he trabajado deportes individuales, colectivos… de adversario. He tenido esos tres grandes bloques y siempre hecho una evaluación inicial. Luego, cuando estoy trabajando algún contenido de salud en realidad no, yo les doy un poco de información y a través de juegos ellos van descubriendo. Yo creo que simplemente juegos y deportes. (DS1).
Durante el resto de la unidad didáctica hemos podido comprobar como el personal docente realiza un seguimiento, en la mayoría de los casos, no estructurado sobre la evolución del alumnado respecto a los aprendizajes. Es decir, el profesorado observa al alumnado durante las clases, pero sin recoger por escrito o a través de algún instrumento de evaluación estos aprendizajes. Esto realmente dificulta la labor de seguimiento del alumnado ya que es imposible retener la información de cada clase de cada alumno, y también dificulta darle feedback (en muchos casos el profesorado puede tener información sobre el progreso del alumnado, pero no hace consciente a este de en qué aspectos necesita mejorar), y que este pueda procesarlo y utilizarlo para mejorar su aprendizaje. La evaluación final es más estructurada. De hecho, es algo que encontramos en todas las prácticas de EF. Esto se refleja sobre todo a nivel conceptual y procedimental.
Después de la parte teórica hace un juego de preguntas por grupos para valorar qué han aprendido. Responden en grupo, y cuando acaba el tiempo levantan la pizarra todos los grupos para ver quién ha acertado y quién no. (DP1: 25/04/2017; Sesión 1)
Al final de la UD se hizo una evaluación entre iguales, uno de ellos tiene una hoja de observación mientras el otro hace la práctica, hacen la observación del uno al otro y luego yo pongo las notas juntas y hago una valoración con lo que yo también he visto. Antes de esa sesión se prepara una pequeña explicación de lo que se recoge en la hoja de observación, para que todo el mundo entienda lo mismo, y además la hoja de observación está relacionada con los objetivos de aprendizaje de cada sesión, por lo tanto, el alumnado sabe que cuando yo hablo de ser capaz de mantener la posesión del balón hablo de todas las habilidades que hemos aprendido en el día. (DS2)
De la información facilitada por el personal docente, se desprende que se va superando la tendencia a evaluar únicamente al finalizar el proceso de enseñanza y aprendizaje con el objetivo de asignar una calificación al alumnado (López Pastor et al., 2006), aunque estas condiciones no garantizan que se desarrolle una evaluación formativa ni siquiera que se pueda transferir al marco profesional. Se perciben pequeños aspectos que el profesorado trata en sus clases, pequeñas cuñas, pequeños intentos del profesorado por hacer la evaluación de forma diferente, pero sin que llegue a cumplir los requisitos para considerarse evaluación formativa. Queda mucho por trabajar principalmente en cómo desarrollar la evaluación inicial y la continua para que tengan el efecto que deberían tener, ayudando al alumnado a alcanzar los objetivos de aprendizaje y poder transferirlo al contexto profesional docente.
En este marco, dentro de los momentos de evaluación, vamos a tratar diferentes aspectos que se dan o pueden dar a lo largo del proceso de evaluación para que este tenga un carácter formativo. Si consideramos el proceso temporal tendríamos: compartir los objetivos de aprendizaje al comienzo de la unidad didáctica o de la sesión, el seguimiento y feedback que se da al alumnado y la valoración de los objetivos de aprendizaje al final del proceso.
Compartir los objetivos de aprendizaje al comienzo de la unidad didáctica o la sesión
Conocer qué es lo que se espera que se haya aprendido al finalizar el proceso va a ayudar al alumnado a poner el foco de atención en aquellos aspectos del aprendizaje que son importantes y no centrarse en otros superficiales. Además, de esta manera, cuando el profesorado les de feedback sobre su aprendizaje podrán relacionarlo con aquello que se espera que aprendan y sea más efectivo. Por lo general, el personal docente entrevistado no comparte sus objetivos (de unidad didáctica, de sesión) con el alumnado, aspecto coincidente con lo visto en investigaciones previas donde se investiga el discurso docente en los diferentes momentos de la sesión (López Rodríguez, 2012). Nuestras personas participantes sí que valoran que es una práctica que deberían realizar, porque la consideran de utilidad, pero no lo hacen.
… entonces yo sí que hago una pequeña asamblea al principio de la clase en el aula …. Entonces utilizo el lenguaje así un poquillo al principio para que me expresen qué trabajamos el día anterior e intentar unirlo con lo de este día. … Es verdad, es útil, porque yo ya sé lo que tengo que aprender. Entonces, bueno eso también se lo pido, lo hago a veces. Debería hacerlo más, pero hasta que uno no se para y lo reflexiona… Y no se da cuenta de lo mal que hace las cosas… (DS1).
Seguimiento del alumnado y feedback
El seguimiento del alumnado y el feedback son dos aspectos muy relacionados que conducen a que se produzcan procesos de evaluación formativa reales. El seguimiento del alumnado por parte del profesorado conducirá a que se puedan dar situaciones en las que se les proporcione feedback. Este es uno de los elementos centrales dentro de los procesos de evaluación formativa. La información que el profesorado proporciona al alumnado durante el proceso de aprendizaje. En el caso de nuestra investigación, el personal docente lleva un seguimiento del progreso de su alumnado durante las clases a través de notas de lo que ha ocurrido en las mismas. Especialmente en primaria se hace alusión a esta forma de seguimiento. Una de nuestras informantes, Clara considera que, por la edad de su alumnado, es la mejor manera de poder llevar un seguimiento continuado para posteriormente emitir el informe que se entrega a las familias.
… yo tomo notas durante todo el curso, tengo un programa que más o menos me hice yo, el que sigo y entonces a lo largo del curso voy tomando notas, observo a los alumnos en acción, yo no les hago una evaluación, los niños son pequeños, son bastante pequeños. Entonces no les hago un día que sea examen, yo les evalúo durante todo el año, tomando notas de las cosas más relevantes. (DP2)
Esta forma de recoger información es compartida por Elisa, que la combina con las grabaciones para poder observar a posteriori cómo su alumnado va progresando. El seguimiento que en ambos casos se lleva del alumnado se limita a los aprendizajes procedimentales, no haciendo referencia a un seguimiento del resto de aprendizajes, aspecto que coincide con lo visto previamente sobre qué tiende a evaluar el profesorado.
En secundaria, la cosa cambia un poco más, sobre todo en lo referente al aprendizaje conceptual. Diego lleva un seguimiento de este tipo de aprendizaje para saber si el alumnado ha comprendido lo que se ha estado trabajando en la sesión a través de hojas de reflexión diarias, aunque, el aprendizaje diario que puede ir observando en las clases, principalmente el actitudinal, lo hace a través de notas personales del alumnado que le llama la atención, pero no de todos.
Siempre en todas las unidades didácticas les planteo una hoja de reflexión diaria en la que ellos bueno me cuentan en dos líneas lo que hemos trabajado y desarrollen la expresión escrita, también porque yo he visto que no tienen un hábito de estudio y por lo menos ahí van repasando algo, esa EF que antes para ellos era una tontería y no estudiaban y se esforzaban en ella porque la tenían aprobada. (DS1)
Como hemos dicho, muy relacionado con el seguimiento del alumnado está el feedback que el profesorado proporciona a partir de la información recogida. Con el objetivo de poder corregir o mejorar las actuaciones del alumnado en aquellos aspectos observados por el profesorado indagamos en cómo proporcionan información sobre sus realizaciones. En primaria, las dos docentes coinciden en utilizar un feedback interrogativo, en el caso de Elisa preguntando a la persona estudiante, y en el caso de Clara, preguntando a sus compañeros en base a lo que hayan podido observar en las ejecuciones.
Sobre todo, individualizada. De forma verbal… Hay veces que veo cosas durante la clase, que sería el feedback inmediato, sacarle y decirle, ¿cómo puedes mejorar esto, ¿cómo lo estás trabajando? No suelo decirles tienes que hacer esto, esto y lo otro, sino que les hago pensar ¿cómo puedes mejorar esto? O ¿cómo estás trabajando esto? ¿O ves que tus compañeros estén a gusto con la actitud que estas teniendo? … (DP1)
En secundaria, Adrián comenta que, dependiendo de la situación, él les da un feedback más directo o interrogativo. Parece que la utilización de uno u otro es más motivada por la necesidad de conseguir los aprendizajes motrices de forma rápida, ya que cuando necesita que esto sea así es cuando utiliza el feedback directo, obviando los beneficios que el feedback interrogativo podría tener para el desarrollo de otro tipo de aprendizajes, aunque supusiese invertir algo más de tiempo:
Ellos trabajan individualmente y yo me muevo alrededor, dando feedback individual a las cosas que veo. A veces es feedback directo, en plan hoy ya hemos hablado que hay que hacer una C, y por ejemplo veo que 5 no lo están haciendo, entonces yo tengo prisa y doy el feedback de forma directa, pero si no les preguntaría, ¿estás haciendo una C? o ¿Qué movimiento has hecho con el brazo? Muchas veces ellas mismas no se dan cuenta de lo que están haciendo, no lo entienden. Pues siempre está bien que les preguntemos qué estás haciendo, qué has hecho, por qué has hecho esto y no lo otro. (DS2)
De forma general, vemos que no se le da un papel tan relevante al feedback como consideramos que debería tener en el proceso de enseñanza y aprendizaje. Su utilización parece poco frecuente, aspecto coincidente con investigaciones previas (López Rodríguez, 2012), y en Primaria parece que se dirige al alumnado a través de cuestiones muy generales, sin concretar específicamente en un aspecto determinado que se está aprendiendo (¿cómo lo has hecho?, ¿cómo te has sentido?). Mientras que, en Secundaria, aunque parece que se valora la necesidad de dar un feedback sobre la ejecución, este se ve limitado por el tiempo de clase.
Valoración de la adquisición de los objetivos
Por último, en cuanto a la forma en que el personal docente valora el grado de adquisición de los objetivos, nos encontramos con que más allá del análisis realizado sobre cómo es la evaluación al final del proceso, son pocas las referencias que el personal docente hace a la forma en que registran que se hayan adquirido los objetivos al final del proceso (de sesión, de unidad didáctica…). Adrián nos aporta información sobre como él al final de cada sesión valora informalmente, y a través de la observación, que el alumnado haya adquirido los objetivos propuestos para ese día. La valoración de los objetivos es un aspecto de especial relevancia ya que en muchos casos será la única forma de conocer en qué punto se encuentra el alumnado y si es necesario realizar alguna adaptación a lo previamente programado para que el alumnado pueda conseguir los objetivos.
Luego a la vez como evaluación formativa para saber cómo van las cosas yo todos los días evalúo si el alumnado ha aprendido o no ha aprendido al final el objetivo de la sesión. Al final de la sesión hay como una actividad más global donde yo me echo un poco para atrás y miro un poco el general de la clase, y miro a diferentes individuos con diferente nivel de competencia inicial y veo si realmente han mejorado, si entienden el concepto, si realmente utiliza las habilidades que hemos obtenido, si realmente responden a las tareas propuestas. (DS2)
Quién evalúa
Parece existir un consenso en el interés de que el alumnado participe en la evaluación, aunque el pensar que es una alternativa eficaz no quiere decir que sea una práctica que se realice de forma continua o sistemática. Comprender estos procesos nos permitirá conocer la responsabilidad que el profesorado cede a su alumnado en los procesos de evaluación a la vez que comprobar de qué manera lo abordan (si los desarrollan) con su alumnado.
Según Clara, esta no es una práctica que realice habitualmente. Elisa, por su parte, considera que es una práctica que utiliza de forma más continua con su alumnado. Dependiendo del curso y sus objetivos, el alumnado participa a través de la autoevaluación o la coevaluación. Además, esta evaluación se lleva a cabo de forma sistematizada recogiendo información tanto por su parte como por la del alumnado.
En esta tarea trabajan por grupazos, y las personas que no están ejecutando tienen que hacer de “miniprofes”, es decir, deben corregir a los compañeros. La profesora les indica que deben fijarse en: (1) si gira el pie de apoyo; (2) si gira la cadera; (3) si la rodilla está arriba. Pregunta a los observadores por lo que ven en las ejecuciones de los compañeros, en qué fallan, etc. (DP1: 03/05/2017; Sesión 5)
Quizá el único aspecto que dificulta que la actividad sea completamente formativa es que no se insiste en que esa información que recogen sobre los compañeros y compañeras deba transmitírsela a esas personas para que lo tengan en cuenta en la siguiente ejecución y con ello puedan mejorarla. Esta participación del alumnado también se da en la calificación, donde ellos y ellas, de forma conjunta con la profesora, establecen cuál puede ser su nota en base a los ítems previamente establecidos. Aunque se observa que existe una aplicación de estos procesos parecen más situaciones aisladas que planteadas con una continuidad y buscando, entre otras cosas, desarrollar un aprendizaje sobre evaluación, y sobre cómo valorar los diferentes aprendizajes que se dan. Si consideramos que los procesos de evaluación donde participa el alumnado deben ser enseñados y utilizados en progresión para que se consiga un nivel de autonomía al finalizar la etapa escolar, los procesos de evaluación empleados deberían fomentar que el alumnado sea capaz de ser consciente de qué tiene que aprender, cómo puede valorar si lo está aprendiendo, cómo puede reconocer si un compañero está haciendo bien la habilidad a trabajar, etc., haciéndolo cada vez con menos apoyos y ayudas.
En secundaria, Diego es partidario de que el alumnado participe, sin embargo, admite que no lo ha hecho con regularidad, por el tiempo que requeriría prepararlo y que él durante este curso ha tenido que invertir en otros aspectos como preparar las sesiones en inglés. Parece que la utilización de procesos de evaluación formativa se ve supeditada al resto de aspectos o elementos que forman parte tanto del proceso de enseñanza y aprendizaje como de la labor docente, relegándose en este caso una evaluación de calidad a un papel secundario. Quizás, la propia dificultad y trabajo que conlleva para el profesorado implementar procesos de evaluación formativa los lleva a no tomarse esta práctica con la importancia que debe tener, y considerar que, aunque no lo implementen, van a seguir desarrollando correctamente sus clases.
… sobre la parte práctica, en la última UD he hecho que ellos se evalúen. Al principio de curso estaba tan agobiado con preparar otras cosas, como por ejemplo del bilingüismo, que no me paré a reflexionarlo y entonces fui tirando. Pero en esta UD ya se están evaluando ellos con hojas de observación, y yo lo que utilizo normalmente también son hojas de observación. (DS1)
Adrián coincide con Diego en la forma de realizar la coevaluación entre el alumnado, a través de hojas de observación. En ambos casos, se aporta información al alumnado sobre qué aparece en la hoja de observación y cómo utilizarla. La utilización que hacen las dos personas docentes tiene como base los aprendizajes que han ido viendo, aspecto que ayudará al alumnado a reconocer y poder observar aquello que se desea evaluar. Esta estrategia parece adecuada, teniendo en cuenta que los aprendizajes quedan registrados en torno a unos criterios establecidos previamente y que el alumnado conoce y los relaciona con las sesiones desarrolladas previamente en las clases de EF.
Cómo se evalúa: Instrumentos de evaluación empleados
Conocer qué instrumentos de evaluación emplean y cómo lo hacen, nos va a permitir ver si se ha superado el tradicional empleo de test motores y de condición física que tan presentes han estado en la EF, y hacernos una idea de qué tipo de instrumentos se utilizan para cada tipo de aprendizaje y si se aplica un único tipo o una diversidad de instrumentos.
Durante las observaciones pudimos ver cómo se emplean ciertos instrumentos de evaluación. En el caso de primaria observamos que se utilizan aquellos dirigidos a la evaluación del ámbito procedimental a través de ítems sobre la ejecución técnica del movimiento específico que están trabajando con una planilla de observación. La evaluación conceptual se lleva a cabo a través de preguntas informales realizadas en ciertos momentos durante las sesiones con el objetivo de valorar qué aspectos se van asimilando mejor y cuáles peor, pero no se lleva un seguimiento con registros de cada alumno. Por una parte, es positivo porque ayuda a que el alumnado no perciba la evaluación como un aspecto sancionador, pero por otro, dificulta llevar un seguimiento de todo el alumnado, de su progresión, aspectos en los que necesitan mejorar, etc.
En clase les explica cómo utilizar la planilla de observación que les va a dar. Les dice que uno va a observar, otro ejecuta, otro sujeta la palmeta, y otro graba. Les explica que en la hoja de observación solo hay que apuntar lo que hacen mal en la ejecución. Con cada pierna solo tienen una oportunidad. … todo el feedback que tienen es en función de lo que el compañero que observa ponga en la hoja. (DP1: 11/05/2017; Sesión 8)
Para la parte conceptual, por ejemplo, articulaciones, músculos, te pongo un ejemplo, pues a veces … les cojo de manera individualizada y les digo articulación, los tobillos. O están todos en círculo, les tapo los ojos y les voy preguntando y ellos se van tocando. Voy variando para que no sea siempre igual (DP1)
En secundaria, también hemos observado que existe una predominancia de las fichas de observación para recabar información sobre los aprendizajes procedimentales. Es el instrumento más empleado por el profesorado para evaluar estos aprendizajes. Diego, para evaluar los aprendizajes conceptuales utiliza diferentes instrumentos, como las hojas de reflexión o el examen. Para llevar un seguimiento del proceso de aprendizaje durante la unidad didáctica utiliza las hojas de reflexión sobre el trabajo realizado en clase, que cree también ayudan al alumnado a desarrollar hábitos de trabajo diarios. Como parte de la evaluación final en la unidad didáctica realiza un examen tipo test recogiendo cuestiones sobre la teoría y los aprendizajes conceptuales aprendidos a través de la práctica.
En esta UD ya se están evaluando ellos con hojas de observación, y yo lo que utilizo normalmente también son hojas de observación. Y yo los veo en una situación más o menos abierta, no algo cerrado y en relación con lo que he ido enseñando. (DS1)
En estos casos se ve una perspectiva más dirigida a conocer aspectos relacionados con el juego y no tanto con su ejecución técnica. Esta diferenciación entre el qué se evalúa en primaria y secundaria, aunque a priori no sea algo que dependa del instrumento de evaluación (este es el mismo), sí depende de la visión que se tenga sobre la finalidad de la EF. Mientras que en primaria son aspectos más técnicos, en secundaria se centran más en elementos sobre cómo abordar el juego. Esto también va a incidir en la forma en que se construyan las hojas de observación, ya que los ítems que se recogerán serán diferentes e incluso será necesario utilizar escalas diferentes.
Hemos podido comprobar, que los instrumentos que se utilizan para evaluar al alumnado de EF de primaria y secundaria, aunque no demasiado variados, sí que empiezan a alejarse de los test de condición física y de habilidad motriz tradicionalmente utilizados para evaluar y calificar al alumnado de la asignatura (Díaz Lucea, 2005). Esto es un comienzo para conseguir que los procesos de evaluación empiecen a cambiar en las clases de EF, pero no hay que conformarse simplemente con que se produzca un cambio en los instrumentos de evaluación empleados, sino también en la finalidad con la que son evaluados los aprendizajes, dejándose de lado la clasificación del alumnado en base a los resultados que consiga, como se ha hecho durante mucho tiempo en EF, utilizando estos test anteriormente mencionados (Velázquez Buendía y Hernández Álvarez, 2004).
Dificultades en la aplicación de la evaluación formativa
Por último, indagamos si en sus intentos por implicar al alumnado o utilizar instrumentos de evaluación diferentes a los habitualmente empleados, les generaba algún tipo de dificultad o negativa por parte de la comunidad educativa. Diego, por una parte, señala la propia dificultad que conlleva desarrollar y llevar a la práctica la evaluación, ser capaz de concretar de manera adecuada el número de ítems, de transformar la evaluación en calificación, gestionarlo en el tiempo disponible, etc.
Tu planteas un sistema de evaluación con un montón de cosas, un montón de ítems… yo me acuerdo mis rúbricas iniciales tenían un montón de ítems, y de repente me daba cuenta que acababa poniendo la nota inventándomela. Y al final a la hora de calificar, me costaba muchísimo y decía es que yo no sé si esto está bien. (DS1)
La dificultad para implementar procesos de evaluación formativa es uno de los temas más recurrentes para justificar que no se lleven a cabo. Y, en este caso, Diego está mostrando una dificultad muy normal en el personal docente que se están iniciando en la profesión, como es la de ser capaz de ajustar el sistema de evaluación y no sobrecargarlo con el tiempo, ni introducir muchos aspectos a evaluar, etc. Esto no parece algo único de él, sino de cualquier persona que por primera o segunda vez tiene que llevar a una práctica real algo que ha desarrollado a nivel teórico. Otro de los problemas que Diego señala es el propio centro, lo que previamente se haya hecho allí y cómo entiendan y valoren la EF. En su caso, considera que la asignatura de EF, tal y como se ha ido desarrollando en el centro, no da lugar a introducir estos procesos de evaluación formativa, principalmente porque esta no tiene un reconocimiento como el resto de las materias, devaluando la importancia de sus aprendizajes. Considera que para evitar esto, se debe dar visibilidad a las prácticas evaluativas que se lleven a cabo para que así el centro pueda realizar una verdadera valoración de estas, con independencia de la asignatura que se trate.
Un aspecto en el que coinciden tanto Diego como Elisa es en la percepción del alumnado sobre este tipo de evaluación y su actitud hacia la misma. Ambos opinan que, en general, hay alumnos que o no están de acuerdo con el resultado de su participación en la evaluación, o bien supone mucho trabajo extra. Consideramos que este debería ser un aspecto que trabajar con el alumnado con el fin de hacerles ver los beneficios que podría tener la utilización de este tipo de evaluación frente a la que conocen.
… tal vez algún niño no acepta lo que le dices o que no ve que no se está esforzando, que para él está dando el máximo cuando puede dar más… Tal vez la actitud negativa por parte del alumnado, no dejarse ayudar, tal vez eso un poquito (DP1).
Conclusión
El estudio realizado nos advierte de que la aplicación de la evaluación formativa por parte del personal docente no se lleva a cabo en su totalidad, ni en todos los momentos del proceso de enseñanza y aprendizaje. Más bien, se trata de pequeños matices que se introducen en las prácticas evaluativas con las que tratan de darle un enfoque alternativo a la misma, alejándose de las formas tradicionales de evaluar en EF, aunque sin conseguir llevar a cabo procesos sistemáticos de evaluación formativa.
Las fortalezas de esta investigación se centran en su carácter innovador, dado que es un campo donde la investigación está poco extendida y en el análisis en profundidad que se hace de los procesos evaluativos en esos contextos. Ante esto, se presentan ciertas limitaciones, como el reducido número de participantes o el corto periodo de observación de los procesos de evaluación. Las líneas futuras de investigación deben continuar focalizándose en cómo se llevan a cabo los procesos de evaluación en las aulas de Educación Primaria y Secundaria, y el impacto que estos procesos tiene en el aprendizaje del alumnado, así como profundizar en cuáles aspectos el profesorado necesita mayor formación para poder proporcionárselos desde los contextos formativos.
Declaración de Material complementario
Este artículo tiene disponible, como material complementario:
-La versión preprint del artículo en https://doi.org/10.5281/zenodo.4890942
Referencias
-
Antoniou, P. y James, M. (2014). Exploring formative assessment in primary school classrooms: Developing a framework of actions and strategies. Educational Assessment, Evaluation and Accountability, 26(2), 153-176. 10.1007/s11092-013-9188-4
» https://doi.org/10.1007/s11092-013-9188-4 - Barrientos Hernán, E. J. (2017). La evaluación formativa en los centros bilingües: Una experiencia en la asignatura de educación física (en inglés). En V. M. López-Pastor y Á. Pérez-Pueyo. (Coords), Evaluación formativa y compartida en educación: Experiencias de éxito en todas las etapas educativas (pp. 170-179). Universidad de León.
-
Borghouts, L. B., Slingerland, M. y Haerens, L. (2017). Assessment quality and practices in secondary PE in the Netherlands. Physical Education and Sport Pedagogy, 22(5), 473-489. 10.1080/17408989.2016.1241226
» https://doi.org/10.1080/17408989.2016.1241226 - Cañadas, L. (2018). La evaluación formativa en la adquisición de competencias docentes en la formación inicial del profesorado de Educación Física [Tesis Doctoral]. Universidad Autónoma de Madrid.
-
Cañadas, L. (2020). Evaluación formativa en el contexto universitario: Oportunidades y propuestas de actuación. Revista Digital De Investigación En Docencia Universitaria, 14(2), 1-14. 10.19083/10.19083/ridu.2020.1214
» https://doi.org/10.19083/10.19083/ridu.2020.1214 -
Cañadas, L. (2021). Contribution of formative assessment for developing teaching competences in teacher education. European Journal of Teacher Education, In press 10.1080/02619768.2021.1950684
» https://doi.org/10.1080/02619768.2021.1950684 -
Cañadas, L., Castejón, F. J. y Santos-Pastor, M. L. (2018). Relación entre la participación del alumnado en la evaluación y la calificación en la formación inicial del profesorado de Educación Física. Cultura, Ciencia y Deporte, 13(39), 291-300. https://ccd.ucam.edu/index.php/revista/article/view/1172
» https://ccd.ucam.edu/index.php/revista/article/view/1172 -
Cañadas, L., Santos-Pastor, M. L. y Castejón, F. J. (2018). Evaluación en la formación inicial ¿Avance o retroceso? Bordón. Revista de Pedagogía 70(4), 9-22. 10.13042/Bordon.2018.64434
» https://doi.org/10.13042/Bordon.2018.64434 -
Cañadas, L., Santos Pastor, M. L. y Ruiz Bravo, P. (2021). Percepción del impacto de la evaluación formativa en las competencias profesionales durante la formación inicial del profesorado. Revista Electrónica de Investigación Educativa, 23, 1-13. 10.24320/redie.2021.23.e07.2982
» https://doi.org/10.24320/redie.2021.23.e07.2982 -
Castejón, F. J, Santos-Pastor, M. L. y Cañadas, L. (2018). Desarrollo de competencias docentes en la formación inicial del profesorado de Educación Física. Relación con los instrumentos de evaluación. . Estudios Pedagógicos, 44(2), 111-126. 10.4067/S0718-07052018000200111
» https://doi.org/10.4067/S0718-07052018000200111 -
Chng, L. S. y Lund, J. (2018). Assessment for learning in physical education: The what, why and ah How. Journal of Physical Education, Redaction & Dance, 89(8), 29-34. 10.1080/07303084.2018.1503119
» https://doi.org/10.1080/07303084.2018.1503119 - Díaz Lucea, J. (2005). La evaluación formativa como instrumento de aprendizaje en educación física Inde.
-
Espinel Barceló, P. A. (2017). Evaluación formativa y compartida y modelo competencial en secundaria. Estudios de caso en la materia de educación física [Tesis doctoral]. Universidad Católica San Antonio de Murcia. http://repositorio.ucam.edu/handle/10952/2564
» http://repositorio.ucam.edu/handle/10952/2564 - González Gutiérrez, I. (2013). La evaluación de la educación física en la etapa de primaria [Tesis de maestría]. Universidad de Cantabria.
-
Hamodi, C., López-Pastor, V. M. y López-Pastor, A. T. (2017). If I experience formative assessment whilst studying at university, will I put it into practice later as a teacher? Formative and shared assessment in Initial Teacher Education (ITE). European Journal of Teacher Education, 40(2), 171-190. 10.1080/02619768.2017.1281909
» https://doi.org/10.1080/02619768.2017.1281909 -
Herrero-González, D., Manrique-Arribas, J. C. y López-Pastor, V. M. (2021). Incidencia de la formación inicial y permanente del profesorado en la aplicación de la evaluación formativa y compartida en educación física. Retos, 41, 533-543. 10.47197/retos.v0i41.86090
» https://doi.org/10.47197/retos.v0i41.86090 -
James, A. R., Griffin, L. L. y France, T. (2005). Perception of assessment in elementary physical education: A case study. Physical Educator, 62(2). 85-95. https://digitalcommons.brockport.edu/pes_facpub/63
» https://digitalcommons.brockport.edu/pes_facpub/63 -
Looney, J. (2018). Are student assessments fit for their purposes? European Journal of Education, 53(2), 129-132. 10.1111/ejed.12276
» https://doi.org/10.1111/ejed.12276 -
López-Pastor, V. M., Kirk, D., Lorente-Catalán, E., MacPhail, A. y MacDonald, D. (2013). Alternative assessment in physical education: A review of international literature. Sport, Education and Society, 18(1), 57-76. 10.1080/13573322.2012.713860
» https://doi.org/10.1080/13573322.2012.713860 -
López Pastor, V. M., Monjas Aguado, R., Gómez García, J., López Pastor, E. M., Martín Pinela, J. F., González Badiola, J., Barba Martín, J. J., Aguilar Baeza, R., González Pascual, M., Heras Bernardino, C., Martín, M. I., Manrique Arribas, J. C., Subtil Marugán, P. y Marugán García, L. (2006). La evaluación en educación física. Revisión de modelos tradicionales y planteamiento de una alternativa. La evaluación formativa y compartida. Retos Nuevas tendencias en Educación Física, Deporte y Recreación , 10, 31-41. https://recyt.fecyt.es/index.php/retos/article/view/35061
» https://recyt.fecyt.es/index.php/retos/article/view/35061 -
López-Pastor, V. y Sicilia-Camacho, A. (2017). Formative and shared assessment in higher education. Lessons learned and challenges for the future. Assessment & Evaluation in Higher Education, 42(1), 77-97. 10.1080/02602938.2015.1083535
» https://doi.org/10.1080/02602938.2015.1083535 -
López Rodríguez, Á. (2012). La calidad de los procesos de comunicación en el aula de Educación Física: Un estudio sobre calidad del discurso docente en profesorado de la Comunidad de Madrid [Tesis doctoral]. Universidad Autónoma de Madrid. https://repositorio.uam.es/handle/10486/11679?show=full
» https://repositorio.uam.es/handle/10486/11679?show=full -
Martínez Rizo, F. (2013). Dificultades para implementar la evaluación formativa. Revisión de literatura. Perfiles educativos, 35(139), 128-150. 10.1016/S0185-2698(13)71813-0
» https://doi.org/10.1016/S0185-2698(13)71813-0 -
Ní Chróinín, D. y Cosgrave, C. (2013). Implementing formative assessment in primary physical education: Teacher perspectives and experiences. Physical Education and Sport Pedagogy , 18(2), 219-233. 10.1080/17408989.2012.666787
» https://doi.org/10.1080/17408989.2012.666787 - Stake, R. E. (2010). Qualitative research. Studying how things work The Guilford Press.
- Velázquez Buendía, R. y Hernández Álvarez, J. L. (2004). Evaluación en educación y evaluación del aprendizaje en educación física. En J. L. Hernández Álvarez y R. Velázquez Buendía. (Coords), La evaluación en educación física. Investigación y práctica en el ámbito escolar (pp. 11-49). Graó.
-
Zubillaga-Olague, M. y Cañadas, L. (2021). Diseño y validación del cuestionario “#EvalEF” para conocer el proceso de evaluación desarrollado por los docentes de educación física. Retos , 42, 47-55. 10.47197/retos.v42i0.86627
» https://doi.org/10.47197/retos.v42i0.86627
-
1
Este artículo procede de la Tesis Doctoral: Cañadas (2018). This article comes from the doctoral thesis:Cañadas (2018). Este artigo vem da tese de doutorado:Cañadas (2018).
Fechas de Publicación
-
Fecha del número
Sep-Dec 2021
Histórico
-
Recibido
27 Dic 2019 -
Revisado
15 Jul 2021 -
Acepto
17 Ago 2021
