Introducción

La universidad española participa en un proceso de cambio para adaptarse a las demandas del Espacio Europeo de Educación Superior (EEES) en el que está inmersa, asumiendo una reformulación de roles y competencias en el profesorado y estudiantado. El trabajo por competencias demanda una nueva metodología, distinta a la tradicional, que supone, a su vez, el manejo de nuevos sistemas de evaluación (Poblete et al.,2016).

La noción de competencia pretende ser un elemento clarificador y facilitador de una mayor formación interdisciplinar del estudiantado, a la que las instituciones de educación superior habrán de reorientar sus enseñanzas (López Ruiz, 2011) para favorecer la empleabilidad mediante una inserción profesional a largo plazo (Verano-Tacoronte et al., 2016). Formar a docentes en competencias exige generar situaciones didácticas para enfrentar al estudiantado a las tareas que deben resolver, vinculadas con problemáticas reales (Díaz-Barriga Arceo, 2012).

Las competencias pueden ser definidas como:

En efecto, las competencias explican y describen de qué forma rendimos, pero no por qué rendimos o no. Son necesarias, pero no bastan para entender el rendimiento (Boyatzis, 1982). No obstante, en los diferentes diseños de competencias para la formación universitaria, se enfatizan las competencias comunicativas en cada una de sus destrezas (hablar, escribir, leer, escuchar), consideradas como competencias iniciales básicas para cualquier docente (Perrenoud, 2004; Ruiz-Terroba et al., 2017). Pero en la bibliografía especializada son muy escasos los instrumentos que ilustran acerca de cómo evaluar habilidades de comunicación escrita en estudiantado universitario (Muñoz y Valenzuela, 2015), de ahí la pertinencia de este estudio. Por ello, el objetivo del artículo fue validar una rúbrica para evaluar las habilidades expositivas de futuro personal docente, a sabiendas de que la escritura es una actividad cognitiva compleja y un ámbito imprescindible para la formación integral del estudiantado, así como un aspecto esencial para su futuro personal y profesional (Ruiz-Terroba et al., 2017).

Marco teórico

Los textos expositivos

En la formación universitaria, la adquisición de competencias comunicativas es transcendental, por lo cual resulta prioritaria la atención de las dificultades escritoras del estudiantado (Álvarez y Yániz, 2015). Diferentes estudios han percibido la escritura en el contexto de la educación superior como una herramienta clave para el estudiantado, por cuanto le permite acceder a nueva información y elaborar nuevos saberes, en un proceso de transformación del conocimiento académico (Concha et al., 2010; Marinkovich y Córdova, 2014).

El texto expositivo, predominante en el ámbito académico universitario (Villalonga-Penna y Hael, 2016) y fuente de aprendizaje básica en los sistemas educativos formales (Flores-Carrasco et al., 2017), se usa, no obstante, como sinónimo de texto explicativo o informativo.Para Álvarez Angulo (2001), exponer, explicar e informar son conceptos muy próximos entre sí, cuya diferencia reside fundamentalmente en su intencionalidad. Mientras que la exposición pretende mostrar o presentar una serie de informaciones, la explicación, además de mostrarlas, busca su comprensión. En la práctica, exposición y explicación van unidas normalmente, puesto que cuando se expone un contenido se pretende hacerlo de forma que se entienda y llegue a su público destinatario, motivo por el cual Álvarez-Angulo opta por la denominación de textos expositivo-explicativos.

El texto expositivo-explicativo persigue expresar información o ideas con la intención de mostrar, explicar o hacer que sean más comprensibles dichas informaciones (Álvarez, 1993; Álvarez Angulo y Ramírez Bravo, 2011). En este sentido, el texto expositivo contiene elementos sustantivos del texto argumentativo, el cual desempeña un papel fundamental en el acceso al conocimiento disciplinar y en el proceso de alfabetización académica (Córdova Jiménez et al., 2016).

Las principales marcas lingüísticas y textuales que incluye un texto expositivo pueden ordenarse en tres niveles (Álvarez Angulo 2001; Álvarez-Angulo y Ramírez Bravo, 2011):

La rúbrica: un instrumento útil para la evaluación de textos

La consideración de la evaluación como la emisión de juicios acerca del grado en que un escrito cumple con las características esperadas de un buen texto (Beyreli y Ari, 2009) no anula el problema de la subjetividad, dada la imposibilidad de consensuar criterios específicos comúnmente aceptados (Huot y O’Neill, 2009). Este hecho aconseja crear instrumentos de evaluación operativos que permitan evaluar el constructo de la escritura y ayuden a minimizar las discrepancias entre quienes los juzgan. No en vano, el éxito de un procedimiento evaluativo depende, fundamentalmente, de que el instrumento que se maneja mida con exactitud lo que se desea medir (Ibáñez, 2012).

En este escenario, las rúbricas, que establecen criterios y estándares mediante una escala en la que se establecen diferentes niveles de habilidad (Cano, 2015; Verano-Tacoronte et al., 2016), se convierten en un recurso útil para fomentar el aprendizaje, en la medida en que gran cantidad de estudiantes llegan a interiorizar los criterios de evaluación de la rúbrica, asumiéndolos como propios e incluso usándolos para su autoevaluación (Ruiz-Terroba et al., 2017). Además, las rúbricas son oportunas para evaluar tareas en las que no se demandan respuestas correctas o incorrectas en sentido estricto (Díaz-Barriga Arceo y de la Cruz, 2011).

Conviene, no obstante, diferenciar entre rúbricas holísticas y analíticas (Anguiano López Paliza y Velasco Ariza, 2012; Verano-Tacoronte et al., 2016). Las primeras analizan de forma global el producto evaluado, asignando una sola puntuación a la totalidad de rasgos establecidos. En este tipo de rúbrica no hay retroalimentación en el alumnado, ya que no se determinan los detalles sobre puntos fuertes y débiles. Las rúbricas analíticas, sin embargo, ofrecen una escala de valoración descriptiva por rasgos o componentes del producto evaluado, de forma que puedan evaluarse de manera separada y luego proceder a la suma de cada puntuación para obtener la calificación final. Evidentemente, su elaboración precisa de una mayor inversión temporal y ofrece, además, una retroalimentación al estudiantado, ya que se permite construir un listado de fortalezas y debilidades de cada aprendiz que, posteriormente, posibilitará al ente formador diseñar un plan de mejora (Muñoz y Valenzuela, 2015). A este efecto, se ha optado en este estudio por la rúbrica analítica.

Metodología

El diseño de la rúbrica

La elaboración de esta rúbrica (ver Figura 1Apéndice A) se hizo considerando las dimensiones generales de la evaluación de la producción escrita de acuerdo con las características fundamentales que debe poseer el texto expositivo (véase Álvarez, 1993; Álvarez Angulo, 2001; Álvarez-Angulo y Ramírez Bravo, 2011) y tomando como base la abundante bibliografía sobre confección y diseño de rúbricas. Los pasos seguidos para su construcción fueron los siguientes: a) definición del constructo a evaluar; b) fijación de metas y objetivos; c) establecimiento de dimensiones y rasgos; d) fijación de criterios de evaluación; e) definición de los términos que subyacen al instrumento; f) creación de la escala valorativa; y g) validación de la rúbrica. A continuación, se detalla cada etapa.

La rúbrica final contó con tres versiones previas. En la primera, el equipo experto matizó las dimensiones propuestas, así como la escala de valoración. En la segunda, se establecieron las dimensiones definitivas y se incluyó una especificación de los rangos. En la tercera, se incorporaron selectivamente todas las sugerencias de matiz del equipo expertos, hasta alcanzar el consenso. Sirva como ejemplo un cambio referido al lenguaje empleado en la definición de uno de los indicadores (3.1): El texto cumple íntegramente con su finalidad: transmitir, exponer o explicar información, en lugar de utilizar el adverbio sistemáticamente.

El constructo

Los futuros cuerpos docentes han ser competentes comunicativamente, deben dominar numerosos recursos comunicativos (verbales/no verbales) para desarrollar con eficacia su actividad profesional. Por ello, el constructo de la rúbrica incluye aquellas habilidades que el estudiantado necesita para escribir un texto expositivo de acuerdo con la bibliografía especializada: a) estar perfectamente organizado y mostrar una estructura clara, ordenada y coherente (estructura textual); b) estructurarse en tres partes fundamentales (introducción, desarrollo y conclusión) (organización textual) y adecuarse a las propiedades fundamentales básicas (adecuación, coherencia, cohesión y corrección); c) cumplir con su objetivo principal: transmitir, exponer o explicar información (finalidad); d) ser totalmente objetivo, de lo contrario no podría ser un texto expositivo (objetividad); e) no ignorar el tema sobre el que se debe escribir y atender siempre al tópico principal (tema); f) tener en cuenta al receptor (audiencia); y g) no eludir el uso de marcas lingüísticas de distinto tipo. En este sentido, se han considerado tres clases de marcas lingüísticas: textuales, oracionales y léxicas.

Messick (1996) ha señalado seis aspectos fundamentales para otorgar validez de constructo: contenido (relevancia de contenido y representatividad del conocimiento y las competencias evaluadas), generalidad (alcance conque la interpretación de las calificaciones pueden ser aplicadas a grupos, tareas, momentos, etc.), externalidad (la relación de la puntuación con otras medidas relevantes para el constructo que también han sido evaluadas: otras rúbricas, evaluaciones finales, pruebas estandarizadas o test de conocimientos previos; relevancia y utilidad de la rúbrica para su propósito), estructuralidad (los criterios de evaluación y el sistema de puntuación de la rúbrica poseen una lógica y racionalidad basada en lo que se quiere evaluar; para lo cual algunos grupos investigadores utilizan el análisis factorial o la evaluación, por personal experto, de las orientaciones y criterios de la rúbrica); sustantividad (fundamentos teóricos y empíricos de la consistencia en las respuestas que refleja el proceso de pensamiento utilizado por personal experto en el campo) y consecuencias (evidencias sobre los efectos perseguidos y no perseguidos de la interpretación de la evaluación; valoración de cualquier tipo de consecuencia negativa para individuos o grupos).

Meta y objetivos

La finalidad principal de este trabajo fue construir un instrumento (rúbrica) válido para evaluar la competencia expositiva del estudiantado. Los objetivos concretos para determinar ese nivel de habilidad se establecieron de acuerdo con las dimensiones previamente señaladas para la confección de la rúbrica. Por tanto, el estudiantado más competente comunicativamente en exposición escrita sería aquel que construyese un texto expositivo que se ajuste a la dimensión de excelente, considerada en la rúbrica que se presenta.

Participantes

Inicialmente la rúbrica fue evaluada por jueces y juezas independientes. Se diseñó un metainstrumentoad hoc, que fue proporcionado (vía mail o personalmente) a un total de 12 personas expertas investigadoras en expresión escrita (6 docentes de universidades de didáctica de la lengua, pertenecientes a 3 universidades españolas, y 6 docentes de universidades de lingüística de otras 4 universidades españolas) para que determinasen la validez de su contenido. Su colaboración fue anónima y el objetivo fue valorar diferentes aspectos: a) pertinencia de las dimensiones e indicadores; b) ubicación e importancia de cada uno de los indicadores; c) adecuación de los rangos establecidos para cada indicador; d) precisión del lenguaje utilizado.

Dimensiones y rasgos por evaluar

Las dimensiones que el instrumento “Rúbrica para la evaluación de textos expositivos” (ver Figura 1. Apéndice A) contempla se corresponden con las características fundamentales que debe poseer un texto expositivo escrito, de acuerdo con la bibliografía especializada. Desde esta perspectiva, las dimensiones y los rasgos a evaluar fueron los siguientes:

Un aspecto no contemplado en la rúbrica es la adecuación del contenido en el texto que se evalúa. Por ello, conviene aclarar que la adecuación del contenido disciplinar precisa también ser revisada en las producciones de los futuros cuerpos docentes, a la luz de los consensos propios de cada disciplina.

Los criterios de evaluación

Los criterios de evaluación identifican las dimensiones de ejecución del instrumento (Tierney y Simon, 2004). Al respecto, es preciso definir los elementos que posteriormente serán evaluados para determinar el éxito en la ejecución de un texto expositivo por parte de los aprendices. Al respecto, existen estudios que ofrecen recomendaciones de interés (Brualdi, 2002): a) enlistar los aspectos importantes del producto; b) limitar el número de elementos para que estos sean observables; b) expresar los criterios en términos de comportamientos visibles; c) evitar el uso de términos ambiguos; d) colocar los elementos en el orden en el que probablemente se observen. De acuerdo con estas ideas, se establecieron siete criterios de evaluación conforme a las siete dimensiones de que consta la rúbrica diseñada: i) el texto presenta una estructura clara, ordenada y coherente; ii) el texto se organiza en tres partes fundamentales (introducción, desarrollo y conclusión) y se escribe de acuerdo con las propiedades textuales básicas; iii) la finalidad del texto es la de transmitir, explicar o exponer información; iv) el texto es totalmente objetivo; v) el texto no se desvía del tema principal en ningún momento y se centra en él; vi) el texto se adecua al público receptor en todo momento; vii) en el texto se evidencian numerosas marcas lingüísticas de tipo textual, oracional y léxico.

Definición de los términos

Los conceptos sobre los que se ha confeccionado la rúbrica provienen de diferentes textos (Álvarez, 1993; Álvarez Angulo, 2001; Álvarez-Angulo y Ramírez Bravo, 2011; Cassany, 1997). Estos mencionan tanto los términos referidos para los textos expositivos (estructura y organización textual, finalidad, objetividad, tema, audiencia y marcas) como los descritos para las propiedades textuales básicas (adecuación, coherencia, cohesión y corrección).

Elaboración de la escala valorativa

La rúbrica se diseñó de acuerdo con unos niveles de desempeño en la realización de un texto expositivo de calidad. La escala de valoración inicialmente tuvo cuatro niveles: a) excelente (100%-90%); b) bueno (80-70%); c) aceptable (60-50%); y d) deficiente (40-0%). Posteriormente, esta escala se modificó, según se indica en el siguiente apartado, tras ser sometida a juicio de personas expertas: a) excelente (100-85%); b) bueno (84-66%); c) aceptable (65-46%) y d) deficiente (45-0%). En última instancia y con el objeto de ser codificada fácilmente para su validación estadística, dicha escala se vio sometida a una tercera modificación; esta vez, en códigos de un solo dígito numérico: excelente (1); bueno (2); aceptable (3) y deficiente (4). Igualmente, cada nivel de la rúbrica se subdividió en cuatro apartados de acuerdo con la numeración de cada dimensión (ver Figura 1. Apéndice A).

En definitiva, las siete dimensiones de la rúbrica se valoran a partir de una escala de estimación cuya gradación va de excelente a deficiente, pasando por bueno y aceptable. A cada dimensión se le puede asignar un valor, esto es, una puntuación que oscila entre el 100% y el 0%, referida al cumplimiento de la valoración descriptiva de cada dimensión.

Resultados

Del juicio de personas expertas

Se procedió a la validación del contenido de la rúbrica a través del juicio de personas expertas y se obtuvieron 12 respuestas (2 no emitieron juicio), en las que se aportaron sugerencias fundamentadas para la mejora, que se incorporaron a la rúbrica. Una vez modificada, se volvió a enviar dos veces más el instrumento a las doce personas expertas, hasta alcanzar la unanimidad de juicio entre el equipo evaluador.

Del análisis estadístico

Además del juicio experto, la rúbrica fue evaluada estadísticamente. En efecto, para determinar su fiabilidad se realizaron distintas pruebas estadísticas con el software Statistical Packagefor the Social Sciences (SPSS), versión 20. El coeficiente global del instrumento ha obtenido un alfa de Cronbach de 0.90, como se puede apreciar en la Tabla 1. Si se tiene en cuenta como norma general que el valor de coherencia viene dado por la obtención de un índice igual o superior a 0.70, se puede afirmar que el instrumento posee una elevada consistencia interna (un 90%) y, con ello, una alta fiabilidad.

Asimismo, se procedió a estudiar la consistencia interna total mediante la prueba de las dos mitades. Los resultados del índice α de Cronbach y de los coeficientes de Guttman-Flanagan y de Spearman-Brown fueron los siguientes (ver Tabla 2):

Como se puede observar, los valores de todos los indicadores oscilan entre los extremos del intervalo topológico [0.77-0.87], lo que demuestra la coherencia y fiabilidad de la rúbrica evaluada.

Conclusiones

Las competencias comunicativas (orales/escritas), indisociables del desempeño docente, constituyen un tópico relevante de la investigación actual y, en el contexto del EEES, se perciben como una competencia clave para la empleabilidad del estudiantado egresado universitario, máxime cuando se sabe que no poca cantidad de docentes tienen problemas para comunicar o comunicarse (Camacho Pérez y Sáenz Barrio, 2000). Esto constituye un desafío para el profesorado universitario, preocupado por la búsqueda de recursos que den respuesta a cómo enseñar-aprender competencias profesionales (trabajo en equipo, aprendizaje autónomo, habilidades comunicativas…).

Por ello, el objetivo de este estudio fue demostrar la fiabilidad de un instrumento (rúbrica) para evaluar textos expositivos producidos por estudiantado universitario, a fin de contar con un recurso en español que permita medir estas habilidades escritoras del futuro profesorado. Resulta obvio el interés creciente entre el profesorado acerca del empleo de rúbricas para evaluar los aprendizajes universitarios, por cuanto permiten, de una parte, favorecer el desarrollo de las competencias a alcanzar y, de otra, mejorar los procesos de su valoración, al objetivar los criterios de medida orientando al estudiantado con respecto a los niveles de ejecución deseables y disminuyendo el posible sesgo entre quienes les evalúan (Verano-Tacoronte et al., 2016).

Algunos estudios han demostrado que existe una correlación positiva entre las habilidades expositivas y el desempeño docente (Ruiz-Terroba et al., 2017), lo que aconseja disponer de recursos que permitan conocer hacia dónde dirigir las estrategias de enseñanza-aprendizaje en el aula con el estudiantado universitario (futuro personal docente).

Como se ha indicado, la validez de contenido del instrumento, de acuerdo con criterios de representatividad y relevancia de los ítems, la determinó un grupo experto de investigación. Pero también se comprobó estadísticamente su alto nivel de fiabilidad y consistencia interna. En consecuencia, se ofrece un instrumento válido y confiable, que puede ser utilizado para conocer las habilidades expositivas de docentes en formación.

No obstante las principales limitaciones del estudio, ya señaladas en la bibliografía especializada sobre el diseño y la validación de rúbricas, se pueden concretar en las siguientes: a) la inversión temporal que requiere; b) la pertinencia de un adecuado entrenamiento para su manejo; c) la necesidad de personal calificado.

Mejorar el diseño de esta rúbrica es una tarea pendiente en la que se pretende implicar al estudiantado, con el fin de convertirla en un recurso útil para fomentar el aprendizaje e incrementar su competencia escritora.

Declaración de Material complementario

Este artículo tiene disponible como material complementario:

- La versión preprint del artículo en https://doi.org/10.5281/zenodo.3364195

Referencias

Fechas de Publicación

Histórico