Introducción

En este artículo se presenta una parte del trabajo de un proyecto de investigación I+D denominado Evaluación de la competencia digital de los estudiantes de educación obligatoria y estudio de la incidencia de variables sociofamiliares, realizado por el Grupo de Investigación Innovación en Tecnología Educativa de la Universidad de Salamanca (GITE-USAL) y financiado por el Ministerio de Economía y Competitividad dentro del Programa Estatal de Fomento de la Investigación Científica y Técnica de Excelencia, del gobierno de España (EVADISO, EDU2015-67975-C3-3-P, MINECO/FEDER), cuya finalidad es evaluar la competencia digital de estudiantes de educación obligatoria.

El objetivo que se pretende conseguir es analizar las características psicométricas de una prueba para evaluar la competencia digital de estudiantes de educación obligatoria en el área competencial de resolución de problemas.

El manuscrito se estructura en cuatro apartados. El marco teórico que fundamenta la investigación, la descripción de la metodología empleada, los resultados obtenidos, y las conclusiones y discusión de estos.

Marco teórico

Vivimos en un mundo en el que la ciudadanía necesita de un conocimiento y de una accesibilidad tecnológica del mundo digital para convertirse en ciudadanos y ciudadanas digitales, por lo que el desarrollo de competencias digitales del estudiantado es uno de los objetivos de la educación del siglo XXI (Serafín et al., 2019).

La competencia digital alude a una realidad conceptualizada desde una heterogeneidad de términos: competencia digital, alfabetización digital, alfabetización mediática, entre otros (Alonso Ferreiro y Gewerc, 2018). Hay autores que utilizan el de alfabetización digital, mientras que otros prefieren el de competencia digital. No obstante, según Calvani et al. (2008), ambos términos se usan a menudo como sinónimos porque, en mayor o menor medida, se superponen.

El interés creciente por la evaluación y la certificación de la competencia digital ha originado, a lo largo de los años, diferentes modelos de estándares e indicadores que definen la competencia digital de la ciudadanía, personal docente y el estudiantado: Technological pedagogical content knowledge (TPACK) (Mishra y Koehler, 2006), National educational technology standars for teachers (ISTE, 2008), modelo Krumsvik (Krumsvik, 2011), UNESCO ICT competency framework for teachers (United Nations Educational, Scientific and Cultural Organization [UNESCO], 2011), ISTE Standards for Students: A Practical Guide for Learning with Technology (Brooks-Young, 2016), entre otros. En esta investigación se ha seguido uno de los referentes para el desarrollo de competencias digitales en Europa, el Marco Europeo de Competencia Digital (DigComp).

En el año 2013, la Comisión Europea dio a conocer el Marco para el desarrollo y la comprensión de la competencia digital en Europa (DigComp 1.0) (Ferrari, 2013). En 2016, fue actualizado por el Marco Europeo para la Competencia Digital de los Ciudadanos (DigComp 2.0) (Vuorikari et al., 2016) y en 2017 se produjo la última revisión y se publicó DigComp 2.1 (Carretero et al., 2017).

El modelo utilizado para realizar el estudio presentado en este artículo fue el DigComp 1.0, en el que se define la competencia digital como: Un conjunto de conocimientos, habilidades, actitudes, estrategias y valores que son puestos en acción cuando usamos las tecnologías y los medios digitales para realizar tareas, resolver problemas, comunicarse, tratar información, colaborar, crear y compartir contenidos y crear conocimiento, de forma efectiva, eficiente, apropiada, crítica, creativa, autónoma, flexible, ética y reflexiva para el trabajo, el ocio, la participación, el aprendizaje, la socialización, el consumo y el empoderamiento (Ferrari, 2013).

Este referente estructura la competencia digital en cinco áreas competenciales: (1) información, (2) comunicación, (3) creación de contenidos, (4) seguridad y (5) resolución de problemas; que agrupan veintiuna capacidades, organizadas en tres niveles (básico, intermedio y avanzado). Este artículo se centra en el área de resolución de problemas en la que se debe: identificar necesidades de uso de recursos digitales, tomar decisiones informadas sobre las herramientas digitales más apropiadas según el propósito o la necesidad, resolver problemas conceptuales a través de medios digitales, usar las tecnologías de forma creativa, resolver problemas técnicos, actualizar la propia competencia y la de otros (Ferrari, 2013); cuyas competencias son las de: (1) resolución de problemas técnicos, (2) identificación de necesidades y respuestas tecnológicas, (3) innovación y uso de la tecnología de forma creativa, (4) identificación de lagunas en la competencia digital (Ferrari, 2013).

La evaluación de competencias es “un procedimiento en el que se requiere que el estudiante complete tareas o procesos en los que se demuestre su habilidad para aplicar conocimiento y destrezas o aplicar conocimientos en situaciones simuladas similares a la vida real” (Castro Morera, 2011, p. 118). A la hora de evaluar la competencia digital, podría establecerse una clara diferenciación entre distintos tipos de investigaciones, teniendo en cuenta los instrumentos utilizados para valorarla: Las que se centran en la autovaloración del sujeto evaluado. Estas analizan la percepción que los individuos tienen de sí mismos en relación con diferentes aspectos de la competencia digital (véase, por ejemplo: Cabezas-González y Casillas-Martín, 2018). Y las centradas en desarrollar procesos de evaluación. En este caso, las investigaciones realizan evaluaciones, propiamente dichas, del nivel de competencia digital (véase, por ejemplo: Frailon et al., 2013). Las primeras presentan un claro sesgo centrado en el aspecto subjetivo de las respuestas de los sujetos participantes, lo que no permite determinar un nivel competencial objetivo. Las segundas suponen una manera más adecuada y fiable de medir, al tratarse de pruebas de medida directa.

Teniendo como base el Proyecto DigComp y en la línea de investigaciones que se centran en la validación de instrumentos para desarrollar procesos de evaluación de realización y observación, por medio de la ejecución de actividades o resolución de problemas (Casillas-Martín y Cabezas González, 2020; Casillas-Martín et al., 2020; García-Valcárcel Muñoz-Repiso et al., 2020), en este artículo presentamos el estudio psicométrico de una prueba para evaluar la competencia digital de estudiantes de educación obligatoria, en el área competencial de resolución de problemas.

Metodología

El diseño del estudio es descriptivo y transversal, ya que la información fue recogida en un único momento, durante el curso escolar 2018-2019.

Objetivo

Analizar las características psicométricas de una prueba para evaluar la competencia digital de estudiantes de educación obligatoria en el área competencial de resolución de problemas, incidiendo en su fiabilidad y validez.

Participantes

La evaluación se llevó a cabo en dos provincias de la Comunidad Autónoma de Castilla y León (España). Se utilizó un tipo de muestreo aleatorio estratificado, con un margen de error de +4%, para un nivel de confianza del 95%, lo que llevó a trabajar con 595 estudiantes de 12-14 años, de 17 centros educativos, de los cuales un 51,4% son mujeres y un 48,6% hombres.

Procedimiento y aplicación de la prueba

Para diseñar la prueba de evaluación, el trabajo del equipo investigador se organizó en tres fases:

Fase 1. Revisión documental

Se trata de una técnica que consiste en seleccionar y recopilar información por medio de la lectura y la crítica de recursos documentales y bibliográficos (Baena Paz, 1985).

En esta fase, se realizó una revisión documental sobre las dimensiones de la competencia digital, con la intención de formular un modelo de indicadores que sirviera de base para el diseño de la prueba de evaluación.

Fase 2. Elaboración de un modelo de indicadores de la competencia digital

Tras el análisis y la síntesis de la revisión documental, el equipo investigador adoptó el modelo DigComp 1.0 (Ferrari, 2013). Basándose en la estructura de este modelo, para el área de resolución de problemas fueron planteados un total de 56 indicadores adaptados a la población objeto de estudio, organizados en tres niveles (básico, intermedio y avanzado) y tres ámbitos (conocimiento, habilidad y actitud).

Estos indicadores pueden consultarse en el Modelo de indicadores para evaluar la competencia digital de los estudiantes tomando como referencia el modelo DigComp (INCODIES) (García-Valcárcel Muñoz-Repiso, Hernández Martín et al., 2019), documento más amplio en el que se recogen un total de 325 indicadores distribuidos entre las 5 áreas de la competencia digital.

Para la validación del contenido de los indicadores del área, se siguió el método de jueces. Un total de 18 personas expertas en el diseño de indicadores de evaluación, en competencia digital y profesionales en ejercicio de educación obligatoria, pertenecientes a diferentes ámbitos educativos (educación obligatoria, universidad, gestión educativa), evaluaron la importancia, pertinencia y claridad de los indicadores por medio de un cuestionario online con una escala tipo Likert de 4 grados (4-mucha, 3-bastante, 2-poca, 1-ninguna).

Fase 3. Diseño de la prueba de evaluación

A partir del modelo de indicadores, se procedió a elaborar un banco de ítems para el área de resolución de problemas. Esta batería de ítems se depuró por medio de una revisión de personas expertas, se diseñó la prueba de evaluación que fue aplicada a una muestra piloto de 288 estudiantes de educación obligatoria, calculándose los niveles de dificultad de los ítems de conocimiento y habilidad, así como la fiabilidad de los de actitud (α de Cronbach 0,78). Con los resultados obtenidos, se procedió a elaborar la prueba definitiva.

Esta prueba está compuesta por 16 ítems, 7 pertenecen al ámbito de conocimiento, 9 al de habilidad y 6 al de actitud. Las actitudes fueron valoradas con una escala Likert (1 muy en desacuerdo, 5 muy de acuerdo).

La aplicación de la prueba se realizó de modo online a través de una plataforma web diseñada con el propósito de facilitar las respuestas de escolares. En todo momento se contó con el permiso de las autoridades de la Administración Educativa y del Comité Ético de la Universidad de Salamanca.

Para proceder al desarrollo de la evaluación, fueron enviadas a los centros educativos seleccionados solicitudes de participación del estudiantado de sexto de educación primaria y primero de educación secundaria obligatoria. Todos los centros colaboraron voluntariamente para aplicar la prueba en horario lectivo y para encargarse de, a partir de protocolos específicos, recabar los permisos de las familias y de la niñez.

Análisis de los datos

Se centró en conocer la validez y fiabilidad del instrumento con la finalidad de comprobar sus características psicotécnicas. De manera que se realizó un análisis individual de cada uno de los ítems (varianza, correlación biserial-puntual, índice de dificultad, etc.) de conocimiento y capacidad y además de los que conformaban la escala de actitudes. Para obtener una visión general del instrumento, se llevó a cabo un estudio de la prueba completa y se analizó el posible sesgo en función del género.

Para los análisis se emplearon dos programas, el SPSS v.21 y el software CORRECTOR 1.2 desarrollado por el profesor Gaviria del Dpto. de Métodos de Investigación de la Universidad Complutense de Madrid. Este software actúa como un complemento de MS-Excel y permite analizar pruebas objetivas y de escalas tipo Likert, aportando información de cada ítem y del conjunto del instrumento.

Resultados

A continuación, se presentan los resultados teniendo en cuenta el objetivo planteado. Estos se organizan en tres apartados: análisis de los ítems de conocimiento y capacidad, análisis de los ítems de la escala de actitud, y análisis de la prueba completa.

Análisis de los ítems de conocimiento y capacidad

Análisis descriptivo

Para este análisis, los ítems han sido agrupados en cuatro competencias (C1 a C4) creadas a partir de la suma de las puntuaciones de los cuatro ítems que la miden. Se presentan los estadísticos de la media, la desviación típica, la asimetría y la curtosis, especificando, en cada uno de ellos, el ámbito competencial (conocimiento/habilidad) (Tabla 1). Como los ítems son dicotómicos (acierto 1/error 0) las valoraciones máximas obtenidas en la puntuación media son de 1.

Las puntuaciones medias oscilan entre 1,36 (C4) y 2,80 (C2). Así, el estudiantado tiene mayor conocimiento y capacidad sobre la identificación de necesidades y respuestas tecnológicas, en primer lugar, y sobre innovar y utilizar la tecnología de forma creativa, en segundo lugar, seguido de la resolución de problemas técnicos y la identificación de lagunas en la competencia digital.

La puntuación media total en la prueba completa es de 6,9 puntos sobre 16, aproximándose al punto central (8) de la escala. Teniendo en cuenta la puntuación media de cada uno de los ítems, la mínima es la del 7 (=0,21) y la máxima la del 6 (=0,82), lo que demuestra que existen diferencias en cuanto a su dificultad. El 7 lo aciertan un 21% del estudiantado, por lo que se considera el más difícil, y el 6 un 82%, el más fácil, lo que manifiesta que el alumnado no sabe seleccionar los mejores dispositivos para trabajar con un procesador de textos, pero sí saben instalar apps en una tablet.

Algunos de los ítems (4, 6, 7 y 13) presentan una asimetría elevada (> 1 o >-1). Respecto a la curtosis, todos presentan puntuaciones inferiores a 3 y en la mayoría de los casos negativas, por lo que pueden considerarse distribuciones platicúrticas. Estos valores por debajo de 0 también indican que los datos están muy dispersos.

Análisis preliminar: Índice de dificultad, discriminación, homogeneidad y fiabilidad

En relación con el índice de dificultad, la tasa promedio en los 16 ítems es del 43,43%, lo que confirma, empíricamente, una dificultad moderada del instrumento ya anticipada por las personas expertas. En relación con los ítems que evalúan capacidades, los aciertos constituyen un 43,31% y los que evalúan conocimientos un 43,55%. No se aprecian prácticamente diferencias entre ambos ámbitos competenciales, excepto si nos fijamos en el porcentaje de aciertos en función de las distintas subáreas. El estudiantado tiene mayor competencia en la de identificación de necesidades y respuestas tecnológicas (52,05%), y menor en la de identificación de lagunas en la competencia digital (34,15%) de las 4 subáreas.

No es una prueba demasiado equilibrada, ya que, aunque predominan las preguntas de nivel intermedio y estas son las que mejor discriminan, carece de las que se sitúan en las categorías extremas (muy fácil-muy difícil). También hay pocas en la de fácil y demasiadas en la de difícil. Los ítems muestran un nivel alto de pertinencia percibida, incluso con un ligero incremento en los de la sub-área identificación de lagunas en la competencia digital, lo que aconseja conservarlos para una posible versión futura del instrumento destinada a una población de mayor edad.

En la Tabla 2 se muestran los datos estadísticos de cada uno de los ítems de conocimiento y capacidad que permiten conocer su índice de discriminación (correlación biserial puntual), su índice de dificultad, la media y varianza de la escala si se suprimiera el ítem, la correlación de los elementos corregida y la fiabilidad de la escala si se suprimiera el ítem.

El análisis de cada uno de ellos y su aportación a la fiabilidad total de la prueba sugeriría suprimir aquellos ítems que si no estuvieran la aumentarían, como en el caso del 4 y del 8 (α de Cronbach = 0,48 en el primero y α de Cronbach = 0,47 en el segundo), que además arrojan una correlación negativa. Estos valores pueden considerarse poco aceptables (<0,70) aunque sería importante tener en cuenta las sugerencias de algunos estudios en relación con la aplicación del α de Cronbach al utilizar una escala dicotómica (Oliden y Zumbo, 2008; Zumbo et al., 2007).

La Figura 1 representa, mediante ejes de coordenadas, los ítems de la prueba distribuidos teniendo en cuenta el índice de dificultad/facilidad y el de discriminación (correlación biselial puntual). En función de la zona en la que se sitúe el valor p se representa gráficamente la estructura de los ítems. Así, encontramos dos (6 y 7) en la azul, identificados con un nivel bajo de dificultad. Se justifican desde un punto de vista conceptual por tratarse de cuestiones básicas en la evaluación de la competencia digital, como: instalar una App en la tablet y saber seleccionar el mejor dispositivo para hacer un trabajo utilizando un procesador de textos. En la verde o zona objetivo, considerada como las más adecuada, se sitúan el 2, 3, 11 y 12, con un índice de dificultad media. La amarilla o rbpt, de mayor dificultad, no es la más apropiada y en ella se concentran la mayoría de los ítems (1, 5, 9, 10, 13, 14, 15, 16) que, sin embargo, pueden ser aceptados por sus índices de discriminación adecuados. Finalmente, el 4 y el 8 quedan al margen en la zona de discriminación negativa, y deben ser objeto de modificación o eliminación.

Análisis correlacional

Para conocer las relaciones entre los 16 ítems se aplicó el estadístico de Pearson. Existen correlaciones positivas y negativas y en la mayoría de los casos no son elevadas, aunque sí significativas. Como casos excepcionales se señala el ítem 1 que no correlaciona con el resto y el 5 que lo hace únicamente con el 16.

Si nos centramos en las cuatro competencias se observan, dado el tamaño de la muestra, correlaciones con valores moderados, pero altamente significativos, a excepción de la C4 sobre identificación de lagunas en la competencia digital que no lo hace ni con la C3 (innovar y utilizar la tecnología de forma creativa), ni tampoco con las actitudinales.

Análisis de fiabilidad de la prueba de conocimientos y capacidades

Se calculó mediante el método Kuder Richardson (coeficiente de correlación KR₂₀), teniendo en cuenta el carácter dicotómico de los 16 ítems. El valor obtenido (r₂₀=0,45) demuestra un coeficiente de consistencia interna que puede considerarse pertinente para este tipo de instrumentos de evaluación de competencias, puesto que se trata ítems que no tienen la misma dificultad. Contrastada la hipótesis de significación, se pudo determinar que el valor alfa obtenido es poco significativo, ello indica que la prueba tiene una confiabilidad moderada-baja. Por tanto, este valor del coeficiente no es suficiente para garantizar la fiabilidad de la escala.

Análisis de los ítems de la escala de actitudes

Estadísticos descriptivos

La actitud es muy positiva, con una puntuación media en el total de la escala de 25,42 sobre 30. Si se tiene en cuenta cada uno de los ítems, la media es muy elevada en todos ellos, especialmente los mejor valorados son el 1 (Es importante conocer las características de dispositivos y aplicaciones) y el 6 (Es importante conocer las propias limitaciones en el uso de las tecnologías), ambos con una elevada asimetría (> 1 o >-1). Respecto a la curtosis, la mayoría presentan valores inferiores a 3, demuestra que los datos están muy dispersos y que las distribuciones son platicúrticas. Excepcionalmente en los ítems 1 y 6 se obtienen puntuaciones mayores que 3, considerándose una curtosis leptocúrtica que indica que existe una gran concentración de los valores sobre su media.

Análisis preliminar: Índice de discriminación y fiabilidad

El índice de discriminación se determina con la correlación biserial puntual, dicotomizando la variable. Las puntuaciones 4 y 5 se consideraron como “actitud positiva” y el resto de las puntuaciones (1, 2 y 3) como “actitud negativa”. Las correlaciones son positivas en todos los casos con un índice de discriminación adecuado (Tabla 3).

Calculado el α de Cronbach se obtuvo una puntuación de 0,78 lo que indica una fiabilidad muy aceptable, si se tiene en cuenta el reducido número de ítems.

Análisis correlacional

Calculado el coeficiente de Pearson, se observa que todos los ítems muestran correlaciones significativas con el resto y con el total de la escala. En el primero de los casos, las más altas se establecen entre los ítems 1, 4 (sobre dispositivos) y 5 (sobre tecnología que permite trabajar de forma colaborativa). Las mostradas con el total de la escala son las más elevadas al superar, en casi todos los casos, el valor de 0,60.

Análisis de la prueba completa

Estadísticos descriptivos

En general, las actitudes son mucho más positivas que las puntuaciones obtenidas en los ámbitos competenciales de conocimiento y capacidad (Tabla 4). En una escala de 0-22 puntos, la puntuación global es de 14, se situán los ámbitos competenciales próximos al punto medio, y alcanzan las actitudes un nivel alto (>4). La desviación típica del total de la prueba pone de manifiesto la variabilidad que se atribuye a la prueba, capaz de diferenciar entre los distintos niveles de competencia de los sujetos.

Fiabilidad y validez

Para la prueba de conocimiento y capacidad (16 ítems dicotómicos), la fiabilidad se comprobó mediante el método Kuder Richardson (coeficiente de correlación KR₂₀) se obtuvo un valor de r₂₀= 0,45. Para la escala de actitudes (tipo Likert) se hizo mediante el α de Cronbach cuyo valor fue de 0,78.

Al considerar la prueba completa, un total de 22 ítems, se obtuvo un valor α de Cronbach de 0,65. Volvemos a recordar que la fiabilidad variaría si se eliminara el ítem 4 y 8, tal y como se sugirió con anterioridad, en cuyo caso la puntuación se situaría en 0,66.

Respecto a la validez, entendida como la capacidad que tiene una escala para medir, de manera adecuada y significativa, el factor o la dimensión para la que ha sido creada (Muñiz, 1998; Wiersma, 1986), se optó por realizar dos tipos: de contenido y de estructura.

En relación con la validez de contenido, los ítems de la prueba se ajustan a un prototipo de indicadores de la competencia digital que, fundamentado en el modelo DigComp, fue diseñado por el equipo de investigación y validado por personas expertas, como ya se indicó anteriormente (puede consultarse en https://gredos.usal.es/handle/10366/139409). Tomando como base este modelo de indicadores, ajustados todos ellos a las edades del estudiantado de educación obligatoria, se formularon los ítems de la prueba que fueron sometidos a juicio experto mediante la técnica de grupos de discusión, con lo que se consiguió una formulación final por medio de un riguroso proceso de discusión y debate de los enunciados y respuestas de los ítems. Todo este proceso sirvió para diseñar un conjunto de ítems con validez de contenido (siguiendo las pautas del modelo teórico-conceptual DigComp) que conforman la prueba del área competencial de resolución de problemas, válida para medir los conocimientos, capacidades y actitudes. El análisis de los ítems demostró su capacidad de discriminación y ajuste a la población de referencia, exceptuando el 4 y el 8 que, según los resultados obtenidos, debieran ser revisados para su posible reformulación o eliminación.

Para el estudio de la validez estructural, primeramente, se calculó el índice de adecuación muestral KMO y la prueba de esfericidad de Bartlett para la totalidad del instrumento. Los resultados obtenidos en la medida de KMO son aceptables por ser superiores a ,50 y la prueba de esfericidad de Barlett se considera altamente significativa (p<.001), con un valor de Chi-cuadrado de 802,688 y con 45 grados de libertad, lo cual indica que los datos se correlacionan positivamente, al mostrar una relación lineal entre las variables. Ello permitió realizar un análisis factorial mediante el estudio de componentes principales con el método de rotación varivax con normalización Kaiser, tomando como variables las 4 competencias de conocimiento-capacidad (C1-C4) y los 6 ítems de actitudes (Tabla 5). La técnica empleada fue la multivariante con el propósito de simplificar, en el menor número de elementos posible, un grupo de variables interrelacionadas en un grupo de factores independientes, para comprobar la correlación entre variables y poder realizar una reducción de los datos simplificando la estructura.

En el análisis de componentes principales se calcularon los valores l para cada uno de los componentes reteniendo los factores cuyo valor l ≥ 1. El primer factor explica el 60,09% de la varianza y el segundo añade 39,90%, de modo que los dos explican el 100% de la varianza de la matriz factorial.

Tras realizar un análisis factorial exploratorio, forzando el número de factores a dos, se consigue alcanzar la unidimensionalidad con un 100% de varianza explicada y se confirma, en este sentido, la validez de la prueba. La variable C1 resolución de problemas técnicos explica el 27,41% de la varianza total, la C2 identificación de necesidades y respuestas tecnológicas el 13,88%, la C3 innovar y utilizar la tecnología de forma creativa el 10,14% y la C4 identificación de lagunas en la competencia digital el 8,65%. Finalmente, la variable de actitud (incluyendo los 6 ítems) explica un 39,9% de la varianza total, con un peso factorial muy alto en la totalidad de la escala.

En la matriz de componentes (Tabla 6) se puede observar la saturación de los ítems de actitudes en el primer factor y de los de competencias sobre conocimientos/capacidades en el segundo factor.

Todos los ítems adquieren el peso suficiente (<40) para ser ubicados en el mismo factor en el que los establecieron tanto el equipo investigador como el comité experto que validó el contenido de la prueba (Ferrando, 1996). Los correspondientes a la variable actitud presentan valores altos en la interpretación del factor, por lo que pueden considerarse determinantes.

Para finalizar este estudio de las características de la prueba se pretendió comprobar que los ítems no tenían sesgo en función del género, calculando los valores de Chi cuadrado. Los resultados evidencian que no hay diferencias significativas prácticamente en ninguno de los ítems a excepción del 9 (p= 0.02), con mayor número de aciertos en los chicos (52% frente al 42%).

Conclusiones y discusión

La evaluación de la competencia digital del estudiantado de educación obligatoria es una actividad importante, ya que sus resultados aportarán información relevante para diseñar y desarrollar propuestas de alfabetización tecnológica dentro del sistema educativo (Henriquez-Coronel et al., 2018).

Para ello, es necesario diseñar procesos de evaluación que superen la percepción que los sujetos tienen de sí mismos en relación con diferentes aspectos de la competencia digital, para identificar, realmente, los conocimientos, capacidades y actitudes que posee el alumnado (Frailon et al., 2013). En este sentido, se ha presentado una prueba válida y fiable que permite identificar el nivel de competencia digital del estudiantado al superar el sesgo presente en aquellos instrumentos utilizados en la evaluación como un proceso de medida de autovaloración centrado en el aspecto subjetivo de las respuestas de los sujetos participantes (González-Segura et al., 2018).

El área competencial que abarca este instrumento es el de resolución de problemas, evaluada por medido de cuatro competencias digitales: resolución de problemas técnicos, identificación de necesidades y respuestas tecnológicas, innovación y uso de la tecnología de forma creativa, e identificación de lagunas en la competencia digital. Las correlaciones entre estas mismas son significativas al 0,01, excepto entre innovar y utilizar la tecnología de forma creativa y la identificación de lagunas en la competencia digital (competencias 3 y 4), en las que no existe correlación significativa. El análisis factorial muestra dos factores diferenciados: el relacionado con los conocimientos y habilidades y el vinculado con las actitudes. El estudio de los ítems se realizó de forma diferenciada, considerando su tipología (prueba objetiva y escala Likert), por lo que se puede concluir que tienen un buen nivel de discriminación, aunque son poco equilibrados en el nivel de dificultad, con predominio de los ítems difíciles. Dos de ellos deben ser sometidos a revisión para modificarlos o eliminarlos, dada su excesiva dificultad y escasa discriminación.

La prueba se compone de preguntas y cuestiones de diferente nivel competencial:

Una vez aplicada la prueba a una muestra de 595 escolares de educación obligatoria en 17 centros educativos, el nivel de competencia en resolución de problemas es básico ( x =11,19 en una escala de 0 a 22; DT=2,64). Las puntuaciones en las dimensiones de conocimiento y habilidad son más bajas que en la de actitud. En conocimientos se observa una puntuación 𝑥 = 3,01; DT=1,59 (escala de 0 a 6) y en capacidad encontramos una 𝑥 = 3,93; DT=2,11 (escala de 0 a 10); mientras que en actitudes se sitúa en una 𝑥 =4,23; DT=0,63 (escala de 0 a 6). Estos resultados coinciden con los de otros estudios que evalúan también áreas competenciales del modelo DigComp (Basilotta Gómez-Pablos et al., 2020; García-Valcárcel Muñoz-Repiso, Salvador Blanco et al., 2019; Rodríguez-Groba et al. 2021).

Respecto al género, los ítems de la prueba no presentan ningún sesgo, lo que permite concluir que el instrumento es válido para su aplicación en ambos colectivos.

Los resultados obtenidos en el estudio psicométrico de la prueba son similares al de otras investigaciones (Casillas-Martín y Cabezas González, 2020; Casillas-Martín et al., 2020; García-Valcárcel Muñoz-Repiso et al., 2020) que presentan instrumentos para la evaluación observada de la competencia digital, por medio de la ejecución de actividades o resolución de problemas, en el ámbito de la educación obligatoria.

Resultaría interesante y pertinente proponer otras estrategias complementarias de evaluación que permitan verificar, de manera práctica y por medio de actividades específicas, la competencia digital de este estudiantado.

Declaración de Material complementario

Este artículo tiene disponible, como material complementario:

-La versión preprint del artículo en https://doi.org/10.5281/zenodo.4041992

Referencias

Fechas de Publicación

Histórico