Introducción

Debido a la elevada demanda de la sociedad, el sector productivo, el sector servicios y el Estado mismo, se ha requerido implementar controles estrictos de calidad en los procesos de enseñanza de la educación superior (Villarruel, 2010). Para que la educación universitaria dé respuesta a la forma en que el aprendizaje se concibe actualmente, sea innovadora y creadora de conocimiento, así como generadora de vínculos entre la sociedad y el mundo laboral, es necesario el análisis de sus objetivos de manera permanente, conscientes y a largo plazo (Acosta y Acosta, 2016; Hernández, 2014).

De ese modo, la autoevaluación de la educación, y en este caso de la educación superior, es una forma de identificar fortalezas y debilidades en busca de una mejor calidad en un programa dentro del sector educación (Marciniak y Gairín, 2017). Para Gairín, Díaz-Vicario, Rosales y Sentinella (2014), estos procesos se justifican por la responsabilidad que tienen las personas profesionales sobre la mejora de la educación y de los programas que desarrollan. A su vez, señalan lo imprescindible que es la evaluación para la revisión, el monitoreo, la identificación y el mejoramiento de aspectos curriculares, organizativos, contextuales y de gestión que permitan asumir compromisos que optimicen y fortalezcan la calidad de la formación profesional contextualizada en las demandas y necesidades de la sociedad.

Por su parte, López-Rodríguez, González-Maura y Valdivia-Díaz (2016) hacen notar que los modelos de evaluación de la calidad para la mejora continua son importantes y novedosos en tanto propicien la participación y compromiso de diferentes personas actoras, como el personal académico, autoridades u otras. Además, mencionan que estos procesos participativos, de rigor científico y colaborativos, generan una cultura de autoevaluación con impacto en la formación, la docencia y los procesos administrativos de una institución.

Sin embargo, es claro que los procesos de autoevaluación son complejos; en estos se deben abordar las normativas, reglamentos, dinámicas de gestión de la calidad y contemplar problemáticas y necesidades específicas que no siempre son coincidentes entre sí (Villarruel, 2010). En la educación superior estos procesos de autoevaluación de carreras o programas universitarios, ciertamente, poseen un grado de complejidad, debido a la naturaleza particular de cada carrera y se puede incrementar aún más si interactúan con más de una unidad académica, más de una carrera o más de una universidad (Charpentier-Esquivel, Hernández-Salazar, Fedorov-Fedorov y Rojas-Sandí, 2016).

En Costa Rica, el Sistema Nacional de Acreditación de la Educación Superior (SINAES), con el fin de diversificar su quehacer y brindar opciones más coherentes con el funcionamiento de las instituciones de educación superior, creó un modelo de proceso de autoevaluación por conglomerado, que permite el análisis y la evaluación de aquellas carreras con cierto grado de afinidad en sus características de constitución y funcionamiento y así minimizar el costo y tiempo requerido para autoevaluar (SINAES, 2013b). Para optar por dicha acreditación es necesario realizar una primera revisión de las carreras a autoevaluar, a fin de determinar su grado de afinidad y, posteriormente, realizar un proceso de autoevaluación en donde se identifican características, fortalezas y procesos de mejora en cada carrera durante los últimos cuatro años. Dicho proceso se sustenta en el seguimiento de una serie de estándares y criterios emanados por este ente acreditador que permite la redacción y conformación del informe de autoevaluación, documento presentado ante el ente evaluador para determinar el grado de calidad de las carreras y definir si pueden obtener el certificado de calidad.

Es aquí donde la Escuela de Ciencias del Movimiento Humano y Calidad de Vida (CIEMHCAVI) de la Facultad de Ciencias de la Salud, de la Universidad Nacional (UNA), tomó la decisión de acogerse a esta posibilidad para acreditar las carreras de grado que ofrece. Esta decisión la toma la Escuela basada en la experiencia que obtuvo durante la realización de un primer proceso de autoevaluación y ejecutó un Compromiso de Mejoramiento (CM) por cuatro años que permitió la obtención de la acreditación del Bachillerato en la Enseñanza de la Educación Física, Deporte y Recreación (BEEFDR) ante el Sistema Nacional de Acreditación de la Educación Superior. Esta es una carrera compartida con otra escuela de la Universidad Nacional denominada División de Educología, perteneciente al Centro de Investigación y Docencia en Educación, que de manera conjunta y con un modelo de formación simultáneo, forman docentes en el área de la Educación Física, Deporte y Recreación.

Esta experiencia propició en la CIEMHCAVI procesos de mejoramiento que impactaron toda la oferta académica que incluye bachilleratos, licenciaturas, maestrías y doctorado, por lo que para la siguiente autoevaluación, que aspiraba a la reacreditación del BEEFDR, se determinó hacer un proceso de acreditación por conglomerado que integrara también el Bachillerato en Promoción de la Salud Física (BPSF), de manera que la autoevaluación permitiera demostrar la calidad de ambas carreras.

Por lo tanto, el propósito de este artículo es describir la metodología empleada en el proceso de autoevaluación para la acreditación por conglomerado de dos carreras de grado, que se encuentran en diferentes etapas de valoración y que cuentan con dos unidades ejecutoras.

Metodología que integra las estrategias para un proceso de autoevaluación por conglomerado

A continuación, se presenta por fases la estrategia metodológica que la Comisión de Conglomerado de la Escuela de Ciencias del Movimiento Humano y Calidad de Vida utilizó en las diferentes etapas del proceso de autoevaluación para la acreditación por conglomerado de dos carreras de grado, en su efecto BEEFDR y BPSF. Este proceso fue liderado por la CIEMHCAVI, en conjunto con la División de Educología, instancia universitaria que se encarga de desarrollar el componente pedagógico en las carreras de formación en la enseñanza, como es el caso del BEEFDR.

Primera fase: Creación de una comisión interdisciplinar

Como parte del proceso de organización se creó una comisión de acreditación por conglomerado, la cual se denominó Comisión de Conglomerado CIEMHCAVI (CCC). Esta estuvo conformada por:

Segunda fase: Cumplimiento de normativa institucional

Según la normativa institucional de la Universidad Nacional, se formuló una actividad académica denominada “Gestión de la Calidad CIEMHCAVI”, en la cual se definen propósitos específicos que sirven como medio de coordinación y articulación entre las diferentes autoridades universitarias y los diferentes sujetos actores de la CIEMHCAVI que permitan apoyar y contribuir en la implementación de parámetros de referencia, estrategias de gestión, objetivos, actividades, entre otros, que fortalezcan los procesos de autoevaluación, acreditación, reacreditación y mejoramiento de la calidad de las carreras ofertadas por la Escuela.

Tercera fase: Modelo de trabajo establecido por la CCC

La CCC estableció como política interna reunirse, de forma semanal y permanente, en pleno, con la intensión de que, en forma conjunta, se coordinaran las acciones necesarias que permitieran culminar cada etapa propuesta en el plan de acción.

Durante estos espacios, si bien es cierto se delegaban funciones específicas a cada una de las personas miembros de la CCC para su cumplimiento entre la semana, el principal objetivo fue la creación en conjunto de toda la documentación requerida en el proceso de autoevaluación, entre ellos se pueden citar: elaboración de encuestas, informes de análisis de resultados de las encuestas, elaboración de informe de autoevaluación y CM, búsqueda y determinación de evidencias, revisión de la documentación por el ente acreditador y cualquir otra documentación, evidencia o acción que se necesitara.

La dinámica que prevaleció en estas reuniones fue la participación proactiva de la totalidad de miembros en la toma de decisiones, gracias a un liderazgo democrático y a la determinación de roles de trabajo para sus integrantes, de acuerdo con las fortalezas de cada uno de sus miembros.

Lo anterior permitió la apropiación conjunta, la participación activa y propositiva de cada una de las personas de la CCC y una plena consciencia de su rol en cada momento. Asimismo, se generaron procesos de realimentación permanentes con base en los distintos puntos de vista de cada participante, lo cual propició un trabajo más armónico e integral con sensibilización, contextualización y concientización más completa en cada integrante; esto permitió un producto realizado de una forma más ágil y eficiente.

La sistematización de esta experiencia vivida se encuentra disponible en Morera-Castro, Azofeifa-Lizano, Gómez-Barrantes, Rojas-Valverde y Azofeifa-Mora (2017).

Cuarta fase: Plan de acción establecido por la CCC

Se estableció un plan de acción general para la ejecución del proceso de autoevaluación por conglomerado. Este plan incluyó un cronograma de trabajo que contemplaba: los recursos humanos y materiales disponibles, necesidades del momento a nivel de unidades académicas y los plazos de cumplimiento internos, institucionales y del ente acreditador. Asímismo, este plan se dividió en dos etapas macro:

Etapa I

El análisis del grado de afinidad de las carreras involucradas. Que a su vez incluyó:

La sistematización del análisis de similitudes se encuentra disponible en Morera-Castro, Gómez-Barrantes, Azofeifa-Lizano, Rojas-Valverde y Azofeifa-Mora (2018). Como una síntesis de este artículo se estableció una metodología específica que permitiera analizar todas las evidencias en común entre ambas carreras, para determinar si se contaba con el porcentaje mínimo requerido por el ente acreditador, en cada una de las dimensiones establecidas en función del Manual de acreditación que determina los criterios y estándares de evaluación.

Con el análisis se demostró el alto grado de afinidad entre las carreras, lo que le posibilitó a la CIEMHCAVI iniciar con el proceso de obtención de los avales ante los órganos colegiados respectivos tanto de los Consejos y las Asambleas de Escuela, así como de las instancias universitarias correspondientes: Vicerrectoría de Docencia y Rectoría, que otorgaran la aprobación para que se iniciara con la acreditación por conglomerado. Finalmente, se logró la aprobación del ente acreditador para optar por la acreditación por conglomerado.

Etapa II

El proceso de autoevaluación por conglomerado de las carreras de grado, implicó:

Resultados, análisis y discusión de la etapa II del plan de acción de la CCC

Sensibilización a las diferentes poblaciones involucradas

Se coordinó con la dirección de la Escuela para establecer un cronograma de visitas a los diferentes grupos de estudiantes de ambas carreras, con el objetivo de efectuar una inducción a los procesos de autoevaluación y acreditación por conglomerado, el rol de importancia que cada población adquiere y la necesidad de una participación activa por parte del estudiantado. Para facilitar la transmisión el mensaje se crearon presentaciones multimedia, pizarras informativas y publicaciones en redes sociales. Estas mismas estrategias de sensibilización se utilizaron para el personal docente y administrativo.

En el caso de entes empleadores y personas graduadas se actualizaron las bases de datos, seguido de llamadas telefónicas, envío de correos electrónicos y publicaciones en redes sociales, informándoles e invitándoles a ser personas activas de la autoevaluación.

Recopilación de evidencias

La recopilación de las evidencias fue realizada por la CCC en colaboración con todas las personas que conforman las escuelas o los diferentes departamentos de la universidad.

Las evidencias las constituyeron todas aquellas políticas, reglamentos, normativas, procedimientos, sistemas de información digitales, sistemas de control entre otras que respaldan la gestión institucional. Además, de todas aquellas acciones, directrices, lineamientos, actividades, procedimientos internos, como: hojas de asistencia, actas de escuelas, graduaciones, equiparaciones, fotos, programas de cursos, currículos vitae, informes de proyectos, programas y actividades académicas, capacitaciones, publicaciones y otros elementos asociados con el quehacer de las Unidades Académicas.

Para la búsqueda de esta información la CCC utilizaron diversas estrategias:

Como resultado se almacenaron dentro de una carpeta general denominada “información general”, toda la información concerniente a políticas y normativas institucionales, cuestionarios de opinión y documentos de citación continua en el IA. El restante de las evidencias fue ordenado por carpetas según la dimensión, el componente, el criterio y la evidencia correspondiente establecidos por el ente acreditador.

Cabe resaltar que todo documento utilizado como sustentación de la evidencia requerida se manejó de forma digitalizada o a través de localizador de recursos uniformes, más conocido por la sigla URL, para permitir acceder a la información de manera expedita. Asimismo, toda la información recopilada se renombró siguiendo la nomenclatura establecida por la CCC.

Encuestas de opinión a los diferentes sujetos actores

Se elaboraron 7 encuestas de opinión con preguntas abiertas y cerradas. Estas se construyeron en función de las personas actoras: personal académico, personal administrativo, personas graduadas, entes empleadores, estudiantes regulares y estudiantes de primer ingreso, para dar respuesta a criterios solicitados y según las necesidades de información de las carreras.

Estas encuestas fueron elaboradas en las reuniones de la CCC con base en el Manual de Acreditación Oficial de Carreras de Grado del Sistema Nacional de Acreditación de la Educación Superior (SINAES, 2009), la Guía para la Autoevaluación de Carreras con fines de acreditación y reacreditación oficial (SINAES, 2011), la Guía para Autoevaluación de carreras por conglomerados (SINAES, 2013a) y las encuestas macro elaboradas por la Universidad Nacional.

Para la confección de los items de cada encuesta, se procedió a analizar las evidencias requeridas por el ente acreditador, y una vez contextualizada y contrastada con las encuestas base de la UNA, se procedió a ajustar, modificar o en caso de ser necesario redactar la pregunta nuevamente. Una vez elaboradas cada una de ellas se revisaron las escalas de opinión propuestas, con el objetivo de garantizar la coherencia entre lo que se solicitaba y la posible respuesta.

En el Apéndice A (Tablas 1, 2, 3 , 4, 5 y 6) se detallan las secciones que incluye cada encuesta, así como el total de preguntas por sección y el tipo. Esto, con el fin de que las personas interesadas puedan visualizar la distribución temática por grupo poblacional.

La aplicación de las encuestas antes mencionadas se realizó por medio de la plataforma en línea LimeSurvey. Primeramente, se creó una plantilla representativa al proceso donde se incluyeron los logotipos e imagotipos institucionales y de unidades académicas. El siguiente paso consistió en la programación en la plataforma en línea de cada uno de los cuestionarios que habían sido analizados y creados previamente, así como el introducir las bases de datos de las personas participantes. Es necesario clarificar que la plataforma mantiene criterios de confidencialidad permanentes.

Como parte del control de calidad que garantizara el adecuado funcionamiento de cada una de las encuestas diseñadas, se efectuó un riguroso procedimiento de revisión y corrección por parte de integrantes de la CCC y profesionales que colaboraron en este proceso. Este control de calidad se llevó a cabo de la siguiente manera: a) la programación de cada cuestionario mediante la plataforma de LimeSurvey, b) una revisión de su contestación dentro del modo de prueba de la plataforma, c) la presentación de cada cuestionario en las reuniones de la CCC donde se efectuó la simulación de este y se creó un registro con las recomendaciones, sugerencias, cambios y errores por encuesta, según la necesidad, d) estudiante asistente inmerso dentro del proceso de acreditación, como prueba piloto contestó cada cuestionario según su experiencia; en caso de detectar alguna anomalía, incoherencia o que le surgiera duda, debía anotarlo para luego efectuar un reporte con las correcciones necesarias relacionadas con el formato o programación que necesitaran corrección y e) solucionados dichos errores, el cuestionario estaba listo para ser enviado.

Seguidamente, se confeccionaron y digitalizaron las bases de datos mediante el software Microsoft Excel con la información de las personas actoras (personal docente, administrativo, entes empleadores, estudiantado graduado). En el caso particular del estudiantado, se elaboraron dos bases de datos diferentes: estudiantes de primer ingreso y estudiantes regulares, este último grupo incluye al estudiantado que matriculó la mayoría de los cursos entre los niveles II, III y IV.

Paralelamente, se procedió a la importación de cada base de datos a la plataforma de LimeSurvey según el cuestionario correspondiente y se verificó que los datos fuesen importados de forma correcta. Finalizado de forma exitosa este procedimiento, se ejecutó el envío de los cuestionarios a las diferentes poblaciones

Como resultados de la participación de la población involucrada en el proceso, se utilizó una muestra por conveniencia debido a que el objetivo principal era abarcar la mayor cantidad de población posible en cada grupo muestral. Se contó, por tanto, con la participación de un total de 472 personas, las cuales se dividen en: 203 estudiantes regulares de ambas carreras, 63 estudiantes de primer ingreso de ambas carreras, 85 personas graduadas del BEEFDR y 30 personas graduadas del BPSF, 33 del personal académico de la CIEMHCAVI-DE que imparten lecciones en alguno de los bachilleratos, 26 personas administrativas tanto de la CIEMCAVI como de la DE y 32 sujetos empleadores.

El detalle muestral de cada encuesta se indica a continuación:

Aplicados los cuestionarios, se procedió a descargar los datos almacenados en la plataforma LimeSurvey. Una vez realizado el proceso anterior, la CCC procedió a la tabulación de la información cuantitativa que fue organizada en tablas de distribución de frecuencias y porcentajes; la información cualitativa correspondiente a las preguntas abiertas de cada cuestionario se organizó por categorías por medio de tablas comparativas, que en conjunto permitieron llevar a cabo un análisis y valoración por dimensión, componente y criterio.

El análisis y tabulación de la información descrita anteriormente dio origen a una serie de informes donde se presentan, de manera detallada, los resultados de cada uno de los cuestionarios aplicados. Estos resultados sirvieron de insumo para la confección del Informe de autoevaluación por conglomerado, específicamente para las evidencias donde se solicita la opinión de las personas actoras.

Socialización a los diferentes actores de los resultados de las encuestas

Una vez que la CCC finalizó los informes se presentan los resultados de cada una de las encuestas. Como resultados se efectuaron un total de tres talleres con estudiantes, personal académico y administrativo, para dar a conocer los resultados que se consideraron sobresalientes tanto en las fortalezas como en las debilidades encontradas por grupo poblacional. Esto le permitió a la CCC no solo sensibilizar y socializar los resultados, sino también realizar en conjunto con cada población un análisis de las opiniones emitidas, propiciando un enriquecimiento sobre los juicios valorativos a partir de nueva información cualitativa.

Elaboración del informe final del proceso de autoevaluación por conglomerado y compromiso de mejoramiento

La elaboración del Informe Final de Autoevaluación por Conglomerado integra una versión preliminar del CM según las debilidades encontradas en el proceso de autoevaluación antes descrito. Este documento se elaboró tomando como base los requerimientos que el ente acreditador establece en el Manual de Acreditación Oficial de Carreras de Grado Superior, la Guía para la Autoevaluación de Carreras con fines de Acreditación y Reacreditación Oficial, así como la Guía de Autoevaluación por Conglomerados. Es importante que, para el proceso de redacción, se tomó la decisión de que la comisión en pleno participara. Ello permitió crear una triangulación entre la elaboración del IA, lo solicitado por el ente acreditador y las evidencias.

Debido a la particularidad que tenía este proceso, una carrera acreditada versus una carrera por acreditarse, y donde una de estas carreras es compartida por dos UA, se debieron realizar ajustes y modificaciones al formato del IA, que permitieran dar esa flexibilidad necesaria sin perder la claridad y transparencia de la situación de cada carrera y la atención a los requerimientos del ente acreditador. Este informe fue estructurado de tal forma que conservara el orden según cada dimensión, criterio y evidencia requerida.

Para cada criterio se realizó una descripción y fundamentación de políticas, normativas, lineamientos, reglamentos, procedimientos, el modelo de gestión y datos estadísticos, tanto institucional como de las unidades académicas, que permitieron respaldar el grado de cumplimiento de ambas carreras. Cada insumo fue amparado con las evidencias correspondientes que le dieron objetividad y validez a lo descrito. Seguido de los resultados de las encuestas de opinión de los diferentes sujetos actores involucrados en el desarrollo de las carreras y las referencias a los informes de resultados correspondientes y en caso de ser requerido la evidencia correspondiente al estándar solicitado.

Seguidamente, se efectuó una valoración del criterio en donde se sintetiza las fortalezas y las debilidades presentadas por ambas carreras de lo estipulado en el criterio, así como si el criterio y estándar se cumple, no se cumple o se cumple parcialmente.

Debido a que el BEEFDR se encontraba en un proceso de reacreditación, el ente acreditador solicitaba un análisis comparativo del proceso de autoevaluación pasado y el actual. Este quizás fue el punto que mayor complejidad presentó, ya que se tendía a confundir con los resultados del proceso de autoevaluación por conglomerado. Por lo que la CCC tomó la decisión de crear un apartado en cada criterio que permitiera efectuar una valoración comparativa de las mejoras efectuadas en el BEEFDR, lo cual permitió evidenciar la permanencia de aspectos positivos o bien las mejoras logradas gracias al proceso de acreditación anterior.

A manera de síntesis por dimensión se realizó una tabla resumen de las fortalezas y debilidades del proceso de autoevaluación por conglomerado, esto no incluyó las mejoras del proceso del BEEFDR, excepto que se comprobara una debilidad existente o surgiera una nueva debilidad.

Finalizado cada componente se presentó una síntesis valorativa del componente, así como una síntesis valorativa por dimensión y una valoración integral de las carreras del conglomerado, todos estos solicitados por el ente acreditador. Al mismo tiempo el capítulo final del IA incluye la primera propuesta del CM según las debilidades encontradas en el proceso de autoevaluación por conglomerado y lo evidenciado en el informe.

Es importante señalar que para la entrega del IA al ente acreditador se debió contar con los avales de unidades académicas correspondientes, así como de Rectoría de la Universidad.

Conclusiones

Luego de vivenciar un proceso de autoevaluación por conglomerado, se concluye que para una exitosa acreditación por conglomerado es necesario:

Se recomienda que la autoevaluación debe estar plagada de voluntad, compromiso, rigurosidad y veracidad, por parte de las personas actoras, la comisión, direcciones de las unidades académicas y autoridades institucionales. A su vez, es fundamental tener conocimiento de los documentos con los cuales trabaja la agencia acreditadora, pero aún más el lograr traducirlos a un lenguaje institucional que permita adecuarlos a las particularidades de cada carrera.

Además, es importante tomar en cuenta, que en las carreras donde existan dos unidades ejecutoras se debe, por tanto, respetar las particularidades del quehacer de cada unidad; sin embargo, se requiere una comunicación y coordinación permanente que garantice que las fortalezas de una unidad puedan permear en la otra o viceversa, es decir, que los aspectos de mejora permitan entrelazar acciones que nutran la gestión de calidad en ambas escuelas.

Apéndice A. Tablas de la estructura de cada encuesta

Referencias

Fechas de Publicación

Histórico