Open-access La calidad en la formación de doctores en Ciencias Pedagógicas: una evaluación desde sus egresados y propuestas de mejora

Quality in the Formation of Doctors in Pedagogical Sciences: Graduates´ Evaluation and Proposals for Improvement

Resumen

La formación de doctores constituye una actividad importante en las universidades. Varios investigadores han estudiado las múltiples aristas relacionadas con este tema en diferentes contextos sociales y culturales con aportes valiosos como, por ejemplo, las competencias y habilidades profesionales necesarias para que el alumnado pueda desarrollar su tesis, las dificultades en su escritura, el impacto científico y social de los resultados aportados, el papel de los tutores y su preparación previa. La evaluación de la calidad de esta formación siempre ha estado implícita en todas estas consideraciones desde la visión de los formadores, pero los criterios de los egresados casi no han sido tenidos en cuenta. En el caso de los doctorados en Ciencias Pedagógicas desarrollados en Cuba esta situación se mantiene, por lo que el objetivo del presente artículo es evaluar la calidad del proceso formativo de los egresados en Ciencias Pedagógicas, a partir de su evaluación personal, con la intención de perfeccionarlo con las propuestas de mejora de ellos. Se sugieren varios procedimientos metodológicos para obtener por vía científica la autoevaluación de estos egresados y conseguir una información objetiva, valiosa, veraz, pertinente y de uso inmediato para el proceso de perfeccionamiento continuo que demanda la formación doctoral para elevar su calidad.

Palabras clave formación doctoral; doctorado; autoevaluación; educación superior

Abstract

The formation of Doctors of Philosophy is an important issue in universities. Several researchers have studied the multiple aspects related to this topic in different social and cultural contexts with valuable contributions such as competences, professional skills needed for students to develop their thesis, difficulties in academic writing, scientific and social impact of the results obtained and the role of tutors and their previous formation. The evaluation of the quality of this formation has always been implicit in all these considerations from the vision of the professors, but the criteria of the graduates have hardly been considered. This situation is prevalent in the case of the doctorates in pedagogical sciences developed in Cuba. Thus, the objective of this article was to evaluate the quality of the teaching process of graduates in pedagogical sciences based on their personal evaluation with the intention of enhancing it with the graduates´ improvement proposals. Several methodological scientific procedures were proposed to self- assess the graduates in order to obtain objective, valuable, truthful, and pertinent information to be used immediately in the process of continuous improvement that the doctoral education demands to improve its quality.

Keywords doctoral education; doctorate; self-assessment; higher education

Introducción

La formación de doctores constituye una de las vías más importantes en la educación de posgrado que coopera en la elevación de la calidad en el profesorado universitario. El doctorado les confiere una alta preparación cultural y científica como profesionales universitarios, para que en su desempeño afronten exitosamente las crecientes y complejas exigencias contemporáneas que la sociedad les plantea a las instituciones de educación superior.

Con el desarrollo de las universidades el grupo de doctores se ha ido incrementando de manera sostenida en diferentes especialidades, por lo que la formación doctoral constituye una de las actividades sustantivas de posgrado que requiere de una atención priorizada para perfeccionarla, debido a su masividad y a la necesidad de lograr mayor eficiencia.

En Cuba varias universidades desarrollan programas de formación doctoral en diferentes especialidades, entre las cuales se encuentran las Ciencias Pedagógicas, las cuales han tenido un desarrollo peculiar por la cantidad de doctores egresados. Pero esta masividad ha provocado la necesidad de investigar la calidad de este proceso formativo, el cual es complejo por la confluencia de diferentes causas y condiciones que interactúan entre sí y que necesita perfeccionarse para mantener su pertinencia y eficiencia.

Las vivencias del autor como tutor, como profesor de posgrado en grupos de doctorantes y miembro de tribunales permanentes de defensas de tesis doctorales en estas ciencias, le han permitido constatar que los criterios de los egresados sobre la calidad de su formación no han sido tenidos en cuenta por los formadores y directivos. El objetivo del artículo es valorar la calidad del proceso formativo del doctorado en Ciencias Pedagógicas, a partir de la evaluación de sus egresados, con el fin de realizar propuestas de mejora.

Estado de la cuestión

La formación doctoral constituye un tema recurrente abordado en diferentes publicaciones científicas, por lo que se hace necesario conocer las peculiaridades regionales, consideraciones y aportes como parte de la valoración del estado del arte de este problema en el mundo anglosajón, iberoamericano y específicamente en Cuba.

En el contexto anglosajón se valora la importancia del desarrollo de habilidades para la gestión de la información científica dentro de la formación investigativa de los estudiantes de doctorado, la importancia que tienen los recursos existentes en Internet y el dominio que deben tener previamente los profesores que participan en la formación de doctores (Barry, 1999).

Las tesis doctorales y sus defensas constituyen indicadores de la calidad de los egresados en los programas de grados, las cuales deben ser mejor consideradas en contextos específicos como resultado de la influencia de varios factores, los cuales no están determinados solamente por la calidad del diseño docente que se les ofrece sino por otros, como por ejemplo, las habilidades verbales que los estudiantes ya poseían al iniciar su formación o de la compleja interacción que se produce entre los estudiantes y sus tutores (Hamilton, Johnson y Poudrie, 2010).

El grupo de estudiantes de doctorado debe desarrollar competencias en la realización de sus investigaciones bajo la influencia de sus supervisores, de acuerdo con sus consideraciones en relación con dichas competencias, como fenómeno metafórico, lingüístico y cognitivo en la formación investigativa de dichos estudiantes (Baptiste y Huet, 2012).

El conocimiento aportado por las tesis doctorales se produce entre su utilidad científica y social, a partir de la valoración de estudios de caso con estudiantes de doctorado, sobre los cuales se estudió su labor investigativa y sus expectativas de obtener resultados científicos para aplicarlos en el contexto social de procedencia de cada uno (Lafont, 2014).

Se puede afirmar, de manera resumida, que en el contexto anglosajón la literatura sobre este tema destaca cuestiones valiosas de la formación doctoral, en plena correspondencia con su tradición positivista, donde los aspectos instrumentales resultan esenciales, a través de la colecta y el análisis de los datos debido al predominio de la escuela de grado norteamericana.

En el ámbito iberoamericano se han identificado las deficiencias de los doctorandos en la escritura de sus tesis, entre las cuales los problemas para conectar la información son los más frecuentes y en ocasiones, la intencionalidad comunicativa no se corresponde con el tipo de recurso utilizado, las estrategias de revisión solo son eficaces si logran definir adecuadamente los problemas del texto y si se desarrollan en un contexto compartido con otros investigadores (Castelló, González y Iñesta, 2010).

En la formación doctoral tienen una influencia permanente los asesores de tesis en la vida académica posterior de los investigadores, a partir del desarrollo de su autonomía profesional, con la propuesta de un modelo que permite valorar el efecto de dicha asesoría para la producción científica independiente (Fresán, 2002).

Los doctorandos presentan dificultades para escribir una tesis, la cual tiene un carácter público por estar dirigida a otros lectores, lo que implica un proceso constante de rescritura en el que no se deben hacer pausas, pues cuanto más tiempo se deje de escribir, más difícil es retomarla (Carlino, 2006).

La formación de doctores en el contexto del Espacio Europeo de Educación Superior (EEES) tiene gran relevancia para el ejercicio profesional dentro y fuera de las instituciones universitarias, a partir de un concepto de formación basado en las competencias que deben desarrollarse en los doctorandos, las cuales no solo se restringen a la realización de la tesis doctoral sino también en las competencias transferibles (Hernández y Díaz, 2010).

La peculiaridad distintiva de espacio europeo de educación superior en la formación de doctores, radica en que el modelo ha estado dirigido explícitamente al desarrollo de competencias, las cuales tienen como antecedente los cambios derivados del proceso de Bolonia, encaminado a unificar e integrar la duración de los estudios que permitan lograr un sistema de transferencia de créditos.

En la región andina se valora el estado en que se encuentran los doctorados en Educación, como parte del proceso de formación doctoral en varias universidades de Ecuador, Bolivia, Venezuela y Perú. Como regularidades se detecta el avance logrado en la formación de doctores, como parte de la preparación de profesionales de alto nivel para la toma de decisiones estratégicas en las diferentes áreas del conocimiento científico y tecnológico en el campo educativo. También se destaca el avance en el desarrollo de doctorados interinstitucionales con universidades nacionales y extranjeras, que posibilitan la optimización de recursos para el avance en las investigaciones contextualizadas, que potencien el desarrollo social y económico de la región a través de su aplicabilidad (Navas, 2006).

Se resaltan las experiencias en la formación de doctorados en Educación en cuanto a la necesidad de perfeccionar la preparación profesional de los formadores, pues no siempre poseen una preparación óptima para encauzar con efectividad la formación de sus doctorandos (Moreno, 2007).

Se propone un cuestionario que permite la evaluación de las tesis doctorales antes del acto de defensa, en el propio acto y posteriormente para proponerlas a premio, sobre la base de diferentes criterios e indicadores (López, Fernández, Orera, Sánchez, Martínez, Hernández y Sánchez, 2008).

Los doctorandos deben desarrollar determinadas competencias científicas para la realización de tesis doctorales, las cuales están referidas a competencias intelectuales, de liderazgo y de gestión del cambio, técnico académicas, relacionales y autogestión de competencias. Cada una de ellas contienen competencias más específicas y se desarrollan a través de tareas que en su consecución desarrollan su labor investigativa. La utilidad de esta propuesta también radica en que puede servir para que los doctorandos pueden irse autoevaluando en la medida que avanza su formación a través de elaboración de sus respectivas tesis doctorales (Colás, Buendía y Hernández, 2009).

Se aporta un modelo de formación de tutores de tesis doctorales, a partir de la determinación de sus necesidades formativas, así como de las experiencias y expectativas de los alumnos y tutores. Precisa varias dimensiones dentro del modelo, las cuales están relacionadas con contenidos personales, profesionales e institucionales y determina como regularidades la definición de competencias del tutor de tesis y la necesidad de la orientación de las asignaturas del posgrado en función de la investigación científica y de la tesis (Rodríguez, 2010).

Se identifican los problemas asociados a la tutoría en los programas de doctorado en Educación, específicamente a las tensiones que ocurren en este proceso y su incidencia en la formación integral de los doctorandos, así como las posibles vías para su solución (Torres, 2011).

Existen varias dificultades en los estudiantes de posgrado para la realización de tesis doctorales en las universidades de habla hispana: las internas, relacionadas con insuficiencias del orden lógico del pensamiento y con la escritura de la tesis; y entre las externas están la poca orientación y apoyo por parte de la comunidad científica y la disponibilidad real de tiempo para dedicarlo a su tesis, lo que provoca discontinuidad en su labor y retraso en el cumplimiento de su proyecto investigativo (Sánchez, 2012).

La formación doctoral estimula diferentes niveles de desarrollo cognitivo y psicosocial que permite que los doctorandos resuelvan problemas de manera autónoma, creativa y cooperativa como parte de la producción de conocimientos (Figueredo, Huet y Rosario, 2012).

Se propone un plan de tutoría y apoyo a los estudiantes del doctorado con el objetivo de aportar estrategias que contribuyan a la formación de investigadores como acompañamiento a los doctorandos para que disminuya la tasa de deserción. El plan está orientado al desarrollo de la autonomía para aprender, para trabajar colaborativamente en equipos de investigación, a la práctica de la reflexión y a la construcción de conocimiento científico (Villardón y Yániz, 2013).

La investigación doctoral afecta significativamente la vida de las personas, al provocar un cambio identitario inherente al proceso de participación gradual de los doctorandos en la comunidad disciplinar de práctica en la cual inscriben sus tesis, y que las relaciones sociales establecidas con actores fuera del ámbito académico también juegan un rol fundamental a la hora de llevar adelante el trabajo de tesis. Además, afirma que la investigación doctoral requiere, además del respaldo institucional, de acciones pedagógicas que pueden perfeccionarse para evitar derroteros o trayectorias truncas (Colombo, 2014).

Se realiza un estudio de las tesis doctorales en Educación en tres universidades (Universidad Complutense de Madrid en España, Universidad de la Sorbona en París y la Universidad Nacional Autónoma de México), en el período de 2010 al 2012. Como regularidades se constató la influencia que ejercen las tendencias dominantes en el contexto y en el campo de la investigación educativa; las comunidades académicas de dichas universidades no han logrado formalizar una discusión abierta acerca de las diferencias epistemológicas y puntos de contradicción que coexisten en el medio universitario de la investigación y la formación doctoral en Educación. Y considera que se debe hacer un llamado urgente a restituirle a la investigación en educación su potencial innovador, reconsiderar las ventajas y desventajas de la interdisciplinariedad y atender las actuales deficiencias en la formación de doctores (Pacheco, 2014).

Las tesis doctorales constituyen una fuente y un indicador de las tendencias en la investigación, su condición de período de formación de los investigadores, su relevancia como productoras de resultados de investigación de alto nivel y su interés para analizar las estructuras organizativas y de poder e influencia en las instituciones académicas (Jiménez, Ruiz y Delgado, 2014).

Se proponen varias recomendaciones teóricas y prácticas para la realización de proyectos de tesis doctorales en Ciencias Sociales, como género literario académico que les resulta a los estudiantes difíciles de realizar por su complejidad, sobre todo al inicio de su formación doctoral (Retamozo, 2014).

En la formación terciaria, para la obtención del título de doctor, es necesaria una pedagogía de estudios avanzados que estimule el desarrollo de una escritura académica novedosa en las Ciencias Sociales y Humanísticas, en la búsqueda de tesis doctorales originales (Ramos y Cabaleira, 2015).

La elaboración de tesis doctorales en Ciencias Sociales contiene una problemática epistemológica porque a través de su elaboración se logran aportar resultados científicos en el campo social y educativo (Pacheco, 2015).

La concepción sistémica del currículum del doctorado en Educación para que todas las acciones que se desarrollan desde los diferentes componentes y dimensiones se articulen de manera coherente para garantizar la formación deseada. (Heredia, Delgado y Heredia, 2016).

La formación doctoral en el contexto latinoamericano refleja, de manera sincrética, las influencias de los contextos anglosajón y europeo, debido a que un número importante de directivos y doctores se formaron en países pertenecientes a ambas áreas geográficas y reflejan en su labor directiva, en su formación protagónica y en sus investigaciones dichas influencias en sus concepciones y en sus prácticas formativas.

En el caso cubano, la formación doctoral tiene peculiaridades sui géneris porque la mayoría de los primeros doctores se formaron en los años 70 del siglo XX, fundamentalmente en la Unión Soviética y en la República Democrática Alemana, lo cual ha influido mucho en las concepciones y en las prácticas formativas doctorales posteriores, desde la desaparición del sistema socialista mundial hasta la fecha.

La Comisión Nacional de Grados Científicos de Cuba, adscripta al Ministerio de Educación Superior (MES), estableció un patrón de calidad general para las tesis doctorales en todas las especialidades, como parte de Reglamento del Sistema de Evaluación y Acreditación de Programas de Doctorado (MES, 2011). Dicho patrón se refiere al impacto social de sus resultados, en el que se incluyen no solo el producto de la investigación realizada, sino también las competencias de los doctores egresados y sus aportes a la especialidad en cuestión, de lo que se infiere la necesidad de que el proceso formativo de los doctorandos sea consecuente con estas aspiraciones. Y el reglamento correspondiente tiene la misión de certificar la calidad de los programas que se desarrollan en las universidades autorizadas para formar doctores.

En Cuba existe cierta experiencia en el desarrollo de programas de doctorado en varias especialidades y específicamente en las Ciencias Pedagógicas desde mediados del siglo XX. Están establecidas legalmente dos vías fundamentales para la formación de doctores: tutelar y curricular. El programa tutelar se realiza bajo la dirección de un tutor y un programa individual y el curricular exige el cumplimiento de un determinado número de créditos lectivos que deberán realizar los aspirantes, en dependencia de su especialidad.

Varios investigadores cubanos han abordado diferentes aristas relacionadas con la formación de doctores como, por ejemplo, la importancia de la calidad de las tesis doctorales como salidas importantes de proyectos investigativos que favorecen el mayor y más rápido impacto de sus resultados científicos (García, 2006).

La calidad de las tesis doctorales puede afectarse si en el propio de formación se produce la ausencia de actividades periódicas de confrontación ante un colectivo científico o de colegas aspirantes que puedan contribuir a perfeccionar su trabajo de tesis (Llanio, Peniche y Rodríguez, 2008).

Se identifican varias insuficiencias en los programas que afectan a la calidad en la formación doctoral; por ejemplo, en la preparación como investigadores, falta de síntesis en la formación teórica y metodológica, descuido en el desarrollo de valores en los doctorandos y limitaciones en los aseguramientos materiales y financieros para cumplir con las exigencias de los programas, entre otras (Llanio, et al., 2008).

La evaluación de múltiples tesis doctorales en Ciencias Pedagógicas permitió constatar el predominio de los enfoques cuantitativo o cualitativo en sus diseños metodológicos y la tendencia a utilizar elementos de uno u otro, pero con la presencia de algunas inconsecuencias por falta de rigor científico y originalidad en los temas abordados, así como de creatividad por parte de los investigadores, lo cual refleja deficiencias en la calidad del proceso formativo (Armas, Martínez y Nancy, 2010).

Se evaluó el impacto científico de las tesis doctorales en Ciencias Pedagógicas mediante indicadores cienciométricos, con la constatación de deficiencias relacionadas con pocas publicaciones de artículos en revistas de alta visibilidad, de libros, monografías, así como insuficiente número de premios y reconocimientos por los resultados científicos aportados (Ortiz, González, Infante y Viamontes, 2010).

Se valoró que las tesis doctorales en Ciencias Pedagógicas premiadas han sido pobres en relación con el número de tesis defendidas, tomando como muestra el decenio 1990-2010 (González y Ortiz, 2012).

La formación académica de posgrado debe tener en cuenta una estrategia para la proyección y evaluación del impacto de los programas que se ejecuten, de acuerdo con el perfil de los egresados, de forma que se logre una mayor repercusión en la ciencia, en la innovación tecnológica y en la sociedad (Castellano, Hernández y Sosa, 2012).

La evaluación del proceso de dirección en la formación de doctores en Ciencias Pedagógicas (García y Addine, 2016), así como la importancia del proceso docente educativo de este doctorado (Fernández, Pérez y Castro, 2016), que tiene como peculiaridad que a la vez que investigan, se desempeñan como docentes y directivos en instituciones educativas.

De lo aportado por los investigadores a través de sus publicaciones en los contextos anglosajón, iberoamericano y específicamente cubano, se pueden llegar a las siguientes regularidades:

  • Aunque los contextos son social y culturalmente diferentes y con tradiciones peculiares autóctonas, se constata que la formación doctoral constituye un tema recurrente y priorizado debido a su importancia para el desarrollo por la alta pertinencia social de las universidades.

  • Todos los contenidos tratados constituyen aspectos relevantes que contribuyen de manera efectiva al perfeccionamiento de la formación doctoral en las diferentes especialidades, tales como las competencias y habilidades necesarias, la labor de los tutores y su profesionalización, cuestiones epistemológicas de los aportes científicos de las tesis, su impacto y escritura, entre otros.

  • Los resultados científicos aportados poseen un valor de uso inmediato y general para ser aplicados con las adecuaciones correspondientes, en dependencia de las peculiaridades de cada institución universitaria, de acuerdo con el contexto regional, social y cultural de procedencia.

  • La calidad en la formación de doctores constituye un tema inmanente, ya sea de manera directa o indirecta, ya que de su priorizada gestión dependerá que las universidades eleven la profesionalidad de sus claustros.

  • Como la visión de los formadores ha prevalecido en las investigaciones sobre los problemas asociados al perfeccionamiento de la calidad del doctorado, se encontraron pocos estudios científicos que hayan abordado la evaluación de los propios egresados sobre su formación doctoral, por lo que resulta pertinente profundizar en esta arista del problema.

Marco teórico

La evaluación de los egresados en los programas de formación doctoral se inscribe en la teoría de la evaluación educativa, la cual plantea que es un factor nuclear e irrenunciable de la calidad de la enseñanza, ya que no es un fin en sí misma, sino que cobra sentido en la medida en que sus resultados son conocidos y aprovechados para sustentar decisiones que lleven a la mejora de la calidad, que es el propósito último que toda evaluación debe perseguir (Martín y Martínez, 2009).

Marchesi (2009) afirma que los retos a los que se enfrenta la evaluación educativa deben servir de estímulo para la incorporación de metodologías variadas que den cuenta, desde sus diferentes aproximaciones, de la complejidad de la acción educadora, tanto de las instituciones como de sus profesionales. Por ello, junto con los enfoques más cuantitativos, deberían tenerse en cuenta otros de corte cualitativo que ayudaran a la interpretación de los datos obtenidos.

De la misma forma, el énfasis en el diálogo con aquellos que van a participar en los procesos de evaluación, la información sobre las características de este y sobre sus consecuencias, así como el cuidado para que se sientan participantes activos y no solo sujetos pacientes de programas diseñados a sus espaldas, son condiciones que garantizan un mayor éxito de las evaluaciones, es decir, un impacto positivo en la mejora de la calidad de la educación (Marchesi, 2009).

Los criterios de los egresados sobre los programas de formación son muy importantes y su seguimiento constituye una vía destacada en el proceso de evaluación y toma de decisiones, pues ofrece información sistemática acerca de las carencias o deficiencias académicas de los alumnos en el proceso formativo (Cedeño, 2014).

La autoevaluación es una vía de desarrollo y formación de la personalidad de los sujetos que intervienen en el proceso de enseñanza-aprendizaje (Mena, 2010). Es un proceso que le permite al participante conocer sus potencialidades y limitaciones, y con ellas tomar las medidas necesarias para incrementar sus conocimientos y buscar la ayuda para superar los obstáculos que interfieren su proceso de aprendizaje (Ferrándiz, 2011).

La autoevaluación posee un valor educativo destacado en la formación de profesionales universitarios sobre todo en el posgrado, dada su formación, responsabilidad, desarrollo personal en general. Las características de los participantes en las distintas modalidades de la educación de posgrado, determina que la autoevaluación sea un rasgo inherente del cuarto nivel de enseñanza, más que un medio o una condición de la formación, pues se supone ya alcanzada (González, 2000).

La autoevaluación de las competencias profesionales posee un beneficio práctico como proceso de aprendizaje dentro de la progresiva adecuación a la profesionalización (Gimeno y Gallego, 2007). Otros autores la conciben dentro del término autopercepción del nivel alcanzado en el desarrollo de sus competencias (Di Doménico, Visca, Moya y Manzo, 2011).

El desarrollo de una competencia evaluadora en los profesores universitarios permite la realización de innovaciones en el proceso de enseñanza-aprendizaje, entre las cuales se encuentra la autoevaluación del aprendizaje por parte de los alumnos, lo cual presupone que los docentes podrían ser capaces de autoevaluar su desempeño profesional como parte de dicha competencia (Rodríguez y Ibarra, 2012).

En la formación de posgrado contemporáneo con frecuencia se desaprovechan las posibilidades que brinda la autoevaluación, como vía importante dentro de la evaluación sistemática (Bernaza, Douglas y Castro, 2013).

Valenzuela (2014) evalúa la experiencia obtenida en la formación transnacional de doctores, a partir de los criterios de satisfacción de los profesores y doctorandos en cuanto a la calidad de dicho proceso formativo, destacando las coincidencias y discrepancias entre ambos y, sobre la base de los resultados obtenidos, propone varias vías para elevar su calidad.

El nivel de desarrollo ontogenético en que se encuentran los egresados de programas doctorales facilitan su labor evaluadora, los cuales están en la etapa juvenil adulta, caracterizada por un gran desarrollo de sus motivaciones profesionales, una autovaloración más objetiva y un buen nivel de criticismo como resultado de la evolución de su pensamiento teórico, que le confiere madurez a la personalidad.

Los rasgos decisivos de la madurez son la conciencia de la responsabilidad y la aspiración a ella, concibiendo a la persona responsable como aquella que responde por su comportamiento, por el contenido de su vida y lo hace, en primer lugar, ante sí mismo y ante otras personas. En la persona madura influye la historia de su vida, de su experiencia vital como resultado de la actividad que ha realizado ininterrumpidamente durante toda la etapa anterior (Tolstij, 1989). El adulto se caracteriza por su autonomía, su iniciativa y responsabilidad en las decisiones que toma y con altas expectativas sobre su formación presente y futura (Rodríguez, 1999).

El estudiante de posgrado es un profesional universitario que ha vencido satisfactoriamente el tercer nivel de enseñanza, es decir, la educación superior de pregrado y posee un título que lo acredita oficialmente como graduado de este nivel, que por lo general se encuentran en la adultez temprana. El profesional universitario tiene un alto nivel en el desarrollo de sus procesos de aprendizaje como resultado de su preparación académica anterior y posee las competencias necesarias para el ejercicio de la profesión. Este profesional se encuentra en un momento óptimo de su desarrollo cognitivo y afectivo, tiene una verdadera motivación profesional, puede lograr altos niveles de asimilación de los nuevos contenidos de aprendizaje en su formación posgraduada y es capaz de evaluar críticamente la formación posgraduada recibida con argumentos precisos (Ortiz, 2006).

Procedimientos metodológicos

Como en el contexto cubano no existen suficientes antecedentes investigativos sobre la calidad de la formación doctoral en esta especialidad, a partir de la evaluación de sus egresados, se considera prudente la propuesta de una alternativa metodológica que contribuya a la elaboración de un instrumento de carácter abierto, que no precisara previamente ningún indicador para obtener los criterios personales que ellos consideraran relevantes en su profesionalización como doctores.

Se adoptó una metodología cualitativa que asume los supuestos epistemológicos planteados por González (2007), el cual defiende el carácter constructivo-interpretativo del conocimiento como inductor para provocar la expresión de los sujetos estudiados como vía lícita de expresión de la subjetividad. Se realizó también una cuantificación elemental de los datos relacionados con los participantes para caracterizarlos: sexo, vía de la formación y año de egreso.

Se aplicó un cuestionario abierto que permitió la libre expresión de los sujetos para la interpretación de sus respuestas por parte del investigador, con tres preguntas, cuyas respuestas se complementaban, combinando la búsqueda de información directa (la toma de posición del sujeto de manera intencional y explícita sobre lo que se le pregunta) y de información indirecta (se manifiesta en los elementos significativos en la fundamentación de las respuestas). Fue necesario el establecimiento previo de un clima facilitador para que los sujetos implicados participaran de manera voluntaria, cooperadora y sin temores.

Para obtener información sobre cómo los egresados autoevalúan la calidad de su formación doctoral, se les preguntó cuáles fueron las dificultades más importantes que afrontaron en su formación doctoral, sus sugerencias para eliminarlas y perfeccionar dicha formación y los beneficios profesionales en su desempeño posterior una vez egresados.

En la redacción de las preguntas se excluyeron intencionalmente aquellos términos académicos que podrían inducir a los sujetos posibles respuestas, ya que podría estimular un sesgo en ellas, tales como: calidad, competencias y/o habilidades. Las respuestas fueron clasificadas por su contenido en académicas (relacionadas directamente con el proceso formativo) y no académicas (relacionadas con las cuestiones materiales, financieras, tecnológicas, de disponibilidades de tiempo, organizativas y administrativas). Igualmente, las propuestas dirigidas a perfeccionar la formación doctoral, fueron agrupadas de la misma forma. Las respuestas y propuestas de los egresados aportaron una información objetiva, valiosa, veraz, pertinente y de uso inmediato para el proceso de perfeccionamiento continuo que demanda la formación doctoral para elevar su calidad.

El cuestionario fue aplicado a 20 egresados de varias ediciones del doctorado en Ciencias Pedagógicas que se desarrolló en la Universidad de Holguín Oscar Lucero Moya y en la Universidad de Ciencias Pedagógicas José de la Luz y Caballero, en el período 2001-2015, a los cuales se les pidió que colaboraran voluntariamente respondiendo con sinceridad a las preguntas. No se llega a considerar una muestra porque es una cantidad muy pequeña, dado que en dicho período egresaron 148 doctores en esa especialidad. Se tuvo en cuenta que ninguno de ellos hubiera participado previamente en otras investigaciones similares para no contaminar sus respuestas.

Análisis y discusión de los resultados

La Tabla1 resume la distribución por sexo de los egresados del doctorado que respondieron al cuestionario, así como los que se formaron con la guía de un tutor solamente y los que recibieron, además, una preparación curricular especial a través de varios cursos y talleres de posgrado. Los datos evidencian un predominio de los hombres, aunque mínimo (55%); en el caso del tipo de formación la mayoría de ellos fue por la vía tutelar (65%). Las diferencias encontradas solo permiten caracterizar al grupo de doctores egresados, pero no aportan otra información relevante, de acuerdo con el objetivo de la investigación.

Tabla 1
Egresados por sexo y por la vía de formación

Tabla 2
Años de culminación del doctorado

Para el análisis e interpretación de las respuestas a las preguntas del cuestionario, se tuvo en cuenta su contenido y no su frecuencia de aparición. Entre las dificultades más importantes, relacionados con su formación académica, están: la deficiente preparación previa en contenidos sobre epistemología de la ciencia y sus fundamentos filosóficos, el insuficiente dominio de los fundamentos pedagógicos, psicológicos, sociológicos y filosóficos sobre el tema de la tesis, desconocimiento sobre la metodología de la investigación y la aplicación de métodos y técnicas investigativas, la débil comprensión teórica del enfoque investigativo asumido en la tesis, la deficiente atención por parte del tutor, el pobre acceso a la información científica actualizada y la carencia de habilidades para la redacción en estilo científico.

En cuanto a las dificultades no académicas, se refirieron la falta de tiempo para dedicarlo a la investigación, el pobre acceso a Internet, la carencia de recursos materiales y tecnológicos para investigar, el poco apoyo de las instituciones donde trabajan y las dificultades para publicar los artículos científicos.

Estas dificultades deben ser analizadas en una perspectiva temporal, ya que hay egresados desde el 2001 al 2015 y lo que fue una deficiencia formativa en un momento determinado, no lo es en la actualidad, como por ejemplo, las dificultades con el acceso a Internet, las carencias de recursos materiales y tecnológicos, así como las dificultades para publicar artículos científicos en revistas especializadas, pero son las vivencias personales de cada uno cuando realizaron sus respectivas tesis doctorales.

Las deficiencias académicas permiten distinguir las cuestiones referidas a la cultura profesional previa que debe tener cada aspirante y su formación investigativa para iniciar un doctorado, las que resultan requisitos inexcusables desde el inicio para la realización de una tesis de calidad. También hay dificultades relacionadas con la insuficiente atención del conjunto de aspirantes.

Dentro de las propuestas académicas para eliminar las dificultades y perfeccionar la formación de doctores, están algunas muy objetivas e interesantes, tales como desarrollar una profesionalización inicial previa a los estudiantes que ingresan al doctorado mediante cursos y talleres, que los expertos elaboren materiales didácticos de utilidad para los noveles, la necesidad de que los tutores les dediquen mayor atención a sus aspirantes, mayor relación entre los proyectos de investigación aprobados oficialmente y los temas de tesis, priorizar el desarrollo de habilidades para la redacción en estilo científico, mayor orientación en cuanto al acceso a bases de datos y a la información científica en Internet.

Las propuestas no académicas están referidas a permitir un mayor tiempo de acceso a Internet en las instituciones universitarias, mayor disponibilidad de recursos tecnológicos y materiales y la disposición de más tiempo para dedicarlo a la investigación. Del análisis de las recomendaciones se constata la adecuada correspondencia entre las deficiencias planteadas anteriormente y las vías para erradicarlas.

Los egresados consideran que los beneficios profesionales derivados de su formación doctoral estuvieron relacionados con el favorecimiento al carácter científico de la docencia que impartían, permitirles profundizar en las diversas contradicciones que están presentes en el proceso de enseñanza-aprendizaje, la elevación de su nivel académico, la actualización de los saberes en el ejercicio de la profesión, el mejoramiento en la redacción científica, mayor preparación para dirigir trabajos de investigación, mayor cultura integral y el vínculo con la práctica.

Al analizar estos beneficios personales que plantean los egresados se constata la cercanía existente entre varios de ellos por su contenido, al referirse a los resultados de la profesionalización docente e investigativa lograda. También se detecta que estos beneficios planteados no tienen una correspondencia directa con las respuestas a las preguntas anteriores, referidas a dificultades y sugerencias, pues algunos de ellos no fueron abordados como, por ejemplo, los que exceden lo meramente investigativo y trascienden a la profesionalización docente, su vínculo con la investigación y su cultura general, así como a la preparación profesional para enfrentar los retos de la formación de profesionales universitarios.

Los datos obtenidos en esta investigación corroboran los fundamentos teóricos asumidos sobre la evaluación educativa, ya que permiten sustentar decisiones que promuevan la mejora de la calidad, con la incorporación de enfoques cualitativos. Las potencialidades de la etapa ontogenética juvenil adulta de los alumnos egresados, les permite ser participantes activos, con alto nivel de su desarrollo cognitivo y afectivo, así como con el predominio de sus motivaciones profesionales.

Aunque los datos obtenidos concuerdan con lo aportado por la literatura científica general sobre este tema, contribuyen a enriquecer la gestión de calidad de la formación de doctores, a partir de la visión de los egresados y sus propuestas de mejora, mediante la aplicación de cuestionarios abiertos que promueven la libre expresión de criterios individuales.

Los criterios de los egresados sobre su formación doctoral han tenido un valor de uso directo por parte de los directivos, de los comités académicos respectivos y de los tutores, pues permitieron adoptar una serie de medidas pertinentes para perfeccionar dicha formación, sobre todo para enfrentar el proceso de acreditación de su calidad mediante evaluadores externos, a pesar de que fue una cantidad mínima de sujetos los que participaron en la investigación.

Conclusiones y Recomendaciones

La formación de doctores en diferentes especialidades constituye un proceso sustantivo en todas las universidades contemporáneas porque de ello depende la pertinencia social y la sostenibilidad de las instituciones de educación superior. Los resultados de las investigaciones sobre este importante tema en los contextos anglosajón e iberoamericano, reiteran la necesidad de perfeccionarlo en sus múltiples y diferentes aristas, en dependencia de sus tradiciones regionales y culturales, así como de las influencias foráneas.

En Cuba la formación doctoral posee la impronta de la pertenencia del país al campo socialista en la segunda mitad del siglo XX y enriquecido por las peculiaridades nacionales, a partir de las experiencias valiosas obtenidas en este campo durante más de cuarenta años. Sin embargo, la autoevaluación de los egresados apenas ha sido tenida en cuenta por los investigadores, especialmente en la formación de doctores en Ciencias Pedagógicas caracterizada por una dinámica peculiar debido a la gran cantidad de doctores que egresan cada año en los programas existentes en el país.

El cuestionario aplicado a un grupo de egresados del doctorado en Ciencias Pedagógicas, que tiene como peculiaridad su desempeño como profesores y directivos en instituciones educativas, aportó una información valiosa sobre las dificultades más importantes afrontadas en su formación, las sugerencias para erradicarlas y los beneficios profesionales una vez egresados, que sirvió de complemento a las otras vías establecidas por el comité académico como preparación para el proceso de acreditación de la calidad.

El exiguo número de egresados que participó obliga a incrementar en el futuro su número para obtener mayor representatividad de sus criterios, por lo que se debe regularizar la búsqueda científica de las opiniones de los egresados para que autoevalúen la calidad de su formación como doctores en Ciencias Pedagógicas, complementados con otras fuentes de información y desde una metodología cualitativa, que permita el análisis de contenido de las respuestas para identificar aquellos elementos esenciales que influyen, tanto académicos como no académicos, los cuales permiten determinar vías fundamentadas para su perfeccionamiento y de esta forma incrementar su calidad.

El estudiante de posgrado, que se encuentra en la etapa ontogenética juvenil adulta, posee un desarrollo profesional óptimo que le permitió una agudeza crítica sobre la formación doctoral recibida, por lo que sus evaluaciones y propuestas de mejora fueron atinadas, objetivas, esenciales y muy tenidas en cuenta por parte de los formadores.

Se recomienda que la información aportada por este grupo de egresados sea complementada y enriquecida con otros para que la muestra sea más representativa, como parte del proceso de evaluación interna para la acreditación de la calidad del doctorado, que con frecuencia se limita a aplicarles a ellos cuestionarios cerrados en los cuales las respuestas están previstas y los sujetos solo deben limitarse a seleccionarlas. Y que los cuestionarios abiertos se incorporen como herramientas importantes en los procesos de acreditación de la calidad de los programas doctorales.

Referencias

  • Armas, N., Martínez, A. y Nancy, L. (2010) Dos formas de orientar la investigación en la educación de postgrado: lo cuantitativo y lo cualitativo. Pedagogía Universitaria, XV (5). Recuperado de https://goo.gl/YXFnyq
  • Barry, C. (1999) Las habilidades de información en un mundo electrónico: la formación investigadora de los estudiantes de doctorado. Anales de Documentación, 2, 237-258. Recuperado de https://goo.gl/TCcvDQ
  • Baptiste, A. y Huet, I. (2012) Making sense of metaphors about doctoral student competences´: Analysis of supervisors´ voices. [Análisis de las voces de los supervisores: brindándole sentido a las metáforas sobre las competencias del estudiante de doctorado]. Social and Behavioral Sciences, 47, 930–937. Recuperado de www.sciencedirect.com
  • Bernaza, G., Douglas, C. y Castro, J. (2013, enero-abril) La evaluación del aprendizaje en la educación de posgrado: etapas e indicadores evaluativos. Revista Cubana de Educación Superior, 1 13-122. Universidad de La Habana.
  • Carlino, P. (2006) La escritura en la investigación. Serie Documentos de trabajo. Escuela de Educación. Universidad de San Andrés. Buenos Aires. Recuperado de https://goo.gl/9suqdN
  • Castellano, A. V., Hernández, H. y Sosa, A.M. (2012) Cambios e innovación en los procesos de formación académica en ciencias de la educación superior: una mirada a la experiencia desde concepciones contemporáneas. Revista Cubana de Educación Superior, 2, 5-29.
  • Castelló, M., González, D. y Iñesta, A. (2010) La regulación de la escritura académica en el doctorado: el impacto de la revisión colaborativa en los textos. Revista Española de Pedagogía, LXVIII (247), 521-537.
  • Cedeño, G. (2014, septiembre-diciembre) La perspectiva social de la evaluación. Su expresión en el seguimiento de egresados. Revista Electrónica Formación y Calidad Educativa. REFCalE, 2(3), 15-30. Recuperado de https://goo.gl/amZwH7
  • Colás, P., Buendía, L. y Hernández, F. (2009) Competencias científicas para la realización de una tesis doctoral. Barcelona: Davinci Continental, S.L.
  • Colombo, L. (2014). Apoyos personales en la producción de tesis doctorales. Revista Electrónica de Investigación Educativa, 16(2), 81-96. Recuperado de https://goo.gl/EePqQx
  • Di Doménico, C., Visca, J., Moya, L. y Manzo, G. (2011) Autopercepción de competencias investigativas en estudiantes avanzados de Psicología de la UBA, UNLP y UNMDP: un estudio comparativo. V Congreso Marplatense de Psicología. Facultad de Psicología. Universidad Nacional Mar del Plata, Argentina. Recuperado de https://goo.gl/CZLt74
  • Fernández, O., Pérez, I. y Castro, E. (2016) El proceso docente educativo del doctorado en Ciencias Pedagógicas militares. Ideas básicas para su organización. Taller Internacional XIII Junta Consultiva sobre postgrado en Iberoamérica. Universidad 2016. 10mo. Congreso Internacional de Educación Superior, La Habana.
  • Ferrándiz, I.M. (2011, diciembre). La autoevaluación de las competencias en la Educación Superior. Revista Internacional de Investigación en Ciencias Sociales, 2 (7), 7-26. Recuperado de https://goo.gl/wG4RVo
  • Fresán, M. (2002, octubre-diciembre) La asesoría de la tesis de doctorado. Una influencia permanente en la vida del investigador independiente. Revista de la Educación Superior, XXXI (124), 103-122. Recuperado de https://goo.gl/if3cCn
  • Figueredo, C., Huet, I. y Rosario, M. (2012). Construction of scientific knowledge and meaning: perceptions of Portuguese doctoral students. [Percepciones de los estudiantes portugueses de doctorado: construcción del conocimiento científico y del significado]. Social and Behavioral Sciences, 69, 755–762. Recuperado de: www.sciencedirect.com
  • García, J. L. (2006) Investigaciones y doctorados en la universidad cubana. Reflexiones en el nuevo siglo. En Colectivo de Autores Gestión de Ciencia y Tecnología en las Universidades. La experiencia cubana, pp. 33-42. La Habana: Editorial Félix Varela.
  • García, G. y Addine, F. (2016) Dirección del proceso de formación doctoral en ciencias Pedagógicas. Valoración de experiencias. En Memorias Taller Internacional XIII Junta Consultiva sobre postgrado en Iberoamérica. Universidad 2016. 10mo. Congreso Internacional de Educación Superior, La Habana.
  • Gimeno, M. y Gallego, S. (2007) La autoevaluación de las competencias básicas del estudiante de psicología. Revista de Psicodidáctica, 12 (1). Recuperado de https://goo.gl/Ycptbf
  • González, M. (2000) Evaluación del aprendizaje en la enseñanza universitaria. Pedagogía Universitaria, 5 (2), La Habana, Ministerio de Educación Superior.
  • González, F. (2007) Investigación cualitativa y subjetividad: los procesos de construcción de la información. México, D.F: McGraw-Hill Interamericana.
  • González, C. y Ortiz, E. (2012) Valoración de los premios de la Academia de Ciencias de Cuba en ciencias sociales de la provincia Holguín (1990-2010). Revista Anales de la Academia de Ciencias de Cuba, (2)1. Recuperado de https://goo.gl/XoSmbL
  • Hamilton, P., Johnson, R. y Poudrie, Ch. (2010, october) Measuring educational quality by appraising theses and dissertations: pitfalls and remedies. [Errores y remedios: medición educativa cualitativa mediante evaluación de las tesis y las disertaciones]. Teaching in Higher Education, 15 (5), Recuperado de https://goo.gl/RMeEFQ
  • Heredia, R.; Delgado, M. y Heredia, R. (2016) Concepción sistémica en el proceso de formación del Doctor en Ciencias de la Educación en el COMEPZ. Taller Internacional XIII Junta Consultiva sobre postgrado en Iberoamérica. Universidad 2016. 10mo. Congreso Internacional de Educación Superior, La Habana.
  • Hernández F. y Díaz, E. (2010) La formación de doctores en el contexto del EEES. Una formación basada en competencias. Revista Fuentes, 10. Recuperado de https://goo.gl/gp7DDx
  • Jiménez-Contreras, E., Ruiz, R. y Delgado López-Cózar, E. (2014). El análisis de las tesis doctorales como indicador evaluativo: reflexiones y propuestas. Revista de Investigación Educativa, 32(2), 295-308. doi: http://dx.doi.org/10.6018/rie.32.2.197401
    » https://doi.org/https://doi.org/http://dx.doi.org/10.6018/rie.32.2.197401
  • Lafont, P. (2014) Knowledge producing of the doctoral thesis: between scientific utility and social usage. [Conocimiento producido por las tesis doctorales: entre la utilidad científica y social]. Social and Behavioral Sciences, 116, 570 – 577. Recuperado de www.sciencedirect.com
  • López, J., Fernández, M., Orera, L., Sánchez, J., Martínez, E., Hernández, F. J. y Sánchez, C. (2008) Criterios para la evaluación de tesis doctorales. Revista General de Información y Documentación, 18, 293-322. Recuperado de: https://goo.gl/wdSDQt
  • Llanio, G., Peniche, C. y Rodríguez, M. (2008) Los caminos hacia el doctorado en Cuba. La Habana: Editorial Universitaria.
  • Llanio, G., Peniche, C., Rodríguez, M. y Guerra, A. (2008) El programa de doctorado curricular colaborativo y su influencia en la formación doctoral. Un enfoque desde el diseño curricular. Pedagogía Universitaria, XIII (2). Recuperado de https://goo.gl/nhoMB2
  • Marchesi, A. (2009) Preámbulo. En Martín, E. y Martínez, F. (coords.). Avances y desafíos de la evaluación educativa. (pp. 7-9). Madrid: Organización de Estados Iberoamericanos para la Educación, la Ciencia y la Cultura (OEI) y Fundación Santillana. Disponible en https://goo.gl/wsngZT
  • Martín, E. y Martínez, F. (2009) Avances y desafíos de la evaluación educativa. Madrid: Organización de Estados Iberoamericanos para la Educación, la Ciencia y la Cultura (OEI) y Fundación Santillana. Disponible en https://goo.gl/KjQXtq
  • Mena Camacho, E. (2010, enero-junio). Autoevaluación y creatividad. VARONA, Revista Científico-Metodológica, 50, 37-44.
  • MES. (2011). Reglamento del Sistema de Evaluación y Acreditación de Programas de Doctorado. Ministerio de Educación Superior, Cuba.
  • Moreno, M. G. (2007). Experiencias de formación y formadores en programas de doctorado en educación. Revista Mexicana de Investigación Educativa, 12 (33), 561-580. Recuperado de https://goo.gl/Vua42o
  • Navas, M. (2006). Estado de la investigación en la formación doctoral en la región andina: caso doctorados en Educación. En M. I. Lafuente Guantes (Coord.) ¿Hacia dónde va la educación universitaria americana y europea?: historia, temas y problemas de la universidad: actas del Congreso Internacional (pp. 523-530). Universidad de León, Secretariado de Publicaciones.
  • Ortiz, E. (2006) Fundamentos psicológicos del proceso educativo universitario. Universidad de Holguín. Cuba: Centro de Estudios sobre Ciencias de la Educación Superior.
  • Ortiz, E., González, M., Infante, I. y Viamontes, Y. (2010, abril-junio). Evaluación del impacto científico de las tesis doctorales en Ciencias Pedagógicas mediante indicadores cienciométricos. Revista Española de Documentación Científica, 33(2), 282-284. Recuperado de www.10.3989/redc.2010.2.728
  • Pacheco, T. (2015) La tesis doctoral en Ciencias Sociales y su relación con el quehacer científico. Cinta Moebio, 52, 37-47. Recuperado de: https://goo.gl/FVeEHX
  • Pacheco, T. (2014) Tradición, contexto y objeto de estudio en las tesis doctorales en Educación de tres universidades. Revista Iberoamericana de Educación Superior (RIES), V (12), 46-69. Recuperado de https://goo.gl/qTdNPb
  • Ramos, J. y Cabeleira, H. (2015, enero-abril) Toward a pedagogy of advanced studies in the University: the production of an inventive academic writing in the Social Sciences, Arts and Humanities. [Hacia una pedagogía de estudios avanzados en la universidad: la producción de un escrito académico creativo en las ciencias sociales, las artes y las humanidades]. REDU - Revista Docencia Universitaria, 13 (1). Recuperado de: https://goo.gl/yaukqd
  • Retamozo, M. (2014, mayo) ¿Cómo hacer un proyecto de tesis doctoral en Ciencias Sociales? Ciencia, Docencia y Tecnología, XXV (48), 173 - 202. Recuperado de https://goo.gl/pndKgj
  • Rodríguez, N. (1999) Reflexiones sobre el currículum y posgrado. Revista de Pedagogía, 59, 291-306.
  • Rodríguez, N. (2010). Modelo de formación del tutor de tesis. (Tesis doctoral, Universidad Nacional de Educación a Distancia). Recuperada de https://goo.gl/LC7eSr
  • Rodríguez, G. y Ibarra, M.S. (2012). Reflexiones en torno a la competencia evaluadora del profesorado en la Educación Superior. REDU- Revista de Docencia Universitaria. Número monográfico dedicado a las Competencias docentes en la Educación Superior, 10(2), 49-161. Recuperado de http://redaberta.usc.es/redu
  • Sánchez, D. (2012) La elaboración de la tesis doctoral en las universidades de habla hispana: dificultades y planteamientos de mejora. Revista Iberoamericana de Educación, 60(3). Recuperado de https://goo.gl/gSurzb
  • Tolstij, A. (1989) El hombre y la edad. Moscú: Editorial Progreso.
  • Torres, M. (2011, julio–diciembre) La tutoría en programas de doctorado. Tensiones tutoriales doctorado en ciencias de la educación. Rudecolombia. Revista Historia de la Educación Latinoamericana, 13 (17), 315-344. Recuperado de https://goo.gl/VQgQJL
  • Valenzuela, C. (2014) Evaluación de programas de doctorado transnacionales: una experiencia en Chile. Revista Iberoamericana de Educación Superior (ries), México, Unam-Iisue/Universia, V (12), 70-86, Recuperado de: https://goo.gl/6YzCvm
  • Villardón, L. y Yániz, C. (2013, mayo-agosto) Propuesta de un plan de tutoría y apoyo a estudiantes de doctorado. REDU Revista Docencia Universitaria, 11 (2), Recuperado de https://goo.gl/uKwkFB

Fechas de Publicación

  • Publicación en esta colección
    Jan-Jun 2019

Histórico

  • Recibido
    11 Mayo 2016
  • Acepto
    29 Oct 2018
location_on
None Universidad de Costa Rica, Sede Rodrigo Facio Brenes Facultad de Educación, San Pedro, Montes de Oca, San José Costa Rica, San José, San Pedro de Montes de Oca, San Jose, San Pedro de Montes de Oca, CR, 11501 , 2511-4518 , 2511-6123 - E-mail: revedu@gmail.com
rss_feed Acompanhe os números deste periódico no seu leitor de RSS
Acessibilidade / Reportar erro