1. Introducción

UCR Índex es un índice que permite clasificar las revistas académicas y científicas de la Universidad de Costa Rica (UCR) según ciertos indicadores de calidad. Nació en el año 2012 como una necesidad para medir las revistas y, con base en sus resultados, poder tomar decisiones relacionadas con la distribución de recursos entre estas o analizar sus características. Hasta esa fecha se había utilizado únicamente la calificación Latindex para evaluar las revistas, pero esta se fue haciendo insuficiente, dado que muchas de ellas lograron cumplir todos los criterios Latindex sin que estos asignaran una categorización entre las revistas para la Universidad. Esta necesidad se justifica en tanto la UCR financia la totalidad de las revistas que se publican, disponibles en el Portal de Revistas y, por ello, definió en 2011 que estas sean de acceso abierto, de manera que no cobren ni a los autores ni a los lectores para su consulta.

Entonces, se pretende que la clasificación que se da como resultado del índice muestre cómo la calidad de las publicaciones aumenta con los años. Para ello, el UCR Índex aplica cinco indicadores de cumplimiento de calidad, visibilidad y productividad de las revistas, los cuales han ido variando a través del tiempo conforme las revistas van mejorando en estos aspectos. El índice se aplica a todas las revistas de la Universidad de Costa Rica para agruparlas en categorías según el puntaje obtenido. Este puntaje se calcula una vez al año, posterior a la evaluación de Latindex que se realiza también en la UCR.

Los índices de revistas existen en muchas partes del mundo como instrumentos para evaluar los resultados de la producción científica o la calidad de las publicaciones, para la toma de decisiones. En Iberoamérica existen entre otros:

De ellos, el más antiguo es Qualis, que apareció en 1998 y los más grandes son este y Publindex, que no solo abarcan revistas nacionales, sino también extranjeras, cuando los autores que contienen pertenecen a ese país.

No obstante, los más reconocidos a nivel internacional han sido los índices bibliométricos, que tradicionalmente han dictado la pauta en este campo. Ese es el caso del factor de impacto, utilizado por la Web of Science® (WoS) o el Scimago Journal Rank (SJR) que Scopus® usa para jerarquizar las revistas, según sus propios criterios de calidad. Ambos utilizan indicadores y algoritmos diferentes, tienen bases de datos diferentes en cuanto a tamaño y criterios de selección, pero sus objetivos son muy similares.

Dado que en Costa Rica no existe un índice nacional que pueda ofrecer datos adecuados para la evaluación de las revistas académicas y científicas, la UCR se dio a la tarea de construir uno que se adaptara a sus necesidades. Este proceso inició en el año 2011 basado en los datos de una encuesta que se aplicó con anterioridad, en diversas consultas, en varias pruebas y discusión con los editores. En noviembre 2015, se emitió la cuarta y actual versión. La experiencia ha generado expectativas adicionales y su ámbito se ha ido ampliando hasta alcanzar el estado actual que se describe en este texto.

Este artículo pretende mostrar el nacimiento y la evolución del UCR Índex, con el fin de compartir esta novedosa experiencia, con sus aciertos y errores. Su importancia estriba en el desarrollo del proceso, pues muestra la creación de un índice basado en el método de ensayo y error, del cual pueden desprenderse enseñanzas que podrán replicarse en otros países o instituciones similares. Asimismo, se trata de dar a conocer el impacto en el mejoramiento de las revistas, tanto en el aumento de su calidad como en su visibilidad.

1.1. Revisión de literatura

La evaluación de la ciencia se realiza por medio de la publicación científica, pues esta es la vía que se usa para comunicar sus resultados (Meadows, 1999) y, por lo tanto, es el eslabón final del proceso de investigación, su parte visible. No obstante, la evaluación de la producción científica es un asunto controversial que se encuentra en constante evolución, desde que se estableció la citación como indicador de calidad y uso (Garfield, 1972). Sus orígenes se remontan a los años 50, a partir de un objetivo original que consistió en la necesidad de establecer listas de las mejores revistas, para que las bibliotecas las utilizaran como una guía para su adquisición (Guédon, 2001). No obstante, su propósito se fue modificando para llegar a ser la forma más reconocida y amplia de evaluar el impacto de la producción científica y formar, a partir del trabajo realizado en el Institute of Scientific Information (ISI), una élite de artículos y sus respectivas revistas, que para algunos representan el “corazón de la ciencia” (Aleixandre-Venavent, Valderrama-Zurián y González-Alcaide, 2007) o son la “corriente principal”. Estos fueron medidos con el factor de impacto (FI), el que posteriormente recibió numerosas críticas por la aplicación que tuvo y porque, además, se consideró que no se ofrecía como una herramienta equitativa (Aleixandre-Venavent et al., 2007; Guédon, 2001; Seglen, 1997). Actualmente, este indicador lo aplica solamente la empresa Thomson Reuters, a través de las bases de datos de la WoS® que incluyen a 11 770 revistas aproximadamente.

En el 2006, aparece el Scimago Journal Rank (SJR) que tuvo como propósito realizar una jerarquía de las revistas a nivel internacional y ofrecer indicadores de calidad a un grupo mayor de revistas que las que agrupa la WoS®. Este sistema utilizó un algoritmo diferente pero no menos injusto y a partir de allí se ha generado una competencia entre ambas empresas. Se han realizado varios estudios comparativos entre los dos sistemas (ver Falagas, Kouranos, Arencibia- Jorge y Karageorgopoulos, 2008) que demuestran entre otras cosas, que no supera las deficiencias señaladas para el FI.

Gran parte de las críticas aparecen por la exclusión que promueven estos sistemas comerciales, sobre todo en los países menos desarrollados, tal como lo apunta (Russell, 2001): “La información académica de los países menos desarrollados tradicionalmente ha permanecido oculta a la gran comunidad científica debido a la escasa presencia de revistas nacionales en las bases internacionales de datos bibliográficos” (p. 11). Una de las causas de ese ocultamiento es la naturaleza de sus bases de datos, debido a criterios de selección poco claros o que demuestran prejuicios, como el idioma, la procedencia geográfica o la disciplina (Giménez, 2014). Otra crítica que se plantea (Vessuri, Guédon y Cetto, 2014) es que se ha utilizado la competencia como un criterio preponderante y cada vez más académicos ganan premios, pero la calidad en general no ha aumentado, incluso pudo haber decrecido.

No obstante, estos sistemas tradicionales de evaluación se siguen utilizando para tomar decisiones; por ejemplo, los sistemas nacionales como Publindex o Qualis, los utilizan como criterio principal de calidad, lo cual repercute en la exclusión de numerosas revistas denominadas “locales” o “nacionales” en el proceso de evaluación. En las últimas cuatro décadas, los sistemas de evaluación han cambiado las reglas del juego y cada vez más impactan en las decisiones que se toman, relacionadas con la distribución de recursos para la investigación, el financiamiento de las publicaciones periódicas y, en general, la evaluación de la investigación.

Como respuesta a esa situación, surgen los sistemas regionales para Iberoamérica, los cuales además ofrecen visibilidad y vías para medir el impacto y, con ello, romper la disparidad que se observa en los citados sistemas (Amorim et al., 2015; Packer, 2009; Rogel y Aguado, 2011). Tal es el caso de Latindex y SciELO (Scientific Electronic Library Online) que surgen en 1995 y REDALyC, en el 2005. Estos vienen a constituir sistemas que responden a las necesidades de la región y en algunos casos constituyen las únicas opciones para evaluar la producción científica nacional. Giménez (2015) afirma que “en América Latina fueron pioneros en la definición de criterios de calidad para las publicaciones científicas” (p. 5), en comparación con los sistemas de otros países europeos o asiáticos. Latindex generó y aplicó sus criterios de evaluación en el año 2002, mientras que en España RESH (Revistas Españolas de Ciencias Sociales y Humanidades), DICE e In-RECS (Índice de Impacto de Revistas Españolas de Ciencias Sociales) tuvieron que esperar al 2004-2006 para observar resultados y “eran pocos los países europeos que contaban con sus propias herramientas de evaluación, aunque empezaban a gestarse” (Giménez, 2015, p. 5).

Como consecuencia de su aplicación, se ha llegado a obtener no solo listados de revistas, sino su texto completo en acceso abierto y diversos indicadores que muestran su uso e impacto. Por su parte, Latindex ofrece una calificación de un poco más de 8500 títulos (cifra de julio de 2016) de revistas de la región.

Lo cierto es que los sistemas de evaluación de la producción científica deben existir, el problema es el uso que se les da. Tal como lo plantean (Vessuri et al., 2014, p. 648) “en lugar de evaluar cuando una obra satisface cierto umbral de conocimiento científico o no, los rankings se introdujeron aparentemente para identificar lo mejor y no lo bueno”. El producto ha sido una competencia que ha desembocado en la práctica denominada “publicar o perecer” y la que, a su vez, ha conducido a obviar la calidad y promover el fraude.

1.2. Los criterios de calidad

Diferentes criterios de calidad se han utilizado para seleccionar las revistas para un índice. (Penkova, 2011) realizó una revisión de los criterios de calidad utilizados en Iberoamérica y el Caribe, los contrastó con la teoría existente y obtuvo algunas conclusiones. Entre ellas, destacó la cantidad y variedad de criterios que se tomaban en cuenta, dividió los criterios en dos niveles (micro y macro), determinó que no se asignaban pesos a esos criterios y los clasificó en tres niveles: básico u obligatorio, deseable y útil. Según (Amorim et al., 2015), existen pocos estudios sobre los modelos de evaluación y citan como fuentes solamente a (Penkova, 2011) y (Packer, 2009).

No obstante, (Giménez, 2015) ofrece una revisión bastante exhaustiva de estos criterios y los sistemas que los incluyen, haciendo énfasis en la situación española, y (Rozemblum, Unzurrungaga, Banzato y Pucacco, 2015) hacen una revisión más exhaustiva aún, basándose en criterios agrupados en partes: calidad editorial, calidad de contenido y visibilidad.

A partir de estas fuentes, de otras obras que se desarrollaron con anterioridad para evaluar a las revistas científicas (Maura, 2004; Mesa, Rodríguez y Savigne, 2006; Román, 2001), de la aplicación de normas internacionales y nacionales (International Organization for Standardization [ ISO ] , International Standard Serial Number [ ISSN ] , Una Norma Española [ UNE ] ), y tomando en cuenta los sistemas nacionales existentes, se desea destacar aquí los criterios más consensuados que existen y que permiten evaluar la calidad de las revistas científicas. En todos ellos se evalúa el soporte, no el contenido del artículo y, por ello, se habla de evaluadores indirectos de la calidad.

Se ha planteado en primer lugar, que la revisión por pares es el más antiguo y reconocido procedimiento para asegurar la calidad de los artículos y las revistas (Association of American University Presses [ AAUP ] , 2016; Spier, 2002). (Sowards, 2015, p. 205) menciona que los “expertos reafirman el papel crítico de los revisores en la difusión de la información académica fiable”, relacionado con la revisión por pares y ante las críticas por la pobre evaluación en algunos casos, que no corresponde al modelo sino a los mismos evaluadores.

Esta práctica apareció un siglo después del nacimiento de la revista en 1752 (Spier, 2002), lo cual indica que este ha sido un mecanismo que ha mostrado su efectividad en el transcurso de los años. No obstante, en años recientes se ha denunciado a las revistas espurias que han provocado fraudes en la revisión por pares o han simulado este proceso lo cual ha demostrado que no es infalible (Center for Scientific Integrity, s.f.)¹.

Por estos posibles problemas de calidad es necesaria la participación de un consejo editorial que garantice la aplicación de normas éticas, políticas editoriales y procedimientos adecuados para evitar la endogamia y aumentar la participación de personas autoras de diversos ámbitos y latitudes. Por ello, la conformación de ese consejo, y otros órganos de apoyo, determinan la calidad científica de la revista y coadyuvan con su prestigio.

Por su parte, el contenido original o exigencia de originalidad² es el que certifica el carácter científico de la revista y, por lo tanto, una característica intrínseca para la evaluación. Para ello, se toma en cuenta la cantidad de artículos que son producto de investigación y se cuantifica esa cantidad por año. Esto no determina la calidad de contenido de la revista, pero sí la mide indirectamente y complementa la evaluación por pares. Sin embargo, Rozemblum, Unzurrungaga, Banzato y Pucacco sí son categóricos al afirmar que la

En consecuencia, ambos criterios se complementan y definen. Otro criterio de calidad muy importante es el cumplimiento de la periodicidad, el cual ha sido requisito sine qua non para que una revista sea considerada publicación periódica y demuestre su estabilidad. Las revistas deben enunciar su periodicidad, pero también deben cumplirla, como una forma de asegurar el compromiso público que adquiere con los lectores y autores.

La calidad en la gestión editorial, aunque es considerada requisito formal, también impacta indirectamente en la calidad de la revista. (Rozemblum, et al., 2015, p. 68), citando a Giménez et al., 2001, la definen como la “normalización de las formas y de los procedimientos en la edición para facilitar tanto su localización e identificación como la de las contribuciones que publica la revista, otorgándole mayor credibilidad”. Estos criterios los incluye en una forma amplia Latindex, partiendo de que sin ese nivel de calidad una revista no puede aspirar al ingreso a otros índices que aplican indicadores más profundos o más exigentes.

Presencia o inclusión en bases de datos internacionales y selectivas, que demuestren la aceptación de la revista por el cumplimiento de sus criterios de calidad. A este proceso se la ha denominado genéricamente indización o indexación y también contribuye a la visibilidad de la revista (Rozemblum et al., 2015). Si los índices y bases de datos o sistemas de información - como se denominan en Latindex- aplican criterios de calidad para seleccionar a las revistas, este procedimiento exige una definición de requisitos que las obliga a mejorar.

El uso e impacto son quizás los criterios más aceptados hasta ahora como indicadores de calidad, aunque (Rozemblum et al., 2015) lo ubican en el área de visibilidad. Estos definen que los artículos hayan sido citados como sinónimo de utilizados, lo cual se mide a través del factor de impacto, el índice h, el Eigenfactor o más recientemente el focus factor (Nicolaisen y Frandsen, 2015). Aunque no siempre son indicadores confiables, dada la manipulación de que han sido objeto, las aplicaciones erróneas que han tenido y las múltiples críticas que han recibido por esta y otras razones (Hicks, Woulters, Waltman, Rijckey Rafols, 2015; Meadows, 1999).

Como alternativa a estos indicadores aparece el Altmetrics que trata de aplicar una visión más amplia del impacto, debido a que han variado las expresiones del trabajo académico volviéndolas más diversas. En el año 2010, se introduce el Manifiesto Altmetrics (Priem, Taraborelli, Groth y Neylon, 2010) que desacredita los indicadores basados en citaciones, como el índice h o el factor de impacto por ser lentos, estrechos o faltos de contenido. Estas variaciones se muestran en las redes sociales (Twitter, Facebook, Instagram, Pinterest y otras), las redes académicas (ResearchGate, Academia.edu, Zotero, Mendeley y otras) o formas de auto-publicación (blogs, repositorios, comentarios a publicaciones y otros). De esta forma, “altmetrics mide cualquier actividad en línea que se dé relacionada con un artículo u otro producto de la investigación” (Matthews, 2015, p. 18), por ello es una métrica más amplia, no limitada a una empresa y con diferentes fuentes para obtener los datos.

1.3. Antecedentes del UCR Índex

UCR Índex nace en esta institución como una necesidad para agrupar las revistas institucionales, de acuerdo con criterios de calidad editorial, que permitieran lograr una clasificación para tomar decisiones en la distribución de recursos y la promoción de la calidad de dichas revistas. Desde el 2002, la UCR inició con Latindex y ha realizado esfuerzos por contar con un sistema que evalúe y promocione sus revistas, sin caer en una competencia desmedida. Como consecuencia, el nivel de calidad ha ido creciendo y con él, el nivel de exigencia para valorar a las revistas y tomar decisiones.

El índice fue ideado para que persiguiera las siguientes funciones:

A partir de estas razones, el índice se inició con la primera versión que se lanzó a finales del año 2012, y se desarrolló paralelamente con el Portal de Revistas de la UCR y la moratoria en la creación de nuevas revistas, emitida bajo la resolución VI-718-2013 (Vicerrectoría de Investigación, 2013). Estos tres elementos persiguieron el mismo objetivo y se complementaron entre sí para alcanzar el nivel que encontramos hoy en las revistas del UCR Índex.

En esa primera versión (2012-2013), se intentó aplicar inicialmente algunos criterios que no tuvieron aceptación por parte de los editores, posteriormente, se comprobó que estos no se adecuaban a las condiciones del momento y fueron descartados. Este fue el caso de la tasa de rechazo³ y la internacionalización. En el primer caso, se pretendió tomar en cuenta la cantidad de artículos rechazados por año, lo cual podría evidenciar la rigurosidad en el proceso de selección de la revista. En el segundo caso, se buscó aplicar -quizás muy prematuramente- los criterios que evidenciaran la internacionalización de las revistas. Para ello, se propuso aplicar como obligatorios dos de los criterios Latindex que indican internacionalización: la inclusión de autores externos a la entidad editorial y la inclusión de miembros externos en el consejo editorial. Ambos criterios fueron rechazados por los editores, pero además en el caso de la tasa de rechazo, se sumó el argumento de que la UCR no tenía los medios para calcularla ágil y eficazmente.

De esta manera, la primera versión (2012-2013) que se aplicó contó con cinco indicadores: los criterios Latindex -con un peso del 70%- el enunciado de la periodicidad (5%) y su cumplimiento (5%), cantidad de artículos por año (10%) y la inclusión en sistemas de información (índices y bases de datos) (10%). Al conjunto de estos indicadores se les dio un valor para que pasaran a formar el índice.

En la segunda versión (2013-2014), se observaron algunas consecuencias que se hicieron evidentes al aplicar el índice durante el primer año y, por ello, se procedió a corregirlas. Una de esas consecuencias fue la periodicidad, pues algunas revistas con periodicidad anual -y que en su título llevan la palabra “Anuario” o “Anales”- alegaron que no podían cambiar su periodicidad porque habían nacido con esa característica. Por ello, entonces, se incluyó como atenuante para esos casos exclusivamente, asignarle un peso diferente de aquellas que siendo anuales, podrían cambiar su periodicidad para hacerla semestral o menor.

Por otro lado, se insistió en la internacionalización incluyendo su cumplimiento como un indicador optativo, de la misma manera que se había definido en la primera versión. Esta práctica permitió ir generando conciencia en los editores sobre su importancia, para que se pudiera eliminar paulatinamente los trazos endogámicos en las revistas y disminuir la reticencia de algunos de ellos hacia su aplicación. Paralelamente y como una forma de agilizar la calificación, se diseñó una herramienta de software, la cual automatiza el algoritmo que más adelante se explica con detalle.

En la tercera versión (2014-2015), se afinó la distribución de los pesos, estudiando con mayor detalle la asignación del 20% para los sistemas de información. Se observó que no todos los sistemas deben valer igual, pues unos son selectivos y otros no lo son; unos son más exigentes que otros y otros no son índices, sino directorios. De esta manera, se estableció una clasificación para estos y una escala que se definió para índices selectivos con evaluación por pares, índices selectivos con criterios de calidad e índices no selectivos. A cada sistema de información se le asignó un valor de acuerdo con su ubicación en la escala, de forma tal que una revista que se encuentra en diversos índices y bases de datos, dentro de los tres niveles de la escala acumulará los 20 puntos.

Una observación de las dos versiones anteriores fue la excesiva movilidad entre cuartiles provocada por el peso de la nota en Latindex. Pequeños errores que cometieron las revistas hicieron que estas cambiaran de un grupo a otro fácilmente. Esta fue una de las razones por las que Latindex no llenaba las necesidades de un sistema de evaluación adecuado a la UCR. Debido a esta situación, se le dio un peso menor a la calificación Latindex y se aumentó el peso a la inclusión en índices y bases de datos. Adicionalmente, con el fin de balancear los pesos, se aumentó un 5% a la cantidad de artículos publicados anualmente para llevarlo a un 15% y también al cumplimiento de la periodicidad, que pasó de un 5% a un 10%.

La internacionalización fue otro cambio que se implementó. Este fue incluido en forma de un bonus para las revistas que lo cumplieran. En seguimiento a los esfuerzos por evitar la endogamia, se le asignó un peso a este bonus de un 10%, de tal forma que si una revista cumplía con él tendría una calificación de 110% y no 100%, aunque ello no contara en la ubicación para el primer grupo. También se ponderó la cantidad anual de artículos publicados, para definir una escala de cumplimiento con tres niveles que más adelante se explican.

Adicionalmente, se incluyeron algunas modificaciones en el procedimiento de la siguiente manera:

Por último, en diciembre de 2015, se lanzó la cuarta o última versión (2015-2016). Esta no tuvo modificaciones importantes de procedimiento ni en el cálculo, pero sí mostró cambios positivos en los resultados del índice. A continuación, se muestra el Cuadro 1 con los cambios del índice en estas 4 versiones:

2. Metodología

2.1. Diagnóstico de las revistas

En el 2011, se aplicó una encuesta a los editores de 40 revistas que mostró la situación relacionada con la existencia de recursos humanos, recursos materiales, recursos financieros y características de gestión editorial. Los datos recopilados fueron confrontados con otros que el equipo UCR Índex recogió directamente de la Vicerrectoría de Investigación o del cumplimiento de los criterios Latindex y que fueron presentados a los editores para su autoevaluación en diciembre de 2011. De estos datos, se pudo extraer una media sobre las variables que se tomaron en cuenta y así establecer con ella los rangos de los indicadores seleccionados.

No obstante, desde el 2010, se habían venido recopilando datos sobre algunos de esos indicadores, lo que permitió dar seguimiento a la situación que reflejaban las revistas para tener una mirada más clara acerca de las condiciones en que se desenvolvían. Estos datos se mantuvieron en un cuadro de manejo interno, denominado “Situación de las revistas UCR”.

Por otro lado, se elaboraron cinco indicadores, con un peso asignado, que se sometieron a discusión entre los editores y editoras en una reunión convocada el 6 de diciembre de 2011. Con las observaciones y aportes recogidos, se hicieron las adaptaciones necesarias y se obtuvo el aval de las nuevas autoridades de la Vicerrectoría de Investigación que iniciaron en mayo de 2012.

Por último, se hizo una revisión de la literatura existente en el campo de la comunicación científica, aunado a la experiencia aportada por sistemas como Publindex, el Sistema de Clasificación de Revistas Mexicanas de Ciencia y Tecnología, el Núcleo Básico de Revistas Argentinas, Qualis y DICE (España).

2.2. Definición de los indicadores

Para elaborar la primera versión del índice, se tomaron en cuenta cinco indicadores, los cuales fueron extraídos de la teoría existente en el campo de la evaluación de la ciencia, tal como se mencionó anteriormente. Estos fueron: 1. Calificación en Latindex. 2. Inclusión en sistemas de información. 3. Enunciación de la periodicidad. 4. Cumplimiento de la periodicidad. 5. Cantidad de artículos por año que incluye la revista. La explicación de estos indicadores es la siguiente:

Estos índices y bases de datos se clasificaron en 3 categorías, de acuerdo con la rigurosidad que aplican en la selección:

Según la categoría en que se encuentren los índices, se hace una sumatoria hasta los 20 puntos, brindando 10 si están en la primera categoría, 5 en la segunda y 1 en la tercera. En cada categoría la revista solamente puede sumar un máximo de 10 puntos.

2.3. Puntaje de los indicadores

Hasta el momento, la aplicación de estos indicadores, se logra mediante una fórmula que se construyó para tal fin y que explicamos seguidamente:

3. Resultados

Dado que se partió de un diagnóstico realizado a partir de un cuestionario, de los datos acumulados en el año previo y de la consulta con las personas editoras de las revistas, se consideró importante ofrecer algunos resultados que muestran el estado de las revistas antes de la aplicación del índice. En estos resultados, se incluyen 41 revistas de las 51 que aún existen, lo cual quiere decir que, del total, 10 revistas no aportaron sus datos. Estos resultados se comparan con los que arroja la situación del 2015-2016 en cada uno de los casos para observar las diferencias y, en consecuencia, los avances logrados en términos numéricos, con la aplicación del UCR Índex.

3.1. Periodicidad

La periodicidad que presentaban las revistas de la UCR en el 2011 (UCR Índex, 2011) se muestran en la Figura 1:

Se observa que en el 2011 la mayoría (58%) tenía una periodicidad semestral y 11 eran anuales. Por el contrario, en el 2016 la gran mayoría son semestrales (80,3%); solo quedan 9 revistas con periodicidad anual, tres de las cuales son declaradas como anuarios y otras tres están en situación incierta o a punto de desaparecer. Este cambio muestra que la exigencia para reducir la frecuencia en la periodicidad hizo que esta fuera disminuyendo.

3.2. Cumplimiento de la periodicidad

En el 2011, 22 revistas cumplían la periodicidad, mientras que 19 no lo lograban (46%). En el 2016, solo un 17% incumplen la periodicidad, el resto se encuentran al día aun cuando han cambiado su periodicidad para que sea semestral. Al igual que en el indicador anterior, la aplicación del índice ha producido un cambio favorable en este rubro.

3.3. Calificación en Latindex

En el año 2011, el puntaje promedio de las revistas evaluadas y aprobadas fue de 88,53 de una escala de 75 a 100. En el 2015, el puntaje promedio de las revistas aprobadas fue de 95,53 en la misma escala⁴. Además, en los resultados del UCR Índex del 2016, 16 revistas (31.3%) obtuvieron la calificación más alta en Latindex. Esto indica un aumento en el puntaje promedio, lo cual es un resultado positivo probablemente como efecto de la aplicación del índice.

En el Cuadro 2, se muestran las variaciones de la calificación Latindex a través de estos años:

Se puede observar claramente cómo en el 2011 y el 2015 las calificaciones más comunes eran entre 90 y 94, mientras que en el 2016 esa situación varió para aumentar las notas de 100, mientras que la cantidad de revistas que tenían esa nota en los años 2011 y 2012 era mucho menor. La tendencia a aumentar las calificaciones es evidente en este último año y eso da muestra de que es posible para las revistas que cumplan con todos los criterios Latindex.

3.4. Presencia en índices y bases de datos

En el año 2011 había 5 revistas que no se encontraban incluidas en ningún sistema de información y 11 estaban solo en el catálogo Latindex. Una revista extraordinariamente estaba incluida en 44 índices y en ascenso, muy pocas estaban entre 11 y 25 índices. En contraste en el 2016, la cantidad de revistas incluidas en índices y bases de datos ha aumentado notablemente, según muestra en la Figura 2.

Además, en el año 2014 solo 17 revistas cumplían con el 20% (33,33%) que significa el 100% para este indicador, mientras que en el 2015 fueron 38 (74,50%) las que obtuvieron este promedio. Esta situación denota que las revistas han aumentado notablemente la inclusión en índices y bases de datos y con ello su visibilidad.

Por otra parte, con el propósito de profundizar en la visibilidad que han alcanzado las revistas, se revisó su pertenencia a los dos tipos de índices (selectivos y no selectivos) y se calculó la cantidad de revistas pertenecientes a ellas. Lamentablemente, no se pueden presentar datos comparativos anteriores al año 2015, porque fue en esa fecha en que se inició con esta clasificación. El Cuadro 3 muestra la situación general:

El Cuadro 3 muestra que la mayor parte de las revistas (71%) se encuentran incluidas en sistemas de información selectivos con base en criterios de calidad, tal como se definieron en el apartado de la metodología y una buena parte (59%) en sistemas no selectivos que, aunque dan visibilidad, no exigen ningún criterio de calidad para determinar su inclusión. No obstante, es destacable el hecho de que una tercera parte de las revistas se encuentran incluidas en índices selectivos que aplican la evaluación por pares para su decisión. De aquí se deduce que la inclusión en este tipo de índices refleja un reconocimiento al nivel de calidad de las revistas UCR. De no ser así, no habrían sido aceptadas en SciELO, Scopus® y WoS®.

3.5. Cantidad de artículos publicados por año

En el 2011, 32 revistas publicaban más de 10 artículos por año (62,7%). Realmente, la producción era escasa si tomamos en cuenta que solo 15 revistas (29,4%) publicaban más de 20 artículos por año. En el 2015, 43 revistas (84,3%) publicaban 10 o más artículos por año y 29 revistas (56,8%) publicaban más de 20 artículos al año. En la Figura 3, se muestra la diferencia antes del UCR Índex con respecto a la última versión de UCR Índex.

3.6. Internacionalización

En el 2011, este indicador no se medía y se sabe que muy pocas revistas cumplían con estos dos criterios no obligatorios de Latindex. En el 2015, existen 11 revistas que cumplen con el bono y acumulan 110 puntos (21,5%) y 21 (41,1%) cumplen con uno de los dos criterios de internacionalización. Esto implica que el 62,6% de las revistas cumple con al menos uno de los dos criterios de internacionalización.

En cuanto a las implicaciones que se han dado a raíz de la aplicación del índice y de sus indicadores y valores, se obtienen cuatro grupos en que se clasifican las revistas. Así, se ha aplicado una política entre 2013-2015 que consiste en asignar recursos para aquellas que se ubiquen en el primer grupo, para que puedan sostenerse con la calidad que tienen o superarla. Las que aparezcan en los grupos segundo y tercero son dotadas de algunos recursos, y a las del último grupo se les asigna el mínimo. Las decisiones que se tomen dependen de esta clasificación, dado que cada grupo responde a diferentes niveles según el cumplimiento de los criterios de calidad descritos.

Pero también, la UCR ha tomado varias acciones para adoptar y apoyar el trabajo realizado por Latindex con las revistas científicas, incluyendo la aplicación de criterios de calidad en la adopción de políticas para aceptar la generación de nuevas publicaciones. Así, se tomó una decisión el 22 de noviembre de 2004, que establece que toda nueva revista electrónica que aparezca y que desee ser reconocida oficialmente, debe calificar para el Catálogo de Latindex (oficio VI-DGI-5856-04). De igual forma, se sugirió que la evaluación de la producción científica de las personas docentes que hayan publicado en revistas electrónicas, está sujeta sólo a aquellas publicaciones que cumplan con los criterios citados.

Por otro lado, a partir del 2003, se aceptó la condición de “revista indexada” como sinónimo de calidad de esas publicaciones, lo cual se logró después de que se realizaron dos visitas a la Comisión de Régimen Académico. En esa instancia, se aceptó que el catálogo Latindex fuera un índice de calidad para las revistas que contenían los artículos, cuyos autores presentaban al juicio de dicha comisión. Como consecuencia, se incluyó en el Reglamento de Régimen Académico (art. 42 bis) (Consejo Universitario, 2008) esta condición, de tal manera que las revistas cuyos artículos se sometían a evaluación fueran discriminadas con un criterio más definido y objetivo.

Otro aspecto que se ha logrado impulsar es la digitalización de las revistas. El aprovechamiento de las tecnologías de la información, para lograr mayor visibilidad, ha logrado la creación de varias revistas totalmente digitales y la creación de sitios web para todas las revistas de la UCR en el Portal de Revistas. Así, se facilita el mantenimiento y actualización de las revistas, se uniforman las características que exponen y se logra controlar la aparición de nuevas revistas que no contengan los criterios de calidad ya descritos.

Con el fin de reforzar estas medidas, se emitió la resolución VI-2970-2011(Vicerrectoría de Investigación, 2011) que determina los lineamientos relacionados con los derechos de autor, incluye una definición de acceso abierto para las revistas, cómo deben ser los contratos de licenciamiento con las empresas distribuidoras -como aquellas que comercian con las bases de datos e índices- y otros detalles similares. Anteriormente, ya se había iniciado el trabajo para portear las licencias Creative Commons (CC) para Costa Rica, de manera que estas se ajustaran a la Ley de Derechos de Autor y Derechos Conexos no 6683(2010) y se incluyó a Costa Rica como parte de los países que reconocieron esta ley internacional al firmarse un acuerdo con la organización (Creative Commons, 2012). Junto con estas acciones, también se logró divulgar la conveniencia de aplicar las licencias CC.

Toda esta serie de disposiciones ha producido una toma de decisiones más equitativa y sobre todo, se han distribuido los recursos que la UCR tiene a disposición de las revistas.

4. Seguimiento a las revistas y al índice

Con la aplicación de este índice hemos pretendido que las revistas puedan realizar esfuerzos por mejorar cada año y para ello, la Vicerrectoría de Investigación les dará el seguimiento y la asesoría necesaria. El UCR Índex es un complemento del Portal de Revistas, en cuya construcción se usó el software Open Journal Systems (OJS), diseñado especialmente para revistas electrónicas. Una de las tantas ventajas de este software es su interoperabilidad, de manera que permite el cosechamiento y se facilita la intercomunicación y, en consecuencia, las revistas aumentan su visibilidad. De esta manera, los artículos son cosechados por el Repositorio Institucional Kérwá y, a su vez, este es cosechado por Kímuk y todos estos por Base (Bielefeld Academic Search Engine), el repositorio mundial que construyó recientemente la Universidad de Bielefeld, en Alemania. El uso de estas herramientas desarrolladas recientemente ha provocado un aumento en la visibilidad de las revistas, que va más allá de la inclusión en índices y bases de datos y de la presencia en el portal de revistas. Así, han crecido las oportunidades para hacerlas más visibles, formando una red de sitios en los que las revistas están presentes.

Por último, junto con el UCR Índex, el uso del Portal de Revistas se convierte en una “incubadora virtual de revistas” (Silva, Santos y Prazeres, 2011), de manera que desde la Vicerrectoría de Investigación se ofrece capacitación, asesoría y seguimiento a todas las revistas de la Universidad por igual para que logren mejorar constante y equitativamente. El reto que queda por delante es lograr que se incorporen al portal solo nuevas revistas que cumplan los criterios de calidad del UCR Índex, priorizando la calidad por encima de la cantidad.

5. Conclusiones

A principios del año 2016, se publicó la última versión del índice, que muestra avances importantes en las revistas, según se ha evidenciado en los resultados de este artículo. En comparación con los años anteriores, durante 2013 y 2014, aunque ninguna revista cumplía con el 100% de los criterios UCR Índex, se procedió a aumentar el nivel de exigencia. Para el 2015, dos revistas cumplieron todos los criterios y finalmente, en el 2016 siete revistas también alcanzaron esta meta. Asimismo, de los objetivos cumplidos se destacan la reducción de revistas con periodicidad anual, el cumplimiento de la periodicidad enunciada y el aumento en la visibilidad de las revistas, según se mostró en los resultados.

Es fundamental repasar el cumplimiento de este último indicador. La visibilidad que han alcanzado las revistas se muestra principalmente en la inclusión de sistemas de información cada vez más exigentes. La ponderación que se ha aplicado en los dos últimos años para medir la visibilidad ha provocado que las personas editoras busquen la forma de pertenecer a mayor cantidad y más exigentes sistemas y eso hace que la revista sea más visible, atraiga mayor cantidad de aportes de autores de diferentes partes del mundo y así aumente su prestigio y su internacionalización. Como ejemplo, en el año 2016, cuatro revistas nuevas ingresaron a SciELO, logrando un total de 17 títulos que corresponden a la UCR.

De esta manera, se puede observar que tres de los objetivos del UCR Índex se han cumplido totalmente: 1. Lograr una clasificación de las revistas de la UCR para asignar incentivos y bonificaciones de una forma más objetiva y equitativa. 2. Impulsar la internacionalización de las revistas a partir de la conformación de los consejos editoriales y la incorporación de autores extranjeros. 3. Estimular el cumplimiento de la periodicidad. Solo pocas revistas no cumplen la periodicidad enunciada como se observó en los resultados y, en ese sentido, se deben redoblar esfuerzos para lograr este objetivo.

Por otra parte, la evaluación realizada para UCR Índex permitió reconocer cuáles son las revistas editadas por la Universidad y diferenciar las revistas científicas de las demás. En este reconocimiento, se encontraron dos revistas que oficializaron su cierre gracias al informe de UCR Índex y algunas cambiaron su ámbito e incluso su título para adquirir una proyección más amplia. Vale aclarar que hay tres revistas que están analizando su cierre, de manera que tendrán que tomar pronto una decisión en ese sentido, a partir de la valoración de la sostenibilidad que puedan lograr. Como resultados se puede observar que se ha ido mejorando paulatinamente y logrando mayor calidad y visibilidad en las revistas.

5.1. Perspectivas a corto plazo

El índice nació mediante un proceso que aplicó el ensayo y error; sin embargo, es necesario aplicar un método más riguroso en su construcción y validación y, por ello, se debe someter a tal proceso en los próximos meses del año 2017. Por otro lado, en el índice no se aplica a una diferenciación por áreas de conocimiento, pues para todas las revistas es posible cumplir con estos criterios. No obstante, conforme avance el estado de las publicaciones, será necesario actualizar el índice con criterios más exigentes y llegará el momento en que se deberá especificar por grupos de disciplinas, tal como lo hace Qualis.

Por último, para conseguir que el UCR Índex sirva de modelo a otras universidades, para que se aplique a las revistas de cada institución, con un diseño adecuado a las condiciones nacionales, se ha iniciado la discusión en el seno de la Sub Comisión de Conocimiento Abierto de CONARE (Consejo Nacional de Rectores, Costa Rica) para generar un índice similar que sea útil a las cinco universidades públicas costarricenses. No obstante, es necesario esperar a que los resultados se consoliden para tomar una decisión más certera.

Como un balance general, UCR Índex ha sido muy útil e importante, lo cual se puede observar en sus resultados. No obstante, es fundamental que sus objetivos se mantengan claramente definidos para que no se desvíen de las necesidades institucionales. En este sentido, la posibilidad de que en un futuro se promuevan solamente las revistas que sean seleccionadas para los índices comerciales, como la WoS® o Scopus®, es un riesgo sobre el que se debe reflexionar y evitar en el futuro. Esta es una preocupación presente en América Latina y fuente de discusiones por la decisión tomada en Colombia con Publindex, el cual utiliza como criterio en sus indicadores la participación en estos índices comerciales (Colciencias, 2016). Igualmente, el carácter competitivo que pueda adquirir entre las revistas, sería una desviación inconveniente. Las advertencias de (Vessuri et al., 2014) llaman la atención hacia la aplicación exclusiva de la citación como indicador y de otros métodos competitivos que existen en el mundo, deben ser atendidas pues estos no han logrado mejorar la ciencia en países latinoamericanos; más bien, solo logran favorecer a las empresas que se encargan del comercio de las revistas.

Referencias

Fechas de Publicación

Histórico