Evaluación de la producción científica: Almétricas

Altmétricas

Son nuevas métricas para evaluar la actividad científica de las personas investigadoras y su objetivo es complementar los estudios de bibliometrías tradicionales.

El Manifesto

Lo escribieron en 2010 Jason Priem, Dario Taraborelli, Paul Groth y Cameron Neylon. Según el Manifiesto Altmetrics el impacto está formado por cuatro pilares:

• Uso: acceso y descarga
• Arbitraje por pares: opinión de especialistas
• Citas recibidas 
• Métricas alternativas: almacenamiento, enlaces, marcadores favoritos, conversaciones y comentarios.

El Manifesto menciona tres métodos o indicadores de medición y evaluación de la ciencia que están fallando:

1. El peer-review (arbitraje): que ha servido pero que comienza a estar obsoleto. Es lento y, en ocasiones, no es realizado de forma responsable. Además, dado que la mayoría de los trabajos son finalmente publicados en alguna parte, la revisión por pares no limita el volumen de la investigación.

2. Las herramientas de recuento de citas: son útiles pero no suficientes. Las métricas como el índice h son incluso más lentas que la revisión por pares y muchos trabajos influyentes pueden permanecer sin citarse. Estas métricas son acotadas, descuidan el impacto fuera del ámbito académico e ignoran el contexto y las razones de la cita.

3. El factor de impacto mide el promedio de citas por artículo de revistas: a menudo se utiliza incorrectamente para evaluar el impacto de los artículos individuales. Además es preocupante que los detalles exactos de cómo funciona son un secreto comercial.

• Menciones en twitter= recuento de citas
• Post en muro de facebook= recuento de citas
• Mendeley, CiteULike saves = recuento de citas
• F1000 Reviews = recuento de citas
• Posts en blogs de xpertos = artículos más citados FI
• Citas en wikipedia = recuento de citas
• Google Scholar Citations = recuento de citas

Fuente: ResearchTrends, 37 (2014) 

Fuente: Altmetrics: nuevos indicadores para la comunicación científica en la Web 2.0 / D. Torres Salinas, A. Cabezas-Clavijo, E. Jiménez-Contreras (2013)

• Conceptos básicos sobre altmétricas. Infotecarios (2014) 
• The evolution of impact indicators: from bibliometrics to altmetrics. (2015). Scholastica
• Liu, J., Adie, E. (2014). Realising the potential of altmetrics within institutions. Ariadne, 72
• Margolles, P. (2014), Averigua si eres un científico de alto impacto con altmetrics, Neoscientia
• Mata, J. de, Gandarillas, R. (2013), Guía de herramientas para evaluar la investigación​
• Rege, M. R, Handziski, V., Wolisz, A. (2013). CrowdMeter: an emulation platform for performance evaluation of crowd-sensing applications. In Proceedings of the 2013 ACM conference on pervasive and ubiquitous computing adjunct publication, p. 1111-1122
• Special Issue on Alternative Metrics (2014). Research Trends, 37 
• Springer now sharing data from Altmetric on SpringerLink (2014). Web de Springer.
• Thelwall, M., Haustein, S., Larivière, V., Sugimoto, C.R. (2013). Do altmetrics work? Twitter and ten other social web services. PLoS One, 8(5), e64841
• Torres-Salinas, D., Cabezas-Clavijo, A., Jiménez Contreras, E. (2013). Altmetrics: nuevos indicadores para la comunicación científica en la Web. Comunicar, 21(41), 53-60.
• Zahedi, Z., Costas, R., Wouters, P. (2014). How well developed are altmetrics? A cross-disciplinary analysis of the presence of ‘alternative metrics’ in scientific publications. Scientometrics, 101(2), 1491-1513.

Se llama altmétricas (=alternative + metrics) a las nuevas métricas para evaluar la actividad científica e investigadora con la idea de complementar --nunca  sustituir-- a los estudios de bibliometría tradicionales basados en el recuento de citas (factor de impacto).

Las altmétricas miden el impacto social y académico de las aportaciones científicas y académicas. ImpactStory, Altmetrics o Plum-Analytics buscan en múltiples sitios para averiguar cuántas veces ha sido mencionado el trabajo de las personas investigadoras en la web. Las altmétricas no solo atienden al número de citas, también consideran otros aspectos como:

- Cuántos datos o bases de conocimiento se refieren a él

- Cuánto se ha comentado o discutido un texto

- Visualizaciones y descargas de documentos

- Menciones en medios sociales, prensa y redes sociales

El nacimiento de estas métricas está relacionado tanto con la crisis e insuficiencias mostradas por el modelo de evaluación clásico como con las nuevas posibilidades de comunicación científica y académica que proporciona Internet y sus herramientas de trabajo cooperativo. Además estos indicadores estimulan la divulgación científica y favorecen un estilo de ciencia comprometido con la sociedad.

Como señalábamos, el impacto de los artículos de las personas investigadores se basa en cuatro pilares: 1) uso, 2) arbitraje por pares, 3) citas y 4) métricas alternativas. ¿Cómo nos informan las altmétricas del éxito de un artículo en la red? Estas métricas analizan, por ejemplo, el número de

• Recuentos de citas
• Referencias
• Capturas / favoritos: las veces que una url se guarda como favorito o se comparte en CiteULike o Mendeley.
• Descargas y/o vistas en repositorios institucionales, editoriales, slideshare o youtube, etc.
• Menciones y me gusta en las redes sociales, blogs, redes académicas
• Lectores/as, suscriptores/as, seguidores/as

Fuente: Article-level metrics: a SPARC Primer 

A favor

1. Los sistemas tradicionales de evaluación son lentos y requieren unos plazos largos; las altmétricas se generan con mayor rapidez
2. Además estos sistemas dan más importancia al continente (la revista, el prestigio de una editorial) que al contenido (el propio artículo o libro)
3. Facilitan la revisión por pares
4. Implica a la sociedad en el ecosistema de la comunicación científica
5. ​Estimulan la divulgación científica
6. Están adaptadas a los nuevos medios tecnológicos y sociales

En contra

1. Impulsa un estilo de ciencia en el que los estudios no solo se cuantifican por su impacto dentro del mundo académico
2. Las fuentes de las que se toman los datos son muy heterogéneas y difícilmente comparables
3. Las fuentes de las que se nutren las altmétricas pueden resultar inestables
4. Dificultad para estandarizar las menciones y citas: ¿es lo mismo un "me gusta" que una reseña en un blog?
5. No informan de la calidad de un trabajo
6. Susceptible de uso fraudulento: una buena campaña de márquetin puede aumentar el impacto de una publicación

Elaborado a partir de NeoScientia