A série de seis webinars “Fortalecendo as redes de informação em saúde” que teve como público-alvo as redes da Biblioteca Virtual em Saúde (BVS) e Bibliotecas do Sistema Único de Saúde (BiblioSUS) teve início em junho deste ano. Os três primeiros webinars tiveram como tema o controle bibliográfico e o papel da Rede como disseminadora e intermediária do conhecimento científico em saúde.
Os três webinars seguintes, por sua vez, trataram de temas de comunicação científica no âmbito das fontes de informação da BVS. O último tema, apresentado no dia 14 de outubro, refere-se à Avaliação da ciência e índices de impacto, e foi apresentado por dois profissionais, Lilian Calò, Coordenadora de Comunicação Científica e Institucional da BIREME/OPAS/OMS OMS e Jaider Ochoa-Gutiérrez, Professor da Escola Interamericana de Biblioteconomia, Universidad de Antioquia, Medellín, Colômbia.
Lilian iniciou contextualizando a necessidade de avaliar a ciência para desenvolver políticas públicas, promover pesquisas relevantes, medir o desempenho dos programas de pós-graduação e contratar e promover pesquisadores de acordo com o mérito de seus trabalhos de pesquisa. O impacto da ciência, entretanto, não pode ser medido em um curto espaço de tempo, mas os indicadores de impacto das publicações científicas, geralmente baseados em citações, são processados em 2 a 3 anos. Existem muitos índices de impacto científico e o mais conhecido deles, o Fator de Impacto, inspirou uma série de outros índices muito semelhantes, mas concorrentes, como o SCImago Journal Rank, CiteScore e outros.
A utilização de indicadores de impacto não é simples e sua interpretação requer conhecimento de seu cálculo e da base de dados utilizada para a contagem das citações. Um fato, ainda, parece ter se tornado um consenso desde os primeiros anos do século 21, que os índices de impacto baseados em citações foram criados para avaliar periódicos, mas não devem ser usados para avaliar pesquisadores em processos de contratação ou de progressão na carreira, como reza a San Francisco Declaration on Research Assessment[1] e o Manifesto de Leiden[2]. Uma medida de excelência dos periódicos científicos é a sua indexação em bases de dados temáticas (por exemplo, LILACS, MEDLINE, PubMed) ou multidisciplinares (Web of Science, SciELO, Scopus, entre outros), pois os critérios de entrada e permanência nestas bases são bastante estritos.
Complementando os índices tradicionais baseados em citações, existem também medidas de uso e download, que servem para medir o quanto os artigos são acessados e lidos, sem ainda serem citados. Calò também mencionou as métricas baseadas em redes sociais, que estão reunidas no índice Altmetrics.
A seguir, Jaider Ochoa Gutierrez apresentou o cenário para a evolução da ciência Latino-Americana e do Caribe por meio de métricas responsáveis. Segundo Ochoa, apesar da oferta múltipla de métricas – geralmente baseada em citações – a avaliação da ciência, dimensionalmente falando, continua problemática. As citações, pondera Ochoa, são tradicionalmente associadas a artigos de periódicos e desconhece outros tipos de documentos, como livros, relatórios de pesquisa, patentes, trabalhos de graduação etc. Além disso, devem ser consideradas as diferenças disciplinares nos modos de produção e na avaliação da construção do conhecimento em diferentes idiomas.
Ao propor métricas responsáveis, Ochoa esclarece que isso implica participar de um exercício de avaliação cooperativa em que a ciência aberta desempenha um papel muito importante. Além disso, devem ser buscados critérios para medir as diferentes formas de desempenho e impacto – científico, social, econômico e político. Não só isso, mas também integrando fontes de dados para uso bibliométrico e medindo o impacto de diferentes tipos de documentos. Ochoa mostra que também devem ser consideradas as formas de acesso aos documentos, as rotas de acesso aberto, os custos de APC[3] e muitas outras variáveis que normalmente não são consideradas nas análises bibliométricas. A importância de se criar e utilizar métricas responsáveis reside no fato de que a pesquisa se evidencia como um bem financiado pelo Estado e, portanto, é necessário conhecer ou estimar seu impacto.
[1] La Declaração sobre Avaliação da Pesquisa (Declaration on Research Assessment, DORA) reconhece a necessidade de aprimorar as formas de avaliação dos resultados da pesquisa acadêmica. A declaração foi desenvolvida em 2012 durante a Reunião Anual da Sociedade Americana de Biologia Celular em San Francisco e se tornou uma iniciativa global que abrange todas as disciplinas acadêmicas e todas as partes interessadas, incluindo instituições de pesquisa, agências de fomento, publishers, sociedades científicas e pesquisadores. https://sfdora.org/
[2] Manifesto de Leiden para métricas em pesquisa. http://www.leidenmanifesto.org/
[3] APC significa Article Processing Charge, que em certos periódicos de acesso aberto são cobrados dos autores para manter o modelo de negócios do periódico.
