Quase todos na área científica concordam que o número de citações que um trabalho recebe é um aspecto importante na análise da sua qualidade. Se contribui para o avançado conhecimento na área, o trabalho será inevitavelmente citado. Já tratamos em oportunidades anteriores sobre o problema de usar número de citações como indicador de qualidade entre diferentes áreas do conhecimento e do risco do emprego deste indicador para avaliações individuais. Há vários outros aspectos a considerar, como o tipo de artigo científico e padrões de citações.
Note que a citação depende do avanço do conhecimento. Este não é um aspecto importante para TODOS os trabalhos publicados. Muitas vezes o objetivo do trabalho pode ser a divulgação entre os profissionais da área. Também pode ser a informação sobre um aspecto prático de utilizar uma informação existente.
Podemos imaginar três tipos de artigos científicos: artigos científicos bona fide, com avanço do conhecimento; artigos com informações importantes para a prática dos profissionais da área e artigos de divulgação científica para o público leigo. O número de citações pode ser um indicador de impacto de um artigo pertencente ao primeiro grupo, mas dificilmente o será nos demais. Utilizamos, comumente, apenas o impacto decorrente das citações recebidas como um surrogate marker de qualidade. Um dos problemas neste campo é que não há indicadores fáceis para avaliar o impacto dos artigos voltados ao público profissional da área nem dos artigos dirigidos ao público leigo.
O exemplo mais citado sobre problemas do uso exclusivo das citações como avaliador da qualidade de um artigo é o da área clínica. Um trabalho pode ser bastante lido e ter grande importância na prática médica e não receber muitas citações.
Algumas outras áreas também referem padrões diferentes em citações. Um artigo recente (Problems of citation analysis: A study of uncited and seldon-cited influences) publicado no Journal of the American Society for Information Science and Technology (61, 1-12 DOI: 10.1002/asi.21228)comenta sobre a área de biogeografia. Nesta área, segundo os autores, não ocorrem muitas citações. Uma das formas mais comuns de divulgação do conhecimento é a elaboração de “floras” que consiste numa listagem das espécies de plantas presentes numa região. (Um padrão bem antigo, se você se lembra da extraordinária Flora Brasiliensis de von Martius, c. 1840). As floras podem ser divulgadas em livros, relatórios etc. e raramente são citadas em artigos com revisão por pares e indexados no Web of Science. Se a flora for incorporada em bancos de dados e livros, por exemplo, temos uma indicação indireta de sua importância. Contudo, o registro destas citações não é fácil de ser feito e não há indicadores para isto.
Ilustração. Capa da Flora Brasiliensis.
O artigo é pertinente, mas a _dificuldade_ para usar métricas de qualidade nunca deve ser justificativa para descartá-las. Essas métricas podem e devem ser usadas para aferir a qualidade da produção, mas com ponderação e com cuidado. O que não é aceitável é o descarte delas em prol e critérios "difusos" como, por exemplo, "liderança", "importância regional" etc.
ResponderExcluirEste é só um dos aspectos dos problemas de citação. Tem outros casos.
ResponderExcluirEm trabalhos sistemáticos, o tamanho do grupo, normalmente em relação ao número de especialistas, certamente limitará o número de citações.
Tem ainda o fato de utilizar, preferentemente, os três anos subsequëntes à publicação, sendo que muitos artigos são "descobertos" depois desse período.
Por último, tem artigos claramente "non bona-fide", publicados para serem propositalmente controversos, mesmo que a ciência deles seja, no mínimo, questionável. Eles serão muito e rapidamente citados, mas para contesta-los e muitas vezes expor sua má qualidade. Mas citação é citação, e o(s) autor(es) pode(m) exibir um alto índice de citação. Conheço, pleo menos, dois casos de artigos assim...