A avaliação do trabalho científico é sempre uma fonte de polêmica. Há algum tempo um artigo (aqui) discutiu a própria validade da avaliação quantitativa em ciência e comparou com a arte:
“No one needs a numerical score to establish that Van Gogh painted or that Pasternak wrote at a highly creative level. Reduction of talent to a number, such as the cost of a painting or manuscript at auction, leads to new methods of manipulations.”
Apesar das críticas o desenvolvimento de abordagens quantitativas para a avaliação científica é uma área bastante ativa. O fator h, um índice proposto pelo físico Hirsh (An index to quantify an individual's scientific research output) em 2005 se tornou bastante popular, por facilitar a análise de produção e impacto ao valorizar tanto as citações quanto o número de trabalhos que recebeu citações. Posteriormente (2007) Hirsch publicou um trabalho que sugeriu que o fator h poderia ter um valor preditivo (Does the h index have predictive power?), esta utilidade do fator h, contudo, tem sido menos explorada.
Um artigo recente no Guardian (The h-index, or the academic equivalent of the stag's antlers) questiona o fator h e utiliza como exemplo o caso de Harry Kroto. O Dr. Kroto é um Prêmio Nobel de química e tem um fator h que se situa no 264o lugar entre os químicos, o que se deve ao fato de ter poucos trabalhos de grande impacto. (Nota a parte: O Dr. Kroto fez uma palestra em Salvador este ano: Criatividade sem Fronteiras). O autor diz: “But to get a big h-index, it's not enough to write a few influential papers. You have to write a lot of them. A single paper could transform a field of science and win its author a Nobel prize, while doing little for the author's h-index if he or she doesn't write anything else of note.” e completa:
“That's one of the criticisms of the h-index – it imposes a one-size-fits-all view of scientific impact. There are many other potential faults: young scientists with few publications score lower, however brilliant they are; the value of h can be artificially boosted – slightly but significantly – by scientists repeatedly citing their own papers; it fails to distinguish the relative contributions to the work in many-author papers; and the numbers can't be compared across disciplines, because citation habits differ.”
Na mesma linha de questionar as avaliações da produção científica, foi pulbicado o post Measuring the Wrong Things — Has the Scientific Method Been Compromised By Careerism? (do blog The scholarly kitchen). Há alguns pontos importantes e corretos no post que relacionam a pressão por publicação e fraude em ciência, porém é muito simplista atribuir isto à avaliação. Recentemente, escrevi um post neste tema no blog da Sociedade Brasileira de Imunologia, o SBlogI: Numerologia científica - avaliação fetichista.
Já abordamos, em posts anteriores, as limitações do uso de citações como indicador de qualidade entre diferentes áreas do conhecimento e do risco do emprego deste indicador para avaliações individuais. Também vimos algumas das dificuldades do uso de citações como indicador de qualidade de artigos científicos, e outros indicadores que têm sido utilizados, inclusive um que considero interessante o SNIP, mas teve pouca utilização (aqui).
A fraude e o plágio em ciência são uma preocupação cada vez maior, e tem se refletido em comentários neste blog (aqui, aqui, aqui, aqui e aqui). Ela tem levado a um número crescente de retirada de artigos publicados, mais conhecida pelo termo em inglês retraction, e que também tem sido tratado neste blog (aqui e aqui) inclusive mostrando que a percentagem de artigos retirados é crescente (aqui).
Ilustração. Figura do trabalho de Hirsch 2005. Fig. 1. Schematic curve of number of citations versus paper number, with papers numbered in order of decreasing citations. The intersection of the 45° line with the curve gives h. The total number of citations is the area under the curve. Assuming the second derivative is nonnegative everywhere, the minimum area is given by the distribution indicated by the dotted line, yielding a = 2 in Eq. 1.
Boa reflexão sobre as medidas de produtividade. Do ponto de vista de pesquisa clínica, há uma distorção maior ainda. Sabe os grandes ensaios clínicos que incluem pacientes de centenas de centros pelo mundo? Agora o nome do representante de cada centro aparece ligado à citação do artigo no Medline (são mais de 100 nomes por artigo). Ou seja, o cara não idealiza, não analisa dados, não escreve nada, nem revisa nada, não tem nenhuma participação intelectual. Apenas ganha alguns mil dólares por paciente incluído e tem o trabalho laborativo de incluir o paciente, administrar a droga, preencher formulário. E no final, seu nome sai em publicações no NEJM, Lancet, JAMA, etc. Não tem nem como concorrer em citação com quem faz seus próprios trabalhos científicos locais. O que o CNPQ acha dessa distorção? É considerado correto que o cara coloque estas sitações no currículo lattes.
ResponderExcluirCaro Luis,
ResponderExcluirMuito pertinente o seu comentário. A própria idéia do que constitui autoria de trabalho científico fica abalada com esta prática das revistas.
O CV Lattes é um registro, se a publicação ocorreu, ela pode legitimamente ser colocada no CV. Se e como valorizar o item registrado já é um outro ponto.
No CNPq a análise dos CVs é feita pelo pares, sejam consultores ad hoc seja pelos membros do Comitês de Avaliação (CA). Não sei de forma precisa como o CA de Medicina valoriza esta situação.
Seria interessante levar esta discussão para o CA e vale a pena também iniciar este debate nos fóruns das sociedades científicas, afinal os membros dos CAs são membros da comunidade científica.
O problema é que Van Gogh nunca vendeu um trabalho enquanto vivo e só foi reconhecido anos após sua morte. A grande pergunta é: O que queremos com a avaliação?
ResponderExcluirLucile Maria Floeter Winter (no Facebook).
Muito bom Lucile. O tema é bastante polêmico e complexo. É necessário saber exatamente o que se quer com a avaliação e entender a metodologia do indicador para decidir qual, como e quando usar.
ResponderExcluir