Fator de Impacto: Perigo na avaliação individual de pesquisadores

Há bastante tempo o fator de impacto (FI) das revistas é um índice extremamente utilizado na avaliação de desempenho de pesquisadores. Cada ano a Thomson Reuters utiliza a sua base (cerca de 9.000 revistas científicas) para calcular o número de citações recebidas pelos artigos publicados em cada revista nos últimos dois anos. O fator de impacto é a média de citações dos artigos da revista (total de citações recebidas / número de artigos publicados). As revistas gerais de grande prestígio e as revistas que publicam revisões chegam a ter FI de 40.

Pouco antes de saber da divulgação dos novos cálculos de fatores de impacto com os dados de 2008, recebi msg de George dos Reis relembrando o editorial de Kai Simons na Science: “The Misused Impact Factor” (Science 10 October 2008: Vol. 322. no. 5899, p. 165; DOI: 10.1126/science.1165316). Merece uma leitura atenta. Ele alerta para as manipulações:

“review articles are more frequently cited than primary research papers, so reviews increase a journal's impact factor. In many journals, the number of reviews has therefore increased dramatically, .... Many journals now publish commentary-type articles, which are also counted in the numerator.”

e usos inadequados do FI

“governments are using bibliometrics based on journal impact factors to rank universities and research institutions. Hiring, faculty-promoting, and grant-awarding committees can use a journal's impact factor as a convenient shortcut to rate a paper without reading it. Such practices compel scientists to submit their papers to journals at the top of the impact factor ladder, circulating progressively through journals further down the rungs when they are rejected. This not only wastes time for editors and those who peer-review the papers, but it is discouraging for scientists, regardless of the stage of their career.”

e cita métodos alternativos em uso:

“The Howard Hughes Medical Institute is now innovating their evaluating practices by considering only a subset of publications chosen by a scientist for the review board to evaluate carefully.

...

publishers are exploring new practices. For instance, PLoS One, one of the journals published by the Public Library of Science, evaluates papers only for technical accuracy and not subjectively for their potential impact on a field.”

Em reposta à e-msg de George, Rafael Linden cita uma limitação para os métodos propostos por Simons:

“... já tinha lido o texto do Kai Simons, é muito bom e acho que todos concordamos com ele. Mas ainda está longe do que precisamos, que são alternativas reais de avaliação em massa. Quando se trata de avaliação em pequena escala, por exemplo um concurso, dá para usar um sistema que tornasse rotina o envio com antecedência de, digamos, os 3 artigos que o candidato considera seus melhores, comentados pelo candidato, para leitura pela banca, seguido de palestras com arguição, etc. A banca pode julgar não apenas o conteúdo do artigo, mas verificar se o trabalho ou o quanto do trabalho foi feito no país ou no exterior, se é resultado de pós-doc ou pesquisa independente, qual a contribuição do candidato ao artigo, qual o significado do trabalho na área e perante a produção científica do laboratório de origem e o papel dos demais autores . Em concursos com meia dúzia de candidatos isso seria um método decente de avaliação.

O problema está em 2 ou 3 membros de um comitê julgarem 300 projetos em uma semana, 3 ou 4 vezes por ano. Os avaliadores devem ter um grau de liberdade que lhes permita escapar da numerologia e, caso pertinente, desconsiderar os indicadores quantitativos, mas não conseguirão avaliar direito a massa de projetos se não houver um filtro preliminar.”

A cautela no uso do fator de impacto se aplica para qualquer indicador. A sua utilização adequada exige conhecimento do que ele realmente significa e das suas limitações. Além disto, é necessário avaliar bem se o indicador é apropriado à finalidade na qual se emprega. Algo que foi desenvolvido como indicador para revistas não se aplica automaticamente para indivíduos. Voltaremos ao tema do fator de impacto, pela importância que ele assumiu na comunidade científica.