Revisão por pares e cientometria por fator de impacto

Um artigo interessante do The Guardian sobre fator de impacto e revisão por pares. Como seria interessante que jornais brasileiros tratassem de temas sofisticados de ciência....

Veja trechos:

"One of the challenges faced by research funders – both public and private – is how to maximise the amount of work being done on important problems, without institutionalising any particular dogma which may suppress novel ideas. The most common arrangement is to fund good researchers but refrain from being overly prescriptive about outcomes, and, in turn, the way to identify good researchers has been to look at the publications that follow the research they fund.

In 1955, Eugene Garfield, the founder of the Institute for Scientific Information (now part of Thomson Reuters), introduced a means for identifying influential journals according to the number of times work appearing in them was cited. This process results in a number called the impact factor (IF), and it's build on the assumption that those whose works have been the most influential will be the most cited.

However, as anyone who's compared the Twitter following of, say, pop singerRihanna to astrophysicist Neil deGrasse Tyson knows, influence is only one dimension of importance. While useful for many (pre-digital) years, the IF system, not unlike some celebrities, is not aging gracefully. Not only has it been widely misapplied, it has also had some unintended side effects."

Leia o artigo todo aqui.

Novo aumento do fator de impacto das "Memórias do IOC"

Fator de impacto medido pelo Institute for Scientific Information subiu para 2.147 em 2011, assegurando o primeiro lugar da América Latina no ranking das publicações sobre Ciências Biológicas e Biomédicas

O fator de impacto da Revista Memórias do Instituto Oswaldo Cruz (IOC/Fiocruz), segundo o Institute for Scientific Information (ISI) Web of Knowledge, subiu de 2.058 em 2010 para 2.147 em 2011. Isso consagra a revista científica do IOC, pelo segundo ano consecutivo, como a publicação de Ciências Biológicas e Biomédicas de maior prestígio do Brasil e da América Latina. O ISI é o órgão internacional responsável por avaliar a relevância dos periódicos científicos. Seu índice é calculado com base no número de vezes em que os artigos da publicação são citados em um ano, tendo como base as revistas indexadas pelo banco de dados e o número de trabalhos publicados nelas. O novo índice garantiu, ainda, o 16º lugar no ranking das publicações sobre Parasitologia e o 7º lugar no de Medicina Tropical.

Criada em 1909 pelo sanitarista Oswaldo Cruz, a revista une tradição e inovação. Atualmente editada pelo pesquisador Ricardo Lourenço, desde 2010 a publicação opera sob novo formato, com um sistema de submissão online de artigos e a associação de registro DOI (Digital Object Identifier) a cada um deles. Além disso, todo o material publicado em suas páginas – bem como o acervo histórico da publicação, digitalizado desde a primeira edição – pode ser acessado gratuitamente através do site. De acordo com a pesquisadora e editora associada, Claude Pirmez, atual vice-presidente de Pesquisa e Laboratórios de Referência da Fiocruz, o crescimento sustentado da revista se deve a um investimento de longo prazo que teve como foco a profissionalização. “Por exemplo, chamamos especialistas em editoração, ampliamos o corpo editorial e integramos editores associados à equipe, para que a análise de artigos seja sempre feita pelos respectivos especialistas. Para evitar plágios, também contamos com métodos de integridade em pesquisa”, explicou Claude.

Quem também constatou o crescimento da influência da Memórias foi o Scimago journal ranking (SJR), que, em 2011, também atribuiu à revista o maior fator de impacto do Brasil: 0,142. O SJR utiliza a base de dados Scopus, da editora Elsevier, e diferentes parâmetros para avaliação.

Recentemente, os bancos de dado do Scielo e do Pubmed passaram a disponibilizar também os artigos, abrangendo ainda mais os canais pelos quais pesquisadores de todo o mundo podem conferir as descobertas científicas históricas e eternizadas pela revista. Hoje, a única publicação científica além da Memórias a se manter acima dos dois pontos de fator de impacto no ISI é a Clinics, da Faculdade de Medicina da Universidade de São Paulo (FMUSP), que ficou com 2.058 em 2011.

Mais informações sobre a publicação em http://memorias.ioc.fiocruz.br/

Isadora Marinho
29/06/2012
Permitida a reprodução sem fins lucrativos do texto desde que citada a fonte (Comunicação / Instituto Oswaldo Cruz)

Coerção para citar, mais um desvio do fator de impacto

É verdade que algumas revistas científicas, em maior ou menor grau, “sugerem” aos autores que citem artigos previamente publicados nestes periódicos? Parece meio esdrúxulo, mas os exemplos se ampliam. A causa deste comportamento? Os editores querem aumentar o fator de impacto das revistas. As revistas com maior impacto tendem a receber os artigos de melhor qualidade.

Como avaliar o mérito de um trabalho científico? Parece óbvio que pela contribuição que os seus achados e conclusões para o avanço do conhecimento. Este julgamento, contudo, depende de um conhecimento apropriado e profundo pelo leitor e em investir tempo na leitura do trabalho e, eventualmente, em outros do campo. O que fazer se não há tempo para ler adequadamente todos os artigos que parecem relevantes numa busca da literatura? Comparar por um método rápido a qualidade dos artigos.

Como o avanço do conhecimento é feito baseado em relatos anteriores, os quais são citados nas novas publicações. Parece óbvio, assim, que o número de citações recebidas por um trabalho seja um indicador de que ele está sendo útil para novos avanços. Ou seja, quanto mais citado, mais valioso é o artigo. Há vários problemas com tal interpretação (o último post neste tema pode ser visto aqui), mas, em geral, o conceito é útil.  

Usando estes critérios é possível rapidamente ter uma indicação dos trabalhos mais relevantes entre os numerosos disponíveis no tema que se pretende estudar - aqueles que são mais citados.

O que fazer quando estou frente aos últimos números fascículos de uma revista e, portanto, nenhum dos artigos foi ainda citado, pela impossibilidade mesmo de citá-los antes de virem à luz. 

A qualidade das revistas poderá orientar a escolha dos artigos a serem lidos. Uma revista que publica muitos trabalhos que são amplamente citados será, pelo mesmo raciocínio das citações de um trabalho, uma revista de qualidade. O indicador que expressa, grosso modo, a média de citações recentes recebidas pelos artigos publicados na revista.

Um dos problemas com o uso intensivo e pouco questionado de indicadores como o fator de impacto é a manipulação para aumento artificial do indicador. No caso das revistas, o aumento do fator de impacto tem norteado muitas das decisões do editores. Uma das medidas problemáticas é o “estímulo excessivo”, na verdade, coação para que os autores citem trabalhos já publicados na revista o que contribui para o aumento do fator de impacto.

Uma publicação recente trata deste assunto e apresenta o problema de forma bem objetiva e com exemplos:

“Coercive self-citation refers to requests that (i) give no indication that the manuscript was lack- ing in attribution; (ii) make no suggestion as to specific articles, authors, or a body of work requiring review; and (iii) only guide authors to add citations from the editor’s journal. This quote from an editor as a condition for publication highlights the problem: “you cite Leukemia [once in 42 references]. Consequently, we kindly ask you to add references of articles published in Leukemia to your present article” (6). Gentler language may be used, but the message is clear: Add citations or risk rejection.”

Vale a pena ler para saber mais sobre o problema:

Coercive Citation in Academic Publishing; Wilhite, A. W., & Fong, E. A. (2012). Science, 335(6068), 542–543. doi:10.1126/science.1212540

Mais sobre fator h e avaliação científica

A avaliação do trabalho científico é sempre uma fonte de polêmica.  Há algum tempo um artigo (aqui) discutiu a própria validade da avaliação quantitativa em ciência e comparou com a arte:

“No one needs a numerical score to establish that Van Gogh painted or that Pasternak wrote at a highly creative level. Reduction of talent to a number, such as the cost of a painting or manuscript at auction, leads to new methods of manipulations.”

Apesar das críticas o desenvolvimento de abordagens quantitativas para a avaliação científica é uma área bastante ativa. O fator h, um índice proposto pelo físico Hirsh (An index to quantify an individual's scientific research output) em 2005 se tornou bastante popular, por facilitar a análise de produção e impacto ao valorizar tanto as citações quanto o número de trabalhos que recebeu citações. Posteriormente (2007) Hirsch publicou um trabalho que sugeriu que o fator h poderia ter um valor preditivo (Does the h index have predictive power?), esta utilidade do fator h, contudo, tem sido menos explorada.

Um artigo recente no Guardian (The h-index, or the academic equivalent of the stag's antlers) questiona o fator h e utiliza como exemplo o caso de Harry Kroto. O Dr. Kroto é um Prêmio Nobel de química e tem um fator h que se situa no 264o lugar entre os químicos, o que se deve ao fato de ter poucos trabalhos de grande impacto. (Nota a parte: O Dr. Kroto fez uma palestra em Salvador este ano: Criatividade sem Fronteiras).  O autor diz: “But to get a big h-index, it's not enough to write a few influential papers. You have to write a lot of them. A single paper could transform a field of science and win its author a Nobel prize, while doing little for the author's h-index if he or she doesn't write anything else of note.” e completa:

“That's one of the criticisms of the h-index – it imposes a one-size-fits-all view of scientific impact. There are many other potential faults: young scientists with few publications score lower, however brilliant they are; the value of h can be artificially boosted – slightly but significantly – by scientists repeatedly citing their own papers; it fails to distinguish the relative contributions to the work in many-author papers; and the numbers can't be compared across disciplines, because citation habits differ.”

Na mesma linha de questionar as avaliações da produção científica, foi pulbicado o post Measuring the Wrong Things — Has the Scientific Method Been Compromised By Careerism? (do blog The scholarly kitchen).  Há alguns pontos importantes e corretos no post que relacionam a pressão por publicação e fraude em ciência, porém é muito simplista atribuir isto à avaliação.  Recentemente, escrevi um post neste tema no blog da Sociedade Brasileira de Imunologia, o SBlogI: Numerologia científica - avaliação fetichista.

Já abordamos, em posts anteriores, as limitações do uso de citações como indicador de qualidade entre diferentes áreas do conhecimento e do risco do emprego deste indicador para avaliações individuais. Também vimos algumas das dificuldades do uso de citações como indicador de qualidade de artigos científicos, e outros indicadores que têm sido utilizados, inclusive um que considero interessante o SNIP, mas teve pouca utilização (aqui).

A fraude e o plágio em ciência são uma preocupação cada vez maior, e tem se refletido em comentários neste blog (aqui, aqui, aqui, aqui e aqui). Ela tem levado a um número crescente de retirada de artigos publicados, mais conhecida pelo termo em inglês retraction, e que também tem sido tratado neste blog (aqui e aqui)  inclusive mostrando que a percentagem de artigos retirados é crescente (aqui).

Ilustração. Figura do trabalho de Hirsch 2005. Fig. 1. Schematic curve of number of citations versus paper number, with papers numbered in order of decreasing citations. The intersection of the 45° line with the curve gives h. The total number of citations is the area under the curve. Assuming the second derivative is nonnegative everywhere, the minimum area is given by the distribution indicated by the dotted line, yielding a = 2 in Eq. 1.

O caminho das publicações: Down the impact factor ladder

Enviado pelo colega George dos Reis:


"Meus queridos amigos cientistas,

Só assistam esse vídeo se tiverem o coração forte... rrsss



Down the impact factor ladder"

Um único pesquisador levou o Fator de Impacto de uma revista para o segundo lugar geral

O amigo Benildo Cavada, Professor da UFC, enviou uma bomba sobre como pode ser fácil fazer disparar o fator de impacto de uma revista. O fator de impacto da Acta Crystallographica - Section A aumentou, no último ano, mais de 20 vezes passando para 49.9, maior que o do New England Journal of Medicine, Cell etc. Ela ficou no segundo lugar no ranking de TODAS as revistas analisadas pelo ISI.

Como isto aconteceu? Se deveu à publicação de um único artigo "A short history of SHELX," o qual foi citado mais de 6.600 vezes. O artigo revia o desenvolvimento do sistema computacional SHELX. O artigo inclui uma frase que instrui os leitores a citar o paper quando os programas SHELX, de código aberto, são usados para determinação de estrutura cristalográfica.

Isto é uma demonstração clara de como o sistema é sujeito a manipulações. Vários outros pequenos estratagemas têm sido empregados por editores. Tudo isto deve nos levar a ser bastante cautelosos no julgamento de fatores de impacto e, principalmente, analisar o artigo e não analisar somente a revista onde foi publicado.

----- Mensagem encaminhada ----

De: ….>

Para:….

Enviadas: Terça-feira, 22 de Junho de 2010 9:37:01

Assunto: [ccp4bb] Impact Factors

Dear all,

We are all used to the tyranny of impact factors: high impact publication in "well esteemed" journals, as dictated by the Supreme Authority - excuse me, I meant  Thomson Reuters - often substitutes the judgement of interview panels, grant review panels and sometimes is a decision-maker for lazy referees. A 'high impact' publication in your CV often counts as much as consistent work done for years and is considered the gateway for good jobs and careers. And, alas, your Acta Cryst papers, would not count ...

Since yesterday though, a single person, no other than the ccp4bb bulletin board subscriber and contributor, and an emblematic figure of our community, George Sheldrick, has managed with one action to showcase the flaws of this system. Since yesterday, officially, the top ranking journal according to the official Thomson Reuters Impact factor is: Acta Crystallographica Part A. How was that made possible? Simply by publishing a 'short history about SHELX' and requesting users to cite it. It took two years, but now Acta A has displaced Cell, Nature, Science and even New England Journal of Medicine from the top ranks.

Well, good luck to all the methods-folk who are up for tenure, here is your chance guys and girls ... it will not last long!!!

Best regards,

T…..

Specifically, the publication with second highest impact factor in the "science" category is Acta Crystallographica - Section A, knocking none other than theNew England Journal of Medicine from the runner's up position. This title's impact factor rocketed up to 49.926 this year, more than 20-fold higher than last year. A single article published in a 2008 issue of the journal seems to be responsible for the meteoric rise in theActa Crystallographica - Section A's impact factor. "A short history of SHELX,"by University of Göttingen crystallographer George Sheldrick,which reviewed the development of the computer system SHELX, has been cited more than 6,600 times, according to ISI. This paper includes a sentence that essentially instructs readers to cite the paper they're reading -- "This paper could serve as a general literature citation when one or more of the open-source SHELX programs (and the Bruker AXS version SHELXTL) are employed in the course of a crystal-structure determination." (Note: This may be a good way to boost your citations.)

Novas abordagens para avaliação de impacto das publicações. Conhece o SNIP?

O post poderia se denominar, para além do fator de impacto do ISI. Este tema é frequentemente discutido neste blog. Já abordamos as limitações do uso de citações como indicador de qualidade entre diferentes áreas do conhecimento e do risco do emprego deste indicador para avaliações individuais. Também vimos algumas das dificuldades do uso de citações como indicador de qualidade de artigos científicos, e outros indicadores que têm sido utilizados.

A colega Maria de Fátima Cruz, do IOC - FIOCRUZ, me alertou para uma série interessante de palestras sobre o tema disponíveis na rede.  São apresentações feitas na V Conferencia Internacional APE 2010 - Academic Publishing in Europe, realizada em Berlim, nos dias 19 e 20 de janeiro deste ano.

Há várias apresentações interessantes, mas recomendarei a palestra do Dr. Henk Moed, Universidade de Leiden: SNIP - A new metric for a new era. O novo indicador leva em consideração o potencial de citação da área do conhecimento do trabalho científico. Por isto se denomina Source Normalized Impact Factor (SNIP). Sem dúvida, a redução da influência da área (tanto o seu tamanho quanto o seu padrão de citações) é um avanço no uso de fator de impacto como um indicador de influência do trabalho na comunidade. Uma abordagem deste tipo, se cuidadosa, permitirá avaliações sem violentar o padrão de cada área do conhecimento. 

Outra que vale a pena conferir é a de Jan Velterop (Concept Web Alliance) Measuring is knowing - Or is it?. Ele apresenta dados do workshop Scholarly evaluation metrics, promovido pela National Science Foundation (EEUU) em dezembro de 2009. 

Avaliação do impacto de trabalhos científicos, para além das citações

Considerando que o número de citações não é o único fator relevante na avaliação de um artigo científico (veja post anterior sobre isto), outros indicadores têm sido utilizados.

Destes novos indicadores, talvez o mais conhecido seja as estatísticas de uso do artigo: quantas vezes a página da publicação foi acessada, quantas vezes ocorreu o download do arquivo em PDF ou XML, por exemplo.  O PNAS apresenta os 50 artigos mais acessados, o BioMed Central (responsável por várias revistas) divulga os mais acessados e concede o status Highly accessed a alguns artigos (“ The 'Highly accessed' graphic appears on journal table of contents and search results to identify those articles that have been especially highly accessed, relative to their age, and the journal in which they were published. … Once an article has qualified as 'Highly accessed' it will remain permanently flagged as such, and so authors may make reference to this designation when listing their publications.”). 

A PLoS talvez seja a editora que mais valoriza outros indicadores, além das citações. Ao lado do texto de cada artigo aparecem os dados sobre:

• Estatísticas de uso (incluindo visitas às páginas HTML e os downloads de PDF e XML;
• Social bookmarks (CiteULike e Connotea);
• Comentários deixados pelos leitores;
• A avaliação (de 1 a 5 estrelas) feitas pelos leitores; e
• Posts em blogs. Neste caso, não são, evidentemente, agregados os dados de todos os blogs. Para que o post seja reconhecido pela PLoS ela deve ter aparecido num sítio que listado em um dos sistemas de registros dos blogs científicos, como Postgenomic, Nature Blogs, Bloglines e ResearchBlogging.

Se quiser saber um pouco mais sobre como estes indicadores permitem uma melhor avaliação individual de cada artigo, e não do impacto da revista onde ele foi publicado, leia o artigo Article-Level Metrics Information. 

Ilustração

Limitações do uso de citações como indicador de qualidade de artigos científicos.

Quase todos na área científica concordam que o número de citações que um trabalho recebe é um aspecto importante na análise da sua qualidade. Se contribui para o avançado conhecimento na área, o trabalho será inevitavelmente citado. Já tratamos em oportunidades anteriores sobre o problema de usar número de citações como indicador de qualidade entre diferentes áreas do conhecimento e do risco do emprego deste indicador para avaliações individuais. Há vários outros aspectos a considerar, como o tipo de artigo científico e padrões de citações. 

Note que a citação depende do avanço do conhecimento. Este não é um aspecto importante para TODOS os trabalhos publicados. Muitas vezes o objetivo do trabalho pode ser a divulgação entre os profissionais da área. Também pode ser a informação sobre um aspecto prático de utilizar uma informação existente.

Podemos imaginar três tipos de artigos científicos: artigos científicos bona fide, com avanço do conhecimento; artigos com informações importantes para a prática dos profissionais da área e artigos de divulgação científica para o público leigo. O número de citações pode ser um indicador de impacto de um artigo pertencente ao primeiro grupo, mas dificilmente o será nos demais. Utilizamos, comumente, apenas o impacto decorrente das citações recebidas como um surrogate marker de qualidade. Um dos problemas neste campo é que não há indicadores fáceis para avaliar o impacto dos artigos voltados ao público profissional da área nem dos artigos dirigidos ao público leigo.

O exemplo mais citado sobre problemas do uso exclusivo das citações como avaliador da qualidade de um artigo é o da área clínica. Um trabalho pode ser bastante lido e ter grande importância na prática médica e não receber muitas citações.

Algumas outras áreas também referem padrões diferentes em citações. Um artigo recente (Problems of citation analysis: A study of uncited and seldon-cited influences) publicado no Journal of the American Society for Information Science and Technology (61, 1-12 DOI: 10.1002/asi.21228)comenta sobre a área de biogeografia. Nesta área, segundo os autores, não ocorrem muitas citações. Uma das formas mais comuns de divulgação do conhecimento é a elaboração de “floras” que consiste numa listagem das espécies de plantas presentes numa região. (Um padrão bem antigo, se você se lembra da extraordinária Flora Brasiliensis de von Martius, c. 1840). As floras podem ser divulgadas em livros, relatórios etc. e raramente são citadas em artigos com revisão por pares e indexados no Web of Science. Se a flora for incorporada em bancos de dados e livros, por exemplo, temos uma indicação indireta de sua importância. Contudo, o registro destas citações não é fácil de ser feito e não há indicadores para isto.

Ilustração. Capa da Flora Brasiliensis.

MacRoberts, M., & MacRoberts, B. (2009). Problems of citation analysis: A study of uncited and seldom-cited influences Journal of the American Society for Information Science and Technology DOI: 10.1002/asi.21228

Fator de impacto entre diferentes áreas

Há pouco discutimos aqui a questão do emprego do fator de impacto (FI) das revistas para avaliação da produção científica de indivíduos. Há vários outros exemplos de uso inadequado.

Um erro frequente é a comparação dos FI entre diferentes áreas do conhecimento. O tamanho das áreas não é homogêneo, há muito mais gente trabalhando em certas disciplinas e temas. Isto reflete diretamente no FI. Quanto maior o número de trabalhos forem publicados num tema, maior o número total de citações. Lembre que o fator é calculado por revista, ou seja pelo número de artigos publicados por cada revista, não pelo total de artigos publicados no tema.

Para ter uma idéia desta variação, nem precisamos sair da área da saúde. Revistas médicas de grande prestígio chegam a FI=50 (New England J Med -50; JAMA - 31.72; Lancet - 28.41). No campo dos artigos originais em imunologia, a Nature Immunology atinge 25.11, havendo ainda Immunity - 20.58 e JEM - 15. 22, já na medicina tropical a revista com maior impacto em 2008 foi o PLoS Neglected Tropical Diseases (4.17), seguido do Malaria Journal (2.91) e Am. J. Trop. Med. Hyg (2.45).

Este erro tem uma solução razoavelmente simples, o uso da posição relativa da revista em relação às demais do mesmo tema. Por exemplo, o grupo da Medicina Geral e Interna tem 107 revistas e o grupo da Medicina Tropical tem 15. O PLoS Neglected Tropical Diseases, a primeira revista da Medicina Tropical (1/15), com 4.17 de FI se compara ao Medicine com 4.33, mas esta última é a revista no 15^o posto entre as 107 do grupo. Já a tradicional Am. J. Trop. Med. Hyg (3/15) tem FI comparável ao QJM-Int J Med (FI=2.48), a 28^a entre as 107 revistas do seu grupo.

Fator de Impacto: Perigo na avaliação individual de pesquisadores

Há bastante tempo o fator de impacto (FI) das revistas é um índice extremamente utilizado na avaliação de desempenho de pesquisadores. Cada ano a Thomson Reuters utiliza a sua base (cerca de 9.000 revistas científicas) para calcular o número de citações recebidas pelos artigos publicados em cada revista nos últimos dois anos. O fator de impacto é a média de citações dos artigos da revista (total de citações recebidas / número de artigos publicados). As revistas gerais de grande prestígio e as revistas que publicam revisões chegam a ter FI de 40.

Pouco antes de saber da divulgação dos novos cálculos de fatores de impacto com os dados de 2008, recebi msg de George dos Reis relembrando o editorial de Kai Simons na Science: “The Misused Impact Factor” (Science 10 October 2008: Vol. 322. no. 5899, p. 165; DOI: 10.1126/science.1165316). Merece uma leitura atenta. Ele alerta para as manipulações:

“review articles are more frequently cited than primary research papers, so reviews increase a journal's impact factor. In many journals, the number of reviews has therefore increased dramatically, .... Many journals now publish commentary-type articles, which are also counted in the numerator.”

e usos inadequados do FI

“governments are using bibliometrics based on journal impact factors to rank universities and research institutions. Hiring, faculty-promoting, and grant-awarding committees can use a journal's impact factor as a convenient shortcut to rate a paper without reading it. Such practices compel scientists to submit their papers to journals at the top of the impact factor ladder, circulating progressively through journals further down the rungs when they are rejected. This not only wastes time for editors and those who peer-review the papers, but it is discouraging for scientists, regardless of the stage of their career.”

e cita métodos alternativos em uso:

“The Howard Hughes Medical Institute is now innovating their evaluating practices by considering only a subset of publications chosen by a scientist for the review board to evaluate carefully.

...

publishers are exploring new practices. For instance, PLoS One, one of the journals published by the Public Library of Science, evaluates papers only for technical accuracy and not subjectively for their potential impact on a field.”

Em reposta à e-msg de George, Rafael Linden cita uma limitação para os métodos propostos por Simons:

“... já tinha lido o texto do Kai Simons, é muito bom e acho que todos concordamos com ele. Mas ainda está longe do que precisamos, que são alternativas reais de avaliação em massa. Quando se trata de avaliação em pequena escala, por exemplo um concurso, dá para usar um sistema que tornasse rotina o envio com antecedência de, digamos, os 3 artigos que o candidato considera seus melhores, comentados pelo candidato, para leitura pela banca, seguido de palestras com arguição, etc. A banca pode julgar não apenas o conteúdo do artigo, mas verificar se o trabalho ou o quanto do trabalho foi feito no país ou no exterior, se é resultado de pós-doc ou pesquisa independente, qual a contribuição do candidato ao artigo, qual o significado do trabalho na área e perante a produção científica do laboratório de origem e o papel dos demais autores . Em concursos com meia dúzia de candidatos isso seria um método decente de avaliação.

O problema está em 2 ou 3 membros de um comitê julgarem 300 projetos em uma semana, 3 ou 4 vezes por ano. Os avaliadores devem ter um grau de liberdade que lhes permita escapar da numerologia e, caso pertinente, desconsiderar os indicadores quantitativos, mas não conseguirão avaliar direito a massa de projetos se não houver um filtro preliminar.”

A cautela no uso do fator de impacto se aplica para qualquer indicador. A sua utilização adequada exige conhecimento do que ele realmente significa e das suas limitações. Além disto, é necessário avaliar bem se o indicador é apropriado à finalidade na qual se emprega. Algo que foi desenvolvido como indicador para revistas não se aplica automaticamente para indivíduos. Voltaremos ao tema do fator de impacto, pela importância que ele assumiu na comunidade científica.