Mais sobre fator h e avaliação científica

A avaliação do trabalho científico é sempre uma fonte de polêmica.  Há algum tempo um artigo (aqui) discutiu a própria validade da avaliação quantitativa em ciência e comparou com a arte:

“No one needs a numerical score to establish that Van Gogh painted or that Pasternak wrote at a highly creative level. Reduction of talent to a number, such as the cost of a painting or manuscript at auction, leads to new methods of manipulations.”

Apesar das críticas o desenvolvimento de abordagens quantitativas para a avaliação científica é uma área bastante ativa. O fator h, um índice proposto pelo físico Hirsh (An index to quantify an individual's scientific research output) em 2005 se tornou bastante popular, por facilitar a análise de produção e impacto ao valorizar tanto as citações quanto o número de trabalhos que recebeu citações. Posteriormente (2007) Hirsch publicou um trabalho que sugeriu que o fator h poderia ter um valor preditivo (Does the h index have predictive power?), esta utilidade do fator h, contudo, tem sido menos explorada.

Um artigo recente no Guardian (The h-index, or the academic equivalent of the stag's antlers) questiona o fator h e utiliza como exemplo o caso de Harry Kroto. O Dr. Kroto é um Prêmio Nobel de química e tem um fator h que se situa no 264o lugar entre os químicos, o que se deve ao fato de ter poucos trabalhos de grande impacto. (Nota a parte: O Dr. Kroto fez uma palestra em Salvador este ano: Criatividade sem Fronteiras).  O autor diz: “But to get a big h-index, it's not enough to write a few influential papers. You have to write a lot of them. A single paper could transform a field of science and win its author a Nobel prize, while doing little for the author's h-index if he or she doesn't write anything else of note.” e completa:

“That's one of the criticisms of the h-index – it imposes a one-size-fits-all view of scientific impact. There are many other potential faults: young scientists with few publications score lower, however brilliant they are; the value of h can be artificially boosted – slightly but significantly – by scientists repeatedly citing their own papers; it fails to distinguish the relative contributions to the work in many-author papers; and the numbers can't be compared across disciplines, because citation habits differ.”

Na mesma linha de questionar as avaliações da produção científica, foi pulbicado o post Measuring the Wrong Things — Has the Scientific Method Been Compromised By Careerism? (do blog The scholarly kitchen).  Há alguns pontos importantes e corretos no post que relacionam a pressão por publicação e fraude em ciência, porém é muito simplista atribuir isto à avaliação.  Recentemente, escrevi um post neste tema no blog da Sociedade Brasileira de Imunologia, o SBlogI: Numerologia científica - avaliação fetichista.

Já abordamos, em posts anteriores, as limitações do uso de citações como indicador de qualidade entre diferentes áreas do conhecimento e do risco do emprego deste indicador para avaliações individuais. Também vimos algumas das dificuldades do uso de citações como indicador de qualidade de artigos científicos, e outros indicadores que têm sido utilizados, inclusive um que considero interessante o SNIP, mas teve pouca utilização (aqui).

A fraude e o plágio em ciência são uma preocupação cada vez maior, e tem se refletido em comentários neste blog (aqui, aqui, aqui, aqui e aqui). Ela tem levado a um número crescente de retirada de artigos publicados, mais conhecida pelo termo em inglês retraction, e que também tem sido tratado neste blog (aqui e aqui)  inclusive mostrando que a percentagem de artigos retirados é crescente (aqui).

Ilustração. Figura do trabalho de Hirsch 2005. Fig. 1. Schematic curve of number of citations versus paper number, with papers numbered in order of decreasing citations. The intersection of the 45° line with the curve gives h. The total number of citations is the area under the curve. Assuming the second derivative is nonnegative everywhere, the minimum area is given by the distribution indicated by the dotted line, yielding a = 2 in Eq. 1.

O coração da ciência está doente

“I think measurement, assessment and evaluation lie at the heart of the problem. Once you start counting papers, scoring journals and measuring impact then the purposes of publication change.”

Este trecho bastante significativo marca o tom da entrevista “The Heart of Research is Sick” de Peter Lawrence, (Cambridge).  O ponto fundamental é a crítica que o sistema de publicação se tornou um sistema de contagem para outros fins (promoção na carreira, obtenção de financiamento, e.g.) e se afastou do fundamental: a comunicação científica, o relato de dados importantes.

Há vários outros aspectos interessantes: “there is a growing irre- sponsibility with citations in journals, of not giving credit to others.”.

O arquivo (pdf) da entrevista completa pode ser baixado aqui.

O prazer de avaliar vem dos infernos?!

Este é o título do post de Helena Damião no De Rerum Natura. Faz referência ao texto abaixo (em elegante português luso).

“Os professores sabem que as notas não são fiáveis, que não dariam a mesma nota ao mesmo trabalho se lho apresentassem algumas semanas mais tarde e que os seus colegas dariam notas diferentes a esse mesmo trabalho. Eles sabem que são incapazes de precisar, mesmo para si mesmos, os objectivos e critérios de notação. Eles sabem que não sabem em que consiste o «nível» mínimo que permite «passar». Sabem que escapar à média é absurdo. Conhecem os efeitos da esteriotipia e de halo. Sabem mas não querem saber que sabem. Sabem insconscientemente. E é por isso que podem em boa fé falar da sua consciência profissional. Ela é, de facto, inocente: trata-se sim do inconsciente!
Mas porquê? O que é que eles defendem com esta resistência? (...) Defendem um prazer. Um prazer de má qualidade mas seguro, garantido, quotidiano. Um prazer que se tem de disfarçar para ser vivido sem culpabilidade (...). Esse prazer, é o prazer do Poder com P maiúsculo. O professor é o mestre absoluto das suas notas. Ninguém, nem o seu director, nem o seu inspector, nem mesmo o seu ministro, podem fazer nada quanto às notas que ele deu. Pois foi de acordo com o seu carácter e a sua consciência que ele as deu. Com o seu diploma, foi-lhe reconhecida a competência de avaliar (o que não deixa de ter graça!). A sua consciência profissional é inatacável. Na sua tarefa de avaliador, ele é omnipotente. E esse domínio significa poder sobre os alunos. A omnipotência de avaliar: um prazer que vem dos infernos e que não podemos olhar de frente...”

Patrice Ranjard, 1984, 93-94 in Philippe Perrenoud, 1992, 169-170

Enquanto isto, nós continuamos a avaliar os alunos da mesma forma de sempre. Avaliamos não somente os alunos, agora há também malditos baremas para avaliar o desempenho dos colegas professores.

Referência completa: PERRENOUD, P. (1992). Não mexam na minha avaliação! Para uma abordagem sistémica da mudança pedagógica. A. ESTRELA & A. NÓVOA (1992). Avaliação em educação: novas perspectivas. Lisboa: Educa, 155-173.

Universidade Federal da Bahia e a avaliação do MEC

Este post trata do desempenho da UFBA, a maior e mais antiga universidade na Bahia, na avaliação feita pelo MEC através do cálculo do Índice Geral de Cursos (IGC; abaixo há um texto do INEP sobre o cálculo do IGC). No dia 13 de março passado, a imprensa divulgou os resultados de uma ampla revisão feita pelo INEP nos IGC calculados anteriormente, chamando de novo a atenção para o problema.

A UFBA tem se situado em torno no 35⁰ lugar no cômputo geral e exibiu uma piora no desempenho nas avaliações divulgadas. Ainda é mais grave o fato das universidades estaduais paulistas não participarem da avaliação. Caso participassem, esperar-se-ia que a UFBA estivesse em torno do 40⁰ posto. 

Não é uma situação apropriada nem para sua história nem para o futuro da Bahia. Agrava a situação o fato da posição relativa da UFBA não demonstrar melhora. Pelo que tem sido divulgado internamente, esperava que a posição da UFBA fosse bem mais expressiva. 

Realmente será necessário um esforço importante de diversos segmentos da sociedade baiana para promover a melhora do ensino superior na Bahia. A ciência e tecnologia são fundamentais para o desenvolvimento e o sistema educacional é responsável pela formação de doutores. Os índices educacionais da Bahia são péssimos na sua comparação com outros estados e isto ainda é mais grave quando sabemos que o desempenho do Brasil é baixo internacionalmente.  Todo o sistema educacional da Bahia precisa ser melhorado vigorosamente. 

O que o IGC parece indicar é que a UFBA não aproveitou adequadamente a grande expansão promovida no ensino superior brasileiro durante o governo Lula. Para evitar a síndrome de Fitzcarraldo, é importante discutir como reverter a situação. A época de campanha para novo Reitor deve motivar reflexões profundas.

“Índice Geral de Cursos (IGC)

O Índice Geral de Cursos (IGC) é uma média ponderada dos conceitos dos cursos de graduação e pós-graduação da instituição. Para ponderar os conceitos, utiliza-se a distribuição dos alunos da IES entre os diferentes níveis de ensino (graduação, mestrado e doutorado). O IGC será utilizado, entre outros elementos e instrumentos, como referencial orientador das comissões de avaliação institucional.

O conceito da graduação é calculado com base nos Conceitos Preliminares de Cursos (CPC) e o conceito da pós-graduação é calculado a partir de uma conversão dos conceitos fixados pela CAPES.

Vale dizer que nas instituições sem cursos ou programas de pós-graduação avaliados pela CAPES, o IGC é simplesmente a média ponderada dos cursos de graduação.

Para a ponderação das matrículas da graduação, são utilizados dados dos Censos da Educação Superior. Para ponderação da pós-graduação, são utilizados os dados de matrículas da CAPES.”