Uma preocupação constante na ciência é medir, tudo deve ser capaz de ser expresso numa unidade física. Não é de estranhar que tal aspecto seja empregado em avaliar o próprio desempenho científico. Outra característica da ciência é o constante aperfeiçoamento.
As primeiras medidas de desempenho científico (número de trabalhos publicados) são muito pouco sofisticadas, pois há trabalhos de grande qualidade como os há de qualidade muito duvidosa. Devo mencionar, contudo, que em geral a qualidade acompanha a quantidade em publicações científicas.
O fator de impacto das revistas em que se publica adiciona alguma qualidade ao cálculo, já que as revistas de grande prestígio (quase) não aceitam trabalhos de baixa qualidade. Contudo, o fator de impacto de uma revista científica é obtido dividindo-se o número de citações pelo número de trabalhos publicados, ou seja, muitos trabalhos ali publicados são citados menos que o fator de impacto da revista. Em alguns casos , bem menos que este indicador.
Um outro avanço foi observar-se o número real de citações obtidas por cada um dos artigos em análise. Ainda restava a limitação de trabalhar com a média (ou algo similar) de citações obtidas, o que pode levar a conclusões falsas. Um, ou poucos artigos, com muitas citações podem elevar a média de citações de um determinado autor sem significar, necessariamente, qualidade maior que outro indivíduo. Como exemplo constate, usa-se o fato de um cientista que durante o seu pós-doutoramento teve oportunidade de trabalhar com alguém muito bom e colaborou em alguns trabalhos muito citados. Após este período, não teve mais artigos com elevado número de citações.
O índice h proposto por Jorge Hirsch “captures the quality (citations) and quantity (number) of papers, thus representing scientific achievements better than either factor alone. A scientist has an hindex of n if he or she has published n articles receiving at least n citations each. Einstein, Darwin and Feynman, for example, have impressive hindices of 96, 63 and 53, respectively.”
Ainda resta o problema de que o índice h é uma medida útil para cientistas com uma carreira já estabelecida, pois, assim como outros indicadores, se baseia no passado. Como comparar então jovens cientistas em início de carreira? o que ocorre nos concursos de ingresso, por exemplo.
Um artigo recente na Nature (Future Impact: Predicting scientific success) analise o problema e propõe uma solução. Eles cegaram a uma fórmula capaz de incluir “number of publications, those in highprofile journals, the hindex and collaborators. One can also infer inter disciplinary breadth, the length and quality of training, the amount of funding received and even the standing of the scientist’s PhD adviser.” Eles lembram que tais fatores já são normalmente avaliados pelos comitês de forma subjetiva. O que eles conseguem no trabalho é colocar pesos para tais fatores. Para chegar à fórmula eles usaram um grande banco de dados sobre neurocientistas e empregaram técnicas de aprendizado de máquina (machine-learning techniques) e linear regression with elastic net regularization (seja lá o que isto for!).
O gráfico da publicação mostra que o modelo tem uma grande capacidade de predição.
“The model predicted the future hindex accurately, yielding a respectable R2 = 0.67, crossvalidated across scientists (an R2 of 1 would imply that the model predicts the data perfectly). A simplified model containing only the number of published articles, the hindex, years since first publication, num ber of publications in prestigious neuro science journals (Nature, Science, Nature Neuroscience, Neuron and the Proceedings of the National Academy of Sciences) and the number of distinct journals still performed nearly equally well (R2 = 0.66; see ‘Predict your future hindex’)”
Vale a pena ler o artigo (aqui).
Acuna, D. E., Allesina, S., & Kording, K. P. (2012). Future impact: Predicting scientific success. Nature, 489(7415), 201–202. doi:10.1038/489201a
As ilustrações são do artigo original.
