Narin, Capítulo X
Application to university ranking
- Neste capítulo o autor utiliza a bibliometria avaliativa para testar o índice Roose-Andersen (índice de classificação das universidade americanas);
- O autor conduziu uma pesquisa que levou em conta 133.000 artigos de 11 campos, muito mais do que havia sido utilizado para classificar universidades até então. A pesquisa mostrou correlações muito fortes entre a classificação de publicação e o índice Roose-Andersen das universidades, mostrou que a pesagem da influência das publicações aumenta a correlação e que o índice Roose-Andersen apresenta um halo, um efeito no qual departamentos de alto nível mascaram departamentos vizinhos menos produtivos;
- As correlações são feitas a partir de três conjuntos de classificação de correlação Spearman [Spearman rank correlation]:
- Entre o índice Roose-Andersen e o número de publicações da universidade;
- Entre o índice Roose-Andersen e a influência por publicação média das publicações da univerisdade;
- Entre o índice Roose-Andersen e a influência total das publicações da universidade;
- Influência total é calculada da seguinte forma:
- Narin explica:
- "The number of publications from a university is a size-dependent measure, while the influence/publication is a size-independent measure of the influence of the journals in which the university is publishing. The total influence is then a combined measure of size and influence.";
- Fazendo os cálculos, o autor encontrou alta correlação entre o índice Roose-Andersen e o número de publicações da instituição, assim como entre as correlação campo para campo [field by field correlations], correlação entre o tamanho das publicações com o índice e também correlação entre o índice com a influência por publicação da universidade;
- O autor afirma que a influência por publicação é o mais próximo de uma medida de "qualidade" ou influência independente do tamanho, assim o índice também reflete a qualidade das instiuições;
- "[...] correlations with total influence, shows that in every field the correlations between the Roose-Andersen ranking and the publicatoin ranking increase when size, as measured by total publications, and quality, as measured by influence per publication, are combined into total influence. [...] Overall, the additoin of the influence/publication "quality" factor yields a definite increase in the correlations between publicaiton ranking and the Roose-Andersen ranking.";
- Em seguida, o autor discute o "efeito halo". Ele incia dizendo que quando um cientista julga a qualidade de um departamento ele não pode deixar de ser influenciado pelo prestígio geral da universidade. E também afirma que é verdadeira a relação entre prestígio geral e maior competência entre os diferentes campos. Porém ele diz que o índice superestima o prestígio de departamentos de universidades já prestigiadas.
- Ele conclui:
- "Overall, the separation of size (as measured by publicaitons) and quality (as measured by influence/publication) provides support for the hypothesis that the Roose-Andersen rankings are affected by the size of the departments and by the overall prestige of the university. The evaluative bibliometric techniques illustrated in this chapter show how a publication analysis can be used to substantiate and measure these qualitative effects."
Comentários
Postar um comentário