Narin, Capítulo X


Application to university ranking
  • Neste capítulo o autor utiliza a bibliometria avaliativa para testar o índice Roose-Andersen (índice de classificação das universidade americanas);
  • O autor conduziu uma pesquisa que levou em conta 133.000 artigos de 11 campos, muito mais do que havia sido utilizado para classificar universidades até então. A pesquisa mostrou correlações muito fortes entre a classificação de publicação e o índice Roose-Andersen das universidades, mostrou que a pesagem da influência das publicações aumenta a correlação e que o índice Roose-Andersen apresenta um halo, um efeito no qual departamentos de alto nível mascaram departamentos vizinhos menos produtivos;
  •  As correlações são feitas a partir de três conjuntos de classificação de correlação Spearman [Spearman rank correlation]:
    • Entre o índice Roose-Andersen e o número de publicações da universidade;
    • Entre o índice Roose-Andersen e a influência por publicação média das publicações da univerisdade;
    • Entre o índice Roose-Andersen e a influência total das publicações da universidade;
  • Influência total é calculada da seguinte forma:
  • Narin explica:
    • "The number of publications from a university is a size-dependent measure, while the influence/publication is a size-independent measure of the influence of the journals in which the university is publishing. The total influence is then a combined measure of size and influence.";
  • Fazendo os cálculos, o autor encontrou alta correlação entre o índice Roose-Andersen e o número de publicações da instituição, assim como entre as correlação campo para campo [field by field correlations], correlação entre o tamanho das publicações com o índice e também correlação entre o índice com a influência por publicação da universidade;
  • O autor afirma que a influência por publicação é o mais próximo de uma medida de "qualidade" ou influência independente do tamanho, assim o índice também reflete a qualidade das instiuições;
    • "[...] correlations with total influence, shows that in every field the correlations between the Roose-Andersen ranking and the publicatoin ranking increase when size, as measured by total publications, and quality, as measured by influence per publication, are combined into total influence. [...] Overall, the additoin of the influence/publication "quality" factor yields a definite increase in the correlations between publicaiton ranking and the Roose-Andersen ranking.";
  • Em seguida, o autor discute o "efeito halo". Ele incia dizendo que quando um cientista julga a qualidade de um departamento ele não pode deixar de ser influenciado pelo prestígio geral da universidade. E também afirma que é verdadeira a relação entre prestígio geral e maior competência entre os diferentes campos. Porém ele diz que o índice superestima o prestígio de departamentos de universidades já prestigiadas.
  • Ele conclui:
    • "Overall, the separation of size (as measured by publicaitons) and quality (as measured by influence/publication) provides support for the hypothesis that the Roose-Andersen rankings are affected by the size of the departments and by the overall prestige of the university. The evaluative bibliometric techniques illustrated in this chapter show how a publication analysis can be used to substantiate and measure these qualitative effects.


Comentários

Postagens mais visitadas deste blog

O Evolucionista Voador - Costa

Brown Sequard

TS - Jia Ye (2021)