Narin, Capítulo V

Narin (1976)

Correlations with non-literature measures

• Narin introduz o tema afirmando:
• "The fundamental problem in any discussion of the validity of indicator of scientific productivity is the fact that there is no absolute standard of measure of such productivity. The classic scientific approach would be to obtain the best possible set pf indicators of quality or productivity from the literature, and validate these indicators through correlations and similar analyses with independent, objective and quantitative measures of scientific productivity and quality. Unfortunately, no such set of independent, objective, quantitative indicators exists. Thus, at present, the relationships between bibliometric measures and other measures may only be validated using a "rule of reason" approach."

• Logo em seguida ele pontua que as revistas e artigos científicos são a principal forma de medição, e diversos testes paralelos mostram correlação;

• Narin informa que medições bibliométricas são usadas para avaliar cientistas, departamentos e publicações científicas;

• Shockley merit index - Fração de empregados da mesma idade com o salário maior que o do indíviduo em questão;

• Spearman rank - Define quão bem a relação entre duas variáveis entre duas variáveis pode ser descrita usando uma função monotonica;

• Weighting technique - Medida utilizada em áreas onde livros e monografias são partes substanciais da produtividade. Eles são "pesados" para serem comparados com os artigos;

• O autor analisa pormenorizadamente 22 trabalhos em três categorias. Ver tabelas abaixo:

STUDIES USING CORRELATION MEASURES

Bayer & Astin (1975) – Estudaram a diferença de gênero na academia. Três critérios foram usados (ranque acadêmico, ranque de tenure e salário institucional base) e quatro variáveis foram definidas (Variáveis profissionais e características demográficas, educacionais e institucionais).

Bayer & Folger (1966) – Compararam as citações com o ranking Cartter de graduações. Os resultados mostram que três mais graduados de instituições de alta qualidade produzem artigos de maior impacto, quando comparados com graduados de instituições de baixa qualidade; também mostram que duas vezes mais graduados de instituições de baixa qualidade não possuiam citações. Comparações de Q.I. foram feitas e não mostraram correlações.

Bush, Hamelman & Staaf (1974) – Compararam as citações de 14 revistas de economia com uma avaliação por pares e encontraram alta correlação.

Cartter (1966) – O relatório Cartter possui uma comparação entre departamentos, nos campos da economia, política e inglês.

Clark (1957) – Estudou a relação de eminência com outros parâmetros na psicologia.

Cole & Cole (1967) – Estudaram a relação entre qualidade e quantidade da produção científica. O número de publicações serve como medidor de quantidade e o número de citações dos três artigos mais citados como de qualidade. Medidas não relacionadas a literatura [non-literature measures] foram: O número de prêmios; prestígio dos prêmios; colocação dos departamentos; e a porcentagem dos físicos familiares com a pesquisa do indivíduo em questão. Eles descobriram que quantidade e qualidade estão fortemente relacionadas entre si, independente dos parâmetros usados.

Lightfield (1971) – Lightfield conclui: “[…] the discipline of sociology does not reward and recognize the quality of the reseracher’s efforts to the extent that has been supposed. Certainly with respect to recognition by peers, the quantity of one’s publications is as important, if not more important, than the quality.” “The status rank of the department where a sociologist receives his PhD degree appears to have a direct effect on the quantity and quality of his publications.” “The data also show a relatively high consistency between quality publications and continued research output for a sociologist in the first several years of his professional career. If a sociologist is productive during his initial years, he is likely to remain so; conversely, if he does not publish a quality piece during his initial years, he is not likely to do so later.”

Outros estudos – DeWitt (não publicado); Drew & Karpf (1975); Hagstrom (1971); Shaw (1967); Solomon (1972).

STUDIES USING OTHER QUANTITATIVE MEASURES

Cohen-Shain (1975) – Estudou a relação entre a qualidade de uma publicação e do seu número de citações. Ela selecionou diversos cientistas para que lessem artigos sem nenhuma marca que pudesse enviesar o avaliador (nome dos autores, título, etc...). Os resultados demonstram alta correlação entre a qualidade e número de citações. Ela também descobriu que quanto mais tarde um artigo é publicado, menor o tempo de espera até que ele atinja seu pico de citações.

Crane (1965) – Estudou o reconhecimento de cientistas da biologia, psicologia e ciência política, de acordo com o tamanho da instituição onde trabalham. Narin separa algumas conclusões que podem ser feitas a partir dos dados: “1 – Graduates of major universities are more likely to be highly productive than graduates of minor universities.” “2 – Graduate school attendance has more effect on a scientist’s later productivity than current location.” “3 – Former students of eminent sponsors are more likely to be highly productive than students of other scientists.”

Gillmor (1975) – Estudou a tabela de classificação de impacto do Journal of Atmospheric and Terrestrial Physics (JATP) e encontrou correlação.

Harrold (1969) – Visava encontrar indicadores de produtividade que pudessem auxiliar laboratórios militares. Dois parâmetros foram escolhidos: 1) o número de artigos e patentes do laboratório e 2) e a performance de um laboratório segundo executivos de P&D. Harrold não encontrou correlação, uma vez que laboratórios militares não se propõem a serem reconhecidos de modo a aberto por meio de publicações.

Small (1974) – Small quis determinar o que uma alta taxa de citações significa para um trabalho. Ele encontrou alta correlação entre o número de citações e a avaliação de qualidade por pares.

Zuckerman (1967) – Estudou os padrões de produtividade, colaboração e autoria dos vencedores de Prêmios Nobel. Entre outras coisas, ele descobriu que a média de artigos publicados de um laureado é 3.9 artigos por ano durante sua carreira, comparada a 1.9 artigos por ano publicados  pelo cientista comum.

Outros estudos – Virgo (1974).

STUDIES USING QUALITATIVE MEASURES

Myers (1974) – Narin conclui: “In almost every case the highly cited scientists were also prominent in the various meritorious groups. Myers concluded that scientists judged to be scientifically eminent on the basis of a variety of independent criteria were also the most freqeuntly cited.”

Outros estudos – Middleton (1974); Mosaic (1975).