pustoj_zhurnal (pustoj_zhurnal) wrote,
pustoj_zhurnal
pustoj_zhurnal

Categories:

О библиометрии


(via udod)

Отчет Международного математического союза в сотрудничестве с Международным советом индустриальной и прикладной математики и Институтом математической статистики


Joint Committee on Quantitative Assessment of Research

Citation Statistics

A report from the International Mathematical Union (IMU) in

cooperation with the International Council of Industrial and

Applied Mathematics (ICIAM) and the Institute of Mathematical

Statistics (IMS)

Robert Adler, John Ewing (Chair), Peter Taylor

6/11/2008

КРАТКИЕ ОСНОВНЫЕ ВЫВОДЫ


Это доклад об употреблении данных цитирования и о злоупотреблениях ими в оценке научных исследований. Идея, что оценка исследований может быть проведена "простыми и объективными методами", становится широко распространенной.

"Простые и объективные методы" навязчиво толкуются как библиометрия, т.е. как данные цитирования и выведенная из этого статистика. Есть верование, что статистика цитирования по своей природе более аккуратна, потому что она замещает сложные оценки простыми числами и потому преодолевает возможную субъективностьэкспертных оценок. Но это верование безосновательно.



• Полагаться на статистику неправильно, когда статистика используется ошибочным способом. Статистика может вводить в заблуждение, когда она неправильно употребляется или неправильно истолковывается. Большая часть современной библиометрии полагается на интуицию об интерпретации и вескости статистики цитирования.



•Хотя числа выглядят "объективными", их объективность может быть иллюзорной. Данные цитирования могут быть даже более субъективными, чем экспертная оценка. Так как эта субъективность менее очевидна, те, кто использует данные цитирования меньше всего способны оценивать эти ограничения.




• Исключительная уверенность в данных цитирования создает в лучшем случае неполное и часто легковесное понимание исследований - такое понимание может быть основательным, лишь если оно подкреплено иными средствами. Числа, по своей природе, не могут быть высшим аргументом. Использование данных цитирования в перспективе означает использование статистики цитирования для выстраивания иерархии журналов, статей, людей, программ и дисциплин. Статистические средства используемые для создания подобных иерархий часто ошибочны или содержит злоупотребления.



•В случае журналов для создания иерархии чаще всего используется импакт-фактор. Это просто среднее от распределения цитирований статей в журналах.Среднее замечает лишь небольшую информацию об этом распределении, это весьма примитивная статистика. Кроме этого есть много смешивающихся эффектов при оценке журналов по цитированию и нужна осторожность при сравнении журналов с помощью импакт-фактора. Использование лишь импакт-фактора для оценки журнала подобно использования одного лишь веса для суждения о здоровье человека.


• В случае статей, вместо использования действительного числа цитирований для сравнения статей, люди часто берут импакт-факторы журналов, в которых статьи появляются. Они верят, что более высокий импакт-фактор должен влечь более высокие результаты цитирования. Но это часто не так! Это вездесущее злоупотребление статистикой требует возражения, где и когда бы таковые не появлялись.




• Сравнение отдельных ученых с помощью полных данных цитирования может быть сложным. Как следствие, были попытки найти простые статистики, которые бы улавливали бы полную сложность данных цитирования одним числом. Но даже проверка h-индекса и его вариантов показывает, что это наивные попытки понять сложные данные цитирования. Коль скоро они улавливают небольшую долю информации о распределении цитирований ученого, они перестают быть решающей информацией, существенной для оценки исследований.


Обоснованность статистик, таких как импакт-фактор и h-индекс не являются ни хорошо понятыми, ни хорошо исследованными. Связь этих статистик с качеством исследований иногда обосновывается "опытом". Обоснование того, что на статисику можно положиться состоит в том, что она легко доступна.Но немногочисленные проведенные исследования больше фокусируются на показе корреляций с другими измерителями, чем на определении того, как лучше извлечь полезную информацию из данных цитирования.


Мы не отвергаем статистику цитирований как инструмент оценки качества исследований - данные цитирования и статистика могут дать определенную существенную информацию. Мы признаем, что оценка может иметь практическое значение, и по этой причине легко выводимые данные статистики цитирований почти наверное должны быть частью процесса. Но данные цитирования дают лишь ограниченный и неполный взгляд на качество исследований, а статистика, выводимая из данных цитирования иногда оказывается плохо истолкованной и злоупотребительной. Исследования - слишком важное дело, чтобы мерить их с помощью единственного грубого инструмента.

Мы надеемся, что те, кто вовлечен в оценку прочитает также комментарии и детали доклада, чтобы понять не только ограничения возможностей статистики цитирования, но и то, как лучше ее использовать. Если мы устанавливаем высокие стандарты для управления наукой, то это требует в равной степени высоких стандартов для оценки качества.



Joint IMU/ICIAM/IMS‐Committee on Quantitative Assessment of Research

Robert Adler, Technion–Israel Institute of Technology

John Ewing (Chair), American Mathematical Society

Peter Taylor, University of Melbourne




From the committee charge

Стремление к прозрачности и контролируемости академического мира породило "культуру чисел", организации и индивиды верят, что справедливые решения могут быть достигнуты алгоритмическим вычислением статистических данных. Не будучи способны измерять качество (конечная цель), лица, принимающие решения заменяют качество числами, которые они могут измерять. Эта тенденция требует комментариев тех, кто профессионально "имеет дело с числами", математиков и статистиков.



Полный текст



http://www.mathunion.org/fileadmin/IMU/Report/CitationStatistics.pdf



+++++++++++++++++++++++++++++++++++++++

Здесь надо иметь в виду, что неточность оценок в таких играх - не главная опасность

1. Коль скоро "число" становится судьбоносным измерителем (в данном случае от этого зависят устройство на работу и карьера), то высшей целью исследователя становится достижение этого показателя. То же самое касается журналов, университетов, институтов, научных групп. Между тем цели научных исследований и университетов иные, а эти показатели неизвестно что измеряют (тот же индекс цитированияизмеряет, главным образом, степень социализированности). Дальше люди и оргструктуры вынужденно начинают перестраиваться под побочные показатели.

В качестве свежего аналога можно заметить перестройку школ и учебников под ЕГЭ. Для любителей старины - хороший аналог этой матрахили - социалистическое соревнование. Но оно-то было наполовину понарошку (и никого, кроме организаторов соцсоревнования не интересовало), а тут все всерьез.

В силу инерции научных традиций (все же позади 400 лет рационального знания Нового Времени) и кастовой этики научный мир пока не вполне перестроен под новые правила жизни. Но это лишь вопрос времени.

2. Очевидно, что олигархии и бюрократии заинтересованы в этой цифири. В принципе это понятно, цифирные лозунги дают им возможность командовать наукой, не обращаясь к содержательной экспертизе. Но вполне возможно, что это не единственная причина, и что они также заинтересованы в трансформации науки в определенном направлении (например, создание внутринаучных олигархических иерархий или изведение социально опасного понятия истины из общественного сознания).

3. В отношении России. Вообще-то эта цифирь создана англосаксами в их собственных интересах (в интересах ли науки, или, скорее, чего еще). Эта цифирь (типа WoS)) вовсе не является национально нейтральной.

См. еще

http://www.sciencemag.org/content/340/6134/787.full

http://am.ascb.org/dora/

Subscribe
  • Post a new comment

    Error

    Anonymous comments are disabled in this journal

    default userpic

    Your reply will be screened

    Your IP address will be recorded 

  • 15 comments