?

Log in

No account? Create an account

Previous Entry Share Next Entry
О библиометрии
pustoj_zhurnal

(via udod)

Отчет Международного математического союза в сотрудничестве с Международным советом индустриальной и прикладной математики и Институтом математической статистики


Joint Committee on Quantitative Assessment of Research

Citation Statistics

A report from the International Mathematical Union (IMU) in

cooperation with the International Council of Industrial and

Applied Mathematics (ICIAM) and the Institute of Mathematical

Statistics (IMS)

Robert Adler, John Ewing (Chair), Peter Taylor

6/11/2008

КРАТКИЕ ОСНОВНЫЕ ВЫВОДЫ


Это доклад об употреблении данных цитирования и о злоупотреблениях ими в оценке научных исследований. Идея, что оценка исследований может быть проведена "простыми и объективными методами", становится широко распространенной.

"Простые и объективные методы" навязчиво толкуются как библиометрия, т.е. как данные цитирования и выведенная из этого статистика. Есть верование, что статистика цитирования по своей природе более аккуратна, потому что она замещает сложные оценки простыми числами и потому преодолевает возможную субъективностьэкспертных оценок. Но это верование безосновательно.



• Полагаться на статистику неправильно, когда статистика используется ошибочным способом. Статистика может вводить в заблуждение, когда она неправильно употребляется или неправильно истолковывается. Большая часть современной библиометрии полагается на интуицию об интерпретации и вескости статистики цитирования.



•Хотя числа выглядят "объективными", их объективность может быть иллюзорной. Данные цитирования могут быть даже более субъективными, чем экспертная оценка. Так как эта субъективность менее очевидна, те, кто использует данные цитирования меньше всего способны оценивать эти ограничения.




• Исключительная уверенность в данных цитирования создает в лучшем случае неполное и часто легковесное понимание исследований - такое понимание может быть основательным, лишь если оно подкреплено иными средствами. Числа, по своей природе, не могут быть высшим аргументом. Использование данных цитирования в перспективе означает использование статистики цитирования для выстраивания иерархии журналов, статей, людей, программ и дисциплин. Статистические средства используемые для создания подобных иерархий часто ошибочны или содержит злоупотребления.



•В случае журналов для создания иерархии чаще всего используется импакт-фактор. Это просто среднее от распределения цитирований статей в журналах.Среднее замечает лишь небольшую информацию об этом распределении, это весьма примитивная статистика. Кроме этого есть много смешивающихся эффектов при оценке журналов по цитированию и нужна осторожность при сравнении журналов с помощью импакт-фактора. Использование лишь импакт-фактора для оценки журнала подобно использования одного лишь веса для суждения о здоровье человека.


• В случае статей, вместо использования действительного числа цитирований для сравнения статей, люди часто берут импакт-факторы журналов, в которых статьи появляются. Они верят, что более высокий импакт-фактор должен влечь более высокие результаты цитирования. Но это часто не так! Это вездесущее злоупотребление статистикой требует возражения, где и когда бы таковые не появлялись.




• Сравнение отдельных ученых с помощью полных данных цитирования может быть сложным. Как следствие, были попытки найти простые статистики, которые бы улавливали бы полную сложность данных цитирования одним числом. Но даже проверка h-индекса и его вариантов показывает, что это наивные попытки понять сложные данные цитирования. Коль скоро они улавливают небольшую долю информации о распределении цитирований ученого, они перестают быть решающей информацией, существенной для оценки исследований.


Обоснованность статистик, таких как импакт-фактор и h-индекс не являются ни хорошо понятыми, ни хорошо исследованными. Связь этих статистик с качеством исследований иногда обосновывается "опытом". Обоснование того, что на статисику можно положиться состоит в том, что она легко доступна.Но немногочисленные проведенные исследования больше фокусируются на показе корреляций с другими измерителями, чем на определении того, как лучше извлечь полезную информацию из данных цитирования.


Мы не отвергаем статистику цитирований как инструмент оценки качества исследований - данные цитирования и статистика могут дать определенную существенную информацию. Мы признаем, что оценка может иметь практическое значение, и по этой причине легко выводимые данные статистики цитирований почти наверное должны быть частью процесса. Но данные цитирования дают лишь ограниченный и неполный взгляд на качество исследований, а статистика, выводимая из данных цитирования иногда оказывается плохо истолкованной и злоупотребительной. Исследования - слишком важное дело, чтобы мерить их с помощью единственного грубого инструмента.

Мы надеемся, что те, кто вовлечен в оценку прочитает также комментарии и детали доклада, чтобы понять не только ограничения возможностей статистики цитирования, но и то, как лучше ее использовать. Если мы устанавливаем высокие стандарты для управления наукой, то это требует в равной степени высоких стандартов для оценки качества.



Joint IMU/ICIAM/IMS‐Committee on Quantitative Assessment of Research

Robert Adler, Technion–Israel Institute of Technology

John Ewing (Chair), American Mathematical Society

Peter Taylor, University of Melbourne




From the committee charge

Стремление к прозрачности и контролируемости академического мира породило "культуру чисел", организации и индивиды верят, что справедливые решения могут быть достигнуты алгоритмическим вычислением статистических данных. Не будучи способны измерять качество (конечная цель), лица, принимающие решения заменяют качество числами, которые они могут измерять. Эта тенденция требует комментариев тех, кто профессионально "имеет дело с числами", математиков и статистиков.



Полный текст



http://www.mathunion.org/fileadmin/IMU/Report/CitationStatistics.pdf



+++++++++++++++++++++++++++++++++++++++

Здесь надо иметь в виду, что неточность оценок в таких играх - не главная опасность

1. Коль скоро "число" становится судьбоносным измерителем (в данном случае от этого зависят устройство на работу и карьера), то высшей целью исследователя становится достижение этого показателя. То же самое касается журналов, университетов, институтов, научных групп. Между тем цели научных исследований и университетов иные, а эти показатели неизвестно что измеряют (тот же индекс цитированияизмеряет, главным образом, степень социализированности). Дальше люди и оргструктуры вынужденно начинают перестраиваться под побочные показатели.

В качестве свежего аналога можно заметить перестройку школ и учебников под ЕГЭ. Для любителей старины - хороший аналог этой матрахили - социалистическое соревнование. Но оно-то было наполовину понарошку (и никого, кроме организаторов соцсоревнования не интересовало), а тут все всерьез.

В силу инерции научных традиций (все же позади 400 лет рационального знания Нового Времени) и кастовой этики научный мир пока не вполне перестроен под новые правила жизни. Но это лишь вопрос времени.

2. Очевидно, что олигархии и бюрократии заинтересованы в этой цифири. В принципе это понятно, цифирные лозунги дают им возможность командовать наукой, не обращаясь к содержательной экспертизе. Но вполне возможно, что это не единственная причина, и что они также заинтересованы в трансформации науки в определенном направлении (например, создание внутринаучных олигархических иерархий или изведение социально опасного понятия истины из общественного сознания).

3. В отношении России. Вообще-то эта цифирь создана англосаксами в их собственных интересах (в интересах ли науки, или, скорее, чего еще). Эта цифирь (типа WoS)) вовсе не является национально нейтральной.

См. еще

http://www.sciencemag.org/content/340/6134/787.full

http://am.ascb.org/dora/



  • 1
Когда-то большевики камлали на своих партсобраниях, что-де наука становится непосредственной производственной силой. Она таки-местами стала, и что делать с этим, не понимает никто.

Потому что человечество худо-бедно наработало какие-то социальные механизмы отделения агнцев от козлищ в сфере экономики. Покупатют - прав, не покупают - неправ, пока не переломил рынок об колено и не заставил покупать, а уж какое колено и кто ломал, - дело десятое.

По поводу "прикладной науки" не должно быть никаких споров: кто девушку собирается танцевать, тот её и ужинает. Хирш хиршом, а долларь долларём.

А с фундаментальной наукой таки-бяда. Есть единственный способ ей заниматься: peer-reviewed selection вплоть до того возраста, когда иные свой первый миллиард делают, и потом неограниченный (в пределах разумного) кредит доверия на то, чем заниматься.

Ну, и феномен Алфёрова нельзя забывать. Это когда неограниченный кредит таки-выходит за пределы разумного.

Кстати, прикладная наука в 20 веке процветала под крылом военных, т.е., она не чисто долларовая вещь. Но тоже, все проверяемо, летает-не летает, бабахает-не бабахает, дешифруется-не дешифруется и т.п.

Ну, это просто другая форма оплаты. Доллары на исследования проходили по другому ведомству, но там тоже нельзя было долго торсионным оружием отчитываться.

P.S. Кстати, и при большевиках наука (особенно в послевоенное десятилетие) отчасти была непосредственной производительной силой.

А что ты имешь в виду под "что делать с этим, не понимает никто". Биологи?

Одна из (известных мне) проблем состоит в том, что грань между прикладной наукой (где всем известно, в каком направлении рыть, вопрос в числе землекопов и цене горнопромышленного оборудования) и чистой наукой, где пытаются скрестить ежа с ужом в расчёте на забавное потомоство, - размыта.

Теоретически прикладной наукой должны заниматься те, кто работает по найму на деньги инвестора, а чистой, - те, кто доказал своё умение задавать природе интересные вопросы и получать неожиданные ответы. На практике в "чистой" науке всё больше грантов "под заказ", "на тему" и пр., в результате чего на "благотворительные" деньги (а гранты на науку - именно благотворительность от государственных агентств, не подразумевающая никакой бизнес-модели возмещения) делаются исследования, ориентированные на коммерческие приложения.

Один из примеров: сейчас почти любой биолог или биохимик с репутацией может, даже не нагибаясь, получить деньги на исследования, относящиеся к канцерогенезу и пр. Там столько частных пожертвований от богатых филантропов, болеющих раком, что только держи карман шире. Соответственно есть искушение: если не удаётся надыбать грантов на что-нибудь реально интересное и неизвестное, взять грант на это и оплатить существование своей лаборатории "малой кровью".

На самом деле не надо беспокоиться за то, что "чистая" наука - бесполезная трата денег. У тех, кто ей занимается, сознательно или подсознательно в голове всегда сидит понимание: если, занимаясь чем-то абстрактным, набредаешь на практически важные вещи, - всё, твоя карьера в шоколаде, ты можешь до конца дней не думать о личном благополучии, и сам будешь выбирать, - зарабатывать ли деньги "прикладными исследованиями", эксплуатируя найденное месторождение, или стричь купоны с патентных отчислений и продолжать надувать лягушек, изучая их плавучесть в зависимости от давления и формы.

Есть еще где-то грань того, что берется или не берется массами землекопов.

при большевиках наука (особенно в послевоенное десятилетие) отчасти была непосредственной производительной силой.

Это не совсем наука, точнее, почти совсем не наука была, если ты имеешь в виду бомбу и спутник. Наука там закончилась в начале 30-х, а оставались инженерные проблемы, которые были заведомо решаемы, и к решению которых привлекли учёных (физиков, химиков, математиков, ...). Те сделали "изделие" и вернулись к своим игрушкам. Мобилизационный проект. Шарашка.

Ну там скорее была сложная смесь научных проблем с землекопными задачами (с длинным спектром).

В упомянутом докладе есть и другие утверждения:

"есть интуитивное понимание того, что высококачественные статьи
много цитируются". Согласны ли вы с этим? Не следует ли из него,
что малоцитируемая статья скорее всего не является высококачественной?

Никак не следует. Цитируемость значит например что в данном горячем и иногда дурацком сюжете сидит много народу. А в сильно новом народу всегда мало. Отсутствие цитируемости может значит что результат переписан в учебниках и цитируют их. Это не учитывают никакие индексы. Может быть что угодно. Вес не главный показатель человека, а просто некий показатель.

Не в тему: коньяк в неумеренных дозах пора перестать пр

Да, а имитированный бред в самом деле встречается

В добавление к сказанному Удодом. Есть прорывные статьи (причем известно, что они прорывные), которые почти или вообще не цитируются.

Или вот Максвелл был вообще то инженером. У него есть интересная ранняя чисто геометрическо-инженерная деятельность которая пошла в обиход только недавно и то плавно.

Тогда другая постановка вопроса. Знаете ли вы статью, представляющуюся вам прорывной,
опубликованную в период с 1990 по 2005 год, на которую на текущий момент имеется меньше
20 неавторских ссылок?

Конечно знаю. Много чего знаю. Знаю массу вообще неопубликованных прорывных рукописей. Писем. Рукописей пропавших и выброшенных в море. Наука не так работает чтобы мерить простым градусником. Равно как и жизнь. Нет такого градусника и быть не может. Это теорема. Доказательство в том что на науке нет корректной статистики - там нет массы одинаковых явлений. И в том что мы не ссылаемся на всех изобретателей миллиона фундаментальных технологий от Пифагора до наших дней, которые используются всякий раз когда мы тут жмем на кнопки компьютера. Даже о них не подозреваем. Наука становится воздухом которым мы дышим. Мерить цитирование можно. Оценивать по нему - нельзя, если только не хочется грохнуть институт науки.

  • 1