Российский индекс научного цитирования (РИНЦ) разрабатывается с 2005 года ООО «Научная электронная библиотека» (НЭБ) по контракту с Министерством образования и науки РФ. На сайте НЭБ (http://www.elibrary.ru) в разделе «Российский индекс научного цитирования. О проекте» описание РИНЦ представлено следующим образом:

«Российский индекс научного цитирования (РИНЦ) - это национальная информационно-аналитическая система, аккумулирующая более 2 миллионов публикаций российских авторов, а также информацию о цитировании этих публикаций из более 2000 российских журналов. Она предназначена не только для оперативного обеспечения научных исследований актуальной справочно-библиографической информацией, нэффективности о является также и мощным инструментом, позволяющим осуществлять оценку результативности и деятельности научно-исследовательских организаций, ученых, уровень научных журналов и т.д.»

Серьезных публикаций, связанных с принципами построения РИНЦ, методикой и алгоритмами расчета показателей, представленных на сайте НЭБ, в профессиональных рецензируемых научных журналах нам найти не удалось. Обсуждению РИНЦ посвящен ряд дискуссий в интернете (см. например: Индексы раздора: материалы «Открытого семинара» polit.ru. - http://www.polit.ru/author/2008/11/07/seminar.html; Российский индекс научного цитирования: успехи и проблемы; проект глазами его разработчиков. - http://www.polit.ru/science/2009/01/26/rints.html), интервью с разработчиками, опубликованное в газете Поиск, № 37 за 2010 год. В этих материалах обсуждаются, в основном, вопросы полноты наполнения РИНЦ, проблемы, связанные с трудностями отнесения публикаций к авторам и организациям. Хотя и участники Интернет-дискуссий, и сами разработчики признают, что РИНЦ «далек от совершенства», Министерством образования и науки (Минобрнауки) предписано оценивать качество работы научных коллективов страны, исходя из данных, представленных в РИНЦ.

Приказом № 406 от 14.10.2009 г. Минобрнауки утвердило «Типовую методику оценки результативности деятельности научных организаций, выполняющих научно-исследовательские, опытно-конструкторские и технологические работы гражданского назначения». В соответствии с этой методикой для оценки публикационной активности ученых (являющейся одним из показателей эффективности научной деятельности) следует использовать данные Российского индекса научного цитирования (РИНЦ). Первые два пункта «Типовой методики…» сформулированы следующим образом.

1. Число публикаций работников научной организации в Российском индексе научного цитирования, отнесенное к численности исследователей (за каждый год из последних пяти лет, начиная с года, предшествующего текущему).
2. Цитируемость работников научной организации в РИНЦ (общее число ссылок на публикации работников научной организации в РИНЦ (за каждый год из последних пяти лет, начиная с года, предшествующего текущему), отнесенное к численности исследователей научной организации в году, предшествующем текущему).

Хотя эти показатели и не являются единственными, они играют существенную роль в оценке деятельности как отдельных ученых, так и научных организаций в целом, поэтому их достоверность при расчетах не должна вызывать сомнений.

Специалистами Библиотеки по естественным наукам (БЕН) РАН в течение многих лет ведутся работы с базами данных Science Citation Index (WEB of Science) и Scopus, аналогичными по задачам РИНЦ. По инициативе отдельных ученых, а также по заданию администрации академических институтов и научных центров осуществляется поиск информации, анализируется публикационная активность и цитируемость сотрудников многих институтов. Ряд работ в этом направлении БЕН РАН выполняет по грантам различных научных фондов. В процессе этой работы сотрудники БЕН РАН сталкивались с различными проблемами и накопили достаточно большой опыт по проведению исследований такого рода. Этот опыт отражен во многих публикациях [1 - 11].

Учитывая важность РИНЦ как одного из инструментов для оценки деятельности научных коллективов, мы решили протестировать достоверность и полноту данных, формируемых в РИНЦ, на примере хорошо нам известного журнала «Информационные ресурсы России» (ИРР). Результаты этого анализа приведены ниже.

Пользуясь ссылкой «Поиск журналов» на главной странице сайта РИНЦ и введя в поисковую строку каталога журналов «Информационные ресурсы», мы получили достаточно быстро страницу с данными о журнале (рис. 1) – количество выпусков и статей, представленных в РИНЦ, количество ссылок на журнал.

Когда мы перешли по активной ссылке, которую представляет собой название журнала, мы получили страницу, вызвавшую у нас первые вопросы (рис. 2).

Как легко заметить, РИНЦ утверждает, что во всех выпусках ИРР с 2005 по 2007 гг. количество статей равно количеству страниц в выпуске, иными словами, средняя длина статьи в ИРР равна одной странице. Это – неверная информация, все выпуски ИРР за это время имеют объем около 50 страниц. Взяв в руки журнал № 6 за 2007 год, можно убедиться, что в нем действительно напечатано 12 статей, но выпуск содержит 52 страницы, и нумерация не имеет ничего общего с представленной на рис. 3 (который мы получили, перейдя по активной ссылке из 4-го столбца рис. 2). В частности, статья А.Б. Антопольского и Н.Е. Каленова напечатана не на странице 4, как утверждает РИНЦ (рис. 3), а на страницах 11-17.

Перейдя по активной ссылке от названия этой статьи, можно получить дополнительную информацию о ее авторах и выходные данные (хотя в нашем случае и ошибочные – рис.4). Перейдя по активной ссылке от названия этой статьи, можно получить дополнительную информацию о ее авторах и выходные данные (хотя в нашем случае и ошибочные – рис.4).

РИНЦ предоставляет пользователю удобную возможность, выйдя на нужную статью, получить список всех публикаций ее авторов. Перейдя по соответствующей активной ссылке, получим список из 38-ми публикаций А.Б. Антопольского и Н.Е. Каленова, фрагмент которого представлен на рис. 5. РИНЦ предоставляет пользователю удобную возможность, выйдя на нужную статью, получить список всех публикаций ее авторов. Перейдя по соответствующей активной ссылке, получим список из 38-ми публикаций А.Б. Антопольского и Н.Е. Каленова, фрагмент которого представлен на рис. 5.

В этом списке – одна совместная публикация (от которой мы и шли), 21 публикация А.Б. Антопольского и 16 публикаций Н.Е. Каленова. Посмотрим, что нам выдает РИНЦ, если мы будем выбирать автора, а затем его публикации.

Перейдя в Авторский указатель и задав фамилию Антопольский, мы получили форму, представленную на рис. 6, где в явном виде написано, что у Антопольского А.Б. в РИНЦЕ имеется только 18 публикаций (вместо 22-х, которые мы уже видели в РИНЦе же)!

Проделаем эту же операцию с Н.Е. Каленовым и обнаружим, что у него не 17 публикаций (о чем нам ранее сообщил РИНЦ), а 26 (рис. 7).

Но дальше – еще интереснее: если мы перейдем по ссылке «Анализ публикационной активности» (значок диаграммы между количеством статей и цитирований на рис.6 и 7), мы узнаем, что у Н.Е. Каленова не 26, а 24 статьи (рис.8), а у А.Б. Антопольского не 18, а 15 (рис. 9)! Воистину, неисповедимы пути РИНЦа!

Рис. 8.

Приведем еще один пример, демонстрирующий странности системы. Рассмотрим организации, сотрудники которых публиковали в журнале ИРР свои работы. РИНЦ выдает нам список организаций, упорядоченный в порядке убывания количества публикаций (рис. 10). Мы видим, что в числе 10-и организаций, опубликовавших не менее 3-х работ, отсутствует БЕН РАН.

Рассмотрим авторский список публикаций журнала ИРР. РИНЦ выдает список 10-ти авторов, опубликовавших не менее 3-х статей (рис. 11). Под номером 7 числится Каленов Н.Е., опубликовавший 4 статьи, обработанных в РИНЦ (заметим, что при анализе публикационной активности Н.Е. Каленова РИНЦ сообщает, что им опубликовано в ИРР 8 статей).Рассмотрим авторский список публикаций журнала ИРР. РИНЦ выдает список 10-ти авторов, опубликовавших не менее 3-х статей (рис. 11). Под номером 7 числится Каленов Н.Е., опубликовавший 4 статьи, обработанных в РИНЦ (заметим, что при анализе публикационной активности Н.Е. Каленова РИНЦ сообщает, что им опубликовано в ИРР 8 статей).

Посмотрим, сколько различных Каленовых Н.Е. имеется в БД. Выдача РИНЦ (рис.7) показывает, что такой автор в системе – один, и отнесен он к единственной организации – БЕН РАН. То, что одна из его публикаций не попала в список, отнесенный к данной организации, говорит о наличии внутренней ошибки системы.  Зайдем с другой стороны. В каталоге журналов найдем журнал «ИРР» и выясним, сколько статей у Каленова Н.Е. напечатано в журнале ИРР, оказывается 5 (рис.12).

Если же в авторском профиле искать статьи Каленова Н.Е. в журнале ИРР, их будет уже 8 (рис.13). Причем статья №5 из списка, представленного на рис.12, отсутствует в перечне статей, представленных на рис. 13.Если же в авторском профиле искать статьи Каленова Н.Е. в журнале ИРР, их будет уже 8 (рис.13). Причем статья №5 из списка, представленного на рис.12, отсутствует в перечне статей, представленных на рис. 13.

Рассмотрим «Информационные ресурсы России» №1(113) за 2010 год. В этом номере 9 статей, 13 авторов. В РИНЦ мы можем выйти на страницу журнала и посмотреть, какие номера обработаны в системе. Номер 1 за 2010 год уже обработан (рис.14).

Войдем в авторский указатель и попробуем найти статьи из этого номера по авторам. Из 13 авторов в базе данных авторов есть только 8. У четырех авторов из этих 8-ми в списке публикаций нет статей из этого номера. Рассмотрим соответствующие примеры.

Будем искать Исмагилову Алсу Халитовну - автора третьей статьи из этого номера «Разработка и внедрение проекта Национальной электронной библиотечно-информационной системы Республики Татарстан (НЭБИС РТ)». Система выдает 32 человека с такой фамилией, автора указанной статьи среди них нет. Следует отметить, что из 32 человек с фамилией «Исмагилова» 20 представленных авторов имеют нулевое цитирование и нулевое число статей (см. рис. 15). Возникает вопрос, как и зачем они попали в РИНЦ?

Рассмотрим перечень статей кандидата технических наук, доцента Кемеровского государственного университета культуры и искусств Анатолия Ивановича Колкова, автора первой статьи рассматриваемого номера ИРР (рис.16). Статьи из журнала ИРР нет. Хотя авторство Колкова Анатолия Ивановича установлено (рис.17).

Рис. 16.

Рис. 17.

Аналогичная ситуация с заведующим кафедрой гуманитарных дисциплин Тамбовского филиала Московского государственного университета культуры и искусств, кандидатом исторических наук, доктором культурологии Пирожковым Геннадием Петровичем. Он является одним из авторов статьи «Документный фонд Тамбовского центра краеведения как информационный ресурс культуры» в рассматриваемом нами выпуске, что подтверждает РИНЦ при переходе на страницу статьи по соответствующей ссылке списка, представленного на рис. 14 (рис.18). В авторском указателе РИНЦ есть нужный нам Пирожков Геннадий Петрович, но тот же РИНЦ утверждает, что ни одной его статьи в системе не обработано (последняя строка рис.19).

Рис. 18.

Рис. 19.

Обращаем внимание, что статья приписана к Тамбовскому филиалу Московского государственного университета культуры и искусств, где работает Пирожков Геннадий Петрович (рис.20).Обращаем внимание, что статья приписана к Тамбовскому филиалу Московского государственного университета культуры и искусств, где работает Пирожков Геннадий Петрович (рис.20).

Рис. 20.

В ИРР в первом номере за 2010 год опубликована статья доктора экономических наук, профессора ГУ Высшей школы экономики Ивана Ивановича Родионова «Среда для инновационной деятельности в области ИТ и телекоммуникаций: состояние и перспективы» (рис.21).

Рис. 21.

В авторском указателе значится только один Иван Иванович Родионов из Всероссийского института научной и технической информации (ВИНИТИ) РАН (рис.22). В авторском указателе значится только один Иван Иванович Родионов из Всероссийского института научной и технической информации (ВИНИТИ) РАН (рис.22).

Рис. 22.

И в список его публикаций внесена статья из ИРР №1, 2010 (рис.23).

Рис. 23.

Проанализировав первый номер журнала «Информационные ресурсы России» за 2010 год, видим, что правильная и точная информация дана только по трем из тринадцати авторов этого номера. Иными словами, достоверность системы в настоящее время не превышает 25%.

Вызывает удивление, что система выдает противоречивые данные, казалось бы, в самых простых случаях. Так, обобщенная статистика по журналу «НТИ, сер. 1» нам сообщает, что в 2009 году в журнале было опубликовано 74 статьи, а статистика распределения количества публикаций по годам утверждает, что их было 80. Что интересно – суммарное количество статей по всем годам совпадает с общим количеством, приведенным в «Общих показателях» (351)! Аналогично в случае с журналом «Информационные ресурсы России» (ИРР) - в «Общих показателях» приведено число статей 364, суммирование по годам дает 364; несмотря на то, что в 2009 году в «Общих показателях» числится 45 статей, а в распределении по годам – 54 (рис.24 и 25)!

Рис. 24.

Рис. 25.

Проведенный нами анализ показал, что в дополнение к недостаткам системы, связанным с трудностями распознавания авторов и организаций, о которых говорится в упомянутой нами статье в газете Поиск, в действующей версии РИНЦ заложены алгоритмические ошибки, которые приводят к нестыковке числовых параметров, неправильному отнесению публикаций к организациям и авторам, потере публикаций и т.п. При разработке системы в нее заложена неправильная модель данных – «зная», что автор отнесен к единственной организации, а статья к данному автору, система не относит статью к данной организации. При правильной модели данных такого быть не должно.

В задачи данной статьи не входит обсуждение принципов и результатов расчетов различных наукометрических показателей, реализованных на сайте РИНЦ, хотя к ним имеется большое количество вопросов и замечаний. Результаты проведенного анализа приводят к единственно возможному выводу: в том виде, в котором РИНЦ представлен в настоящее время на сайте НЭБ, использовать систему как «инструмент, позволяющий осуществлять оценку результативности и эффективности деятельности научно-исследовательских организаций, ученых, уровень научных журналов и т.д.» ни в коем случае нельзя.

Очевидно, что разработчиками проделана большая работа, связанная с разработкой алгоритмов, созданием программного обеспечения и организационной структуры поддержки РИНЦ. В системе заложена достаточно удобная система навигации, позволяющая переходить от публикаций к авторам, соавторам, журналам и т.п. Выполненная разработка после исправления алгоритмических ошибок может служить серьезной основой для создания достоверной и полезной системы. Однако, как и любая научная работа, исследования, связанные с созданием РИНЦ, должны обсуждаться специалистами на страницах профессиональной печати, а не только и не столько в средствах массовой информации.

Недавно Минобрнауки объявило конкурс на разработку информационно-аналитической системы статистического анализа библиометрических показателей науки на основе данных РИНЦ. В этом конкурсе НЭБ выступает вместе с БЕН РАН. БЕН РАН как организация, непосредственно связанная с современными технологиями в информационном обеспечении науки, предполагает, в случае победы на конкурсе, принять активное участие в исправлении ошибок РИНЦ, разработке алгоритмов новой системы, ее тестировании и опытной эксплуатации.

Литература:

1. Характеризация некоторых научных направлений Института кристаллографии РАН в базе данных "Web of Science" / Лаврентьева М.В., Мелконян М.К., Смирнов С.Н..// Новые технологии в информационном обеспечении науки: Сборник научных трудов / Каленов Н.Е. (ред). - М.: Биоинформсервис, 2001. – С. 127-131.

2. База данных "SCIENCE CITATION INDEX" на CD-ROM / Глушановский А.В., Каленов Н.Е., Лексикова Е.Е. – М., 1993. – 38 с.

3. Использование Science Citation Index в библиометрических исследованиях науки / Слащева Н.А., Харыбина Т.Н., Васильчиков В.В.. // Новые технологии в информационном обеспечении науки: Сборник научных трудов / Каленов Н.Е. (ред). - М.: Биоинформсервис, 2001. - С. 77-79.

4. Мохначева Ю.В., Слащева Н.А. Научная публикация как объект наукометрических исследований (Из опыта Центральной библиотеки Пущинского научного центра РАН - отдела БЕН РАН) // Библиотеки национальных академий наук: проблемы функционирования, тенденции развития. Научно-практический сборник. Вып.4. Киев, Наукова Думка, 2006. - №4. - С.67-79.

5. Некоторые аспекты библиометрического анализа научной активности ученых России, Белоруси и Украины // Новые технологии в информационном обеспечении науки: / Харыбина Т.Н., Мохначева Ю.В., Слащева Н.А. // Сборник научных трудов / Каленов Н.Е. (ред). - М.: Научный мир, 2007. - С.225-232.

6. Мохначева Ю.В., Харыбина Т.Н. Методика определения значимости научных публикаций // Библиосфера, 2008/ - №: 3. - С.23-33.

7. Мохначева Ю.В., Харыбина Т.Н. Количественные показатели научной деятельности в НИИ ПНЦ РАН // Наука, образование, инновации / 1-я Всероссийская конференция, ноябрь, 10-12,2008. Тезисы выступлений участников. М., 2008. - С.278-281.

8. Мохначева Ю.В., Харыбина Т.Н. Применение библиометрических методов исследования в информационном обеспечении ученых НИИ ПНЦ РАН // Библиотека по естественным наукам РАН. Итоги и перспективы. Сборник статей. – М.: БЕН РАН, 2008. - С.255-270.

9. Анализ научной деятельности ученых в соответствии с о.сновными библиометрическими индикаторами (на примере НИИ Пущинского научного центра РАН) / Мохначева Ю.В., Харыбина Т.Н., Слащева Н.А. // XVI конференция представителей региональных научно-образовательных сетей "RELARN-2009". Сборник тезисов докладов. – СПб, 2009. – С.136-138.

10. Библиометрический анализ публикаций организаций Московской области в сфере нанотехнологий / Бескаравайная Е.В., Митрошин И.А., Слащева Н.А., Мохначева Ю.В., Беспалова Л.А. // Информационное обеспечение науки: новые технологии: Сб. науч. тр. / Каленов Н.Е. (ред). - М.: Научный мир, 2009. – С.263-271.

11. Использование библиометрических методов в практической деятельности академических библиотек / Мохначева Ю.В., Слащева Н.А., Харыбина Т.Н. // Академические библиотеки в цифровую эпоху: к 85-летию со дня основания ЦНБ им. Я. Коласа НАН Беларуси: сб. науч. ст. – Минск, 2009. – С. 42-44.