«Информационные Ресурсы России» №2, 2011

Введение

В настоящее время Правительством РФ внедряется система оценки эффективности научных разработок, принятая на западе и основанная на расчете числа публикаций научных сотрудников в наиболее авторитетных научных журналах и цитировании работ научного сотрудника [1]. На основании решений Правительства РФ соответствующие нормативные документы разработаны и для учреждений Российской академии образования [2]. Однако исторически сложилось так, что российские социальные и гуманитарные науки настолько обособлены, что даже главный экономический журнал РФ на Западе вообще не рассматривают всерьёз. Как показал наш анализ [3], число публикаций в зарубежных журналах в институтах РАО колеблется от нуля до 10 в год и составляет в расчете на один институт 2 публикации в год, а в расчете на одного сотрудника около 0,03 статьи в год. В то же время число публикаций в российских рецензируемых журналах на порядок выше (в период 2007-2008 годы составил 0,26 статьи на исследователя).

Именно поэтому в 2005 году был запущен проект «Российский индекс научного цитирования» (РИНЦ) на основе базы данных научной электронной библиотеки (НЭБ). В настоящее время в базе РИНЦ общественные и гуманитарные науки представлены достаточно хорошо: из 15 журналов-лидеров по импакт-фактору 7 относятся к этим областям знаний [4]. Поэтому в нормативных документах правительства рекомендуется оценивать деятельность отдельных исследователей и научных организаций в целом, опираясь на РИНЦ.

Однако следует учитывать, что база данных НЭБ, на основе которой рассчитывается РИНЦ – становящаяся база. Темпы роста публикаций, помещенных в НЭБ в последнее время, таковы, что число журналов, отнесенных к отрасли знаний «Психология», например, возросло за полтора года вдвое [5]. Сервисы базы находятся в постоянной доработке. Опубликован ряд статей, в которых с разных позиций РИНЦ подвергается критике, как необъективный [6]. На сайте государственной научно-технической библиотеки сибирского отделения РАН приведена инструкция [7], в которой прямо указано, что поиск по авторскому указателю будет неполным и рекомендуется пользоваться дополнительными поисками, поскольку:
1) перечень обрабатываемых журналов ограничен;
2) автоматически учитываются ссылки на публикации российских авторов только в англоязычных версиях журналов, так как транслитерация фамилий производится по правилам Библиотеки Конгресса США;
3) автоматически не обрабатываются ссылки на статьи из журналов, отсутствующих в НЭБ, а также на монографии, диссертации и авторефераты диссертаций, патенты, статьи из сборников.

Кроме того, в работе [3] нами было отмечено, что критерии оценки эффективности организаций и сотрудников, применяемые к исследованиям в научно-технических отраслях знаний, по ряду параметров не отражают истинного вклада исследователей в науки об образовании.

В то же время многие признают, что база электронных версий журналов и пристатейной библиографии может оказаться полезным инструментом наукометрических исследований, особенно для общественных наук. Многие публикации на тему РИНЦ носят характер изложения мнения некоторых авторитетов или заявлений отдельных ученых, проводивших исследование наличия собственных публикаций в РИНЦ и собственных индексов цитирования. Сопоставление цитирований в РИНЦ и в WoS проводится только для представителей естественнонаучных дисциплин, поскольку в Web of Social Science входят всего 4 российских журнала.

В связи с этим в данной работе предпринята попытка более системно изучить, какие возможности открывает база данных РИНЦ (НЭБ) для установления публикационной активности научных сотрудников в области наук об образовании и какие доработки программы необходимы для использования этих возможностей широкой научной общественностью. В цели данной работы входило:
- исследование возможности установления публикационной активности сотрудников ИНИМ РАО за 2005-2009 годы;
- соответствие получаемого списка публикаций полному списку работ сотрудников за эти годы;
- установление индексов и цитируемости и профилей цитирования разных жанров работ сотрудников на основании данных

Результаты и их обсуждение

Исследование проводилось на основе сопоставления анкет научных сотрудников ИНИМ РАО и анализа базы РИНЦ с использованием различных поисковых сервисов, представляемых НЭБ. Кадровый состав научных сотрудников института, публикационная активность которых анализировалась, следующий: на конец 2009 года 91% имел степень кандидата или доктора наук, 38% имели возраст до 39 лет.

Анализ анкет показал, что 6 сотрудников не имели ни одной публикации в период с 2005 по 2009 год в рецензируемых журналах, из них только двое являются молодыми специалистами. Публикационная активность этих сотрудников не проверялась по базе НЭБ. Двое сотрудников на момент проведения исследования уволились из института и получить с них анкетные данные о числе публикаций не представлялось возможным — по ним проводился только поиск публикационной активности по базе НЭБ. Таким образом, анализ публикаций и цитирований по базе НЭБ проводился суммарно для 26 научных сотрудников. Приведенные данные соответствуют состоянию базы на 01.12.2010 г.

Публикационная активность согласно базе НЭБ. Работа с поисковой системой НЭБ показала, что установление числа публикаций по авторскому указателю не дает достоверной информации о числе публикаций. При поиске в авторском указателе автор данной статьи имеет в базе НЭБ 4 статьи, опубликованных в период 1991 по 1997 годы, а при поиске по пути «Поисковые запросы – Добавить автора – Фамилия И.О.» тот же автор имеет 13 статей, опубликованных с 1983 по 2010 год. Причем все 13 статей имеются в базе НЭБ (авторы, названия, выходные данные, аннотации), как и 4 статьи, обнаруживаемые через авторский указатель. Статьи в российских журналах последних лет, не попавшие в публикации автора в «Авторском указателе», имеют и пристатейные списки цитируемой литературы. Таким образом, налицо несоответствие данных, получаемых по двум поисковым запросам в одной и той же базе.

На диаграмме 1 показано число публикаций 26 сотрудников с 2005 по 2009 годы, заявленных ими в анкете (А), по результатам поиска в авторском указателе (АУ) и по описанному выше поисковому запросу (ФИО).

Диаграмма 1

Как видно из диаграммы, число заявленных публикаций (столбец А) почти у всех сотрудников превышает число обнаруженных в базе НЭБ, что вполне естественно в связи с публикацией статей в различных сборниках, не входящих в базу НЭБ (база РИНЦ включает, в основном журналы по общественным наукам с 2007 года). Как показал анализ анкет, если считать публикациями сотрудников публикации статей и тезисов в сборниках конференций различного уровня, то их число втрое превысит число публикаций в базе НЭБ за тот же период (71 статья и 80 тезисов в сборниках и 63 статьи в рецензируемых журналах).

Однако такой логичный итог получится, только если воспользоваться поисковым запросом по автору (столбец ФИО). При стандартном поиске числа публикаций сотрудника по фамилии–имени–отчеству в авторском указателе НЭБ картина становится совершенно неутешительной: только три научных сотрудника имеют по 1 публикации, один — 6 публикаций и один — 7 публикаций. Таким образом, общее число публикаций по институту согласно результатам поиска в одной и той же базе снижается с 63 (столбцы ФИО) до 16 (столбцы АО), то есть в 4 (!) раза. Ничем, кроме как несовершенством поисковой системы, данный факт нами объяснен быть не может.

Заметим, что диаграмма показывает и курьезные случаи «утаивания» своих публикаций (сотрудники №1 и №15), что связано, по-видимому, с тем, что много публикующиеся авторы не ведут четкого учета своих произведений
Индекс цитируемости согласно базе НЭБ. Столь очевидные недостатки поиска информации по авторскому указателю заставили нас и при формировании индекса цитируемости провести более глубокий анализ базы пристатейных списков ссылок на работы сотрудников. На диаграмме 2 приведено число цитирований работ сотрудников, рассчитанных двумя способами:
- по авторскому указателю (столбцы АУ);
- по поисковому запросу «Найти Фамилию И.О. в списках цитируемой литературы» (столбцы Фамилия И.О.).


Диаграмма 2

Результаты поиска двумя способами отличаются еще более разительно, чем на диаграмме 1. Дело в том, что здесь различие имеет две явные причины. Первая причина – прежняя: несовершенство поисковой системы. Так, при поиске для сотрудника №22 первым способом (по авторскому указателю) отыскивается одна иностранная работа 1997 года, а вторым способом (поиск по сочетанию Фамилия И.О. в списках цитированной литературы) — 12 работ при написании фамилии на русском языке и 26 работ при написании фамилии на английском, что в сумме составляет 38 за период с 1996 по 2010 год. Заметим, что 9 из этих работ в русскоязычных журналах за период 2005-2009 года имеются в базе данных НЭБ вместе с аннотациями и пристатейными списками цитированной литературы. Что совсем странно, в такой поиск не попадает единственная работа, найденная по авторскому указателю.

Вторая причина – естественная для любой базы данных конечного объема, по которой рассчитывается индекс цитируемости. При таком подсчете не учитывает ссылки на источники, которые не входят в базу данных НЭБ, а в данном случае это монографии, учебники, диссертации и др. При втором способе подсчета все такие источники, если они попали в списки цитированной литературы, учитываются. Особенно ярко это видно на сотруднике №26, у которого нулевой индекс цитируемости за 5-летие по авторскому указателю, и максимальный для сотрудников института при учете цитирования монографий данного исследователя (см. ниже).

Таким образом, при формальном подходе к анализу индексов цитирования на основе данных только авторского указателя, в целом по учреждению только 6 сотрудников из 26 имеют ненулевой РИНЦ за период 2005-2009 год, хотя в пристатейных списках цитированной литературы в рецензируемых журналах такие ссылки имеют 16 исследователей, причем суммарное число цитирований возрастает с 39 до 446, то есть в 11 (!) раз.

Заметим, однако, что подсчет вторым способом проводился вручную, поскольку требовал отсева цитирования работ однофамильцев сотрудников института. Особенно число цитирований возрастает при анализе индексов сотрудников, имеющих распространенные фамилии (Иванов, Смирнов, романов и т.п.). Поэтому мы не проводили анализ самоцитирования, что предусматривается при классическом подходе.

Профили цитирования сотрудников, работающих в области наук об образовании согласно базе НЭБ. В работе [3] и других исследованиях отмечалось, что вклад исследователей в соответствующую область знаний может определяться не только числом ссылок на научные статьи, но и ссылками на более фундаментальные труды. В области наук об образовании этот вклад может определяться популярностью учебников и монографий, посвященных тем или иным сторонам организации обучения. Так как в число исследователей, для которых анализировался индекс цитируемости, входило 8 докторов наук, имеющих в списках трудов монографии, учебники, учебные пособия, а число упоминаний трудов этих исследователей с списках цитированной в научных статьях было значительным (диаграмма 3), то оказалось возможным проанализировать какие жанры работ исследователей, продуктивно работающих в области наук об образовании, наиболее часто цитируются. Среди 8 докторов наук были специалисты в области психологии, общей дидактики, права, математики, баз данных, методики преподавания физики, поэтому мы надеялись получить и отражение специфики отрасли знаний, в которой работает ученый на профиль его цитирования.


Диаграмма 3

Индекс цитирования одного из докторов наук оказался нулевым, и он не учитывался далее в расчетах.
Среди жанров произведений, которые цитируются в рецензируемых журналах, были выделены следующие:
1) статьи в журналах, вышедших до 2005 года;
2) статьи в журналах, вышедших в период с 2005 по 2009 год;
3) статьи в сборниках научных трудов;
4) тезисы в сборниках трудов конференций;
5) монографии;
6) учебники;
7) учебные пособия;
8) методические пособия;
9) авторефераты диссертаций и диссертации;
10) проекты и отчеты по проектам на сайтах.

Относительное число цитирований по этим жанрам приведено по каждому исследователю на диаграмме 4. Как видно из диаграмм, достаточно редко цитируемым жанром является такая крупная форма публикации, как учебник (№5). Он присутствует у специалиста по методике преподавания физики, являющегося автором многих школьных учебников по физике, и у специалиста по праву – автора нескольких вузовских учебников по юриспруденции. У этих же авторов существенна доля ссылок на учебно-методические пособия. Существенно, что у специалистов гуманитарных дисциплин, работающих в области наук об образовании (психология, общая дидактика), очень существенна доля ссылок на монографии. Обращает на себя внимание, что только у представителя точных наук (математика), преподающего в вузе, наиболее цитируемым жанром являются статьи в журналах. Хотя следует отметить, что все рассмотренные специалисты имеют публикации в журналах 2005-2009 года, попавших в базу данных НЭБ.


Диаграмма 4

Для большей наглядности обсуждаемых закономерностей мы просуммировали ссылки на всех семерых рассмотренных специалистов, работающих (или работавших в течение последних 5 лет) в институте, и объединили такие жанры, как учебники, учебные и методические пособия в одну категорию, статьи всех лет издания в рецензируемых изданиях — во вторую, статьи и тезисы докладов в сборниках — в третью и редко встречающиеся жанры — в четвертую, выделив в отдельную категорию монографии. Полученная на основе такого укрупнения категорий и увеличения статистики за счет объединения всех исследователей картина показана на диаграмме 5.


Диаграмма 5

Ясно, что в формирование этой картины существенный вклад внесли два специалиста по психологии, авторы крайне часто цитируемых монографий. Однако тенденцию нельзя не заметить: по уровню цитирования работ лидируют монографии, затем следуют статьи в сборниках и журналах, небольшую долю составляют учебники. В другом учреждении, проводящем исследования, связанные с образованием, но в большей мере связанным с естественнонаучными дисциплинами (например, коррекционная педагогика или возрастная педагогика) в профиле цитирования, скорее всего, будут преобладать научные статьи, поскольку именно такая форма отчетности принята в естественнонаучных исследованиях. Увеличение доли научных статей может быть достигнуто и за счет политики планирования научных результатов исследований, если статьи в рецензируемых журналах станут основным жанром плановой продукции институтов. В настоящее время такой политики в РАО не наблюдается, хотя число научных журналов, публикующих статьи в области наук об образовании перевалило за 200 [5], число зарубежных изданий также исчисляется сотнями [8]. Статьи в рецензируемых журналах являются, в основном внеплановой продукцией институтов РАО, поэтому и рассчитывать на высокий РИНЦ у сотрудников РАО не приходится.

Проведенные исследования говорят не только о политике дирекции институтов по отношению к публикации результатов исследований в виде статей в реферируемых журналах, но и о традициях цитирования в научных статьях, сложившиеся за последние 10 лет в области наук об образовании. Тенденция цитировать монографии, является отражением не только снижения доступности научных журналов, но и отношением педагогической общественности к научным статьям. Именно монографии, причем русскоязычные, изучаются в библиотеках при подготовке диссертационных исследований, и покупке монографии, а не подписке на журнал отдает предпочтение современный научный сотрудник, что вполне естественно при непрерывном возрастании подписных цен. В этом смысле идеология открытых архивов и появление большого числа открытых публикаций в НЭБ способна изменить ситуацию с доступностью научных статей. Однако для изменения отношения к ним в смысле качества материала статей должен пройти еще большой срок, необходимый для того, чтобы произошло естественное вымывание из оборота некачественных журналов за счет их низкого импакт-фактора.

Пока это будет происходить, можно было бы формально рассчитываемый индекс цитируемости авторов, создавших качественные монографии, увеличить за счет того, что авторы добровольно включат эти монографии или хотя бы их библиографические описания в базу данных НЭБ. Как обещают создатели НЭБ [6], создание и запуск такого сервиса для зарегистрированных пользователей библиотеки планируется в ближайшее время. Действительно, чтобы у исследователя №26 (диаграмма №2) формальный рассчитываемой РИНЦ (за период с 2005-2009 г.г.) поднялся от 0 до 119 автору достаточно дать описание монографии, изданной в 2001 году, или даже выложить полный текст монографии, авторские права на которую в настоящее время наверняка уже принадлежат автору. В настоящее время в базе данных НЭБ в открытый доступ выложено всего 2 книги по педагогике и 2 книги по психологии, хотя позиция открытости по отношению к своим монографиям уже используется некоторыми академиками РАО [9]. Аналогичное утверждение можно высказать и о других авторах, анализ упоминания работ которых в пристатейных списках цитированной литературы в статьях, входящих в базу данных НЭБ, приведен на диаграмме 2.

Однако для срабатывания этой рекомендации, следует, прежде всего, устранить недостатки программного обеспечения поисковой системы НЭБ, о которых говорилось выше. Предлагаемые доработки позволят в существенной степени сдвинуть общественное мнение в сторону положительной оценки огромной работы, проделанной создателями НЭБ, поскольку при существующей поисковой системе ее недостатки видны невооруженным глазом и могут дискредитировать систему оценки эффективности научных исследований в области общественных наук.

Выводы
1. База данных НЭБ уже в настоящее время является богатым источником для проведения наукометрического анализа публикационной активности и индекса цитирования научных сотрудников, работающих в области наук об образовании. В частности, позволяет установить особенности цитирования в научных статьях произведений различных жанров у исследователей, работающих в этой области.
2. Программное обеспечение поисковой системы требует доработки для правильного расчета и указания в авторском указателе РИНЦ исследователей, входящих в базу авторов НЭБ.
3. Требуется четкое определение понятия «работа включена в базу данных РИНЦ и обрабатывается поисковой системой» (автор - название; или автор –название - выходные данные - аннотация; или автор – название - выходные данные – аннотация - полный текст).
4. Введение в число сервисов НЭБ возможности включения книг в базу данных НЭБ зарегистрированными пользователями с возможностью дальнейшего перевода работы (при выполнении определенных условий) автора в категорию «работа включена в базу данных РИНЦ и обрабатывается поисковой системой». Это позволит быстро повысить объективность оценивания научного вклада исследователей, работающих в области педагогики, психологии и смежных с ними дисциплин, переводя их в ранг учитываемых в РИНЦ.
5. При проведении оценки эффективности отдельных научных сотрудников в научных учреждениях при оценке публикационной активности и РИНЦ рекомендуется в настоящее время использовать не авторский указатель, а опцию «Поисковые запросы» и методику, предложенную в данной работе.

Литература:
1. http://www.government.ru/gov/results/7006.
2. Российская академия образования, Приказ №18 от 7 июня 2010 г.
3. Подуфалов Н.Д., Ханнанов Н.К., Мониторинг развития психолого-педагогических наук в РАО. Аналитическая справка, ИНИМ РАО, Черноголовка, 2009 [Электронный ресурс]. – Режим доступа: http://inim-rao.ru/mode.7635-item.7670-type.html.
4. http://elibrary.ru/titles.asp.
5. Ханнанов Н.К., Подуфалов Н.Д., Усанов В.Е., О возрастании доступности научно-педагогических журналов по педагогике и психологии // Информационные ресурсы России. – 2010. - №3. - С.21-25.
6. М.Гельфанд. Проведите поиск в РИНЦ самостоятельно // Троицкий вариант – наука. – 2010. - №14. - С.4-5, 7 [Электронный ресурс]. – Режим доступа: http://trv-science.ru/2010/07/20/provedite-poisk-v-rinc-samostoyatelno/#more-6041.
7. http://www.spsl.nsc.ru/win/isitr/str_34h.html.
8. Науменко А.С., Базы данных Великобритании и США в области педагогики и психологии [Электронный ресурс]. – Режим доступа: http://inim-rao.ru/mode.7635-item.7599-type.html.
9. http://www.anovikov.ru/books.htm.