EXCELLENCE OR MISCONDUCT: HOW THE VISIBILITY OF TEAM LEADERS IMPACTS THE RESEARCH PROJECT COMPETITION IN THE REPUBLIC OF MOLDOVA?

Abstract

Introduction. Distributing public funds to the “best” researchers is a key element of the science policy. Evaluation is a fundamental activity for the allocation of competitive funding. The flaws of peer review have led to increased interest in the use of bibliometric indicators for the evaluation of the research project proposals. Problem Statement. The advantajes and advance of bibliometrc is stimulated interest toward the correlation of peer review and applicants’ bibliometric indicators. The results of such studies are different and heterogeneous. Such studies are insufficient in Eastern Europe. Purpose. To establish the correlation between peer review and bibliometric indicators of project team leaders within the call for research projects in Moldova, which are financed from public funds for 2020—2023. Material and Methods. Statistical correlation of the results of national competition of R&D proposals (evaluation and funding) and the bibliometrics indicators of project team leaders (publications ant patents); analytical analysis of the contextual factors influencing this correlation. Results. The results of the analysis have shown a positive, albeit weak correlation between the scores assigned by experts and the previous performances of leaders. The most significant relation is between the call results and the Hirsh index in Web of Science and Scopus databases. However, the projects proposed by the most cited researchers in WoS and Scopus or the founders of scientific schools did not receive funding. Conclusions. The analysis of the national R&D competition has proved that previous scientific performance of team leaders influenced the evaluation results and the funding of project proposals. However, these dependencies are not linear and seem to be affected by the conflicts of interest and “old boys” schemes. This fact calls for significant changes of the process: ensuring the transparency, the involvement of foreign experts and the use of bibliometric indicators in evaluation.

Вступ. Розподіл державних коштів «кращим» дослідникам є ключовим елементом наукової політики. Оцінка є основоположною діяльністю при розгляді пропозицій дослідницьких проєктів щодо виділення конкурсного фінансування. Недоліки експертної оцінки призвели до підвищення інтересу з використання бібліометричних індикаторів для оцінки пропозицій дослідницьких проєктів. Проблематика. Переваги та розвиток бібліометрії стимулювали інтерес до кореляції експертної оцінки та бібліометричних показників заявників. Результати таких досліджень різні та неоднорідні. Водночас таких досліджень у Східній Європі недостатньо. Мета. Встановити співвідношення між експертною оцінкою, за якою розподіляли державні кошти на 2020—2023 роки, та бібліометричними показниками керівників проєкт них груп у рамках конкурсу дослідницьких проєктів у Республіці Молдова. Матеріали й методи. Статистична кореляція результатів національного конкурсу дослідницьких пропозицій (оцін ка та фінансування) та бібліометричних показників керівників проєктних груп (публікації та патенти в основних міжнародних та національних базах даних); аналітичний аналіз контекстуальних факторів, що впливають на цю кореляцію. Результати. Показано позитивну, хоча й слабку, кореляцію між оцінками експертів і попередніми показниками лідерів. Найбільш значущим є зв’язок між результатами конкурсу та індексом Хірша в базах даних Web of Science і Scopus. Але проєкти, запропоновані найбільш цитованим дослідником WoS і Scopus з Молдови або засновниками наукових шкіл, не отримали фінансування. Висновки. Аналіз національного наукового конкурсу довів, що попередня наукова діяльність керівників команд вплинула на результати оцінювання та фінансування проєктних пропозицій. Однак ці залежності не є лінійними і, схоже, на них впливають конфлікти інтересів і схеми «old boys». Це вимагає суттєвих змін забезпечення прозорості процесу оцінювання та відбору, залучення іноземних експертів і використання бібліометричних показників для оцінки проєктних пропозицій.