На сайта на Съюза на учените откривам официално съобщение и афиш за предстояща дискусия. Съобщението гласи:
АКТУАЛНО ОТ СУБ
Дискусионният клуб на СУБ по проблемите на науката и висшето образование ще проведе поредната дискусия на 21 март 2013 г. (четвъртък) от 14.30 ч. в Големия салон на БАН.
Темата е „Рискове при използване на библиометрични показатели” и ще бъде представена от проф. дсн Духомир Минев.
Кратката биографична визитка на проф. дсн. Духомир Минев показва, че той е икономист и социолог. Работи в Института за изследване на обществата и знанието при БАН и завежда секция „Публични политики и социални промени”. През 1991-92 г. е зам.-министър на социалните грижи в правителството на Филип Димитров. Проф. Минев е председател на НПО „Антибедност мрежа” – България, която е част от Европейската Антибедност мрежа, притежаваща консултативни функции към Съвета на Европа и Европейската комисия.
Автор е на множество статии, студии и монографии, сред които се окрояват особено „Кризата на публичните политики в развитите страни” и фундаменталния му труд „Социология, власт и общества. Незнанието, което разрушава свтовете на хората”, издадени през 2011 година. В тях той прави всестранна „социална аутопсия” на кризата: кризата в теорията, в доминиращи доктрини и дискурси (най-вече в социологията) и в публичните политики, в интерпретациите на пазара, на българския преход, на бедността, на социалните неравенства и други социално значими феномени. Нещо повече, предлаганите от проф. Минев решения, алтернативи и цялостни теоретични концепции не само не отстъпват и могат да се конкурират с тези на водещите изследователи в различни области извън България, но често ги надминават и предизвикват заслужен респект и уважение.
Представеният по-долу доклад на проф. Минев, е посветен на кризата, свързана с целевото налагане на „определени показатели за оценка на постиженията на учените…”. Става дума за показатели, отнасящи се индиректно до същината на „съдържанието на самите научни резултати”; за „предимно косвени и количествени показатели”, наричани библиометрични.
Какви проблеми и рискове за науката и за обществата поражда налагането на тези показатели за оценка на учените и научните постижения? Какви слабости и съмнителна полезност притежават библиометричните показатели? Как „новата система за оценка на постиженията на учените влияе върху процеса на създаване на знание”? „Защо тази система е особено неподходяща за социалните науки”?
Изключително важни въпроси, на които публикуваният по-долу материал търси отговори, а основната му цел е „да предупреди изрично за специфичните рискове, които въвежданата система поражда главно за социалните науки и – което е много по-важно – за обществата, които социалните науки са призвани да изследват”.
***
Публикуваният, с любезното съдействие и съгласие на автора, доклад за рисковете при използване на библиометричните показатели, представлява ядрото на предстоящата дискусия, организирана от Съюза на учените в България.
доц. д-р Божидар Ивков
РИСКОВЕ ПРИ ИЗПОЛЗВАНЕ НА БИБЛИОМЕТРИЧНИ ПОКАЗАТЕЛИ
Проф. дсн Д. Минев
От няколко години в много страни (главно – ЕС и САЩ) протичат промени, състоящи се в по-интензивното използване на определени показатели за оценка на постиженията на учените – обикновено при атестации, а в някои случаи и за оценка на изследователски проекти. Както е известно, тези показатели не се отнасят пряко и по същество до съдържанието на самите научни резултати, а отразяват интензитета на публикациите, цитиранията и „нивото” (и престижността) на списанията, в които се публикуват съответните резултати, т.е. това са предимно косвени и количествени показатели (не е случайно, че обикновено ги наричат библиометрични). Използването на такива показатели не е радикална иновация при оценяване на значимостта на научни постижения – в някаква степен подобни показатели винаги са се използвали, тъй като при формирането на научната кариера винаги са се изисквали определен брой (и обем) публикации. Новото сега са няколко основни момента. Единият е значителното засилване на ролята на споменатите показатели за оценка на труда на учените, което се постига:
а) чрез увеличаване на „тежестта” (влиянието) им при оценка постиженията на учените – дотолкова, че изпъква ясна тенденция да се подменят формираните от самите научни общности традиционни, преки и същностни оценки на научните резултати (някои от приетите правила за атестиране на учените ясно илюстрират този факт);
б) чрез разширяване и увеличаване интензитета на тяхното използване – не само при присъждане на научни степени и звания (формирането на индивидуалните научни кариери), но и при периодично провежданите атестации на учените.
Другият нов момент е масивното институционализиране на новата роля на въпросните показатели в голям брой страни. Институционализирането се постига чрез правилата за атестирането на учените (на ниво отделни научни организации) и правилата за оценка на самите научни организации (на национално ниво). Комбинацията от тези нови моменти, практически формира една нова система за оценка на труда на учените. Начинът на практическото въвеждане на системата, както и възможните ефекти от нея заслужават голямо внимание.
Още при първите опити за институционализирането на такъв тип оценки, много учени и научни организации заеха остро критична позиция спрямо тях. В Европа, Австралия, САЩ и Русия бяха проведени специални проучвания и обсъждания на качеството на споменатите показатели и евентуалните последствия от прилагането на системата, основана върху такива показатели. Между организациите, които заеха активна позиция може да се посочат: Европейското дружество на природните науки; Академията на науките на Френския институт (Académie des Sciences of the Institut de France); Европейската научна фондация; Научният и Технологичен Комитет към Камарата на общините в Обединеното кралство; Мрежата за изследователска информация в Обединеното кралство; Шведският изследователски съвет; Австралийският съвет за научни изследвания и други.
Освен тези проучвания има и многобройни други, осъществени от индивидуални изследователи или изследователски екипи, и те също изтъкват сериозни дефекти на системата за оценки на учените, въз основа на библиометрични показатели.
Но ето че съмненията в адекватността на самите показатели и възраженията срещу начина на тяхното използване бяха посрещнати по начин, който илюстрира поговорката „кучетата си лаят, керванът си върви” – институционализирането на новата система упорито се прокарва, въпреки несъгласието на голяма част от учените. Така възникна още един нов момент – разделителна линия между учени (главно от природните науки и математиката), които критикуват показателите и оспорват тяхното използване, и центровете на власт (министерствата) формиращи научните политики, подкрепяни от малки групи учени – било активно, било чрез „мълчаливо съгласие”. Това разминаване между вижданията на двете страни, комбинирано с голяма политическа упоритост да се въведе новата система, са изключително интересен феномен, който остава слабо проучен и почти непознат, въпреки че заслужава огромно внимание. Възникват ред въпроси: защо така настъпателно се въвежда системата, въпреки съпротивата; какви са мотивите за въвеждането; какви биха могли да бъдат последствията от нея?
Спецификата на системата за оценка и начинът на нейното въвеждане се допълва от друг щрих – социалните науки и преди всичко – социологията, включително и субдисциплината, от която най-много се очаква да внесе яснота по тези въпроси – социологията на знанието – не бяха в състояние да подпомогнат дебатите чрез предоставяне на адекватно знание по неговия предмет. Повечето социални учени останаха встрани от интензивните дебати и протестите на учените от други науки (най-вече – природните). Така възникна впечатлението (поне в България), че социалните науки изразяват „мълчаливо съгласие”, а доколкото това е така, то социалните учени се оказват непропорционално високо представени сред „подкрепящите групи”.
Настоящият доклад е подтикнат именно от очертаната картина на промените в научните политики и особено от позицията на социалните науки по повод на промените.
Първата част от доклада разглежда сравнително добре познат проблем – слабостите и дори неадекватността, и съмнителната полезност на въпросните библиометрични показатели; втората част е посветена на два въпроса, които обикновено остават извън рамките на дебатите:
– как новата система за оценка на постиженията на учените влияе върху процеса на създаване на знание;
– защо тази система е особено неподходяща за социалните науки?
Основната цел на доклада е да предупреди изрично за специфичните рискове, които въвежданата система поражда главно за социалните науки и – което е много по-важно – за обществата, които социалните науки са призвани да изследват.
МИТЪТ ЗА ОБЕКТИВНОСТТА НА БИБЛИОМЕТРИЧНИТЕ ПОКАЗАТЕЛИ: КАКВО ПОКАЗВАТ СПЕЦИАЛНИТЕ ИЗСЛЕДВАНИЯ?
Един от основните аргументи на „промоутърите” на системата е, че тя осигурява „обективност” на оценката на постиженията на учените. Редица наблюдения показват, че в действителност, не само не се постига обективна оценка, но и се затруднява постигането на такава оценка, тъй като възникват проблеми в дейността на научните списания.
Първо, деформиране на процеса на публикуване на научните резултати (дейността на списанията).
А) Появата на „хищническите списания”. Един особено уродлив феномен, който се породи от хипертрофираната роля на библиометрично базираните оценки, е възникването и бързото разрастване на „тъмен сектор” от списания (predatory open-access journals), чиято основна цел е да извлекат печалба от натиска, който се оказва върху учените да публикуват колкото е възможно повече в чуждестранни списания. Така системата за оценка на труда на учените и резултатите от него, буквално тласка учените към тези списания. А последните родиха практиката, наречена „bait-and-switch” – учени получават привлекателни покани да публикуват в дадено списание, но след това става ясно, че трябва да плащат значителни суми за публикуването. Особено лесни жертви са учени от периферни страни, където натискът, чрез изисквания за публикуване в чужди, (най-вече – международни и затова „по дефиниция” – престижни) списания е особено силен. Типичен пример: „Нигерийските учени са особено доволни от такива покани, защото Комисията по националните университети (National Universities Commission (NUC) сега изисква за промотирането на лекторите в статус на професори, да публикуват някои от техните работи в „международни” академични списания”. И разбира се добавят, че изискването засяга много зле Нигерийската академична общност. Същото спокойно може да бъде написано и за Българската академична общност, както и за всяка друга общност, която е поставена в подобно състояние.
Разбира се, тези open-access journals публикуват всичко, което е надлежно заплатено и са много слабо загрижени за адекватността на знанието, което се предлага чрез публикуваните в тях статии. Учени съобщават за случая с някакъв преподавател в Benue State University, който в едно интервю за Гардиън (Guardian, 28 юли) съобщил, че в своя статия, публикувана в някакво научно списание бил представил решение на една 262-годишна математическа загадка. Както се оказва, списанието (неговата редколегия и рецензенти) не е било много загрижено относно достоверността на предложеното решение. Естевстено, „най-продуктивни” се оказват онези, които могат да плащат достатъчно, а платежоспобните са онези, които имат достъп да щедри проекти. От своя страна, достъпът до проекти (българският опит е добра илюстрация) често е организиран по специален начин, за специални участници, особено в социалните науки.
Б) Научни списания заради библиометричните показатели. Случаи като горните не се срещат само в списанията – машинки за пари. Задължителният характер на „библиометричните оценки” в комбинация със силното им влияние върху кариерите на изследователите може да поражда аналогични ефекти и в „нормални” списания, създадени с други цели. Така например, Journal of Applied Pharmacy, издавано от Intellectual Consortium of Drug Discovery & Technology Development, от Саскатун (Саскачеуан), не е машина за правене на пари, но е създадено от пакистанци, живеещи в Саскатун, за да подпомогнат пакистански учени да получат необходимите им нива на „библиометрични показатели”, които се изискват от Висшата комисия по образованието в Пакистан. Списанието става известно поради случая с една млада и много активна изследователка, която постигнала много високи „библиометрични стойности” чрез статии в същото списание. Прегледът на нейните статии обаче показал мащабни повторения в „различните статии”, както и „заемки” чийто източници не са били посочени. В една от статиите си въпросната авторка твърдяла, че някакви растения, не били вредни, а имали полезен ефект, но проблемите в нейните публикации карат учените да се питат доколко може да се вярва и на научните й „открития”. А какви ли могат да бъдат последствията, ако се повярва? Очевидно такива практики могат да създават фалшива научна значимост на постиженията на даден учен.
В) Престижните списания и техния рейтинг. Основна предпоставка за възникването на горните проблеми в публикуването на научни резултати е, че импакт факторът на списанията подлежи на фалшифициране и както показват редица наблюдения, тези възможности широко се използват (1). Използват ги и списания, които не спадат към горните две категории, и се считат за „престижни издания” – установени са зашеметяващи факти на такива фалшификации и то – за списания от точните и природните науки. А какво ли се случва в списанията от областта на социалните науки? Същото разбира се, но многократно увеличено.
Австралийският съвет за научни изследвания (Australian Research Council) е публикувал резултати от сравнения между официалните (формални) стойности на импакт фактора и специални експертни оценки на импакт фактора на едни и същи списания. За целта са били ангажирани големи групи експерти от различни научни организации, включително и Австралийската академия на науките.
На такива преценки са били подложени 170 списания с импакт фактор в областта „Математика, приложна”. Резултатите от сравненията са доста красноречиви.
Оказало се, че стойностите на импакт фактора слабо съответстват на оценката на експертите. Има примери на списания, които имат по-висок импакт фактор от други, но по същностната експертна оценка стойностите на показателя са се оказали на много по-ниско ниво. От 10 списания с най-високи стойности на импакт фактора, само две списания са получили и най-високата експертна оценка. А списанието, което по своя импакт фактор се е считало за най-добро в приложната математика, според експертната оценка се е оказало на много по-ниско ниво. Това удивително несъвпадение между импакт фактора на списанията и експертните преценки за тяхното качество обикновено се обяснява с неточности при определянето и дори преднамерено фалшифициране на импакт фактора (2,3).
Второ, „предразположености” на селектиращите и селекция на публикуваните резултати
Често се твърди, че научното качество на публикациите в списания с висок импакт фактор е много високо защото там предложените резултати се подлагат на прецизно и високо квалифицирано рецензиране. Това твърдение може да бъде дълбоко подвеждащо и в много случаи наистина е такова. Разгледаните по-горе проблеми на процеса на публикуване на научните резултати показват, че е напълно възможно дори и списания, които изглеждат напълно солидни, да правят лоша селекция на публикуваните в тях научни резултати.
За това съмнение има ред сериозни основания.
В действителност, формирането на редколегиите на списанията и на техните кръгове от рецензенти, както и начинът по който те работят, са процеси, които стоят доста далеч от необходимата прозрачност, публичен мониторинг, участие и контрол от страна на научните общности. Във всеки случай, възможно е (и точно това се случва) да се селектират автори и публикации, изразяващи определени виждания, предразположености, пристрастия и даже предразсъдъци.
Един фамозен случай показва какви могат да бъдат последствията – Алън Сокал, физик от Университета в Ню Йорк, направи специален експеримент, за да ги покаже. Той изпраща на научно списание („Социален текст”) една статия под заглавие: „Преминавайки границите: към херменевтична интерпретация на гравитацията на квантума”. Статията е била безсмислица, нарочно съставена от механично събрани извадки от областта на физиката и математиката, но списанието я публикува. Причините за това, според самият Сокал са две: „звучала е добре и е отговаряла на идеологическата предразположеност на издателите”. Изследователи на знанието считат, че този експеримент на Сокал доказва, че „селекцията на статии за списанията силно зависи от политически, социални и културни елементи” (6; 95).
Именно поради тези зависимости, научни списания от най-висока класа често изопачават най-силният инструмент за оценка на научни резултати – пиър ривютата. Изброените по-горе научни организации и представените от тях добри практики на пиър ревю-та показват, че резултатите от тази процедура за оценки на научните постижения са много по-добри, ако процедурите се провеждат в рамките на самите научни общности – особено там, където са създадени съответните резултати.
Но ето, че точно този адекватен инструмент се деформира, когато се прилага в списания. По този въпрос се е произнесъл не друг, а Върховният съд на САЩ. В едно свое решение той е постановил, че „пиър ревютата” в списанията могат да дават (а учените твърдят, че често дават) деформирани, изкривени преценки. Същото, само че по-категорично твърдят и самите учени. Чубин и Хакет посочват едно изследване, според което само 8% от членовете на Научното изследователско общество (САЩ), са изразили мнение, че методът на пиър ревюто в списанията дава добри резултати. Очевидно възниква въпросът защо един и същ инструмент дава различни резултати в списанията и в научните общности? Отговорът очевидно е в това, че онези, които селектират материалите за публикуване в списанията, ги подбират според своите идеологически, политически, социални и културни предразположености.
Трето, мрежи и самоцитирания.
Европейското дружество на природните науки посочва, че „Годишно публикуваните импакт фактори на реферираните списания са усреднени въз основа на много публикации и публикуването в списание с висок импакт фактор не гарантира, че всяка отделна статия е еднакво често цитирана”. Критиците на Индекса на Хирш привеждат и немалко данни, които показват, че Индексът стимулира формирането на мрежи от взаимноцитиращи се автори. Но това не е всичко. При подготвянето на този доклад доц. Георги Ангелов ми напомни, че преди няколко години в класацията за естествените науки по показателят „брой на цитиранията на една статия”, на първо място са били Бермудите, след тях на челни места се нареждали Панама, Гамбия и Габон. Класацията може и да противоречи на здравия разум, но показва на какво са способни правилата за регистриране на цитиранията. Освен това, дори и да са перфектни правилата на регистрацията, очевидно е, че крайната преценка на научната значимост на постиженията може да бъде манипулирана по други начини. Така възникват дълбоки съмнения в адекватността на правилата на регистрация и дали те отразяват само научната значимост на дадени научни резултати или регистрацията се влияе и от други, недобре познати (може би дори – напълно непознати) фактори.
Проф. Ан-Уил Харзинг (12) от университета в Мелбърн фокусира своя анализ върху публикуваният от Томсън Ройтерс Highly Cited Papers List, обхващащ 1% най-много цитирани статии от дадена дисциплина, през даден период и илюстрира ефекта от Списъка с конкретен случай, който нарича „Супер автор”. Последният е събрал 512 цитирания, отразяващи позовавания на негови работи в 169 статии на други автори или мрежи от автори. Следователно, всяка от статиите, които са цитирали работи на Супер автора, е посочвала поне три от неговите публикации. И въпреки че нееднократните позовавания в една статия, на работи на един и същ автор не са нещо необикновено, все пак споменаването повече от три пъти изглежда доста много. Още по-интересно е, че цитиращите автори образуват тесен и силно авто-рефериращ се клъстер. Заедно с това делът на самоцитиранията на Супер авторът също е доста висок – около 30%.
Проф. Харзинг задава въпроса дали „това е история на успеха на един високо продуктивен автор или е много по-сложна и смущаваща история на системното въздействие на серия от „иновативни” и в някакъв смисъл – анормални, решения, които изглежда имат потенциала да променят самата същност на начина, по който учените и академичността биват възприемани и оценявани?” (12). Въпросът разбира се е реторичен. Истината е, че е създадена система, която позволява бързи научни „успехи” (съответните кариери) независимо от научната валидност и социалната значимост на постиганите научни резултати. В центъра на системата стои консолидирана мрежа за самоцитиране. Харзинг посочва и основните компоненти на модела на (само)цитирането:
а) Изключително висок дял на самоцитиране на списанията – 85% от 512-те цитирания на Супер автора са направени в публикации на същото списание в които той самият е публикувал своите работи. А за неговите 10 най-цитирани статии този процент е 93. Доста интересно е също, че 10-те му най-цитирани статии не се цитират в други списания или имат само по едно цитиране;
б) Изключително висок дял на самоцитиране на издателствата. 94% от 169-те статии цитиращи работи Супер автора са от същия издател (Academic Journals). Само 10 цитирания са направени в списания, издавани от други издатели. Седем от тези 10 цитирания са направени в списание от мрежата ANSINetwork’s journals (друг издател с отворен достъп, който анализаторите считат за „хищнически”);
в) Взаимно цитиране на автори – Ти цитираш мен, аз цитирам теб. Онези 169 статии, които цитират Супер автора, са били цитирани на свой ред в други 165 статии. От тези 165 статии само 7 не цитират и статиите на Супер автора. Така 158 от тези 165 статии, цитират едновременно Супер автора и статиите, които го цитират.
Клъстърите от взаимноцитиращи се автори привличат вниманието на много изследователи (някои ги наричат „картели за цитиране”) и ги дефинират по следния начин: „Група автори, която е постигнала съгласие по конкретни научни или изследователски методи, дефиниции, или изводи, и които цитират само себе си или други съгласни с тях автори, и пренебрегват автори, несъгласни с предпочитаните от групата методи, дефиниции, или изводи”.
В действителност, тези картели са известни много отдавна. Най-вероятно с тях е свързан и прословутия „ефект на Матей”[1]. С този термин Р. Мъртън означава факт, който е забелязал отдавна – средствата за изследвания (и възнагражденията) се концентрират у едни и същи учени.
Четвърто, цялата система за разпространяване на резултатите от научни изследвания чрез „високо престижни издания” е мащабна частна индустрия, която дълбоко несъответства на факта, че много от списанията в една или друга степен, се издържат чрез дарения. Тази критика отправя не друг, а списание „The Economist” (14 април, 2012), което поставя въпроса защо средствата от дарения се използват за формиране на голяма частна индустрия извличаща печалби. Критиката на „The Economist” фиксира важната роля, която играе частна корпорация (Thomson Reuters Corporation), поддържаща и база данни относно регистрирането (преброяването) на публикациите в чужбина и на мрежите от цитирания.
Всъщност „The Economist” насочва и към друг, и още по-важен проблем, който „промоутърите” на системата за оценка на учените са забравили – че знанието, създавано в социалните науки, трябва да бъде общодостъпно, а не стока чрез която се изкарват огромни печалби, защото така става трудно достъпно (Р. Мъртън отдавна е обърнал внимание на този вече добре забравен факт). Превръщането на социалното знание в такава стока не само трансформира процеса на производството на знание относно обществата, но и деформира самото знание. Деформираното знание поражда немислимо тежки последствия защото по същество то е преднамерено генерирано и поддържано незнание.
Изложеното по-горе, обяснява и защо стремежът към подмяна на системите за преки и същностни оценки на създаваното знание с „библиометричните” сурогати, поражда и обичайният ефект (и индикатор за проблеми в науките) – расте броят на научните измами. Такива винаги са съществували, но през последните десетилетия нарастват взривно(9). Изобилстват случаи като този с А. Сокал, или преподавателят, решил 262-годишната математическа загадка или спомената напориста труженичка на научния фронт, обилно публикуваща открития по лечебните свойства на различни растения.[2] Но нарастването на измамите все пак е по-малката беда – те подлежат на сравнително лесно разкриване. Голямата беда е друга – зараждат се социални механизми за систематичен контрол и изкривяване на знанието – особено в социалните науки, а тези механизми се установяват трудно и последствията от тях са много тежки.
КАКВО СЕ КРИЕ ЗАД БИБЛИОМЕТРИЧНО БАЗИРАНАТА СИСТЕМА ЗА ОЦЕНКА НА ПОСТИЖЕНИЯТА НА УЧЕНИТЕ?
Изводът е, че импакт факторът, както и другите библиометрични показатели въобще не са солидни и „обективни” показатели за оценка на труда на учените, както твърдят техните „промоутъри”. Последните или проявяват невежество или просто мамят, преследвайки някакви свои цели. Но какви могат да бъдат ефектите (ако системата се въвежда от невежество) или целите (ако предварително се знае какви ще бъдат ефектите)? Отговорът е, че посредством системата за оценка на учените се въвежда в действие система за контрол и направляване на процеса на създаването на знание. Именно този факт засега убягва на повечето от критиките към библиометричните показатели за оценка труда на учените. Но това е проблем заслужаващ огромно внимание.
Всъщност, горните слабости на библиометрично базираните оценки може да се обобщят така: такава система за оценка на труда на учените предизвиква крайно негативна тенденция, при която същностните оценки на научната валидност и значимост, както и социалната ефективност на научните резултати губят своята значимост, тъй като се подменят с косвени и подлежащи на манипулиране „обективни” показатели. В резултат на това, учени и научни общности „се приспособяват” към отправяните към тях изисквания и се възползват от слабостите им; научните кариери все по-малко зависят от научните постижения и все повече се формират под влиянието на сурогати, които от своя страна отразяват влиянието на други фактори (най-вече – очакванията и предразположенията на тези, които контролират списанията).
Експериментът на Сокал не е изолиран случай, а разкрива ефект от един цялостен механизъм за изкривяване на процеса на разпространение на знанието. Когато селекцията на материалите за публикуване зависи силно от „политически, социални и културни елементи”, това просто означава, че списанията провеждат селекцията в зависимост от идеологическите, политически и културни предразположености на своите редколегии и рецензентите, които те привличат за своите пиър ривюта. Точно затова недоверието към преценките на списанията в САЩ е толкова голямо и дори Върховният съд е регистрирал този факт. Но когато постиженията на учените се оценяват в зависимост от това доколко съответстват на „предразположенията на издателите”, механизмът за селекция се превръща в своеобразен механизъм за цензуриране – подборът не е в зависимост от научната валидност и социеталната значимост на резултатите, а в зависимост от „предразположеностите” на селектиращите. Така се изкривява цялостния процес на публикуване, при който едни резултати придобиват публичност с предимства, произтичащи не от тяхната научна стойност, а от други фактори.
Когато това изкривяване на процеса на публикуване се комбинира с принудително включване на учените в този изкривен процес (и силно влияние на успешността на включването върху оценките, които ученият получава и върху неговата научна кариера), резултатът е един – „изкривява се” и работата на учените, а по-точно казано – изкривява се процесът на създаване на знание.
По-общо казано, изкривяванията в разпространението на знанието (публикационния процес) се превръщат в изкривявания на производството на знание – който иска да бъде публикуван трябва да създава резултати, отговарящи на определени извъннаучни изисквания. Поради това научните списания (и силните изисквания да се публикува в тях) могат да играят ключова роля в изкривяването на създаваното знание. И (особено в социалните науки), списанията наистина играят такава роля, още повече, че има силни социални интереси от преднамерено изкривяване на знанието относно обществата. Знаменателен факт илюстрира добре този проблем: преди много години една легенда в икономическия анализ – Васили Леонтиев (Нобелов лауреат), забеляза, че пазарната теория е загубила своята връзка с икономическите реалности и че това крие огромни рискове, както за самата икономическа наука, така и за икономическите политики, и за самите икономики. В знак на протест срещу това изкривяване в създаването на знание Леонтиев престана да публикува в „престижните” икономически списания – защото именно те особено допринасяха за възникване на разрива между теория и реалности, чрез интензивно разпространяване на постиженията на пазарните теоретици. Докъде е стигнал този разрив между икономическите реалности и доминиращите направления на икономическия анализ, и какви са последствията от него, проличава много ясно от 2008 г. досега.
Особено важна роля за систематичният контрол, направляване и изкривяване на производството на знание играят клъстърите (картелите) за самоцитиране. Тези клъстъри не са просто механизми за използване слабостите на една недомислена и слаба система за оценка на постиженията на учените. Те са много по-опасен феномен, който има потенциал да оказва негативно и силно влияние върху процеса на създаване на знание и върху резултатите от този процес – самото знание. И има данни, че оказват такова влияние като пораждат сериозни изкривявания в структурата на публикуваното знание, а чрез него – и върху направленията на научните търсения. В споменатия случай със „Супер автора” на Харзинг например, „картелът за цитиране” е постигнал обявяване на неговите статии за важно направление на изследванията (a research front), а ефектът от това е появата на имплицитно изискване – ако искаш да си успешен учен, следвай „фронта”, този или някой друг, който може да е формиран по същия начин.
Възможностите за такива влияния нарастват неимоверно, когато картелите се свържат тясно (или овладеят чрез свои представители) редакции и издатели на списания с „висока престижност на публикационния пазар”. С течение на времето, те неизбежно започват да контролират не само публикуването, но и цялото производство на знание в дадена област, като го насочват в коловоза на своите групови предпочитания.
За усилване влиянието на взаимноцитиращите се картели върху създаването на знание може да се съди и по изследванията, които показват, че при въвеждане на библиометричните оценки се усилва споменатият „ефект на Матей” – който следва доминиращите „фронтове”, получава и адекватното възнаграждение.
Ето защо в крайна сметка задължителната регулярна атестация, базирана на „библиометрични показатели” и имаща сериозни последствия за изследователите, не само позволява, но и усилва капацитета на организирани групи (клъстъри, картели, клики и т.н.), да влияят върху: направленията на научните изследвания; доминиращите парадигми; научния инструментариум използван за създаване на знание; а следователно – да влияят върху самото съдържание и структурата на създаваното знание. Това са контурите на широка система за контрол върху знанието, а следователно – за неговото фалшифициране.
А това вече е тотален провал в създаването на знанието – контролът поражда промяната, която световно признати авторитети в областта на изследванията на рисковете (У. Бек и много други) са идентифицирали отдавна (макар че предлагат други обяснения) – институционализираните и специализирани системи за производство на знание, започват да произвеждат несигурност и незнание, вместо знание. За съвременните общества това е огромна беда, вещаеща други беди.
БИБЛИОМЕТРИЧНАТА АКТА
Не е трудно за се забележат три основни нива в системата за контрол върху производството на знание. На първото ниво (отделни научни институции) централна роля играят задължителните системи за индивидуална оценка на учените – атестациите, базирани главно върху библиометрични показатели, свързани с публикационната им активност. Второто ниво обхваща оценките на самите научни организации. На това ниво правителствата (респективно – министерствата) създават нормативна рамка за национална система за оценка на работата на научните институции – университети и изследователски центрове. Националната система, както и индивидуалната имат едни и същи стълбове – библиометричните показатели. Третото ниво е наднационално и обхваща всички страни, присъединили се към системата. На това ниво оперират международните научни списания с различен рейтинг (особено тези с висок и много висок импакт фактор). Важен компонент на това ниво е частна рейтингова агенция, която придобива огромни възможности да контролира създаването на знание тъй като в крайна сметка решава кое знание (кои резултати) ще получи печат за научна валидност и кое няма да бъде валидизирано. Така частна корпорация може да определя основните направления, по които ще се създава знание; структурата на това знание; резултати, които са приемливи или не – при това – по известни само на тях критерии.
Тъй като практически ще издават сертификати за научна валидност на научните резултати и ще контролират и насочват създаването на знание, частни рейтингови корпорации си присвояват (монополизират, „приватизират”) функция с фундаментална социетална значимост – функцията да се определя развитието (посоките на напредък) на знанието и структурата на общото знание – какъв дял да заемат различните науки и създаваното от тях знание в тази структура; какъв дял да заемат различните направления в отделните науки, субдисциплините, а също така – какво ще бъде влиянието на отделни парадигми, теории, емпирични данни и т.н.
Трите посочени нива са свързани в цялостна система чрез едни и същи показатели. Тъй като високи оценки на първите две нива (организационно и национално), получават само онези учени и научни организации, които са одобрени от наднационално ниво (т.е. – публикуват в селектираните престижни списания) може да се каже, че това е и свръхцентрализирана система за контрол и направляване на производството на знание.
Тази система по същество е един аналог на прословутата АКТА – крупна система за контрол и ограничаване на свободата, но в нашият случай – за контрол, насочване и ограничаване на създаването на знание и особено – за ограничаване на социалното знание. Естествено, такава система поражда опасения.
Опасения поражда не само описаната система, но и начинът, по който тя се въвежда – на части, по отделните нива, тихомълком, не се описва като цялостна система, няма официален експлицитен документ (какъвто беше АКТА) в който открито да се заяви – създаваме нова система за оценка и направляване на развитието на науките и знанието, очакваме да получим следните ефекти от нейното въвеждане. Вместо това се работи на тъмно и участниците виждат само отделните части от цялото, но не ги свързват в едно; в министерството създават документ за национална оценка на научните звена (естествено – базирана на импакт фактори и индекси на цитирания); в университети и институти се въвежда система за индивидуална атестация (пак – импакт фактори и индекс на цитирания), а на наднационално ниво е създаден механизмът, който формира показателите т.е. ще издава удостоверенията за правилна наука и коректно знание.
СОЦИАЛНИТЕ НАУКИ – ОСОБЕНО НЕПОДХОДЯЩО ПОЛЕ ЗА БИБЛИОМЕТРИЧНИ ОЦЕНКИ.
Несъмнено описаната по-горе система, представлява сериозна заплаха за всички науки, за създаваното от тях знание и за обществата, които използват това знание. Но тази заплаха е особено силна за социалните науки и създаваното в тях знание, поради високата им уязвимост към такава система. И никак не е случайно, че социалните науки се считат за най-неподходящо поле за използване на библиометричните оценки – това се подчертава както от научни организации, така и от отделни изследователи. Като основни причини за тяхната висока уязвимост може да се посочат следните.
А) за разлика от другите науки, знанието, създавано в социалните науки може да влияе пряко и силно върху социалните промени и устойчивостта на социалния ред. Затова тези науки са изложени на влиянието на особено силни интереси от контрол върху създаваното знание, а контролът неизбежно и автоматично изкривява създаваното знание. Нещо повече, още през 1949 г. е забелязано, че: „незнанието може да бьде полезно и потенциално позитивно за поддьржането на социалния ред” (Wilbert, Tumin 1949)[3] Ето защо през 20-ти век, ясно изпъква продължително и преднамерено създаване на механизми за контрол върху създаването на знание в социалните науки. Така е възникнал специфичен модел на развитие на социалните науки, който може да бъде наречен Превантивен модел, тъй като неговата същност е да адаптира създаването на знание към изисквания за стабилност на социалния ред, чрез контрол и ограничаване на създаването (и разпространението, и трансфера) на знанието относно определени аспекти на социалните реалности. Моделът обхваща всички социални науки, но е особено забележим в социологията, като най-обща социална наука. Важен компонент на модела за контрол и ограничаване на социалното знание са научните политики, които превърнаха социалните науки в Пепеляшка на семейството на науките. Но в социологията Превантивният модел обхваща и няколко други компонента: вътрешната конструкция на науката, дейността на специфични групи учени, външни въздействия върху процеса на създаване на знание и резултатът от предходните компоненти – възникването на специфичен „Стандартен модел” на социални изследвания.
Следите от интервенции, чрез които е изграден Моделът са особено очевидни във вътрешната конструкция на социологията (представляваща комплекс от парадигми, теории (налични или липсващи), подходи, принципи, субдисциплинарната структура, правилата за научна работа, включително и начини за валидизиране (признаване на получените резултати за научни), механизми за оценка на работата, а следователно – и за формиране на научните кариери, на изследователите и т.н.). Тези елементи изграждащи самата наука постепенно са били конструирани така че науката да създава знание, като да поддържа защитната обвивка от незнание около ключови аспекти на социалните реалности. Така чрез самите инструменти за създаване на знание активно се ограничава знанието (поддържа се незнание) относно централни аспекти на обществата.
Превантивния модел е свързан и с определено състояние на цялата система на социалните науки – главно, дисциплинарното им раздробяване. Този проблем беше идентифициран от Комисията Гулбенкиян, оглавявана от И. Уолърстийн. Препоръката на Комисията: „отворете социалните науки”, се натъкна на остра критика от редица учени и практически остана без значими последствия.
Б) Поради горното, в социалните науки са особено силно развити и са необикновено активни групи от учени, чиято основна роля е да поддържат създаденият Превантивен модел. Наличието им е забелязано отдавна (А. Гулднър ги нарича „стари хора”; М. Бурдийо – „консервативни идеолози” и т.н.) Днес, тези групи формират силни „клъстъри (картели) за цитиране” и са особено ясно забележими в лицето на т.нар. „тинк-танкове”. Не по-малко опасна форма на съществуването им са и неформални мрежи в научните организации, свързани с групи и с мрежа от списания на международно ниво. Библиометричните оценки са особено благоприятни за тези групи, тъй като те имат възможност не само да действат като картели за цитиране, но и да използват подкрепата на специални научни списания. Точно затова картелите-мрежи в социалните науки са и най-активните поддръжници на „библиометрията”. Академичните учени, които не принадлежат към мрежите-картели много бързо ще се окажат с по-ниски оценки от членовете на тези структури;
В) В сравнение с другите науки, социалните имат по-слаби възможности (подходи, критерии, процедури) за експериментална проверка на научната валидност на създаденото знание и затова са по-малко „обезопасени” срещу значими изкривявания на създаваното знание, а това дава необичайна свобода на всички „направляващи въздействия” – политики, публикуващи институции, мрежи-картели за цитирания.
Г) Горните особености са породили и специфичен „Стандартен модел” на социални изследвания, забелязан от Рейнолдс, Търнър и много други. Моделът разширява и „стандартизира” ефект, който икономистът (и Нобелов лауреат) Хърбърт Саймън (17; ХХІ) отдавна е забелязал и проблематизирал – производството на знание, относно второстепенни, незначителни проблеми, т.е. ирелевантно, неизползваемо, ненужно, безполезно, противоречиво и несигурно знание (Бел. 1). Наскоро (19 април, 2012,) вестник Гардиан отново идентифицира същият проблем. Преглеждайки сайта на Британската социологическа асоциация, авторът на статията е установил, че няма нито едно съобщение свързано с кризата в ЕС и Великобритания. Вместо това Асоциацията е публикувала „фундаменталните резултати” от свое проучване, че „по-възрастните културисти могат да променят начина, по който младите възприемат хората над 60 години”. Авторът на въпросната статия е проверил и сайтовете на три списания с доста висок импакт фактор: American Sociological Review, Sociology (водещото социологическо списание във Великобритания) и British Journal of Sociology, като е пуснал търсене по ключовите думи „финанси”, „икономика” и „пазари” за цялото последно десетилетие. За десет години в първото списание са публикувани 9 статии (друг въпрос е какво именно са съдържали), във второто са били публикувани 3 статии съдържащи посочените ключови думи, а в третото – една. Накратко, трите списания така и не са успели да публикуват нещо съществено по проблема, който има първостепенно значение за цяла Европа. Централният проблем е посочен в самото заглавие на статията: „Кризата е провал на академичните елити”.
Стивън Пинкър също подчертава наличието на Стандартен модел на социални изследвания и посочва основният ефект от него: „Водещи социални изследователи могат да твърдят всякакви абсурди, стига те да съответстват на Стандартния модел на социалните науки. …трудно е да се вярва, че самите автори вярват в това, което твърдят. Твърденията се правят без оглед на това дали са верни. Те са част от катехизиса на нашия век. …Съвременните социални коментари си остават основани на архаични концепции…” (16; 57). Именно тук са корените и на други проблеми, забелязани от рисковият анализ – споменатото генериране на незнание и „политизирането” на знанието, констатираното изоставане на социалните науки в сравнение с другите; кризата на социологията; възникването на разрив между социалните реалности и техните научни репрезентации.
Ето защо библиометричните оценки не са в състояние да ограничат създаването на нискокачествено, социално ирелевантно, лишено от капацитет за позитивна социална функционалност (даже лишено от смисъл) знание. Нещо повече, такова знание може да бъде преценено като знание с приемлива степен на научна валидност и социална значимост именно поради хипертрофираното използване на „библиометрията”. Както посочва споменатата статия в Гардиън – учените бродират статийки за престижни списания, докато дълбока криза разтърсва обществата, които учените са призвани да изследват.
Изложеното позволява да се заключи, че библиометричните оценки разширяват и институционализират Превантивния модел за контрол върху създаваното знание и поради това имат потенциал да влошат още повече състоянието на социалните науки, а това от своя страна поражда непознати заплахи за обществата.
ЗАПЛАХИ И ЗА ОБЩЕСТВАТА
Твърдението, че кризата е провал на академичните елити бе потвърдено и от самите академични елити чрез един специален случай, който бързо стана известен в целия свят. Посещавайки Лондонското училище по икономика Английската кралица попита учените защо не са успяли да предвидят кризата. Професорите от Училището не успяха да отговорят, но по късно един от тях е дал очевидният отговор: „Хората правят това за което им плащат”. Така на преден план изпъква проблемът с научните политики и изследователски програми, които финансират изследвания, ирелевантни към най-важните рискове за обществата.
В един по-общ план, състоянието на социалните науки е генерирало „разтваряне на ножицата” между социалните изследвания и знание от една страна и социалните реалности т.е. най-острите проблеми на обществата, от друга страна. Тази социетална ирелевантност на социалния анализ е изключително опасен феномен – тя просто означава, че е загубена връзка със социалнте реалности, т.е. обществата нямат достатъчно познание за самите себе си. А загубата на такава връзка, от своя страна, означава, че намалява рационалността на обществата, разбирана като капацитет на обществата да идентифицират навреме рискове и да създават адекватни системи за тяхното неутрализиране. Естественият резултат от упадъка на капацитета за справяне с рискове е взрив на рисковете и на щетите, които те причиняват на индивидите и обществата (Бел. 2). И точно това регистрират отдавна изследванията на рисковете – „бум” на специфични рискове, които са различни от традиционните и затова ги наричат „нови рискове”. Характерно за „новите рискове” е, че те застрашават всички слоеве на обществата (а не само най-уязвимите) и приличат повече на опасности отколкото на рискове, защото не подлежат на предвиждане (липсва адекватно знание) и не може да се изграждат адекватни системи за неутрализирането им (превенция или отстраняване на щетите) – пак поради липса на знание. Така самият характер на „новите рискове” показва, че основна причина за тяхната поява и експанзия е липсата на адекватно социално знание. Впрочем, състоянието на социалните науки възпрепятства и самият напредък на знанието (изследванията) относно рисковете.
Въвеждането на библиометричните оценки в социалните науки и ефектите от тях още повече ще утежняват и без друго доста тежката ситуация в социалните науки и заплахите, които тя поражда за самите общества.
Ето защо дълг на съюзите на учените, особено от социалните науки е да предупредят обществата за тези опасности и да направят необходимото за тяхното редуциране.
Въз основа на изложеното си позволявам да направя следните предложения:
– Съюзът на учените да издаде документ, подобен на документите издадени от ред европейски организации на учените, за да предупреди относно рисковете на библиометричните оценки и ограниченията при тяхното използване;
– Съюзът на учените да изпрати същият документ на МОМН и да поиска отказ от Правилата за оценка на научните организации въз основа на същите показатели.
– Съответните секции и асоциации на учените от социалните науки да вземат отношение по констатираната неадекватност на „библиометрията” за оценка на учените от тези науки.
БЕЛЕЖКИ
Бел. 1. Х. Саймън дава пример с установяването на корелация между броя на неомъжените възрастни жени в селските райони и добива на детелинено семе. Било установено, че възрастни неомъжени жени в селските райони често отглеждат котки, котките ловят полски мишки, а полските мишки се хранят със земни пчели, които пък опрашват детелината. Така по-голям брой възрастни неомъжени жени е свързан с по-голям брой котки, по-малко мишки и по-голям добив на детелинено семе. Изводът бил, че трябва предварително да се преценява евентуален спад в добива на детелинено семе, когато се вземат решения за изплащане на помощи при сключване на брак или за семейни добавки в селските райони. Саймън посочва, че такова знание трябва да се отхвърля и ограничава защото създава излишни „шумове”, затрудняващи и даже подвеждащи вземането на адекватни решения. (Simon, H. A., xxiv)
Бел. 2. Един характерен пример: почти непосредствено преди възникването на кризата от 2008-а година, „Ситигруп” поръча крупно изследване, целящо да провери дали протичащата концентрация на доходите не застрашава по някакъв начин стабилността на финансовата система. Изследователите забелязват, че в редица страни около 20% от населението получават значителна част от доходите и имат решаващо влияние върху динамиката на спестяванията, инвестициите, структурата на потребителските разходи, следователно – на пазара и производството, т.е. – цялата икономическа динамика. Но изводът от тези наблюдения е, че няма опасност за банковата дейност, като изследователите изрично подчертават, че не се ръководят от някакви морални преценки.
Финансовата криза настъпи съвсем скоро след приключването на изследването. При срива на имотния пазар рисковите ценни книжа понесоха милиарди загуби – 27.7 млрд. за „Ситигруп” и се наложи да поиска 45 млрд. помощ от Федерания резерв. Акциите на корпоративната структура се сринаха със 77% за една година. Акционерите понесоха загуби около 700 милиона. През октомври 2007 една акция на „Ситигруп” е струвала 47 дол. , но през 2009г. цената вече е 2 долара. Поради загубите, акционерите заведоха иск и осъдиха Ситигруп да им плати 590 млн. долара.
Литература
1. Adler,R., J. Ewing, and P. Taylor, Citation statistics. Statistical Sciences 24 (2009), 1-14.
2. Amin M., M.Mabe, Impact factors: use and abuse. Perspectives in Publishing 1 (2000), 1-6.
3. Arnold, D., Kristine Fowler. Nefarious Numbers. arXiv.org, Cornell University Library
4.Australian Research Council, Ranked Journal List Development, http://www.arc.gov.au/era/journal_list_dev.htm.
5. Begley, S., Science journals artfully try to boost their rankings. Wall Street Journal, 5 June 2006, B1.
6. Bucchi, M. 2004. Science in Society. An Introduction to Social Studies of Science. Routledge
7. Ewing, J. Measuring journals. Notices of the AMS
8. Golubic, R. M. Rudes, N. Kovacic, M. Marusic, and A. Marusic, Calculating impact factor: how bibliographical classification of journal items affects the impact factor of large and small journals. Sci. Eng. Ethics 14 (2008), 41-49.
9. Grant J. Corrupted Science. Fraud, ideology and politics in science. AAPPL, Church Farm House, Wisley, Surrey, 2007
10. Gross M. The Unknown in Process. Dynamic Connections of Ignorance, Non-Knowledge and Related Concepts, Canadian Journal of Sociology/Cahiers Canadiens de sociologie, Vol. 25, N2, Spring 2000
11. Gross, M. 2010. Ignorance Surprise. Science, Society and Ecological Design. MIT.
12. Harzing, Anne-Wil; Web: http://www.harzing.com/index.htm
13. Institut de France, Académie des Sciences, Du Bon Usage de la Bibliometrie pour l’Évaluation Individuelle des Chercheurs, 17 January 2011,(http://www.academie-sciences.fr/activite/rapport/avis170111gb.pdf – english version)
13. Kasperson, R. 1992. The Social Amplification of Risk: Progress in Developing an Integrative Framework, In: S. Krimsky and D. Golding (eds) Social Theories of Risk, Praeger.
14. Macdonald S., J. Kam, Aardvark et al.: Quality journals and gamesmanship in management studies. Journal of Information Science 33 (2007), 702-717.
15. Monastersky, R., The number that’s devouring science. Chronicle of Higher Education 52 (2005). ScienceWatch.com, April 2008, http://sciencewatch.com/inter/aut/2008/08-apr/08aprHe/
16. Pinker, S. 1997. How the Mind Works, Penguin Books.
17. Simon, Herbert A.1957, Administrative Behavior. A Study of Decision Making Process in Administrative Organization. The Macmillan Company, New York, p. xxiv
17. Seglen, P.O. Why the impact factor of journals should not be used for evaluating research. BMJ 314 (1997), 498-502.
18. Strathern, M., „‘Improving Ratings’: Audit in the British University System“, European Review 5 (1997), 305-321.
19. Wilbert E. and M. Tumin, 1949, „Some Social Functions of Ignorance”, American Sociological Review, 14 (6); 787-795. Цит. по Matthias G. 2010, Ignorance Surprise. Science, Society and Ecological Design. MIT.
20. European Science Foundation, European Peer Review Guide, Integrating Policies and Practices for Coherent Procedures, March 2011 (http://www.esf.org/activities/mo-fora/peer-review.html)
21. European Science Foundation, Survey Analysis Report on Peer Review Practices, March 2011(http://www.esf.org/activities/mo-fora/peer-review.html)
22. Peer review in scientific publications, Science and Technology Committee, House of Commons, UK, 18 July 2011 (http://www.publications.parliament.uk/pa/cm201012/cmselect/cmsctech/856/85602.htm)
23. Peer review, A guide for researchers, Research Information Network, UK, March 2010 (http://www.rin.ac.uk/our-work/communicating-and-disseminating-research/peer-review-guideresearchers)
24. Swedish Research Council, Quality Assessment in Peer Review, 5 November 2009 (www.cm.se/webbshop_vr/pdfer/2011_01L.pdf[1])
ПРИЛОЖЕНИЕ
EUROPEAN PHYSICAL SOCIETY RECOMMENDATIONS
On the use of bibliometric indices during assessment
V – 11 June 2012
Recent years have seen quantitative bibliometric indicators being increasingly used as a central element in the assessment of the performance of scientists, either individually or as groups, and as an important factor in evaluating and scoring research proposals. These indicators are varied, and include e.g. citation counts of individual papers published by researchers; the impact factors of the journals in which they publish; and measures that quantify personal research contributions over an extended period such as the Hirsch Hindex, and variants with corrections such as the G-index.
Although the use of such quantitative measures may be considered at first glance to introduce objectivity into assessment, the exclusive use of such indicators to measure science “quality” can cause severe bias in the assessment process when applied simplistically and without appropriate benchmarking to the research environment being considered. Funding agencies are aware of this, nevertheless experience shows that the reviewing of both individuals and projects on the national and European level is still relying excessively on the use of these numerical parameters in evaluation.
This is a problem of much concern in the scientific community, and there has been extensive debate and discussion worldwide on this topic (see for instance [1]).
Since the very first applications of bibliometric indicators in this way, scientists and science organisations have taken strong positions against such purely numerical assessment.
Various organisations in Europe have published studies on their potential adverse consequences on the quality of funded scientific research. A prime example is the publication of the /Académie des Sciences of the Institut de France /that has presented clear recommendations on the correct use of bibliometric indices [2]. Other publications have addressed the role of peer review in the assessment of scientists and research projects e.g.
the European Science Foundation /Peer Review Guide /published in 2011 [3] with recommendations for good practices in peer review following an extensive European survey on peer review practices [4]. Other recent examples are a study of peer review in publications by the Scientific and Technology Committee of the House of Commons in the UK [5], the peer review guide of the Research Information Network in the UK [6] and the recommendations formulated at a workshop dedicated to quality assessment in peer review of the Swedish Research Council [7].
A common conclusion of these studies is the recognition of the important role of PEER REVIEW in the quality assessment of research, and the recommendation to apply bibliometric performance indicators WITH GREAT CAUTION, and only by peers from the particular discipline being reviewed.
The European Physical Society recognizes and takes note of these recommendations for unbiased assessment procedures, and emphasizes in the following those aspects that are particularly important (in some cases unique) in the context of the assessment of the performance of the work of physicists, and of the quality and originality of physics research projects.
1. Evaluation should exclusively be carried out by peers, who must be independent and must have no conflict of interest with the evaluation process. They must strictly respect a published code of conduct. Whilst recognizing the role of confidentiality in some forms of peer review, the names of evaluators should normally be made public, either before or after the assessment procedure as appropriate to the evaluation being carried out.
2. An unbiased assessment of the scientific quality of individual researchers or their projects using bibliometric indices must take into account many factors such as: the scientific content; the size of the research community; the economic and administrative context; and publishing traditions in the field. Publishing habits and traditions significantly vary between different fields of physics research, and are reflected for example in areas such as the name order in the list of authors and the particular choice of the journals in which to publish. A special example is publishing in the field of physics with large facilities where traditions are very different from many other fields. For example, accelerator physicists publish their work essentially in conference proceedings, while only a small percentage of their work appears in peer-reviewed journals. Another example is the publication policy of the large collaborations of physicists in the field of experimental particle and astroparticle physics. These collaborations apply strict procedures for the assessment and endorsement of results by every member of the collaboration prior to the internal publication of results. The external publication of results is also endorsed by the full collaboration. As a consequence of this policy, their articles in refereed journals often have long author lists published uniquely in alphabetical order.
3. The annually-published impact factors of refereed journals are averaged over many papers, and publishing in a high impact journal does not guarantee that every individual article is qually highly cited. Such quantitative measures based on the number of publications and/or citation statistics of researchers are one aspect of assessment, but they cannot and must not replace a broader review of researchers’ activities carried out by peers.
The European Physical Society, in its role to promote physics and physicists, strongly recommends that best practices are used in all evaluation procedures applied to individual researchers in physics, as well as in the evaluation of their research proposals and projects.
In particular, the European Physical Society considers it essential that the use of bibliometric indices is always complemented by a broader assessment of scientific content taking into account the research environment, to be carried out by peers in the framework of a clear code of conduct.
Links: [1] http://www.cm.se/webbshop_vr/pdfer/2011_01L.pdf
[1] По текста от Евангелие от Матей, според който „ще се даде” на тези които имат, а „ще се отнеме” от тези, които нямат.
[2] Разкритията на такива измами започнаха да засягат и индивиди с научни степени от най-високите върхове на политическата власт – особено нашумяха скандали в Германия.
[3] Wilbert E. and M. Tumin, 1949, „Some Social Functions of Ignorance”, American Sociological Review, 14 (6); 787-795. Цит. по Matthias G. 2010, Ignorance Surprise. Science, Society and Ecological Design. MIT.
