Parametryczny system oceny jednostek naukowych przez KBN: prognozy i postulaty
Grzegorz Racki
Biblioteka Uniwersytetu Śląskiego, Katowice
racki@us.edu.pl
Parametryczny system oceny (i finansowania) działalności jednostek badawczych przez Komitet Badań Naukowych stał się trzech lat podstawowym narzędziem polityki naukowej państwa. Nietrudno przewidzieć jego dalsze modyfikacje, ale też wskazywać pożądany kierunek ewolucji. W referacie poruszone zostaną dwie podstawowe kwestie dla przyszłości systemu parametrycznego: (1) możliwość jego zasadniczego uproszczenia, oraz (2) celowość wykorzystania wskaźnika wpływu ("siły przebicia") czasopism (Impact Factor; IF) jako miary jakości prac naukowych.
Profesor Łukasz Turski w wywiadzie dla "Rzeczpospolitej" (nr 295 z 18 grudnia 1999), dopatrując się związku procesu psucia się obyczajów w nauce z przedmiotowym finansowaniem nauki, stwierdza: Jeśli zdarza mi się być w jakiejś komisji oceniającej gdzieś w świecie, dostajemy od kandydatów nie więcej niż pięć najważniejszych prac z całego życia (...). I dalej: Dojrzali uczeni powinni mieć możliwość prowadzenia badań bez stawania do wyścigu o pieniądze. Jeżeli kogoś zrobiono profesorem, bo był dobry w jakiejś dziedzinie, powinno mu się płacić za to, że jest dobry, oczekując, iż nadal będzie uzyskiwał znaczące wyniki i kształcił następców. Konieczne jest, oczywiście, przykręcenie śruby w ocenie ludzi i badań, bo ta śruba kompletnie się rozregulowała.
Relatywnie mało skomplikowany system oceny merytorycznej przez KBN preferuje publikacje w renomowanych czasopismach i wydawnictwach oraz awanse naukowe kadry. Już zauważyć można jednak jego ewolucję przez uwzględnianie kolejnych elementów aktywności naukowej oraz przewidywać dalsze rozszerzanie skali punktowej oraz precyzowanie kryteriów - również w ujęciu ilościowym. Wychodząc z powyższych uwag prof. Turskiego oraz 10-letnich doświadczeń Wydziału Nauk o Ziemi (WNoZ) Uniwersytetu Śląskiego, można sugerować, iż powinien on być jednak bardziej uproszczony. Stosowany od 1992 r. sposób ewaluacji dorobku katedr WNoZ UŚ jako podstawy do podziału funduszy na badania statutowe obejmował do niedawna dziewięć składników. Był więc absolutnie "sprawiedliwy", ale potrzeba jego uproszczenia stawała ewidentna - choćby ze względu na czasochłonność przy przygotowaniu i komisyjnej weryfikacji sprawozdań-wniosków o dofinansowanie.
Ograniczenie oceny pracy naukowej do wybranych elementów spotyka się zwykle z zarzutem o tendencyjność. Te teoretyczne dylematy rozstrzygali już dawno praktycy-menadżerowie (nie tylko) polskiej nauki, mający znaczące osiągnięcia w postaci rozwoju kierowanych przez nich placówek. Między innymi, prof. Lucjan. Piela, pisząc o dziesiątkach możliwych wskaźników oceny [1], stwierdza: (...) chęć wykorzystania tych parametrów rodzi (...) naturalną tendencję do wykorzystania ich wszystkich, gdyż inaczej byłoby to "niesprawiedliwe". Pojawiają się przykłady jawnej niesprawiedliwości i niezliczone propozycje włączania coraz to nowych parametrów do coraz bardziej skomplikowanych formuł. Tendencja ta prowadzi w końcu do bezradności przy próbie obiektywnej oceny. Statystycznie udowadniono natomiast że mierniki aktywności naukowej są od siebie na ogół liniowo zależne, a zatem wystarczy brać pod uwagę jeden możliwie kumulatywny wskaźnik udziału w międzynarodowym obiegu informacji (np. sumaryczny IF).
Zastosowanie współczynnika wpływu czasopism, sprawdzające się - zdaniem prof. Pieli - w chemii, w realiach WNoZ UŚ skazałoby na finansowy niebyt 3 zespoły. Należy bowiem pamietać, że profil badań w naukach o Ziemi jest rozległy i w ogóle porównywanie wartości IF czasopism z kręgu różnych subdyscyplin, np. geofizyki z geografią społeczną, wymaga dodatkowych zabiegów statystycznych. W tej sytuacjii przeprowadziłem symulację w oparciu o istniejący schemat oceny, ale stopniowo ograniczając liczbę składników branych pod uwagę. Okazuje się, zgodnie z oczekiwaniami, że nawet ocena na podstawie dwóch najbardziej znaczących elementów (awansów i recenzowanych publikacji) dla większości katedr jest w zasadzie bez znaczenia, a tylko w pojedynczym skrajnym przypadku zmienia wielkość przydzielanych środków o 30%. W roku ubiegłym zatem, zgodnie z preferencjami systemu KBN-owskiego, oceniany zestaw elementów ograniczono do dwóch nierównoważnych kategorii: na podstawie awansów i recenzowanych publikacji, a więc kryteriów ścisle odpowiadających za ocenę szczegółową wydziału przez KBN, rozdziela się 70 % środków. Podzielając poglądy prof. Turskiego, postanowiłem sprawdzić realne skutki - w kontekście kategorii efektywności naukowej - maksymalnie uproszczonego, trójskładnikowego systemu parametryzacji, który hasłowo nazywam "wizytówkowym". Dla każdego zespołu badawczego taką wizytówką są przede wszystkim (1) awanse naukowe oraz wybrane, najbardziej znane publikacje, zarówno te dowodzące (2) aktualnej aktywności badawczej, jak i te, których wartość pozytywnie zweryfikowała społeczność światowa poprzez (3) poziom cytowań; za wadę KBN-owskiego systemu finansowania uważam to iż ogranicza się do gratyfikacji bieżących wyników, a zupełnie pomija ten kompleksowy aspekt międzynarodowej pozycji dorobku badaczy. Wynik symulacji wskazuje, że dla czterech katedr WNoZ UŚ oba sposoby ewaluacji dają takie same wyniki, a ponownie tylko dla jednego zespołu różnica ta ma podstawowe znaczenie (awans z IV do I kategorii).
Istotne dylematy wiążą się z parametryzacją bieżącego dorobku publikacyjnego, w tym np. relacji między ewaluacją artykułów i monografii. Zasadniczą rolę w dyskusji na obszarze nauk przyrodniczych odgrywa bibliometryczny wskaźnik IF, wykorzystywany w różny sposób przez szereg zespołów KBN. Warto w tym kontekście przypomnieć obecny pogląd E. Garfielda na ten temat (patrz: http://www.garfield.library.upenn.edu/pub.html): Użycie IF do wyznaczenia wpływu pracy jest równoznaczne z predykcją; i dalej: nie jest to doskonałe narzędzie do pomiaru jakości artykułów ale nie ma nic lepszego (...). Doświadczenie pokazało, że w każdej specjalności najlepsze czasopisma to te w których artykuł jest najtrudniej akceptowany i te czasopisma mają wysoki IF. Czasopisma te powstały długo przed tym nim IF został wymyślony. Stosowanie IF jako miary jakości jest dlatego powszechne gdyż zgadza się ono dobrze z opinią (...) które czasopisma są najlepsze w naszej specjalności. Jednakże w związku z dużymi różnicami poglądów na ten sposób ewaluacji prac naukowych [2, 3], wykonano statystyczny test jego wiarygodności porównując rzeczywiste liczby powołań (tzn. wraz samocytowaniami) publikacji z IF czasopism z okresu opublikowania pracy. Przedmiotem analizy był zbiór polskich artykułów z kręgu nauk o Ziemi za lata 1990-1994. Aktualne liczby powołań dla 312 artykułów porównywano nie tylko z IF, ale i z parametrycznym wymiarem czterech kategorii renomy czasopism (na podstawie kwartylowego podziału list rankingowych według IF) opracowanym przez Zespoł Nauk Biologicznych, Nauk o Ziemi i Ochrony Środowiska (P04). Wskaźnik korelacji tych zbiorów nie przekracza 0,5, co zgadza się z wynikami podobnych analiz dla psychologii [4]. Istotne statystycznie różnice wykazują natomiast rozkłady powołań dla czasopism różnych kategorii, przy czym wartość mediany dla periodyków I kategorii wynosi 6, a dla IV - tylko 1. Potwierdza się więc stara prawda, że dużo łatwiej o sukces w ostrej konkurencji w "zauważaniu" przez innych badaczy (competition for attention; 5) wtedy gdy publikujemy w najbardziej klasowych czasopismach.
Tak więc prognostyczna wartość bezwzględnego wymiaru IF w naukach geologicznych nie jest duża, ale zasadniczo wzrasta przy jego generalizacji poprzez "jakościowe" pogrupowanie czasopism w obrębie poszczególnych subdyscyplin i pól badawczych. Reasumując, ostrożne wykorzystanie tego wskaźnika bibliometrycznego jest uzasadnione, a generalnie system parametryczny stosowany przez KBN powinien ewoluować w stronę bardziej syntetycznej wyceny wybranych elementów aktywności naukowej.

Literatura:
1. Piela L., 1995. Jak mierzyć osiągnięcia placówek naukowych? Zagadnienia Naukoznawstwa 31 (3-4), 147-157.
2. Wróblewski A.K., 2001. Bibliometryczne nieporozumienia. Forum Akademickie 9 (97), 40-44.
3. Amin M., Mabe M., 2000. Impact factors: use and abuse. Perspectives in Publishing 1, 1-6.
4. Fava G.A., Ottolini F., 2000. Impact Factors versus actual citations. Psychotherapy and Psychosomatics 69, 285-286).
5. Franck, G., 1999. Scientific communication - a vanity fair? Science 286, 53, 55.