Kryteria oceny działalności naukowej i ich praktyczne zastosowanie w elektronice
Jarosław Świderski
Instytut Technologii Elektronowej, Warszawa
swider@ite.waw.pl
W środowiskach pracowników naukowych obserwuje się bardzo zróżnicowane podejście do problematyki oceny ich działalności [1,2]. Skrajne poglądy dają się streścić następująco:
a) Prace naukowe, począwszy od pewnego poziomu (ściślej - prace naprawdę naukowe) nie powinny podlegać bieżącej ocenie, gdyż określenie ich prawdziwej wartości będzie możliwe dopiero po wielu latach i na tle wydarzeń, których nie da się nawet przewidzieć [3].
b) Każda praca naukowa powinna być oceniana bardzo starannie, gdyż niedoskonałość systemu ocen jest w Polsce główną przyczyną słabości nauki, znacznie poważniejszą niż zbyt niskie nakłady finansowe przeznaczone na badania i rozwój [4].
Liczne stanowiska pośrednie (np. [5,6,7]) wydają się "rozkładać" w sposób zupełnie przypadkowy, a w każdym razie niezależnie od przynależności ich głosiciela do określonej dziedziny wiedzy lub pionu (uczelnie, PAN, jbr-y) nauki. Natomiast bezsporne wydają się dwa następujące fakty:
- rozdział środków przeznaczonych na naukę odbywa się we wszystkich rozwiniętych państwach, a przez ostatnie lata także w Polsce, na podstawie oceny dotychczasowych osiągnięć zespołów ubiegających się o te środki;
- staranność oceniania nauki w Polsce ulega w ostatnich latach stałej degradacji. Objawy tego są mniej jednoznaczne niż przytoczone wyżej, ale obserwuje się np. wyraźny spadek liczby ocen negatywnych, lub przynajmniej wyraźnie wskazujących słabości ocenianego materiału, zwłaszcza w recenzjach propozycji grantów, w ocenach publikacji, monografii, a nawet w ocenach rozpraw doktorskich, habilitacyjnych czy dorobku kandydatów do tytułu naukowego.
Autor niniejszego opracowania przez blisko trzydzieści lat zajmował się recenzowaniem różnego typu działalności naukowej, a przez ostatnie 6 lat przewodniczył komisjom dokonującym systematycznej oceny dziewięciu zakładów naukowo-badawczych i ponad stu naukowców w dużym instytucie działającym w obszarze elektroniki. Kryteria, wg których przeprowadzano oceny były opracowywane przez zespół niezależny od komisji oceniających i doskonalone (ale nie podlegające radykalnym zmianom) z roku na rok. Kryteria te porównywano na bieżąco z kryteriami stosowanymi przez różne gremia KBN, a członkowie zespołu opracowującego je w omawianym instytucie mieli możność dzielić się swymi doświadczeniami z niektórymi gremiami opracowującymi kryteria oceny stosowane w KBN.
Proces oceny wewnątrz instytutu [8] prowadzony był (i jest nadal) przez pięcioosobową komisję według specjalnie opracowanych regulaminów, zawierających około dwudziestu kryteriów. Pracownicy dokonują najpierw samooceny, wyliczając (i uzasadniając) to, co uważają za swoje sukcesy w minionym roku, potem ta samoocena poddana jest weryfikacji przez ich bezpośrednich zwierzchników, a na końcu - punktowej ocenie przez komisje, które ustalają też ranking w kilku podstawowych obszarach działań. Oceniane są: uzyskiwane stopnie naukowe (a także opieka nad pracami naukowymi i dydaktyka), publikacje, monografie, skrypty, seminaria, popularyzacja nauki, wystąpienia konferencyjne, patenty, cytowania, organizacja konferencji, praca w komitetach naukowych, organizacyjnych, redakcjach, radach naukowych, uzyskiwanie i realizacja różnego typu grantów krajowych i zagranicznych, nagrody i wyróżnienia, opracowane metody, technologie, programy komputerowe, modele, prototypy, wdrożenia itp. Istnieje też, w dyspozycji kierownictwa, pula punktów za osiągnięcia, które nie dają się sprawiedliwie ocenić za pomocą obowiązującego regulaminu. Rankingi, zarówno zespołowe, jak i indywidualne, dotyczą oddzielnie publikacji, oddzielnie wszystkich osiągnięć o charakterze naukowo-badawczym, oddzielnie - o charakterze rozwojowym i merkantylnym. Są też oczywiście rankingi łączne. Wbrew początkowym obawom, cała ta ocena nie jest zbyt pracochłonna. Na przykład osiągnięcia indywidualne bada się prze ok. dwa miesiące, a komisja spotyka się raz lub dwa razy w tygodniu na dwie godziny. Wszystkie oceny są jawne, a reklamacje, w pierwszym roku działania tego systemu obejmujące ponad 20% ocen, obecnie spadły poniżej 5%. Prowadzenie procesu oceniania tak szerokim frontem pozwala wcześnie i wyraźnie dostrzegać ważne wyniki naukowe i prawidłowy bądź nieprawidłowy rozwój wydarzeń w poszczególnych środowiskach twórczych, a także prawidłowe powiązania między badaniami poznawczymi, stosowanymi i ich wdrożeniami. Wyraźnie wówczas widać, że tylko oceny kompleksowe i tylko oceny całych zespołów lub oceny indywidualne przeprowadzane na tle zespołów mają sens. Wyniki wykorzystywane są do podziału przeznaczonych na badania środków, a w perspektywie trzyletniej - do wyróżnień indywidualnych bądź do konsekwencji negatywnych z rozwiązaniem umowy o pracę włącznie.
Dotychczasowe doświadczenia wskazują na konieczność bardzo ostrożnego podchodzenia do powszechnie stosowanych kryteriów naukometrycznych i na konieczność (opartej na wielu kryteriach) wszechstronności przy dokonywaniu ocen indywidualnych. Typowym przykładem takich problemów może być obserwowana zawodność kryterium liczby cytowań (najliczniejsze bywają cytowania publikacji zawierających błędne wyniki a także cytowania publikacji niekoniecznie najwartościowszych, ale pisanych jednocześnie przez wielu autorów z różnych środowisk) lub liczby publikacji np. w czasopismach z tzw. "listy filadelfijskiej", gdyż często jedno ważne doniesienie ma znacznie większą wartość od kilkunastu "przyczynków".
Podsumowując można pokusić się o diagnozę [9], że choroba polskiej nauki polega przede wszystkim na braku zdrowej, uczciwej konkurencji. O konkurencji nie można mówić bez jasnych, jednoznacznych ocen. Oceny, pomiary wymagają ustalonych wzorców, a w ich braku - dobrze sprecyzowanych kryteriów porównywania ocenianych wielkości. Oceniający powinien ściśle określić, co z czym porównuje i pod jakim względem. Organizujący proces oceniania powinien zapewnić możliwość porównywania (w tym uniknąć ocen jednostkowych oderwanych od wzorców i niemożliwych do ustawienia w rankingu) i pełną jawność kryteriów, jakimi posługują się oceniający, wraz z napisanymi przez nich uzasadnieniami. Nawet bardzo "zgrubny", a obiektywny pomiar jest lepszy od finezyjnych dywagacji nad jednostkowymi ocenami, z jakimi teraz wciąż jeszcze mamy do czynienia.
Literatura:
1. Henryk Samsonowicz, Janusz Sławiński, Lech Szczucki (rada wydawnicza): "Krytyka i krytycyzm w nauce". Warszawa 1998.
2. Henryk Samsonowicz, Janusz Sławiński, Lech Szczucki (rada wydawnicza): "Lepsze w nauce". Wrocław 2000.
3. Andrzej Hulanicki: "Problemy oceny wyników naukowych" ibid, s. 15-21.
4. Marian Grabowski: "Istotne i nieistotne w nauce", Rolewski, Toruń 1998.
5. Jerzy Pelc: "Uwagi na temat oceniania kwalifikacji pracownika nauki oraz instytucji naukowej". Zagadnienia Naukoznawstwa, 1995, nr 3-4, s. 1-9.
6. Jerzy Szacki: "O potędze banału", Sprawy Nauki, 1998, nr 5, s. 12.
7. Maria Małgosiewicz rozmawia z Andrzejem Wiszniewskim: "Ubóstwo nie wyklucza rozrzutności". Sprawy Nauki, 1999, nr 7-8, s. 5-8.
8. Jarosław Świderski: "Ocena wyników naukowych na przykładzie elektroniki". Lepsze w nauce. Wrocław 2000, s. 91-93.
9. Jarosław Świderski: "Krytyka jako rodzaj pomiaru". Krytyka i krytycyzm w nauce. Warszawa 1998, s. 82-83.