EDUKACJA

Brak merytorycznego uzasadnienia podważa wiarygodność rankingu

Uczelnia na rynku informacji

RYS. ROBERT DĄBROWSKI

MAREK ROCKI

W 1992 roku tygodnik "Wprost" opublikował pierwszy polski ranking uczelni wyższych. Został on przyjęty przez środowisko akademickie z mieszanymi uczuciami. Zasadom jego tworzenia nie oszczędzano krytyki, ale dyskutowano o nim. Już wtedy, zaledwie dwa lata od zapoczątkowania ustrojowej transformacji, okazało się, że takie przedsięwzięcie odpowiada na społeczne zapotrzebowanie.

Jak wybrać najlepszą

Wzrost popytu na usługi edukacyjne świadczone przez szkoły wyższe niejako wymusza powstawanie równolegle rynku informacji o ofertach dydaktycznych. Jednym z elementów tego rynku są rankingi. Powinny zastępować obiegowe i intuicyjne oceny jakości poszczególnych szkół wyższych oraz być pomocne przy wyborze miejsca dalszej nauki. W tym roku w kwietniu i w maju, a więc w okresie szczególnego zainteresowania edukacją na poziomie wyższym, opublikowano pięć obszernych, różnie usystematyzowanych wykazów najlepszych szkół wyższych. Pierwszy ukazał się ranking miesięcznika edukacyjnego "Perspektywy". Ranking ten obejmuje uczelnie prawie wszystkich typów, oprócz uczelni wojskowych.

W ostatnim tygodniu kwietnia swój pierwszy ranking wyższych uczelni opublikował tygodnik "Polityka". Ranking "Polityki" dotyczy uczelni, które prowadzą kierunki nazwane przez redakcję "ekonomia, zarządzanie, prawo". W tym roku po raz drugi ranking szkół biznesu przedstawił w majowym numerze miesięcznik "Businessman". Ogranicza się on tylko do szkół biznesu, prezentując zestawienia programów magisterskich, licencjackich, podyplomowych i programów MBA. Tradycyjnie w maju ukazał się także ranking szkół wyższych tygodnika "Wprost". Ten ranking zawiera wszystkie typy uczelni (bez wojskowych) i niektóre grupy kierunków studiów. Dziennik "Rzeczpospolita" rozpoczął publikację swych rankingów uczelni według kierunków studiów 22 maja od prezentacji wydziałów prawa.

Interesujące jest to, że - w zakresie, w jakim można porównywać wyniki tych rankingów - mają one zasadniczo tych samych zwycięzców. To dobrze, bo zestawienie kryteriów omawianych rankingów tylko częściowo daje podstawy do oceny ich wiarygodności. Trudno porównać metodologię przyjętą przez autorów poszczególnych rankingów, ponieważ i objętość publikacji, i ich szczegółowość są znacznie zróżnicowane. Jednak uważna lektura rankingów i ich opisów nie w każdym przypadku daje racjonalne podstawy do wyboru oraz oceny uczelni i oferowanych przez nią programów. Niektóre zestawienia wydają się być niedopracowane nawet merytorycznie, inne przeładowane treścią.

W ocenie "Businessmana"

Najuboższy jest opis kryteriów, który podaje miesięcznik "Businessman". Autorzy piszą bowiem, że "oceniali między innymi" - co oznacza, że oceniali także inne czynniki ponad te wymienione w tekście prezentującym ranking. Nie przedstawiają wartości stosowanych not. Podają jedynie, że "najwyższe noty przypisali liście referencyjnej pracodawców oraz opinii samych szkół o ich najpoważniejszych rywalach". Oprócz niejasno przedstawionych zasad stosowanych przy opracowywaniu rankingu również i analiza jego wyników rodzi wiele wątpliwości. Na przykład: w rankingu programów MBA na pierwszym miejscu znajduje się Szkoła Główna Handlowa. Z tekstu nie wynika jednak, który program MBA był oceniany. SGH prowadzi bowiem (pomijając prowadzone w SGH europejskie odpowiedniki MBA) trzy programy studiów kończące się dyplomami Master of Business Administration. Niewłaściwe jest też to, że autorzy porównują instytucje z założenia nieporównywalne - na liście występują jako równoprawne programy akredytowane przez "AACBS - The International Association for Management Education", najstarszą, bo istniejącą od 1916 roku agencję akredytującą programy z dziedziny zarządzania, oraz programy, które mają akredytację działającego w Polsce od 1994 roku Stowarzyszenia Edukacji Menedżerskiej FORUM. Ponadto "Businessman" podaje jedynie pozycje w rankingu, bez punktacji, jaką otrzymały poszczególne programy.

Wzorzec znany "Polityce"

Znacznie więcej informacji uzyskać można z lektury rankingu "Polityki". Jednakże za mało, aby uznać je za wyczerpujące. Podobnie jak w przypadku "Businessmana" w rankingu "Polityki" nie ujawniono wszystkich branych pod uwagę wskaźników, które posłużyły do oceniania. Świadczy o tym zwrot stosowany w opisie wyników rankingu. W każdym z sześciu cząstkowych kryteriów brano pod uwagę "między innymi" dane wymienione w tekście tegoż artykułu. Tak więc jawność kryteriów, o której pisze "Polityka", gdy podkreśla przejrzystość zasad swego zestawienia, jest pozorna. Ponadto nie podano wag dla poszczególnych wskaźników, informując ogólnie, że wynosiły od 2 do 25. Nie wiadomo więc, które wskaźniki zostały przez autorów uznane za najważniejsze w ocenie uczelni.

Jednakże najistotniejszym mankamentem rankingu "Polityki" jest brak informacji o maksymalnej liczbie punktów, jaką mogła uzyskać szkoła wyższa w poszczególnych kryteriach. Nie pozwala to na porównanie klasyfikowanych uczelni ze wzorową, zdaniem autorów, uczelnią tego rankingu. Twórcy rankingu nie podają również, jakie są ich zdaniem optymalne wartości wskaźników. Na przykład: czy "idealny" proponowany przez "Politykę" stosunek liczby nauczycieli pracujących w omawianej uczelni na pierwszym etacie do ogółu studentów ma być optymalny z punktu widzenia kosztów, czy z punktu widzenia walorów dydaktycznych?

Tajemnicze algorytmy "Wprost"

Ranking "Wprost" w odróżnieniu od zestawienia z "Polityki" podaje maksymalną liczbę punktów, jaką powinna uzyskać wzorowa szkoła wyższa. Dzięki temu można ocenić słabe - zdaniem "Wprost" - strony poszczególnych uczelni. Autorzy z "Wprost" podali pełną listę kryteriów, jest ona jednak moim zdaniem niejasna i niewiarygodna. Z niewiadomych przyczyn pominięto dwie kategorie w klasyfikacji Komitetu Badań Naukowych, który ocenia polskie uczelnie według skali od 1 do 5, biorąc tylko kategorie od 1 do 3. Moje zastrzeżenia budzą też kryteria, które dotyczą płac i tempa awansu absolwentów uczelni. Ponieważ GUS nie podaje danych o płacach i karierach zawodowych według ukończonej uczelni, należy sądzić, że redakcja samodzielnie przeprowadziła badania szacujące wartości stosownych mierników (zgodnie z deklaracjami zawartymi w artykule "żelazną zasadą było opracowanie rankingu własnymi siłami"). Autorzy rankingu jednak nie przedstawiają metody i zakresu badań, za pomocą których oceniali uczelnie pod tym względem, piszą jedynie o stosowaniu pewnych tajemniczych "algorytmów". I nie ujawniają, skąd brali dane.

"Perspektywy"  w poszukiwaniu ideału

Publikacja rankingu "Perspektyw" miała nadmiar informacji: listy rektorów i członków PAN, którzy oceniali uczelnie; lista firm, których szefowie działów kadr odpowiedzieli na ankiety; listy rankingowe według typów uczelni i według grup kierunków studiów; lista rankingowa uczelni niepublicznych; lista ogólna zawierająca 75 najlepszych uczelni. I to, jak się okazało, w pewnym sensie zaszkodziło rankingowi "Perspektyw". Prasa i telewizja podały bowiem tylko wyniki tego ostatniego zestawienia. W tabelach opublikowanych w miesięczniku "Perspektywy" zestawiono szczegółowe wyniki rankingów według poszczególnych kryteriów, ale nie to było przedmiotem komentarzy. Nikt nie zwrócił uwagi na przykład na to, że pod względem kategorii KBN na pierwszym miejscu wśród wszystkich uczelni są akademie muzyczne z Warszawy i Krakowa, że Uniwersytet Warmińsko-Mazurski jest na drugim miejscu pod względem liczby słuchaczy studiów podyplomowych i doktoranckich, że największy udział studentów obcokrajowców ma Akademia Medyczna w Warszawie oraz że najlepsza z uczelni niepublicznych (na 35 pozycji w rankingu) zebrała tylko nieco ponad 20 proc. liczby punktów, które miała najlepsza w rankingu.

Serial "Rzeczpospolitej"

Najdłuższy serial rankingowy przygotowała "Rzeczpospolita". Przez dwa tygodnie publikowała zestawienia dotyczące uczelni prowadzących jeden z popularnych kierunków studiów. Uczelnie były oceniane na podstawie jasno sformułowanych kryteriów i systemów punktowania. Autorzy wykorzystali profesjonalną firmę, która zajmuje się badaniami społecznymi, wykorzystano ankiety nadesłane przez uczelnie, a w przypadku rankingu wydziałów prawa ankietowano także studentów. Niestety i w tym rankingu nie uniknięto błędów. Na przykład przy ocenianiu siły dyplomu na rynku pracy w rankingu wydziałów prawa na dziewiątym miejscu - wyprzedzając między innymi KUL i Uniwersytet Śląski - znalazła się uczelnia, której najstarsi studenci uczą się piąty semestr. Wydaje się oczywiste, że uczelnię można oceniać wówczas, gdy ma ona chociaż kilka roczników absolwentów, a w szczególności dotyczyć to powinno rynkowej oceny wartości dyplomu. W ankietowaniu pracowników uczelni i studentów przyjęto stałą liczbę osób udzielających odpowiedzi. Właściwsze byłoby ankietowanie proporcjonalne do liczby pracowników i studentów, bo oceniane wydziały nie są sobie liczebnie równe. Kolejną usterką rankingu "Rzeczpospolitej" jest ujęcie w zestawieniu obejmującym kierunek informatyka jedynie politechnik i części uniwersytetów. W praktyce - zgodnie z tekstem zamieszczonym w "Rzeczpospolitej" - informatyka "ukrywa dwie różne dziedziny nauki". Jedna związana jest z elektroniką i dotyczy konstrukcji komputerów, a druga dotyczy ich wykorzystywania, na przykład (jak pisze "Rzeczpospolita") do przygotowywania oprogramowania, symulacji zjawisk itp. Dlatego też błędem jest pominięcie w tym zestawieniu uczelni, które prowadzą kierunek informatyka i ekonometria.

Ranking  możliwie doskonały

Oczywiście każdy ranking jest subiektywny: mierzy to, co chcieli zmierzyć jego autorzy. Jeśli jednak autorzy chcą, by ranking służył odbiorcom, to sposób podania informacji musi być kompletny. Najprościej jest ułożyć listę, wykorzystując jedno, klarowne kryterium (na przykład: liczbę kandydatów na jedno miejsce). Ale takie zestawienie może prowadzić do paradoksów: uczelnie powszechnie uważane za najlepsze mogą wypaść słabo ze względu na opisany w "Polityce" mechanizm autoselekcji kandydatów. Prowadzi to także do uproszczonych komentarzy, na przykład najpopularniejszy w Polsce jest kierunek reżyserii, bo na jedno miejsce przypada kilkudziesięciu kandydatów - nie podaje się jednak tego, że tych miejsc jest cztery, a kandydatów stu. I jak można tę sytuację porównywać z liczbą trzech i pół tysiąca kandydatów na tysiąc miejsc? Dobry ranking musi więc uwzględniać wiele czynników, ale tu wchodzimy na grunt statystyki. Bez dogłębnej jej znajomości także można sporządzić ranking, ale jego wiarygodność będzie ograniczona. Także dla tych, którzy w nim wygrywają.

Wskazywanie poprzez rankingi najlepszych i dobrze kształcących szkół wyższych ma, wydaje mi się, znaczenie nie do przecenienia. Pod pewnymi jednak warunkami: otóż rankingi powinny charakteryzować się przejrzystymi kryteriami, prawidłowym zebraniem danych oraz być uczciwie opracowane. Ich autorzy winni być profesjonalistami w tej materii, odrzucającymi wszelki koniunkturalizm, a ponadto powinni pamiętać, przygotowując zestawienia szkół wyższych, że wybór uczelni jest kluczowym momentem w życiu młodych ludzi, którzy poszukują swojej dalszej drogi, kończąc edukację w szkole średniej. Ranking ma być im w tym pomocny.

Autor jest rektorem Szkoły Głównej Handlowej w Warszawie i kierownikiem zakładu ekonometrii stosowanej w tej uczelni.
W 1992 roku tygodnik "Wprost" opublikował pierwszy polski ranking uczelni wyższych. Został on przyjęty przez środowisko akademickie z mieszanymi uczuciami. W tym roku opublikowano pięć obszernych, różnie usystematyzowanych wykazów najlepszych szkół wyższych.Interesujące jest to, że - w zakresie, w jakim można porównywać wyniki tych rankingów - mają one zasadniczo tych samych zwycięzców. Niektóre zestawienia wydają się być niedopracowane nawet merytorycznie, inne przeładowane treścią.Najuboższy jest opis kryteriów, który podaje miesięcznik "Businessman".Znacznie więcej informacji uzyskać można z lektury rankingu "Polityki". Jednakże za mało, aby uznać je za wyczerpujące. Autorzy z "Wprost" podali pełną listę kryteriów, jest ona jednak niejasna i niewiarygodna.Publikacja rankingu "Perspektyw" miała nadmiar informacjiNajdłuższy serial rankingowy przygotowała "Rzeczpospolita". Uczelnie były oceniane na podstawie jasno sformułowanych kryteriów i systemów punktowania. Niestety i w tym rankingu nie uniknięto błędów.Oczywiście każdy ranking jest subiektywny: mierzy to, co chcieli zmierzyć jego autorzy. Jeśli jednak autorzy chcą, by ranking służył odbiorcom, to sposób podania informacji musi być kompletny.