Przejdź do treści

Metryki ewaluacyjne autorów

Metryki ewaluacyjne to zestawienie „ile punktów i slotów wnosi każdy autor w każdej dyscyplinie” w okresie ewaluacji 2022–2025. Dla każdej pary autor + dyscyplina BPP:

  • ustala limit slotów autora (z liczby N),
  • wybiera z jego prac taki zestaw, który w tym limicie daje najwięcej punktów (tzw. algorytm plecakowy),
  • pokazuje, ile punktów przypada średnio na jeden slot i jak bardzo autor wypełnił swój limit.

Dzięki temu w jednym miejscu widać, kto ma jeszcze wolne sloty, kto ma prace „na zapas”, a kto w danej dyscyplinie nie ma nic. Metryki są narzędziem do planowania — nie są wynikiem ewaluacji.

Ta strona prowadzi po kolei przez:

Pojęcia punkty MNiSW, PKDaut i slot wyjaśnia strona Gdzie sprawdzić punkty i sloty, a zasady liczenia slotów — Obliczanie slotów.

Zanim zaczniesz

Dostęp. Pełna lista metryk, statystyki, eksport do Excela i odpinanie dyscyplin wymagają konta w grupie „wprowadzanie danych” (albo konta superużytkownika). Przycisk „Uruchom generowanie” widzi dodatkowo tylko osoba z dostępem do panelu administracyjnego (w zespole, is_staff). Grupę i dostęp nadaje administrator BPP.

Zwykły użytkownik powiązany z autorem też może wejść na tę stronę — przez przycisk „Moje metryki ewaluacyjne” w swoim profilu. Widzi wtedy wyłącznie własne wiersze, bez przycisków przeliczania, eksportu i statystyk.

Dane wejściowe. Metryki liczą się z tego, co już jest w BPP:

  • przypisań dyscyplin autorów w latach 2022–2025 — rodzaj autora (N, B, D…), wymiar etatu i procent dyscypliny, zwykle z importu z POL-on,
  • dyscyplin przy autorach w pracach — praca liczy się autorowi tylko w tej dyscyplinie, którą ma przypisaną w rekordzie, i tylko wtedy, gdy ta dyscyplina jest przypięta,
  • punktów prac (punkty MNiSW, z nich PKDaut i sloty).

Po większych zmianach w tych danych metryki trzeba przeliczyć — same się nie odświeżają (wyjątek: odpięcie i przypięcie dyscypliny z poziomu metryk).

Gdzie to jest

Menu ewaluacja → metryki ewaluacyjne.

Menu „ewaluacja” z pozycją „metryki ewaluacyjne”

Przy pierwszym wejściu nad tabelą pojawia się żółta ramka „Ważna informacja o charakterze prezentowanych danych”. Przypomina, że to wskaźniki orientacyjne, a nie wynik ewaluacji ministerialnej. Krzyżyk w prawym rogu ją chowa; w tej przeglądarce wróci po 14 dniach.

Zastrzeżenie o charakterze danych z krzyżykiem do zamknięcia

Przeliczenie metryk

  1. Pod tytułem strony jest ramka statusu. Po ostatnim przeliczeniu mówi „Wizualizacja wygenerowana w dniu … o godzinie …”, ilu autorów przetworzono, ile było błędów i jak długo to trwało. Jeśli metryk nigdy nie liczono — „Brak danych o generowaniu.”. Kliknij „Uruchom generowanie”.

    Ramka statusu z datą ostatniego przeliczenia i przyciskiem „Uruchom generowanie”

  2. Otworzy się okno „Uruchom generowanie metryk”. W typowej sytuacji niczego nie zmieniaj i kliknij „Uruchom generowanie”.

    Okno „Uruchom generowanie metryk”: lata, próg punktów, rodzaje autorów

    Pole Domyślnie Co znaczy
    Rok początkowy / Rok końcowy 2022 / 2025 z prac z których lat zbierać punkty — zostaw okres ewaluacji (patrz uwaga niżej)
    Minimalny próg punktów 0,01 praca bierze udział w liczeniu, jeśli jej punkty MNiSW (za całą pracę) są co najmniej takie; 0,01 = pomiń prace bez punktów
    Nadpisz istniejące metryki zaznaczone przed liczeniem kasuje wszystkie dotychczasowe metryki (patrz uwaga niżej)
    Rodzaje autorów do przetworzenia wszystkie dla kogo liczyć metryki: rodzaje autorów, dla których BPP liczy sloty (zwykle N, B, D), oraz „Brak danych”

    Autor trafia do przeliczenia, jeśli w którymkolwiek roku okresu miał w tej dyscyplinie zaznaczony rodzaj. Odznaczenie np. D pomija doktorantów.

  3. Okno się zamknie, a ramka statusu zrobi się żółta. Najpierw jest „Oczekiwanie na rozpoczęcie przetwarzania...” — BPP przelicza liczbę N (zawsze, przy każdym generowaniu), potem pasek postępu z napisem „Przetworzono: … autorów”. Ramka odświeża się sama co 2 sekundy, a po zakończeniu przeładowuje całą stronę.

    Ramka statusu w trakcie przeliczania: oczekiwanie, przeliczanie liczby N, licznik autorów

    Przeliczanie biegnie w tle — możesz zamknąć stronę i wrócić później. Trwa od kilku sekund do kilku minut, zależnie od liczby autorów.

W trakcie przeliczania lista jest pusta lub niepełna

Ponieważ „Nadpisz istniejące metryki” najpierw kasuje stare wiersze, do końca przeliczania tabela, eksport i statystyki pokazują tylko autorów już policzonych. Nie pobieraj wtedy Excela.

Dlaczego nie zmieniać lat

Pola lat zmieniają tylko zakres prac, z których zbierane są punkty. Limit slotów autora i liczba N są zawsze liczone za lata 2022–2025, a tabela „Wymiar etatu i procent dyscypliny” w szczegółach autora też pokazuje tylko te cztery lata. Inny zakres lat daje więc liczby, które do siebie nie pasują.

„Nadpisz istniejące metryki”

Odznaczenie tego pola nic nie zmienia — metryki są przeliczane i nadpisywane zawsze, a stare wiersze kasowane, tak jakby pole było zaznaczone. Dotyczy to też autorów, których przy tym przeliczeniu pominiesz (np. odznaczając rodzaj D) — ich metryki znikną z listy aż do następnego pełnego przeliczenia.

Tabela metryk

Nad tabelą są cztery liczby dla aktualnie przefiltrowanych wierszy:

  • Liczba wierszy — par autor + dyscyplina (autor w dwóch dyscyplinach to dwa wiersze),
  • Liczba autorów — różnych osób,
  • Średnie wykorzystanie slotów — średnia z kolumny „Wykorzystanie slotów”,
  • Średnia PKDaut/slot — średnia z kolumny „Średnia PKDaut/slot” (zwykła średnia z wierszy, nie ważona slotami).

Podsumowanie nad tabelą i pierwsze wiersze: średnia PKDaut/slot, wykorzystanie slotów, akcje

Każdy wiersz tabeli to jeden autor w jednej dyscyplinie. Domyślnie najlepsi (największa średnia PKDaut/slot) są na górze; po 20 wierszy na stronę.

Kolumna Co pokazuje
Autor kliknięcie (albo w dowolne miejsce wiersza) otwiera szczegóły; nagłówek sortuje alfabetycznie
Rodzaj autora N, B, D… z najnowszego roku, w którym autor ma tę dyscyplinę; „Brak danych”, gdy rodzaju nie wpisano
Dyscyplina znika, gdy w metrykach jest tylko jedna dyscyplina
Jednostka aktualna jednostka autora (skrót) — nie ta, w której pisał prace
Średnia PKDaut/slot suma PKDaut wybranych prac podzielona przez sumę ich slotów; pasek ma skalę 0–200
Wykorzystanie slotów ile slotów zajmują wybrane prace / limit slotów autora, w procentach; pod kółkiem obie liczby, np. „3,92 / 4,00”
Akcje oko — szczegóły; ludzik — strona autora w BPP; nożyczki — „Kadruj”, czyli pokaż tylko wiersze tego autora (przycisk jest tylko u autorów z więcej niż jedną dyscypliną)

Jak czytać dwie główne liczby:

  • Limit slotów (w szczegółach: Slot maksymalny) — z liczby N: suma rocznych udziałów autora w dyscyplinie (etat × procent dyscypliny) za lata 2022–2025, zaokrąglona w górę do 1, jeśli jest mniejsza, i obcięta do 4. Pełny etat w jednej dyscyplinie przez cztery lata = 4 sloty.
  • Wybrane prace (w szczegółach: prace nazbierane) — spośród wszystkich prac autora w tej dyscyplinie BPP wybiera zestaw, który mieści się w limicie slotów i daje największą sumę PKDaut. To od nich liczone są „Średnia PKDaut/slot” i „Wykorzystanie slotów”.

Wykorzystanie 100% oznacza, że autor ma dość punktowanych prac, żeby wypełnić cały limit. Mniej niż 100% — wszystkie jego prace razem nie wypełniają limitu: każda nowa punktowana praca w tej dyscyplinie podniesie wynik.

Pole „Widok” zamiast tabeli pokazuje te same wiersze jako wykresy („Całokształt slotów”, mapy ciepła, wykres bąbelkowy itp.); kliknięcie punktu na wykresie otwiera szczegóły autora. Wykresy nie mają podziału na strony — pokazują wszystkie przefiltrowane wiersze naraz.

Filtry i eksport do Excela

Panel filtrów z przyciskami „Filtruj”, „Wyczyść filtry”, „Pobierz XLSX”, „Statystyki”

  • Nazwisko/Imię — fragment nazwiska lub imienia,
  • Wydział — tylko gdy uczelnia używa wydziałów i ma ich więcej niż jeden,
  • Jednostka — według aktualnej jednostki autora,
  • Rodzaj autora — w tym „Brak danych”,
  • Dyscyplina — tylko gdy dyscyplin jest więcej niż jedna,
  • Widok — tabela albo jeden z wykresów.

Zmiana pola od razu przeładowuje listę (przycisk „Filtruj” robi to samo). „Wyczyść filtry” wraca do pełnej listy. Kliknięcie nagłówka „Średnia PKDaut/slot”, „Wykorzystanie slotów” albo „Autor” zmienia sortowanie.

„Pobierz XLSX” zapisuje do Excela wszystkie wiersze zgodne z bieżącymi filtrami i sortowaniem (nie tylko widoczną stronę). Plik ma więcej kolumn niż tabela: ID systemu kadrowego, ORCID, PBN UID, wydział, slot maksymalny, nazbierany i niewykorzystany, % wykorzystania, PKDaut i średnią PKDaut/slot osobno dla prac wybranych i dla wszystkich, liczbę prac (wybranych i wszystkich) oraz lata okresu.

„Statystyki” otwiera zestawienia zbiorcze.

Szczegóły jednego autora

Kliknij nazwisko w tabeli. Strona szczegółów pokazuje jedną parę autor + dyscyplina. Jeśli autor ma kilka dyscyplin, nad danymi są przyciski „Inne dyscypliny tego autora”.

Szczegóły metryki: informacje podstawowe i wykorzystanie slotów ze slotem maksymalnym

  • Informacje podstawowe — dyscyplina, jednostka, okres, data przeliczenia i „Pozycja w jednostce” (miejsce autora wśród osób z tej samej jednostki i dyscypliny według średniej PKDaut/slot, np. „1 / 4”).
  • Wykorzystanie slotów — Slot maksymalny (limit), Slot wykorzystany (zajęty przez wybrane prace) i Slot niewykorzystany (różnica).
  • Wizualizacja prac w czasie — wykresy punktów i slotów w latach.
  • Wymiar etatu i procent dyscypliny w latach 2022-2025 — dane, z których wziął się limit slotów, z rodzajem autora w każdym roku i średnimi. Pierwsze miejsce do sprawdzenia, gdy limit wygląda podejrzanie.
  • Prace nazbierane (algorytm plecakowy) i Wszystkie prace — liczba prac, suma PKDaut, suma slotów i średnia PKDaut/slot dla prac wybranych oraz dla wszystkich prac autora w tej dyscyplinie.
  • Szczegóły prac nazbieranych — wybrane prace z PKDaut, slotem i PKDaut/slot każdej z nich. Żółty przycisk otwiera optymalizację publikacji, zielony — stronę pracy.
  • Wszystkie prace w okresie — wszystkie prace autora w tej dyscyplinie; prace wybrane mają etykietę „Wybrana”.
  • Prace z odpiętą dyscypliną w okresie — prace, w których dyscyplina autora jest odpięta, z szacunkowymi PKDaut i slotem (punkty pracy i 1 slot podzielone równo przez liczbę autorów).

Odpinanie i przypinanie dyscypliny

Sekcja „Szczegóły prac nazbieranych” z przyciskiem odpinania dyscypliny

Czerwony przycisk („Odepnij dyscyplinę”) przy pracy odpina dyscyplinę tego autora w samym rekordzie publikacji — tak samo jak odznaczenie pola „przypięta” przy autorze w redagowaniu pracy. Zielony przycisk („Przypnij dyscyplinę”) w sekcji prac odpiętych robi odwrotnie.

To zmienia dane pracy, nie tylko metryki

Przycisk działa od razu, bez pytania o potwierdzenie. Odpięta dyscyplina nie jest wykazywana do PBN i nie liczy się do punktów pracy — zmianę widać we wszystkich raportach slotów, nie tylko tutaj. Używaj go świadomie.

Po kliknięciu BPP od razu przelicza punktację tej pracy i metryki wszystkich jej autorów z dyscypliną (odpięcie u jednego autora zmienia podział punktów i slotów między pozostałych), po czym wraca do szczegółów. Pełnego przeliczenia nie trzeba uruchamiać.

Szersze planowanie, które prace przypiąć, a które odpiąć, żeby uczelnia zebrała jak najwięcej punktów, opisuje strona Optymalizacja ewaluacji (menu ewaluacja → optymalizacja ewaluacji); stan odpięć można zapamiętać i przywrócić w ewaluacja → snapshoty odpięć.

Statystyki

Przycisk „Statystyki” nad tabelą otwiera „Statystyki metryk ewaluacyjnych” — zestawienia dla całej uczelni (filtry z listy tu nie działają):

  • Statystyki globalne — liczba wierszy i autorów, średnie wykorzystanie, średnia PKDaut/slot, suma punktów i suma slotów,
  • Top 20 autorów PKDaut/slot i Top 20 autorów sloty wypełnione,
  • Rozkład wykorzystania slotów — ile wierszy mieści się w przedziałach 0–25%, 25–50% itd.,
  • Najniższe 20 autorów wg PKDaut/slot i wg slotów (bez zerowych),
  • Lista autorów zerowych — osoby z zerową średnią, które w danej dyscyplinie były w liczbie N, z latami, w których były,
  • Top 10 jednostek wg średniej PKDaut/slot i Statystyki wg dyscyplin.

Każda sekcja ma własny przycisk „Export XLSX”.

Statystyki globalne i tabela „Top 20 autorów PKDaut/slot” z przyciskiem „Export XLSX”

Typowe pytania

Dlaczego autor ma średnią 200, a wykorzystanie tylko 38%? Średnia liczy się tylko z wybranych prac. Autor ma mało prac, ale wysoko punktowanych — np. jedną pracę za 200 punktów na 1,5 slota z 4 możliwych. Wysoka średnia nie znaczy, że limit jest wypełniony.

Dlaczego autor ma limit 4, a pracował na pół etatu? Limit to suma czterech lat. Sprawdź w szczegółach tabelę „Wymiar etatu i procent dyscypliny”: pół etatu przez cztery lata to 2 sloty, ale jeśli w którymś roku wpisano pełny etat albo 100% dyscypliny, limit rośnie. Jest też reguła liczby N: osobie z dwiema dyscyplinami, z których jedna jest nieraportowana, BPP dolicza slot do tej drugiej (do limitu 4) — patrz Liczba N.

Dlaczego praca autora nie jest wśród wybranych? Po kolei:

  1. jest w „Wszystkich pracach w okresie”, ale bez etykiety „Wybrana” — inne prace dają więcej PKDaut w tym samym limicie slotów; tak ma być,
  2. jest w „Pracach z odpiętą dyscypliną” — dyscyplina jest odpięta, przypnij ją,
  3. nie ma jej nigdzie — praca nie ma punktów MNiSW (poniżej progu 0,01), jest spoza lat 2022–2025, autor ma w niej inną dyscyplinę albo żadnej, albo praca nie ma slotów (patrz Praca ma punkty, ale nie ma slotu?).

Dlaczego autora nie ma na liście? Metryki powstają tylko dla par autor + dyscyplina, które mają wyliczone udziały w liczbie N (lista „Lista udziałów za całość” na stronie liczby N). Autora nie będzie, gdy w latach 2022–2025 nie ma przypisanej dyscypliny, rodzaju autora albo wymiaru etatu, gdy jego rodzaj odznaczono przy przeliczaniu, albo gdy dane zmieniono po ostatnim przeliczeniu.

Dlaczego jednostka w metrykach jest inna niż w pracach? Kolumna pokazuje aktualną jednostkę autora z dnia przeliczenia, filtr „Jednostka” też.

Zmieniłem dane — dlaczego metryki są stare? Metryki to zdjęcie z chwili przeliczenia (data w ramce statusu i „Data obliczenia” w szczegółach). Po zmianach przeliczeń, przypisań dyscyplin czy punktów kliknij „Uruchom generowanie” ponownie.

Co może pójść nie tak

Brak przycisku „Uruchom generowanie”. Twoje konto nie ma dostępu do panelu administracyjnego (w zespole). Poproś administratora albo inną osobę z takim dostępem.

Strona „Brak uprawnień” (błąd 403) przy statystykach, odpinaniu dyscypliny albo szczegółach innego autora — konto nie jest w grupie „wprowadzanie danych”, więc widzi tylko własne metryki. Grupę nadaje administrator BPP.

„Nie znaleziono metryki ewaluacyjnej dla tego autora i dyscypliny. Proszę o wygenerowanie metryk ponownie.” — link do szczegółów prowadzi do pary, której po ostatnim przeliczeniu już nie ma (np. trwa przeliczanie albo autor stracił dyscyplinę). Poczekaj na koniec przeliczania albo przelicz metryki.

„Generowanie jest już w trakcie (rozpoczęte: …)” — ktoś inny właśnie przelicza. Poczekaj, aż ramka statusu zrobi się zielona.

Ramka statusu wisi na „Oczekiwanie na rozpoczęcie przetwarzania...”. Przeliczanie wykonuje usługa zadań w tle. Jeśli po kilkunastu minutach nic się nie zmienia, usługa nie działa — zgłoś to administratorowi serwera. Do czasu naprawy nie da się uruchomić kolejnego przeliczenia (przycisk pokazuje „Generowanie w trakcie”).

W ramce statusu „Błędy: …” — części par autor + dyscyplina nie udało się policzyć; pozostałe metryki są poprawne. Jeśli błędy się powtarzają, zgłoś to administratorowi (szczegóły są w dzienniku serwera).

„Brak danych do wyświetlenia.” w tabeli — metryk jeszcze nie przeliczono albo filtry nic nie zwracają. Komunikat podpowiada polecenie dla administratora (oblicz_metryki), ale redaktor może po prostu kliknąć „Uruchom generowanie”.

Wszyscy mają „Brak danych” w rodzaju autora lub limit 1. Do BPP nie trafiły dane z POL-on (rodzaje, etaty, procenty dyscyplin). Zacznij od importu z POL-on i jego „Weryfikuj poprawność bazy”.

Zobacz też