Quo vadis, coffea pistrilla?

Článek přináší shrnutí nejnovějších událostí v oblasti hodnocení vědy a výzkumu, které byly představeny v říjnu 2012 na konferenci Knowledge, research, education. Kromě příspěvku týkajícího se výsledků Mezinárodního auditu vědy, výzkumu a inovací, zazněly přednášky o budoucích představách způsobu hodnocení vědy, výzkumu a inovací a také byly představeny systémy hodnocení vědy a výzkumu, které fungují v zahraničí – v Polsku, Estonsku, Slovensku a v Norsku.

Ve dnech 4. - 5. 10. 2012 se odehrál 3. ročník konference s názvem Knowledge, research, education (zkráceně KRE), která se, stejně jako v loňském roce, věnovala hodnocení vědy a výzkumu. Koná se pravidelně v Národní technické knihovně v Praze.

Konference navazovala na loňský ročník, který se zabýval především mezinárodním auditem hodnocení vědy a výzkumu. Zazněly zde tedy závěry z tohoto auditu a způsoby, jakými se řešitelé projektu Efektivní systém hodnocení a financování VaVaI (bližší informace o projektu na webových stránkách) rozhodli tyto závěry implementovat v budoucnu. Přednášejícím, kteří se tomuto tématu věnovali, patřil první den konference. Pořadí přednášek bylo na poslední chvíli změněno, takže úvodní přednáška byla pronesena až jako poslední. Na informovanost posluchačů to ale nemělo žádný vliv, protože v podstatě všechny jednotlivé prezentace obsahovaly stručný úvod do problematiky. Druhý den konference byl ve znamení zahraničních zkušeností.

Nejzajímavější příspěvky

Jitka Moravcová z Vysoké školy chemicko-technologické), jako vedoucí projektu Efektivní systém hodnocení a financování VaVaI (všeobecněji známého pod názvem Metodika), se svým příspěvkem Jak dál v hodnocení a financování vědy - doporučení mezinárodního auditu vystoupila oproti původně plánovanému rozpisu jako poslední. V článku je příspěvek zařazen na první místo, protože poskytuje úvod do problematiky a ostatní přednášky na něj tematicky navazují. Paní Moravcová představila poznatky a z nich plynoucí doporučení zahraničních auditorů, kteří prováděli audit vědy a výzkumu v průběhu loňského roku. Auditoři zkoumali výdaje a efektivitu, práci s lidskými zdroji, přístup k autorskému právu, státní správu, úroveň institucí a mezinárodní spolupráce a audit probíhal nejen v České republice, ale také v zahraničí, aby zjištěné výsledky bylo s čím porovnávat. Na podkladě poznatků z auditu bude umožněno vytvoření efektivního systému veřejné podpory.

Jako pozitivní byl auditory hodnocen např. nejvyšší nárůst investic do vědy a výzkumu v České republice do roku 2009, nárůst počtu publikací v renomovaných časopisech, citovanosti, úrovně mezinárodní spolupráce a viditelnosti české vědy a výzkumu v mezinárodním měřítku a také pokles počtu poskytovatelů.

V úrovni státní správy týkající se vědy a výzkumu se podle auditorů velmi odráží politická nestabilita, přílišná politizace vědy a výzkumu a převaha různých zájmových skupin nad strategickými vizemi. Paní Moravcová ocitovala závěr auditorů slovy: „V České republice je obtížné vypracovat a implementovat konzistentní politiku vědy a výzkumu."

Celkem překvapivé bylo hodnocení Rady pro vědu, výzkum a inovace (RVVI). Podle auditorů současné postavení členů Rady potlačuje roli nositele změn a je na ně vyvíjen neúměrný pracovní tlak. Dalo by se říci, že se RVVI stává jakýmsi virtuálním ministerstvem vědy. Špatně hodnoceno bylo také složení RVVI, v němž chybí zástupci poskytovatelů podpory.

Nezanedbatelnou oblastí jsou samozřejmě lidské zdroje a podle výsledků auditu v ní máme vskutku velké mezery. Bylo konstatováno, že malé výzkumné týmy, které jsou v současnosti ve výzkumných organizacích nejčastější, trpí dvěma neduhy - vzhledem ke své velikosti mohou plnit pouze dílčí, částečné úkoly a pracují velmi pomalu. Oproti praxi v ostatních hodnocených státech máme mezery také ve spolupráci se zahraničím a to jednak v tom, že nevysíláme doktorandy „na zkušenou" do zahraničí a kromě toho je zde velmi malý počet zahraničních pracovníků ve vědě a výzkumu (způsobený administrativními potížemi - např. jednání s cizineckou policií). Velkým problémem je také jev, který je v auditu pojmenován jako „inbreeding" (dalo by se přeložit jako zahnízdění) a který souvisí s tendencí konzervovat zavedené struktury. Je to situace, kdy jeden výzkumník stráví celý profesní život v jedné jediné pracovní skupině (od bakaláře až do penze).

Dalšími hodnocenými oblastmi bylo vertikální řízení ve státní správě, horizontální koordinace, veřejné výdaje a metodika hodnocení. Poznatky, které mě z výše uvedených oblastí nejvíce zaujaly, jsou např. malý zájem o transparentnost řízení ve státní správě; neexistence zákona o státní službě (což by zajistilo větší stabilitu osob v důležitých funkcích) a doporučení, aby se současný poměr institucionální a účelové podpory ustálil na poměru 50:50 (v současnosti je to asi 48:52).

Závěry auditu byly shrnuty v následujících doporučeních:

-        obnovit důvěru, otevřenost, transparentnost,

-        hledání konsensu,

-        zvýšit výdaje na vědu a výzkum,

-        zlepšit spolupráci vysokých škol a akademie věd,

-        zlepšit management výzkumných organizací,

-        přeskupit odpovědnosti ministerstev.

Tato doporučení se teď aktivně snaží do systému hodnocení vědy a výzkumu implementovat právě řešitelé projektu Efektivní systém hodnocení a financování VaVaI a jejich konkrétní představy budou představeny v dalších příspěvcích.

Pokud by některého z čtenářů problematika mezinárodního auditu zaujala, podklady jsou zveřejněny na stránkách Ministerstva školství, mládeže a tělovýchovy.

Další přednášky, které se týkaly projektu Efektivní systém hodnocení a financování VaVaI, seznámily účastníky konference s jednotlivými klíčovými aktivitami.

Klíčovou aktivitu Velké pilotní ověřování odborně garantuje Stanislava Hronová, která vystoupila s přednáškou Projekt Efektivní systém hodnocení a financování výzkumu, vývoje a inovací - naděje a očekávání. Stručně shrnula výhody a nevýhody současné metodiky, přičemž hned na úvod nás upozornila, že nevýhod bude mnohem více. Mezi výhody patří uvědomění si nutnosti hodnotit a nárůst počtu výsledků vědy a výzkumu. K oběma těmto výhodám paní Hronová dokázala přiřadit jedno společné „ale" - velkým problémem je fakt, že databáze výsledků a současný systém jejich hodnocení neodráží kvalitu výsledků. Mezi další nevýhody patří:

-        stejný přístup k hodnocení všech oborů, přičemž nejsou brány ohledy na specifika v daném oboru,

-        neustálé, ale nekoncepční, inovace metodiky,

-        neexistence nadřazené profesní organizace, která by měla na starosti tvorbu metodiky a hodnocení vědy a výzkumu,

-        nevyrovnanost bodových hodnot a etické problémy.

Největším, a v průběhu celé konference nejzmiňovanějším, problémem hodnocení vědy a výzkumu je vazba výsledků hodnocení na financování (společně se snahou propočítávat body až na jednotlivé pracovníky a na jejich základě dělit finance i v rámci organizace). Z toho plyne honba za body, která může vyvrcholit až v jev, který přednášející popsala slovy: „Roste počet výstupů, ale klesá počet citací. To znamená, že píšeme, ale nečteme. Jak ale bude vypadat psaný výstup, když v něm autor nereaguje na dění v odborné komunitě?"

Řešením těchto problémů by měla být činnost řešitelského týmu. Jejich cílem je především vytvořit zcela novou (nikoli neustále aktualizovanou a opravovanou) metodiku hodnocení vědy, výzkumu a inovací, zasadit se o vznik organizace, která bude mít hodnocení vědy a výzkumu v popisu práce a navrhnout nový způsob financování.


Diskuze na závěr přednášky Stanislavy Hronové

Velmi zajímavá byla přednáška Daniela Münicha (garanta klíčové aktivity Systém hodnocení) s názvem Zásady institucionálního hodnocení VaV připravovaného v rámci IPN Metodika. Pan Münich nastínil představy řešitelského týmu o budoucím způsobu hodnocení vědy a výzkumu.

Systém by měl umožnit srovnání hodnocených jednotek v rámci oboru, porovnání kvality vůči světovému standardu a poskytnout kvalitativní i kvantitativní zpětnou vazbu pro práci všech součástí soukolí. Zároveň by měl poskytnout informace o využívání a potřebnosti velkých a nákladných výzkumných infrastruktur a podklady pro rozhodnutí o financování.

Navrhované řešení, inspirované Velkou Británií, Holandskem a Finskem, by se dalo zjednodušeně shrnout do slov „mezinárodní informované oborové peer-review". Hodnocení by probíhalo jednou za pět let. V ideálním případě by bylo ustanoveno 5-8 oborových panelů („komisí") a 25-30 subpanelů. Výsledkem hodnocení by byl výkonnostní profil zohledňující počet výsledků výzkumu na vědeckého pracovníka, předpoklady vývoje instituce a nejvýznamnější dopady výzkumu dané organizace. Tento profil bude vztažený k zahraničním výsledkům.

Konkrétní průběh hodnocení je následující:

-        ustanovení panelů a subpanelů,

-        přihlášení hodnocené instituce do hodnocení v daném oboru,

-        hodnocená instituce zpracuje sebe-evaluační zprávu,

-        zpracování bibliometrické zprávy pro hodnocenou instituci,

-        osobní návštěva subpanelu v hodnocené instituci,

-        vypracování hodnotící zprávy panelu a stanovisko hodnocené instituce k této zprávě,

-        syntéza výsledků na úroveň oborů, poskytovatelů, velkých infrastruktur,

-        zveřejnění výsledků.

V průběhu hodnocení je vyžadována interakce s hodnocenou institucí. Pro zachování objektivity by (nejen) předsedové panelů a subpanelů měli být cizinci a také bude stanoven dohled nad prací panelů a subpanelů. Negativem výše nastíněného postupu, kromě toho, že z důvodu účasti zahraničních odborníků bude muset být veškerá administrativa vedena v anglickém jazyce, je obecná nedůvěra k peer-review, dále obavy z administrativní zátěže, ze šetření peněz na špatném místě, obecně ze změn a reforem a hlavně obavy z toho, co bude ve výsledku doopravdy zjištěno.

V závěru se pan Münich věnoval nákladům na hodnocení, které by měly být ve výši 1-1,5% z veřejných institucionálních prostředků na vědu a výzkum (v současnosti tento podíl činí cca 0,5 miliardy Kč) a měly by v nich být zahrnuty přímé (platby hodnotitelům apod.) i nepřímé (sepsání sebe-evaluační zprávy, péče o subpanel při návštěvě) náklady na straně hodnocených výzkumných organizací.


Diskuze na závěr přednášky Daniela Münicha

Jiří Rákosník, garant klíčové aktivity Systém financování, vystoupil s přednáškou s názvem Zásady institucionálního financování VaV. Jak již název vypovídá, přednáška se týkala značně ožehavého tématu - financí. Cílem výše zmíněné klíčové aktivity je navrhnout dostatečně motivující způsob podpory. Je důležité odlišit podporu institucionální, která pokrývá náklady na provoz instituce jako takové, na zajištění stability organizace v delším časovém horizontu, a podporu účelovou, která je určena především na podporu jednotlivých týmů (jejichž členové mohou být i z více institucí), pro řešení konkrétních úkolů v krátkodobém horizontu. Tato přednáška se tedy týkala podpory institucionální. Přednášející v první řadě upozornil, že on (ale i jeho kolegové) prezentuje pouhý projekt, nikoli hotovou věc. Projekt je ve fázi tvorby a témata v přednáškách zmíněná jsou ještě diskutovatelná.

V současné chvíli je podpora přidělena každé organizaci, která splňuje podmínku Rámce pro státní podporu výzkumu, vývoje a inovací (odst. 2.2, písm. d). Podle pana Rákosníka by ale fakt, že výzkumná organizace splňuje tuto podmínku, neměl prokazovat automatický nárok na podporu, což v současnosti dělá. Tím pádem existuje velké množství výzkumných organizací a RVVI (na úkor tvorby koncepce a strategie) tráví mnoho času tím, že zkoumá, kdo má na podporu nárok. Z doporučení auditorů hodnocení vědy a výzkumu vyplývá, že lepší by bylo přidělovat finanční prostředky buď na základě výkonnostních kontraktů (smluv mezi poskytovatelem podpory a příjemcem, ve kterých budou předem stanoveny dosažitelné, realistické a měřitelné cíle; ve kterých budou definovány sankce při jejich nesplnění a které budou zahrnovat posouzení směru vývoje a připravenost dostát závazkům) nebo „podle předpisu" (definovaného sadou indikátorů - např. SMART či CREAM[1], oborovou metodikou a pomocí informovaného peer-review). Ideální by v tuto chvíli bylo zvolit vhodný mix obou přístupů.

Pro to, aby nový systém financování dobře fungoval, je potřeba dobře vymezit pojem institucionálního financování (např. se inspirovat zkušenostmi ze zahraničí), provést analýzu institucionální základny VaV v České republice a poznatky srovnat s dobrou praxí v Evropské unii, navrhnout modely pro dva výše zmíněné způsoby finanční podpory a následně modelově ověřit dopady (ideálně ve spolupráci některou ze zahraničních autorit).

Přechodné období mezi současným a budoucím systémem financování navrhuje pan Rákosník překlenout pomocí „pokusných" institucí, které budou získávat podporu prostřednictvím nového systému, díky čemuž mohou být odladěny případné nedostatky.

Na závěr přednášející zmínil aktuální stav této fáze projektu. Jsou vyhlášena dvě výběrová řízení, osloveny desítky odborníků, kteří jsou ochotni a připraveni spolupracovat a jsou navázány kontakty se zahraničními institucemi zajišťujícími hodnocení a financování vědy a výzkumu. Další postup vázne na schválení výběrových řízení a na uzavření smluv s odborníky, což by při naplnění nejčernějšího scénáře mohlo způsobit, že projekt vůbec nebude dokončen.

Zahraniční příspěvky

Druhý den byl věnován přednáškám zahraničních hostů. Wojciech Fenrich z Varšavské univerzity, Madis Saluveer, člen Estonian Research Council, Juraj Černák z Univerzity Pavla Jozefa Šafárika v Košicích a Gunnar Sivertsen z The Nordic Institute for Studies in Innovation, Research and Education, představili systémy hodnocení vědy a výzkumu ve svých zemích. V Polsku například změnili systém hodnocení relativně nedávno - v říjnu roku 2011. Přednáška proto byla představením tohoto systému a zároveň jakýmsi zhodnocením po roce fungování. V Estonsku vznikaly první dokumenty týkající se hodnocení vědy a výzkumu už v devadesátých letech 20. století. Pan Saluveer tedy hodnotil 20 let estonských zkušeností. Pan Černák se věnoval dopadu scientometrie na hodnocení vědy a výzkumu ve Slovenské republice. Pan Siversten ve své přednášce přiblížil způsob, jakým v Norsku využívají bibliometrická data při hodnocení vědy a výzkumu.


Wojciech Fenrich se vzorcem pro výpočet podpory

Cofeebreaky, občerstvení, zábava

Nedílnou (a možná i pro účastníky nejzajímavější) součástí každé konference je občerstvení během přestávek. S tím se pořadatelé této konference vypořádali perfektně. Na první pohled klasické chlebíčky a sladkosti byly pojaty velmi zajímavě, neobvyklé kombinace chutí na chlebíčcích a sladkosti jako muffiny či tvarohové dezerty byly velice příjemné. Stejně tak sendviče, které byly podávány druhý den, potěšily svou chutí.

Konference se prezentuje jako „čtyřiadvacetihodinová", protože pro všechny platící účastníky je uspořádán společenský večer v prostorách Obecního domu. O této části bohužel nemohu přinést bližší informace, jako zaměstnanec Národní technické knihovny jsem byla účastníkem neplatícím. O tom, jak se večer vyvedl, nám malou zprávu podal Martin Svoboda při úvodu do prvního bloku druhého dne, když s potěšením konstatoval, že se nesnížil počet přítomných v sále i přes náročnost večerního programu. Stejně tak vydávaly tiché svědectví tváře některých účastníků.


Cofeebreak

Diskuze

Díky ukázněnosti většiny přednášejících byl po každé přednášce prostor pro krátkou diskuzi, stejně tak po jednotlivých blocích a celou konferenci uzavřela diskuze panelová. Dotazy z publika odhalovaly nepříliš velké nadšení z nově vznikající metodiky.

Z mého pohledu nejvýraznější diskuze byla vyvolána vedoucími přírodovědeckých fakult, které jsou se současným systémem hodnocení spokojeny, mají pocit, že systém umožňuje studentům prorazit. Proti tomuto názoru se ohradili například zástupci škol ekonomických a humanitních, pro něž současný systém naopak nepříznivý, a také zazněl názor, že v případě přírodověd je celý systém zneužívám k propagaci škol, která by ale měla správně probíhat jinak. Bohužel tato diskuze nebyla uzavřena nijak podnětně.

V závěrečné diskuzi zaznělo mnoho názorů a bylo představeno mnoho pohledů na věc. Z těch, kdo se v této diskuzi projevili, bylo velmi málo lidí přesvědčeno o tom, že právě probíhající práce na tvorbě metodiky pro ně bude přínosem. Buď jsou spokojeni se současným stavem a neměnili by, nebo nesouhlasí s představami řešitelského týmu o budoucím systému hodnocení vědy a výzkumu.

Závěr

Celkově hodnotím konferenci jako velmi vydařenou. Oproti loňskému ročníku, který zájemcům nepřinesl mnoho nového ani překvapivého, tento rok poskytl konkrétnější vhled do směru, jakým se hodnocení vědy a výzkumu v České republice bude v budoucnu ubírat. Vítám větší množství přednášek v češtině a samozřejmě možnost simultánního překladu u přednášek v anglickém jazyce. Je potřeba zmínit v podstatě profesionální moderátorský výkon Bohumila Kratochvíla (prorektor VŠCHT pro vědu a výzkum), jenž se nebál utnout diskuzi, která by narušila časový harmonogram. A v neposlední řadě je třeba zmínit celkovou organizaci konference a vzdát dík organizátorskému týmu Národní technické knihovny.

Zájemci o materiály z konference nechť prosím navštíví webové stránky http://www.techlib.cz/cs/1836-kre-12/, kde najdou ke stažení všechny prezentace jednotlivých přednášejících a v budoucnu také videozáznamy a přepisy diskuzí.



[1] CREAM - clear, relevant, economic, adequate, monitorable

Fotogalerie

Líbil se vám článek?
Stáhnout článek v PDF

0 komentářů

Přidat komentář

(If you're a human, don't change the following field)
Your first name.
(If you're a human, don't change the following field)
Your first name.

Přečtěte si také

Přihlášení Registrace
RSS Facebook Twitter YouTube
Zobrazit standardní verzi webu

Taky děláme

Feedback