Jak (z)hodnotit vědu a výzkum - Knowledge, research, education 2011

Ve zprávě z konference Knowledge, Research, Educatin, zkráceně KRE 2011, jsou popsány jednotlivé přednášky z druhého ročníku akce. Hlavním tématem bylo hodnocení, měření a následné financování vědy a výzkumu jak v České republice, tak po celém světě. Na konferenci byly představeny názory odborníků na jednotlivé oblasti tohoto oboru (financování, hodnocení) a také zde zazněly výsledky Auditu VaVaI v ČR.

Úvod

Tento ročník konference se věnuje především tématu měření výzkumu, rozdělování peněz na něj a jeho vlivu na další činnosti, také v souvislosti s finanční krizí. Událost by měla umožnit setkání knihovníků, akademiků, představitelů univerzit a vydavatelů a poskytnout platformu k debatě o trendech v této oblasti. Jedná se už o druhý ročník konference, která se koná k výročí otevření Národní technické knihovny.

Tuto mezinárodní konferenci organizuje Ministerstvo školství, mládeže a tělovýchovy (MŠMT), České vysoké učení technické Praha (ČVUT), Vysoká škola chemicko-technologická (VŠCHT) a Národní technická knihovna (NTK).

Funkce moderátora prvního dne se ujal Martin Lhoták z Knihovny Akademie věd České republiky.

Čtvrtek 8. 9. 2011

Stručné úvodní slovo přednesl ředitel NTK Martin Svoboda, po něm se slova chopil vrchní ředitel sekce pro vědu a výzkum MŠMT Jan Hrušák. Zmínil roli MŠMT v distribuci rozpočtu na vědu a výzkum a projevil víru v to, že z této konference vyjde mnoho zajímavých závěrů. Jako jedno ze zajímavých témat jmenoval především přednášku Erika Arnolda, který představí výsledky auditu hodnocení vědy v České republice. Tento audit byl financován prostřednictvím strukturálních fondů MŠMT. Výsledky zohledňují standardy hodnocení kvality a cílem, kterého by na jejich základě mělo být ideálně dosaženo, jsou hlavně změny v systému hodnocení vědy a výzkumu. Tyto změny nemají přinést jen zvýšení efektivity veřejných výdajů, ale také zlepšít pocit většiny vědeckých pracovníku, že současný model překrucuje výsledky.


Evaluating Research at Levels from National to Institutional, přednášející James V. Staros

James V. Staros je děkanem a rektorem pro studijní a akademickou činnost na fakultě biochemie a molekulární biologie univerzity Massachusetts v USA, kde také vyučuje. Má bohaté zkušenosti s výzkumem a jeho hodnocením. Ze svého hlediska se zaměřil na národní hodnocení vědy a výzkumu v USA, kdy jsou analyzována data poskytovaná jednotlivými univerzitami a jinými organizacemi, na jejichž půdě věda a výzkum probíhají.

V USA existují tři různé klasifikace, které pomáhají hodnotit vědu. První z nich je klasifikace Carnegieho nadace, která dělí organizace do šesti univerzálních kategorií:

  • speciální instituce (např. lékařská centra)
  • univerzity udělující doktorandský titul - v této třídě se univerzity dělí ještě na další tři skupiny podle úrovně výzkumné činnosti. Ta se hodnotí na základě počtu výzkumných prací, počtu doktorandů a podle vývoje ročních výdajů.
  • univerzity udělující magisterské tituly
  • univerzity udělující bakalářské tituly
  • komunitní univerzity
  • tribal college - instituce založené původními americkými obyvateli

Center of Measuring University Performance jako tvůrce druhého přístupu k hodnocení vědy nedělí organizace do kategorií, ale všechny hodnotí pomocí následujících  9 kritérií:

  • celkové náklady na výzkum
  • federální náklady na výzkum
  • dotace od nadací
  • roční objem darů univerzitám
  • členství v národních akademiích (NAS, NAE, IOM)
  • udělená ocenění členům sboru
  • počet doktorandů
  • počet udělených doktorátů
  • výsledky SAT nebo ACT testů

Hodnocení je založeno na sčítání všech kritérií a na základě výsledků je vytvořen žebříček, ve kterém jsou zahrnuty jak soukromé, tak veřejné univerzity. Zajímavostí je, že se v dílčích kritériích odráží rozdíly mezi veřejnými a soukromými univerzitami, v součtu jsou ale jednotlivé organizace relativně vyrovnané.

Úroveň výzkumu v organizacích je hodnocena také Asociací amerických univerzit. Tato asociace sdružuje různé univerzity (v současnosti celkem 61) a pro jejich výběr má dva soubory ukazatelů. V první fázi je ceněna federální grantová podpora, různá ocenění, počty citací a úroveň doktorandských programů, v druhé fázi je hodnoceno financování výzkumu, počet udělených doktorandských diplomů, počet přijatých postgraduálních studentů a úroveň vysokoškolského studia. Jedná se o soukromou aktivitu této organizace, kterou projde jen málokterá univerzita - od roku 2000 byly do asociace přijaty pouze tři nové instituce.

Z tohoto shrnutí podle pana Starose vyplývají dvě hlavní věci a to, že kritéria hodnocení musí být vybírána velice pečlivě a že pro dosažení nejprůkaznějších výsledků je nutné brát v úvahu jak normalizovaná, tak agregovaná data.

Přednášející také zmínil zajímavý způsob hodnocení v případě žádostí o granty. Skupina pracující na daném projektu zažádá o grant a jejich úspěšnost je potom hodnocena odborníky, kteří mají k danému výzkumu nejblíže.

Common mistakes in the application of bibliometric information in the Czech Republic, přednášející Štěpán Jurajda

Štěpán Jurajda působí jako ředitel CERGE-EI (Univerzita Karlova a Národohospodářský ústav Akademie věd). Je držitelem ceny Otty Wichterle pro mladé vědce a ze studií i praxe má veliké zkušenosti s ekonomickým aspektem výzkumu. Během jeho přednášky byl právě ekonomický pohled na rozdělování financí na vědu často zmiňován. Podle pana Jurajdy reagují vědecko-výzkumní pracovníci na ekonomické pobídky, což z pohledu ekonoma není správný postup. Kvůli unikátnosti našeho systému hodnocení vědy nikdo neví, na jaké úrovni je naše země ve srovnání s ostatními. Také je velmi obtížné zjistit, jaké obory jsou nejproduktivnější a zaslouží si větší finanční podporu (jako příklad uvádí rozdíl mezi medicínou a ekonomií). Tyto aspekty jsou podle přednášejícího klíčové a měly by být zohledněny v novém systému hodnocení vědy, který je v současnosti, po dokončení auditu, vytvářen. Velkou pozornost přednášející věnoval impact faktoru. Podle něj je tento nástroj hodnocení vědy absolutně nepřijatelný, protože je možné a stává se, že autor cituje sám sebe, také se tyto hodnoty odlišují v rámcích národního a mezinárodního prostředí. Při hodnocení pomocí impact faktoru konkrétního oboru je nutné brát v úvahu počet osob, které se výzkumem v této oblasti zabývají. Současný systém hodnocení vědy, kdy jsou jednotlivé výkony výzkumníků (publikační činnost, aplikované výsledky, vzory...) převáděny na body, body na konkrétní částku a podle počtu těchto bodů jsou rozdělovány finance, má fatální nedostatky. Při hodnocení knih například není pohlíženo na úroveň obsahu, pro udělení bodů stačí pouze její vydání. Čísla se mění, objevují se nahodilé nepodložené změny v oborech, je používán výše zmíněný impact faktor, v systému také není přihlíženo k tomu, jak náročné a jak odlišné je pořízení vybavení na výzkum v jednotlivých oblastech.

„Myslím, že náš stát je jediný ve světě, který používá takový systém dělení rozpočtu, jehož parametry jsou nahodilé a vedou k arbitrárním rozdílům v rozpočtech."

 

Po přestávce na kávu přišel na řadu další příspěvek:

Measuring Health in Research and Innovation Systems: The Czech Research Audit in International Context, přednášející Erik Arnold

Erik Arnold je předseda Technopolis Group a profesor na Univerzitě v Twente. Politikou výzkumu a inovací se zabývá už od začátku 80. let a v současnosti vede mezinárodní skupinu, která pracuje na již téměř dokončeném projektu auditu českého výzkumného systému.

Dobře fungující systémy hodnocení se řídí následujícími pravidly - inovace vycházejí z již existujících znalostí, každý systém musí mít napojení na globální výzkum, jsou otevřené, sledují proces vývoje, poskytují transparentní scénu pro rozvoj a mají strategickou inteligenci.

V České republice je potřeba zlepšit propojení vědy, výzkumu a průmyslu, protože struktura průmyslu musí dohnat situaci ve výzkumu v okolním světě. Interakce mezi podniky a vědci je v zásadě dobrá. V oblasti duševního vlastnictví je v ČR špičková legislativa, kterou ale málokdo chápe. Pokud by byla tato legislativa správně dodržována, mohlo by to oblast vědy a výzkumu obohatit. Problémy jsou i s lidskými zdroji. Je u nás velmi těžké dosáhnout kariérního růstu, k dosažení určité pověsti je většinou nutné vycestovat do zahraničí, systém je rigidní a je potřeba zefektivnit styl doktorandského studia. Ve vědě a výzkumu by mělo platit, že pokud máme výstupy a výsledky, měl by se zvyšovat export a přicházet ocenění (např. Nobelovy ceny), což současný systém neplní, není relevantní, je zaměřený více na politiku. Existující problémy s efektivitou koordinace jednotlivých úrovní systému by přednášející navrhoval řešit podobně jako ve Finsku - vedení systému vydá metodiku, pokud s ní někdo nesouhlasí, dostaví se k podání vysvětlení. Na příkladech dalších států (Norsko, Francie) jsou v přednášce znázorněny další funkční modely systému hodnocení vědy. Pro správný chod systému je nutná důvěra, kterou je v našem prostředí ještě vybudovat.

Participatory Design of Academic Libraries, přednášející Nancy Foster

Nancy Foster má zkušenosti s antropologickými výzkumy v mnoha zemích a její přednáška mě jako zaměstnance služeb v knihovně velice zaujala. Pro většinu účastníku bylo její zařazení na této konferenci poněkud překvapivé, měření vědy se příliš nedotýkala. Příspěvek se věnoval tomu, jak na domovské univerzitě přednášející Rochester ve státě New York, využívají poznatků získaných od samotných studentů k tomu, aby knihovna a vůbec celý kampus odpovídal jejich požadavkům a představám. Vycházejí z předpokladu, že to, co dennodenně používáme, navrhují lidé, jejichž zkušenosti s daným předmětem jsou odlišné než naše. To se týká jak předmětů, tak různých programů, prostorů atd. Na základě toho, jak systém navrhne expert bez stejných zkušeností jako my, musíme kolikrát způsob práce se systémem či předmětem radikálně změnit., čímž se snižuje efektivita práce. Výzkumníci vedou se studenty strukturované pohovory, které zaznamenávají a dále je analyzují, sbírají fotografie, které studenti sami vytvořili a okomentovali, na nichž je znázorněn způsob jejich života na univerzitě. Klíčovou myšlenkou je, že při navrhování bychom neměli myslet na to, co potřebují, ale co potřebují dělat.

Příklad, na kterém nám Nancy Foster ukazovala postup výzkumu, se týkal nového prostoru knihovny. Studenti měli za úkol namalovat knihovnu, která by pro ně byla ideální. Z těchto výtvorů výzkumníci zjistili, že studenti vyžadují v knihovně především dostatek světla. Oslovili architekta, který navrhl stavební úpravy vybraného prostoru. Tím ale spolupráce se studenty neskončila - i tento návrh jim předložili a požádali je, aby libovolně v prostoru rozmístili zařizovací předměty. Z výsledků průzkumu pak vznikl návrh, který byl realizován.


Nancy Foster

Po poslední čtvrteční přednášce se účastníci konference odebrali na nejbližší tramvajovou zastávku, odkud historickým vozem odjeli do Obecního domu na slavnostní recepci. Moje registrace bohužel nezahrnovala účast na této části konference, nemohu tedy hodnotit jak se vydařila.

Pátek 9. 9. 2011

Poté, co všichni účastnící nabrali síly u snídaně, přesunuli se do přednáškového sálu na první příspěvek tohoto dne.

A short story about multi-dimensional research assessment and SciVal applications, přednášející Joep Verheggen

Joep Verheggen je zástupce společnosti Elsevier a jeho přednáška představí zejména sadu nástrojů SciVal. Málokdo může říci, že je expertem na tuto oblast, ale v Elsevier, i přesto, že nejsou odborníky, se snaží na sobě pracovat a rozvíjet se. Elsevier přestává být vydavatelstvím a chce se stát organizací, která poskytuje různá řešení přesně na míru. V současnosti je měření vědy hodně zaměřené na literaturu, data ale nevedou sama o sobě k rozhodování, jedná se o kombinaci metriky a recenzí kolegů z oboru. Pokud uvažujeme o posuzování výzkumu, nesmíme přehlížet celou řadu prvků, jejichž důležitost se mění podle cíle a účelu. Při hodnocení výzkumu nesmíme zapomenout na jeho dopady (např. finanční).

Nástroj SciVal umožňuje posuzovat jednotlivce např. na základě toho, kdo vedl jeho diplomovou práci, jaká je jeho publikační činnost a jeho účast na konferencích jako přednášejícího. Tyto informace se nedají převést na čísla, ale jsou důležité pro objektivní hodnocení osoby. V případě hodnocení instituce můžeme sledovat její multidisciplinaritu, procento publikací, spoluautorství či výukový program.

Přednášející ještě krátce představil databázi Scopus, což je citační a bibliografická databáze, údaje v ní obsažené pomáhají analyzovat a pochopit situaci zákazníků.

Zaujaté hlediště

Assessing faculty productivity and institutional research performance: Using publication and citation key perfomance indicators, přednášející Jeff Clovis

Svého konkurenta i kolegu doplnil Jeff Clovis z Thomson Reuters s představením nástrojů, které pro měření vědy nabízí jeho domovská organizace. Jsou jimi nástroje usnadňující práci se sledováním počtu citací, h-indexu a impact faktoru; umožňující hodnocení jak jednotlivců, tak celých institucí.

Experience of R&D cooperation between the academic and industrial sectors, přednášející Jaroslav Machan

Jaroslav Machan ve své přednášce nejprve stručně představil situaci ve ŠKODA, jejímž je zaměstnancem právě v oblasti výzkumu. Vzhledem k tomu, že ŠKODA je součástí koncernu Volkswagen, primárním dodavatelem výsledků výzkumu jsou Centra výzkumu a vývoje rozmístěná po celém světě. Přímo v areálu Škoda se věnují zejména technickému vývoji. Této činnosti se v ŠKODA věnují důkladně, mají nově postavené T centrum, na jehož půdě probíhají výzkumy a které pro vývojáře poskytuje pohodlné zázemí. Podle pana Machana je pro spolupráci škol a průmyslu velice důležité plánování a stanovení předem definovaných a měřitelných cílů. Následují grafy, na nichž je znázorněn přehled spolupráce Technického vývoje ŠKODA s vysokými školami. Spolupracují s Technickou univerzitou Liberec, Vysokou školou báňskou v Ostravě, Vysokým učením technickým v Brně, Západočeskou univerzitou v Plzni a Českým vysokým učením v Praze. Cíli této spolupráce je především zajištění nových pracovníků schopných pracovat v mezinárodních týmech, zvyšování inovačního potenciálu, cenově výhodný pracovní výkon a vzdělávání kmenových zaměstnanců ŠKODA. Spolupracují na přímých zakázkách, společných projektech se státní podporou nebo podporou Evropské unie, vysoké školy spolupracují přímo v Výzkumnými centry Volkswagen a jsou také ŠKODA sponzorovány či jsou jim dodávány části vozidel pro potřeby výuky. Z pohledu průmyslu má spolupráce s akademickou sférou i svá omezení. Je jím například malá flexibilita ve studiu, osnovy se málokdy mění a přizpůsobují novým technologiím, nedostatek multidisciplinárního pohledu či nejasně definované klíčové kompetence. Školy by se měly naučit lépe pracovat s časem, velmi často se u společných projektů liší rychlost zahájení projektu a dosažení termínu splnění, přičemž školy jsou laxnější. Na závěr předložil dotazník Zkušenosti ze spolupráce akademické a průmyslové sféry, který při spolupráci se školami ve ŠKODA používají. Tento jsme si cvičně zkusili vyplnit i my.

Po přestávce na kávu se konala panelová diskuze, které se zúčastnil Jaroslav Machan, Milan Pospíšil z VŠCHT, Jitka Moravcová z VŠCHT, James V. Staros, Nancy Foster a Eric Arnold.

Nově přibyvší kolegové z VŠCHT zde byli jako zástupce vysokých škol (M. Pospíšil) a jako vedoucí projektu auditu české vědy a výzkumu (J. Moravcová).

V úvodu zhodnotil Jaroslav Machan dotazník ze závěru své přednášky. Potom již začala samotná diskuze. Účastníci odpovídali na mnoho více či méně zajímavých otázek, na dotazy více či méně k tématu. Nejzajímavější vyjádření podle mě zazněla u otázky na představy o tom, co se stane v mezidobí mezi zrušením současného systému a zavedením nového. Ve většině případů ale byly odpovědi nekonkrétní a dost podobné obsahu přednášek. Zaujala mě mírná podrážděnost Nancy Foster, jejíž zkušenosti ani příspěvek nezapadaly do profilu konference a ona si to očividně uvědomovala. U většiny otázek pouze předávala mikrofon ostatním kolegům.


Závěrečná panelová diskuze

Celkové hodnocení bude poněkud rozpačité. Ve chvíli, kdy jsem vyplňovala registrační formulář, na stránce ještě nebyli uvedeni všichni přednášející, byla jsem tedy připravena na několik málo přednášek v angličtině a na zbytek v češtině. K mému zklamání byla v českém jazyce pouze jedna přednáška v druhém dni, všichni ostatní čeští účastníci, včetně moderátorů, hovořili anglicky. Druhá výjimka nastala při moderování panelové diskuze, kdy byly otázky kladeny také v češtině. Byl zde simultánní překlad, ale při rychlém zapisování poznámek z jednotlivých přednášek jsem například až po delší chvíli pochopila, že faktor dopadu, o kterém slyším ve sluchátkách, je na slidu znázorněn zkratkou IF a že se tedy jedná o impact faktor.

Program vypadal lákavě, ale jak jsem se dozvěděla od některých účastníků, kterým je téma měření vědy bližší než mě a kterých se v praxi dotýká, byly zde i přes velký výskyt zkušených odborníků pouze opakovány stále známé pravdy a celá akce jim nepřinesla nic nového. Poněkud rozpačitý byl také počet přihlášených posluchačů. Ve velkém Ballingově sále NTK, který je určen pro 200 a víc osob, bylo přihlášených 64 účastníků (z nichž se jistě nedostavili všichni) pouze řídce roztroušených.

Konference mi poskytla vhled do zatím nijak blízké oblasti, která s knihovnictvím částečně souvisí. Nevím, jestli získané znalosti někdy využiji, ale mohu je zařadit do kolonky všeobecného přehledu.

Některé prezentace jsou k vidění na stránkách konference. Fotografie jsou z důvodu technických potíží přebrány z téhož místa.

Fotogalerie

Líbil se vám článek?
Stáhnout článek v PDF

0 komentářů

Přidat komentář

(If you're a human, don't change the following field)
Your first name.
(If you're a human, don't change the following field)
Your first name.

Přečtěte si také

Přihlášení Registrace
RSS Facebook Twitter YouTube
Zobrazit standardní verzi webu

Taky děláme

Feedback