Bibliometria a jej miesto pri hodnotení vedy
Otázka kvality vedy je mimoriadne zložitá. Zjednodušene možno povedať, že veda samotná zatiaľ nevytvorila uspokojivý model na svoje hodnotenie. Posúdiť výsledky vedeckej inštitúcie či výskumného kolektívu jednoznačne prislúcha skupine najvýznamnejších odborníkov z daného vedného odboru. Nie vždy je však takýto postup možný a skupiny špecialistov často nahrádzajú všeobecnejšie zamerané výbory, pracovné skupiny a pod. Objektívne posúdenie kvality vedeckej produkcie je pritom zásadným problémom, pretože výsledky hodnotenia sa stali dôležitým ukazovateľom pre prideľovanie finančných zdrojov vedeckovýskumným inštitúciám a kolektívom na Slovensku aj v zahraničí. Jednu z možností objektivizácie hodnotiacich procesov poskytuje bibliometria. Zjednodušene možno bibliometriu charakterizovať ako disciplínu, ktorá na základe sledovania prostriedkov písomnej komunikácie, tlačených aj elektronických, mapuje a analyzuje vedecký výskum a jeho súčasti. Možno ju definovať aj ako „súbor metodologických poznatkov, ktoré budú slúžiť aplikácii kvantitatívnych metód s cieľom hodnotiť proces tvorby, komunikácie a využitia vedeckých informácií“ (Carrizo-Sainero, 2000). Podľa Krištofičovej (1997) bibliometria sleduje vednú disciplínu tak, ako sa prejavuje prostredníctvom písomnej komunikácie. Jej cieľovou skupinou je teda veda a výskum, resp. vedná disciplína a jej obraz, ktorý poskytujú vedecké dokumenty ako „produkty“ vedeckovýskumnej činnosti. Jedno z prvých bibliometrických hodnotení výskumnej inštitúcie sa uskutočnilo začiatkom 80. rokov vo Veľkej Británii, ktoré sa však podobne ako aj viaceré po ňom stretlo s odmietnutím a skepsou, pretože hoci sa kvantitatívny prístup javil ako objektívny, chýbalo mu teoretické zázemie a spoľahlivé údaje. S rozvojom metodológie, ale aj informačnej základne sa postupne mnohé nedostatky odstránili a bibliometrické hodnotenia sa začali bežne používať v hodnotiacich procesoch. Niektoré krajiny vytvorili vlastné inštitúcie na zber a spracovanie údajov, iné využívajú komerčné inštitúcie alebo výskumné skupiny špecializujúce sa na bibliometrické analýzy. Ako prvé začali bibliometrické údaje uvádzať vo svojich správach o vede v USA, Francúzsku a Holandsku. Za Slovensko boli prvýkrát spracované niektoré bibliometrické údaje v Národnej správe o vedeckotechnickej politike z roku 2002. Na bibliometrických metódach sú založené významné evaluačné systémy v Európe (najmä v Nórsku, Fínsku, Veľkej Británii), v Austrálii, Kanade, Japonsku a iných krajinách, aplikujú sa napr. aj pri zostavovaní rebríčkov najvýznamnejších univerzít v USA. Dôvodom, prečo sa začali v akademických a vedeckovýskumných komunitách viac akceptovať bibliometrické indikátory, bol narastajúci skepticizmus voči hodnoteniu vedeckých výstupov odborníkmi (peer review). Nespokojnosť s hodnotením, či už komisií alebo jednotlivcov, ale aj snaha objektívne rozhodovať o rozdelení finančných zdrojov viedla k zvýšenému záujmu o numerické indikátory, ktoré sľubovali vyššiu transparentnosť a objektívnosť. Počet publikovaných prác nemusí vypovedať nič o ich kvalite, avšak počet prác publikovaných vo významnom vedeckom časopise alebo počet citácií, hoci na kvantitatívnej báze, o kvalite vypovedať môže. Numerické indikátory používané pri hodnotení výkonov však nemusia zahŕňať len číselné údaje súvisiace s publikovaním, ale napr. aj údaje o účasti na konferenciách, prednášky a pod. V odbornej literatúre sa procesy súvisiace so zhromažďovaním a spôsobom prezentácie numerických indikátorov často zahŕňajú pod spoločný názov metrika (metrics). Napriek nespornému významu bibliometrických a iných číselných údajov je proces hodnotenia univerzít alebo výskumných inštitúcií založený len na kvantitatívnych ukazovateľoch neakceptovateľný. Najčastejšie sa využíva kombinácia oboch metód – hodnotenie odborníkmi a kvantitatívne ukazovatele, najmä ukazovatele súvisiace s publikačnými aktivitami a citovanosťou – teda údaje získané aj prostredníctvom bibliometrických metód. Zaujímavé je, že viaceré porovnania hodnotení na základe bibliometrických analýz a hodnotenia skupinami odborníkov ukázali vysokú zhodu medzi nimi. Hodnotenia odborníkmi sa niekedy nazývajú aj „subjektívne“, kým bibliometrické hodnotenia sa uvádzajú ako „objektívne“ (Butler, 2008). Základnými mierami bibliometrického výskumu pre analýzy vedeckej produkcie sú jednoduché počty, napr. počet publikácií, počet citácií a pod. V súvislosti s bibliometrickými analýzami sa často vyskytuje pojem bibliometrický indikátor (ukazovateľ). Glänzel (2003) popisuje bibliometrické indikátory ako komplexnejšie miery, ktoré možno získať ako štatistické funkcie definované na množine bibliometrických prvkov a jednotiek. Upozorňuje na to, že pri použití bibliometrických indikátorov sa musí uplatňovať požiadavka validity, opakovateľnosti a spoľahlivosti. Krištofičová (1997) uvádza celkom 26 bibliometrických indikátorov, medzi nimi napr. autocitácie, citačný faktor, graf spoluautorov, impakt faktor časopisu, kocitačnú intenzitu, polčas starnutia literatúry, mieru autocitácií, mieru autoreferencií a pod. Použitie jednotlivých indikátorov závisí od rozsahu sledovaného objektu, od toho, či sa bibliometrický výskum realizuje na úrovni vedeckej skupiny, inštitúcie, krajiny a pod. Z pohľadu hodnotenia na makroúrovni je významným indikátorom Index aktivity (AI, Activity Index – podiel publikácií inštitúcie, regiónu alebo krajiny v danej vednej oblasti na celkovom počte publikácií) a relatívny index špecializácie (RSI, Relative Specialisation Index – naznačujúci, či krajina má relatívne vysoký alebo nízky podiel na svetových publikáciách). Základnou jednotkou bibliometrického výskumu sú vedecké časopisy. Je to zrejme nielen preto, že majú dlhodobo významné postavenie vo vedeckej komunikácii, ale aj preto, že majú jasne definované štandardy publikovania a kvalitný systém posudzovania (peer review), ktorý zabezpečuje originalitu publikovaných výsledkov vedeckého výskumu (Glänzel, 2003). Komunikačný model vo vede je charakterizovaný silnými väzbami – takmer každý nový poznatok stavia na predchádzajúcich poznatkoch. Aplikácia bibliometrických metód pri hodnotení vedeckého výskumu je podľa Van Raana a Van Leeuwena (Van Raan, Van Leeuwen, 2002) založená na predpoklade, že vedecký pokrok zabezpečujú vedci s miestnymi, národnými, ale primárne medzinárodnými charakteristikami, ktorí skúmajú predmet výskumu tak, že stavajú na práci iných vedcov. Toto sa prejavuje prostredníctvom referencií a citácií, ktoré sa stali významným meradlom vplyvu vedeckého výskumu. Na princípe vzťahu publikovaných príspevkov a ich citovanosti je založený odbornými komunitami uznávaný ukazovateľ vplyvu vedeckých časopisov – impakt faktor. Z frekvencie citácií vychádza aj jedna z metód bibliometrie – citačná analýza. Citovanosť ako kritérium kvality vedeckej publikácie, resp. výskumu, ktorý popisuje, nemožno akceptovať bez výhrad. Kritika sociológov vedy poukazuje na to, že citačné správanie nie je natoľko spoľahlivé, aby bolo možné na základe citačných údajov hodnotiť kvalitu. Jedným z argumentov je, že citovanie má rôzne motivácie. Môže ísť napr. o splácanie účtu zakladateľom odboru či negatívne hodnotenie publikácie (Garfield, 1972). Aj kvalitná práca môže byť málo citovaná, ak nie je napísaná vo svetovom jazyku, ak je zverejnená v ťažšie dostupnom dokumente (napr. sivá literatúra), alebo ak sa problematikou zaoberá iba úzka skupina odborníkov. Citovanosť publikácie neodráža jednoznačne význam alebo kvalitu opisovaného výskumu, významne ju ovplyvňuje o. i. typ diela – či má publikovaná práca charakter pôvodnej vedeckej práce, prehľadovej práce alebo práce metodickej (Krištofičová, 1997). Na druhej strane citačná analýza sa netýka jednej publikácie či jedného autora, ale veľkej množiny publikácií, čo môže znamenať elimináciu niektorých vplyvov, pretože sa analyzujú citácie od mnohých autorov s rozličným citačným správaním (Van Raan, 2005). Napriek tomu je zrejmé, že k výsledkom získaným prostredníctvom citačných analýz treba pristupovať diferencovane a zohľadňovať viacero aspektov. Jedným z najvýznamnejších a všeobecne uznávaných bibliometrických indikátorov je impakt faktor časopisu. Výška impakt faktora časopisu, v ktorom publikuje autor, zdanlivo predurčuje kvalitu článku. Výskumy však potvrdzujú, že nejde o všeobecne platné pravidlo. Aj v časopisoch s vysokým impakt faktorom sa vyskytujú menej kvalitné články a články, ktoré zostanú bez odozvy. V časopisoch s nízkym impakt faktorom sa takisto môžu vyskytovať obsahovo významné články. Výskumy potvrdzujú, že impakt faktor časopisu do veľkej miery závisí od vednej oblasti (Seglen, 1997). Vysoký impakt faktor sa viaže napr. na časopisy pokrývajúce veľké oblasti základného výskumu, ktoré rýchlo expandujú. E. Garfield (1972), zakladateľ Science Citation Index, tiež upozorňoval na niekoľko skutočností, ktoré sú významné vo vzťahu k použitiu citačných údajov pri evaluácii:
Základné princípy vedeckej komunikácie majú všeobecnú platnosť, ale z hľadiska publikovania výsledkov existujú určité špecifiká – či už v rámci vedných disciplín, inštitúcií, regiónov – v závislosti od úrovne hodnotenia. Odlišnosti v publikačnom správaní sa môžu prejavovať v preferovaní neperiodických publikácií pred periodickými, nízkej miere spoluautorstva, resp. „medzinárodného“ spoluautorstva, v nízkej akceptácii elektronického publikovania a pod. Významné odlišnosti možno sledovať pri porovnávaní napr. prírodných a spoločenských vied. V spoločenských vedách si okrem časopiseckej literatúry významné miesto uchovávajú monografické diela, ktorých miera zastarávania informácií je niekedy oveľa pomalšia, čo sa premieta aj do vývoja publikačných aktivít a citovanosti prác. Vplyv na produktivitu z pohľadu publikácií má vedná disciplína ako taká, resp. typ výskumu. Niektoré typy výskumov produkujú publikovateľné výsledky až po dlhšom časovom období. Všetky tieto javy nevyhnutne treba brať do úvahy aj pri používaní bibliometrických ukazovateľov na hodnotenie výsledkov vedeckovýskumnej činnosti. Štandardné bibliometrické výskumy tradične vychádzajú z medzinárodných bibliografických databáz, na hodnotiace účely sa uprednostňuje najmä databáza Web of Science, pretože okrem informácií o publikačných aktivitách umožňuje sledovať aj reakcie na publikované práce v podobe citácií/referencií. Množstvo publikovanej literatúry potvrdzuje, že ani údaje z Web of Science nemožno na hodnotiace účely používať bez výhrad. Všeobecne známa je preferencia prírodných vied a dosť nízke pokrytie spoločenských a humanitných vied v tejto databáze, orientácia na americký výskumný priestor, množstvo formálnych chýb (nepresné uvádzanie mien autorov, afiliácií), preferencia angličtiny ako jazyka publikovania atď. Uvedením všetkých týchto (ale aj ďalších) obmedzení chceme len poukázať na potrebu diferencovaného prístupu hodnotenia. Pretože ani Web of Science, ani jej novší „konkurent“ Scopus neposkytujú komplexný prehľad publikovaných dokumentov a odoziev na ne, v súvislosti s hodnotiacimi analýzami sa hovorí aj o tzv. „neštandardnej“ bibliometrii – bibliometrických analýzach, ktoré čerpajú informácie z lokálnych databáz a iných, napr. aj interných zdrojov. „Neštandardná“ bibliometria sa pripúšťa najmä v prípade hodnotenia výstupov zo spoločenských a humanitných vied, pretože tieto nie sú v spomínaných databázach pokryté dostatočne. Za takúto bibliometriu sa dá považovať aj použitie údajov o publikačných aktivitách slovenských vysokých škôl sústredených v Centrálnom registri publikačnej činnosti (CREPČ). Hoci sa bibliometria stala všeobecne známou ako podporný nástroj evaluačných procesov, nemožno ju zúžiť len na túto funkciu. Bibliometrické výskumy poskytujú obraz vývoja vedy, určitej vednej disciplíny alebo výskumného problému, poukazujú na súvislosti medzi nimi, ich dynamiku a pod. Málo známe je využitie bibliometrie v knižnično-informačných procesoch – napr. pri analýzach používateľských potrieb, akvizičnej činnosti a pod. Lepšia znalosť bibliometrických metód a postupov by mohla byť prínosom aj pre knižničnú prax, najmä v podmienkach vedeckých a akademických knižníc. Bibliometria priniesla mnoho pozitívneho do objektivizácie hodnotiacich procesov, aj keď jej použitie má viaceré negatíva. Relatívne jednoduchý prístup k údajom o publikáciách a citáciách, sústredeným v medzinárodných databázach, často vedie k zjednodušenej interpretácii získaných výsledkov. Zásadným problémom, na ktorý upozorňuje viacero renomovaných autorov v zahraničí, je používanie bibliometrických údajov a indikátorov bez uvedomenia si súvislostí a vplyvov, najmä však bez diferencovaného pohľadu na vedné oblasti, ich publikačné modely a zvyklosti, citačné správanie a pod. Vo vzťahu k použitiu bibliometrie pri evaluácii sa zdôrazňuje, že problém nie je v použití bibliometrických indikátorov ako takých, ale v aplikácii nedostatočne prepracovaných postupov (Van Raan, 2005), pričom sa odporúča, aby sa bibliometrický výskum zameral na vypracovanie indikátorov výkonnosti výskumu, priamo použiteľných v praxi.
Butler. L. 2008. Using a balanced approach to bibliometrics: quantitative performance measures in the Australian Research Quality Framework. [online]. In Ethics in Science and Environmental Politics, Vol. 8: Preprint, January 2009 [cit. 19. 01. 09]. Dostupné na internete: <http://www.int-res.com/articles/esep2008/8/e008p083.pdf> Carrizo-Sainero, G. 2000. Toward a Concept of Bibliometrics. [online]. In Journal of Spanish Research in Information Science, roč 1, 2000, č. 2 [cit. 19. 05. 07]. Dostupné na internete: <http://www.ucm.es/info/multidoc/publicaciones/journal/pdf/bibliometria-eng.pdf> Garfield, E. 1972. Citation Analysis as a Tool in Journal Evaluation. In Science, 178, 1972, s. 471-479. Glänzel, W. 2003. Bibliometrics as a reserch field : A course on theory and application of bibliometric indicators. [online]. Nordic Research School of Library and Information Science, 2003. [cit. 18. 3. 08]. Dostupné na internete: <http://www.norslis.net/2004/Bib_Module_KUL.pdf> Krištofičová, E. 1997. Prostriedky hodnotenia knižničných a vedeckoinformačných procesov. Bratislava : CVTI, 1997. 157 s. ISBN 80-85165-62-7. Národná správa o vedeckotechnickej politike. 2002. Bratislava : Róbert Vico – vydavateľstvo. 141 s. ISBN 80-89041-50-7 Seglen, P. O. 1997. Why the impact factor of journals should not be used for evaluating research [online]. In British Medical Journal, 1997, 314 : 497 (15 February) [cit. 14. 04. 06]. Dostupné na internete: <http://bmj.bmjjournals.com/cgi/content/full/314/7079/497>. Van Raan, A. F. 2005. Fattal attraction : Conceptual and methodological problems in the ranking of universities by bibliometric methods. In Scientometrics, roč. 62, 2005, č. 1, s. 133-143. Van Raan, A. F. J. – Van Leeuwen, T. N. 2002. Assessment of the scientific basis of interdisciplinary, applied research : Application of bibliometric methods in Nutrition and Food Research. In Research Policy, vol. 31, 2002, s. 611 – 632.
Beáta Bellérová (Beata.Bellerova@uniag.sk)
In ITlib. Informačné technológie
a knižnice [online], 2009, č. 01 [cit. 2009-04-27]. |