A számos kérdés közül emeljünk ki egyet: mérhető-e a tudományos teljesítmény, legyen szó akár egyénekről (kutatókról), akár intézményekről (például tanszékekről, kutatóintézetekről, egyetemekről, vállalati laboratóriumokról)? A tudománymetria (scientometrics) története a hatvanas évekig nyúlik vissza, 1978 óta saját havi folyóirata van, művelői nemzetközi egyesületbe tömörülnek, sokfelé használt mérési módszertana, mutatórendszere folyamatosan gazdagodik. De vajon ment-e a tudománymetria által a világ elébb? Eredményei hasznos iránytűként szolgálnak, vagy inkább tévutakra vezetnek? Kicsit általánosabban fogalmazva: félni kell-e a számoktól, a számszerű adatoktól, a matematikai formuláktól, rangsoroktól akkor, ha a tudományos munka értékeléséről van szó?

Várady Tibor hangvételéből, példáiból erős kételkedés és gyanakvás érződik. Számos példával érzékelteti, mik a veszélyei annak, ha a tudományos teljesítményt, illetve a tudóst magát egyetlen számmal próbáljuk jellemezni. Mi sem hiszünk abban, hogy egyetlen számba minden hasznos információ belesűríthető. Várady megállapításaiban, kérdésfeltevéseiben sok igazság van, kényes pontokra tapint rá, de nem árt az óvatosság: félő, hogy a fürdővízzel együtt a gyermeket is kiöntjük. Mérhető és objektív kritériumok nélkül a kutatáshoz kapcsolódó döntések tekintélyelvűek lesznek, ami a tudomány halála. Tegyük rögtön hozzá: a mérés és az értékelés egyáltalán nem jelenti a tudomány szabadságának korlátozását.

Kezdjük azzal, hogy a tudományos teljesítmény megítélését, értékelését nem lehet megúszni. A „tudástermelés” iparosodott és tömegesedett. Az OECD országai 2020-ban összesített GDP-jük 2,68%-át költötték kutatásra és fejlesztésre, de vannak olyan országok is, ahol ez az arány jóval nagyobb. A legfrissebb adatok szerint ugyanebben a körben ezer alkalmazottból kilenc foglalkozik kutatással. Rengeteg ember és rengeteg pénz ez, de azt se feledjük: a pénz jelentős része mindannyiunké, vagyis közpénz. Ezt a rengeteg embert és pénzt, a beruházási forrásokat, a drága kutatási infrastruktúrát és eszközállományt időről időre el kell valahogy osztani. Jogos az igény: az elosztás a tényleges teljesítmény és a várható eredmények alapján történjen. Hasonlóképpen érthető az az elvárás is, hogy képet kapjunk a források hasznosulásáról, vagyis lássuk, hogy a befektetés milyen hasznot hozott. Jó tudnunk, hogy a tudás hol keletkezik, hogyan terjed, miként árad szét, egy-egy tudományos eredmény hogyan termékenyít meg másokat, milyen nyomot hagy a világon.

A tudományos teljesítményt értékelni kell, az egyének és intézmények teljesítményét össze kell valahogy hasonlítani, mert ha ezt nem tesszük, sokan iránytű nélkül maradnak, legyen szó akár a közpénzek elosztóiról, üzletemberekről, kinevezésekről, véglegesítésről döntő tanszékvezetőkről, jó iskolákat kereső diákokról, megbízható ismeretekre vágyó polgárokról. A vita nem ebben van Várady és köztünk, hanem hogy az értékelés számszerű adatokon alapuljon-e, vagy egyedi, szubjektív véleményeken.

Mi a különbség? Hiszen, mint Várady is írja, a számszerű adatok is egyéni döntésekből születnek. A tudományos munka bírálói, a közlésről döntő szerkesztők, a cikket hivatkozó tudósok mind-mind szubjektív döntéseket hoznak tudásuk és szakmájuk etikai szabályai szerint. A tudománymetria abban segít bennünket, hogy sok ezer tudós véleményét összesítsük, és egyszerre vegyük figyelembe. Alapos okunk van azt hinni, hogy a sok ezer tudós együtt jobb döntést tud hozni, mint az a néhány, aki pozíciója, tekintélye és hatalma folytán éppen a döntés közelében van.

Ha körülnézünk a világban, láthatjuk, hogy a döntések jellege az utóbbi két-három évtizedben alaposan megváltozott. A változás lényege: a világ „adatosodott”, rengeteg adat keletkezik körülöttünk, ráadásul digitálisan tárolható, számítógépekkel feldolgozható formában. (Ez az „adatosulási folyamat is mérhető, például a digitális adathordozók kapacitásának növekedésével, ami szabályos robbanást mutat az ezredfordulón.) Megszokások, megérzések, szubjektív vélemények, szimat, többé vagy kevésbé kiérdemelt személyes tekintély, hierarchikus pozíció helyett egyre több helyen adatok alapján lehet és kell dönteni. Az adatok, a matematika, a statisztika, az adatfeldolgozó algoritmusok és modellek a szó szoros értelmében benyomultak az életünkbe, akkor is jelen vannak, amikor éppen nem látjuk azokat. Az ember is „adatosítható”: az élettudományok tekintélyes tudományos folyóirata, a Cell egy 2014-es cikkben már tucatnyi adatréteg összességeként mutatta be az embert a biokémiai alapoktól kezdődően a társadalmi pozícióig.

Jó ez nekünk? Számtalan példával lehet bizonyítani, hogy alapvetően jó. Adatok és algoritmusok nélkül nem fejlődhetne a precíziós mezőgazdaság, sokkal nehezebben tudnánk megoldani a világ élelmezési problémáit. Adatok nélkül nem létezne modern orvostudomány; friss példa: a Covid-vakcinák szokatlanul gyors kifejlesztése jelentős részben adatoknak, tanuló algoritmusoknak köszönhető. Kreatív algoritmusok, hatalmas tömegű kattintásos szavazat feldolgozása nélkül nem kapnánk használható Google-találatokat, kedvelt online könyvesboltunk ajánlataival nem találná el az ízlésünket, az autónk, a telefonunk sokkal butábban viselkedne. Adatok nélkül rosszabb döntéseket hoznának a vállalatok, a várostervezők, az energetikai és logisztikai rendszerek irányítói, és így tovább.

A tudományos eredmények nagy része (persze nem minden) publikációk formájában ölt testet, méghozzá egyre inkább digitalizáltan. A publikációk nem függetlenek egymástól: összekapcsolják őket a hivatkozások. Jogosan feltételezhető, hogy ha sokan hivatkoznak egyes publikációkra, akkor abban értékes új gondolatok vannak, pláne akkor, ha a hivatkozások tekintélyes forrásokból származnak. Ne feledjük: a Google alapítói maguk is a tudomány emberei, PhD-hallgatók voltak, akik az akadémiai hivatkozások mintájára, lényegében a tömegek bölcsességét, szorgalmas linkelési gyakorlatát felhasználva fejlesztették ki a rendkívül sikeres kereső algoritmusukat. Minden link egy szavazat – a dolog persze nem ilyen egyszerű: bonyolult, rendszeresen továbbfejlesztett, finomított eljárásról van szó.

A tudománymetria a digitális technológiáknak köszönhetően könnyen és gyorsan feldolgozhatóvá vált publikációs adatokat igyekszik felhasználni a tudományos teljesítmény mérésére. Dinamikus, fejlődő szakterület ez, aminek adatforrásairól, módszereiről, algoritmusairól, mutatóiról, rangsorairól vitatkozni lehet és kell. Eredményeit kár lenne figyelmen kívül hagyni, hiszen a fentebb leírt döntéseket támogatják, hozzájárulnak ahhoz, hogy a tudomány irányításában is csökkenjen a szubjektív és hierarchikus tényezők szerepe.

Nem kell tehát félni az adatoktól? Félni éppenséggel nem kell, de nem árt az óvatosság. Várady Tibor cikke számos példát hoz fel torzulásokra, visszaélésekre, mindenféle káros manipulációkra. Ilyenek valóban léteznek, a példák sorát jócskán lehetne bővíteni, attól viszont óvakodni kell, hogy a felhozott problémák elvegyék a döntéshozók és a nagyközönség kedvét a tudománymetria eredményeinek megismerésétől és hasznosításától.

Milyen problémákról beszélünk? Kétségtelen tény, hogy miközben az adatok és az algoritmusok sok problémát megoldanak, maguk is előidéznek vagy elmélyítenek egyeseket. A szakirodalomban, de akár a mindennapos életünkben is számos példával találkozhatunk, és csak örülni lehet annak, hogy azokra a korrekt szakkönyvek és adatelemzési kurzusok is felhívják a figyelmet.

A tudománymetria művelőinek egyáltalán nincs könnyű dolguk. A mérés tárgya – a tudományos teljesítmény – rendkívül összetett dolog. Sokkal szerencsésebbek azok, akik jól mérhető jelenségekkel foglalkoznak, és gyors, akár azonnali visszajelzést kapnak modelljeik működéséről, értékeléseik, előrejelzéseik pontosságáról. Az elektronikus kereskedelem vagy az online marketing jó példa erre: a forgalom, a bevétel jól mérhető általános eredménymutató, a weboldalak, online reklámok, ajánló rendszerek fejlesztői változók százait tesztelhetik rendkívül gyorsan, kísérleteik eredményei szinte azonnal megmutatkoznak, modelljeiket akár naponta értékelhetik, továbbfejleszthetik. Ugyanez a tudománymetriáról nem mondható el: a tudományos teljesítmény és annak hatása többféleképpen értékelhető, valóban nem számszerűsíthető minden, a mérés és a mutatók alapján született döntések helyességének teszteléséhez hosszú idő kell.

A tudománymetria fejlesztőinek és hasznosítóinak tudniuk kell, hogy a mérés visszahat a mért jelenségre. Ezt a természettudományokból is tudjuk, és ez a kijelentés egy vállalati vezetőnek sem lehet meglepetés, régi tapasztalatról van szó. A tudománymetria egyik legfontosabb mutatója az idézettség, a hivatkozások száma és minősége. Az impaktfaktorok használata arra a feltételezésre épül, hogy egy fontos tudományos felismeréseket tartalmazó cikkre sokan fognak hivatkozni, és az sem mindegy, hogy kik és hol. Várady Tibornak igaza van abban, hogy a mutató bizonyos mértékig manipulálható, és az idézést a tudományos elismerésen kívül más, kevésbé vagy egyáltalán nem tudományos tényezők is befolyásolhatják. Az impaktmutató azonban sok ember véleményét integrálja, a tömegek bölcsessége mutatkozik meg benne, „tömeg” alatt a témával foglalkozó szakmai közösséget értve. Az idézőnek is óvatosnak kell lennie, hiszen a lektorok kifogásolhatják a gyakorlatát, a túl hosszú, a szövegben nem is tárgyalt források gyanút keltenek, azt jelezhetik, hogy a szerző nem tud különbséget tenni azok között, nem tudja kiemelni a valóban fontosakat.

Az impaktfaktor használata a tudományos teljesítmény értékelésében hasznos gyakorlat, a mutató értékes útmutatót ad kutatóknak és értékelőknek egyaránt. Ez természetesen nem jelenti azt, hogy értékelési döntéseket valóban csak erre kell építeni, és egy 15,63 pontértékű társadalomtudós valóban jobb lenne egy 15,59 pontértékűnél. A mutató használatánál figyelembe kell venni a mérés körülményeit is. Egy magyar nyelvű, néprajzi vagy történelmi publikáció szerzője nyilván sokkal kisebb közönségre számíthat, mint a mesterséges intelligencia aktuális és sokakat izgató problémáival foglalkozó informatikus kutatóé. Minél nagyobb, igényesebb, felkészültebb a közönség (ezért is fontos az angol nyelv használata, a szakmai belterjességtől való szabadulás), annál valószínűbb, hogy a tömegek, jelesül a tudományos közösség helyesen értékel, a tudományosság úrrá lesz a manipulációs kísérleteken.

A mutatók pillanatnyi értéke mellett fontos a tartós pozíciók és a tendenciák vizsgálata is. A példára visszatérve: nem biztos, hogy a 15,59 pontértékű tudós teljesítménye valóban kisebb a másikénál, de az már gyanús, ha ez az érték hosszabb ideje csökken. Egyetemekkel előfordul, hogy hirtelen nagyot ugranak előre a rangsorokon, miközben az elmúlt évek adataiból kirajzolódó tendencia mást mutat. (A hirtelen ugrások egyébként mindig gyanúsak, nem árt ilyenkor alaposabban a számok mögé nézni, az akadémiai világban a tartós fordulókhoz idő kell).

Maguk a számok, a mutatók nem veszélyesek, az egyoldalúság viszont az. Kifejezhető minden egyetlen mutatóval? Természetesen nem. Még az üzleti életben sem igaz, hogy a profit vagy a részvények árfolyama az adu ász: nem véletlenül terjedtek el a vállalatoknál a kiegyensúlyozott mutatószámrendszerek. A közelmúlt számos példát szolgáltat arra, mi történhet, ha egyik-másik mutató túlságosan divatos lesz, elnyomja a többit. A tudomány művelői maguk is tisztában lehetnek azzal, hogy tevékenységüknek számos érintettje van, és azok különféleképpen értékelik és díjazzák az eredményeiket. Az akadémiai világban fontos mutató a publikációs impaktfaktor, egy vállalatot vagy kockázati befektetőt viszont sokkal jobban érdekelhet a kutatási eredmények szabadalmaztathatósága, gyakorlati hasznosíthatósága, a publikálást pedig a verseny miatt rossz szemmel nézhetik. Egyetlen számba valóban nem lehet mindent belesűríteni, de néhány jól megválasztott és kontextusba helyezett mutató valóban sokat elárulhat egy személy vagy egy intézmény tudományos teljesítményéről.

Az akadémiai világban zavart okozhat, ha a publikációs elvárás és mérce világos prioritások nélkül összekeveredik az üzleti jellegű elvárásokkal: egyszerre várják el valakitől, hogy publikáljon és sok üzleti megbízást hozzon, de az így keletkező feszültségeken úrrá lehet lenni, különböző karrierutakat lehet kiépíteni, mérsékelni lehet a meritokratikus szervezetekre jellemző irányítási hullámzásokat. Sok kutató dönt úgy, hogy kilép az akadémiai világból, a „publikációs mókuskerékből”, és átmegy az üzleti világba, esetleg saját vállalkozást alapít. Ezzel a lépésével értékelési rendszert is vált, de a váltással a tudományos teljesítménye nem csökken szükségszerűen, sőt, számos példa van az ellenkezőjére.

A tudománymetria által előállított mutatók és rangsorok arra valók, hogy informáljanak és orientáljanak, és nem arra, hogy takarózzanak velük. Értékelési, finanszírozási, személyzeti, motiválási és egyéb döntéseket sokféleképpen lehet meghozni; a helyes, az adott körülményekhez illeszkedő döntési rendszer kialakítása pedig a vezetők feladata. Nekik kell eldönteniük, hogy milyen mércéket, mutatókat, rangsorokat használnak, milyen véleményeket vegyenek figyelembe, a döntésbe kiket vonnak be, milyen legyen a döntési folyamat, mikor és hogyan elemezzék a döntés következményeit. A mutatók, az elterjedt gyakorlatok nem mentenek fel a vezetői felelősség alól.

Fentebb kiemeltük a vezetők, a döntéshozók felelősségét, jelezve, hogy fel kell használniuk az adatokat és a számokat, de kellő körültekintéssel, az adott feltételekhez igazodva. Végezetül hívjuk fel a figyelmet a tudománymetria művelőinek, a modellek, mutatószámok, rangsorok építőinek és publikálóinak felelősségére is. Egyes mutatók és rangsorok gyors karrierje és elterjedése arra utal, hogy szükség van rájuk, a közönség igényli azokat. Fejlesztőik és publikálóik felelőssége, hogy ezeket, valamint a mögöttük álló adatokat és algoritmusokat átláthatóvá és érthetővé tegyék, és felhívják a figyelmet a kockázatokra és mellékhatásokra. Ha ez nem történik meg, félő, hogy a tudomány emberei és a nagyközönség az adatokban, számokban, mércékben ellenséget látnak, és szabadulni igyekeznek azoktól.