Doktor Miloš Fišar s kolegy z univerzit ve Vídni, Paříži a Dallasu potvrdili, že uplatňování principů otevřené vědy má smysl. Ve spolupráci s více než sedmi stovkami dobrovolníků a dobrovolnic ověřili správnost výsledků téměř 500 odborných studií. Doktor Fišar za svůj výzkum získal v květnu Cenu rektora Masarykovy univerzity za mimořádné výzkumné výsledky pro mladé vědce do 40 let.
Mohl byste vysvětlit, co znamená reprodukovatelnost výzkumu?
Výzkum je reprodukovatelný tehdy, pokud je možné duplikovat jeho výsledky použitím stejných metod a postupů. To znamená, že původní data, metody a analytické postupy zopakuje jiný výzkumník, aby zjistil, zda dosáhne stejných výsledků. Například pokud výzkumník uskuteční ekonomický experiment týkající se přispívání na veřejné statky, ve kterém zjistí, že ženy jsou více altruistické než muži, musí kdokoli, kdo si od něj vezme použitá data, při použití stejných metod dojít ke stejnému závěru.
Dalším důležitým pojmem je tzv. replikovatelnost, jejímž cílem je zase ověřit, zda jsou zjištění v různých kontextech konzistentní a zda nejsou ovlivněna specifickými podmínkami původního výzkumu. Pokud budeme pokračovat v předchozím příkladu experimentu zaměřeného na přispívání na veřejné statky, tak replikace je, pokud někdo zopakuje váš experiment s jinou skupinou účastníků a dojde ke stejným závěrům, tedy že jsou ženy více altruistické než muži při přispívání na veřejné statky.
Reprodukovatelnost a replikovatelnost přispívají k tomu, aby byly výsledky vědeckého bádání důvěryhodné a spolehlivé. Pokud je studie reprodukovatelná a současně replikovatelná, znamená to, že výsledky nejsou pouze jednorázovou záležitostí nebo chybou a lze je využít pro další výzkum, nastavení veřejných politik či přijímání konkrétních opatření.
Proč je důležitá konkrétně reprodukovatelnost?
Jednak slouží k ověření publikovaných výsledků, čímž předchází vzniku chyb při zpracování a analýze dat, a jednak přispívá k zajištění vědecké a morální integrity výzkumníků a výzkumnic. Zároveň je oporou pro další navazující výzkum a může přispívat k větší důvěře společnosti ve vědu jako takovou.
Čím konkrétně jste se ve studii zabývali?
Ověřovali jsme reprodukovatelnost téměř 500 odborných článků publikovaných v časopise Management Science, který od 1. června 2019 zavedl povinnost zveřejňování tzv. replikačních balíčků. Ty obsahují data a analytický kód, který autoři a autorky publikovaných studií použili. V naší analýze jsme se zaměřili konkrétně na články uveřejněné před a po zavedení této povinnosti.
Náš výzkum ukázal, že zavedení politiky zveřejňování dat a analytického kódu významně zlepšilo reprodukovatelnost výzkumných výsledků, a to i přes omezení vzniklá kvůli nedostupnosti některých dat například kvůli vlastnickým právům nebo předplatným. Ukázali jsme, že 95 % článků, u kterých byla data dostupná, bylo plně nebo do velké míry reprodukovatelných. Zahrneme-li také články s nekompletními daty, je celková míry reprodukovatelnosti po zavedení nové politiky zhruba 68 %. V období před zavedením této politiky byla míra reprodukovatelnosti jen 55 %.
Studie nevznikla na základě poptávky časopisu, ale uskutečnili jste ji z vlastní iniciativy. Co vás k tomu motivovalo?
Společně s kolegy Benem Greinerem a Christophem Huberem z Vienna University of Economics and Business, Elenou Katok z University of Texas at Dallas a Ali Ozkesem ze SKEMA Business School působíme od roku 2020 v časopise Management Science jako Data&Code editoři. To znamená, že ověřujeme, jestli jsou data a analytické kódy zaslané v replikačních balíčcích kompletní. Za poslední čtyři roky jsme takto verifikovali více než 1000 balíčků. Při takovém množství bohužel není v našich silách ověřovat i reprodukovatelnost jednotlivých studií. Vnímali jsme však příležitost se na reprodukovatelnost podívat a ověřit, zda zavedení dané politiky mělo vůbec nějaký význam. Náš nápad jsme představili hlavnímu editorovi, který s ním souhlasil za podmínky, že případná studie projde plnohodnotným recenzním řízením jako jakýkoli jiný článek v časopise.
Jakou roli hráli ve vaší studii dobrovolníci?
Studie je příkladem tzv. crowdsourcing výzkumu, kdy se na realizaci celého projektu podílelo celkem 733 dobrovolníků. Každý z nich měl na starost dva replikační balíčky. Bez dobrovolníků, kterým patří obrovské díky, by tato studie nikdy nevznikla. Zapojili se výzkumníci a výzkumnice v různých fázích kariéry, kteří dohromady věnovali ověřování reprodukovatelnosti studií více než 6500 hodin svého času. Díky tomu studie pokryla velký počet článků, a její závěry jsou proto dostatečně silné.
Vnímáte toto „komunitní snažení“ jako důležité pro budoucnost vědy?
Ano, crowdsourcing považuji za důležitý. Zejména v sociálních vědách se v posledních letech mluví o tzv. replikační krizi, kdy se nedaří ověřit závěry mnoha vlivných studií. Zapojením širokého spektra výzkumníků a výzkumnic a za použití jednotné metodologie je možné systematicky replikovat nebo reprodukovat již zveřejněné studie, a tím zvýšit integritu výzkumu.
Je možné princip reprodukovatelnosti uplatňovat stejně v kvantitativním i kvalitativním výzkumu?
Princip reprodukovatelnosti je klíčový pro oba typy výzkumu. Reprodukovatelnost směřuje zejména ke sdílení kompletních podkladů využitých v konkrétním článku, projektu nebo obecněji výzkumu. U kvantitativního výzkumu, jež byl předmětem i naší studie, se jedná o sdílení například dat, analytického kódu nebo instrukcí k experimentům. Na druhou stranu u kvalitativního výzkumu, který je často založený spíše na analýze textových nebo vizuálních dat, se obvykle jedná o zvýšení transparentnosti celého procesu analýzy a poskytnutí kompletní dokumentace realizace a zpracování výzkumu.
Jaké kroky je možné udělat pro zvýšení věrohodnosti výzkumu v sociálních vědách a konkrétně v ekonomii?
Základem zvýšení věrohodnosti výzkumu je podle mě důraz na transparentnost a otevřenost vědy, a to od samého začátku, resp. ještě před začátkem jakéhokoliv výzkumu. Prvním krokem by měla být registrace výzkumného designu, včetně definice hypotéz a metod, a předběžný plán pro analýzu dat. Měla by být uložena v datovém repositáři a mělo by být zřejmé, co a jak plánuje výzkumník nebo výzkumnice ve své studii zkoumat. Důležitá je také dokumentace samotného sběru dat a následné otevřené sdílení sesbíraných dat tak, aby si na nich kdokoliv mohl ověřit závěry publikovaného výzkumu. V neposlední řadě také vnímám jako důležité otevřené publikování samotných studií, aby se i široká veřejnost mohla s výzkumnými studiemi seznámit, když jsou často financovány z veřejných zdrojů. Doplňkovým nástrojem by pak také měla být popularizace vědy, byť jsme k popularizaci jako vědci často spíše zdrženliví.
