Fitur apa saja yang membuat pre-print kredibel?

Menjelang di ulang tahunnya yang kedua, INA-rxiv sebentar lagi akan menjadi rumah bagi total 10.000 dokumen ????????. Ini adalah capaian yang menggembirakan, mengingat belum banyak peneliti di Indonesia yang familiar (dan terbiasa) mengarsipkan karyanya dalam bentuk pre-print. Capaian ini juga menyiratkan optimisme (setidaknya bagi saya pribadi), bahwa tidak lama lagi akan semakin banyak peneliti yang mengadopsi #SainsTerbuka dalam berbagai level.

Baru-baru ini, saya mengikuti konferensi Society for the Improvement of Psychological Science (SIPS) di Rotterdam dan berkesempatan untuk bertemu dengan Brian Nosek, Direktur Eksekutif Center for Open Science (COS). Kira-kira bulan Maret yang lalu, COS menyelenggarakan sebuah studi tentang kredibilitas pre-print dan pre-print server. Ketika bertemu dengan Brian, saya menanyakan mengenai temuan-temuan menarik yang ia dan timnya dapatkan dalam studi ini. Data dan laporan studi tersebut akan dirilis lengkap tidak lama lagi.

Meskipun pre-print bukanlah karya terpublikasi, saat ini memposting pre-print sudah cukup lazim dilakukan oleh banyak komunitas akademik. Apalagi pre-print server yang basisnya disiplin ilmu yang spesifik saat ini sudah cukup banyak. Beberapa contohnya adalah; PsyArXiv, bioRxiv, ChemRxiv, SocArxiv, dan banyak lagi. INA-rxiv pun saat ini sudah banyak temannya sesama pre-print server regional, misalnya; IndiaRxiv, AfricArXiv, dan SciELO. Oh iya, kita patut berbangga bahwa INA-rxiv adalah satu-satunya pre-print server regional di kawasan Asia Tenggara! ????

Berbagai Pre-Print Server. Sumber https://twitter.com/CScienceEditors/status/1080931307553734657

Meskipun pre-print tidak pernah diniatkan untuk menggantikan peer-reviewed journal sebagai outlet utama diseminasi hasil penelitian, pertanyaan soal kredibilitas naskah yang diunggah sebagai pre-print tentu tak dapat dihindari. Karena pre-print dapat dikutip sebagai pustaka acuan, banyak orang yang mengkhawatirkan apakah isinya benar-benar kredibel karena tidak melalui proses peer-review secara formal, seperti jurnal ilmiah pada umumnya.

Apakah pre-print bisa dianggap kredibel? Sumber: shutterstock.com

Sebenarnya, sebagian besar pre-print server sudah menyediakan fitur komentar yang dapat dimanfaatkan sebagai media untuk melakukan peninjauan terbuka (open peer-review), meskipun belum semua pengguna memanfaatkannya. Saat ini juga ada inisiatif seperti PREview yang mendorong peneliti untuk saling memberikan masukan pada naskah pre-print.

Setelah SIPS 2019 ditutup, saya berdiskusi sebentar dengan Brian mengenai temuan-temuan dalam survei yang ia lakukan bersama dengan timnya bulan Maret yang lalu. Ia menemukan banyak hal menarik.

Berikut adalah hasil survei yang melibatkan lebih dari 3000 responden dengan profil demografis yang cukup beragam (tidak terlalu terpusat di Amerika Utara dan Eropa Barat — Disclaimer: saya belum mendapat informasi yang spesifik mengenai profil demografis partisipan survei).

Gambar 1. Apa yang membuat naskah pre-print kredibel? (1). Sumber: Center for Open Science (2019) Gambar 2. Apa yang membuat naskah pre-print kredibel? (2). Sumber: Center for Open Science (2019)

Gambar 1 dan 2 diatas merupakan respon partisipan atas pertanyaan:

“Ketika anda menilai kredibilitas naskah pre-print, seberapa pentingnya naskah tersebut memiliki informasi-informasi berikut ini?”

Respon dari pertanyaan tersebut menggunakan gaya likert dengan 5 pilihan jawaban (1 — tidak penting sama sekali, 2 — sedikit penting, 3 — agak penting, 4 — cukup penting, dan 5 — sangat penting).

Menariknya, kita dapat melihat agenda reformasi kredibilitas yang dibawa oleh gerakan #SainsTerbuka sudah mulai kelihatan hasilnya. Informasi yang berkaitan dengan transparansi diasosiasikan dengan kredibilitas naskah pre-print yang lebih baik. Beberapa diantaranya yang cukup menonjol adalah tersedianya tautan ke data penelitian (M=3.9, SD=1.01), script analisis data (M=3.9, SD=1.02), dan pra-registrasi (M=3.6, SD=1.18).

Selain aspek transparansi, partisipan juga memperhatikan aspek kecermatan ilmiah, sebagai komponen yang sama krusialnya dengan transparansi. Termasuk diantaranya adalah tersedianya informasi mengenai reproduksi penelitian (replikasi) yang dilakukan oleh tim peneliti lain diluar penulis pre-print (M=3.9, SD=1.06) dan informasi tentang robustness check (apakah temuan akan konsisten ketika data dianalisis dengan model statistik yang bervariasi) yang dilakukan oleh peneliti lain diluar penulis pre-print (M=3.8, SD=1.06).

Berkebalikan dengan anggapan umum di Indonesia, jumlah sitasi (M=3.2, SD=1.16) dan penggunaan metrik trivial lainnya, seperti; jumlah download, view, atau jumlah liputan media (M=2.7, SD=1.15) justru kurang dianggap penting dalam mempengaruhi kredibilitas pre-print.

Hal menarik lainnya adalah komentar anonim (M=2.5, SD=1.15) termasuk salah satu fitur yang paling tidak dianggap penting. Justru komentar dengan identitas (M=3.1, SD=1.15) yang lebih dianggap penting menentukan kredibilitas naskah pre-print. Poin ini sangat menarik karena sangat bertentangan dengan anggapan bahwa tinjauan sejawat terbuka (open peer-review) akan membuat naskah ilmiah menjadi tidak kredibel. Hal ini dijadikan dasar bagi sebagian orang untuk melekatkan stigma, “open science kebablasan”. Data yang dari survei COS ini menunjukkan hal yang sebaliknya.????

Sedikit memberikan konteks, open peer review tidak berarti membolehkan semua orang bisa mengomentari naskah sesuka hatinya seperti mungkin yang dibayangkan beberapa orang. Tetap ada proses moderasi. Open peer-review setidaknya melibatkan satu atau beberapa proses berikut ini, yaitu; identitas terbuka (penulis dan reviewer sama-sama mengetahui identitas masing-masing), konten terbuka (konten review dipublikasi bersama dengan naskah), partisipasi terbuka (memungkinkan komunitas akademik yang lebih luas untuk berpartisipasi dalam meninjau), interaksi terbuka (memungkinkan interaksi dua arah antara penulis, editor, dan reviewer), komentar terbuka pada naskah pra-publikasi (komentar/masukan pada pre-print sebelum proses peer-review formal juga dipublikasikan), terbuka memberikan komentar pada versi final manuskrip, dan platform terbuka (dimana review dapat dilakukan antar platform — misalnya dengan menggunakan Hypothes.is).

Temuan menarik selanjutnya adalah berkaitan dengan kredibilitas pre-print server (yang menyediakan fasilitas hosting pre-print).

Gambar 3. Apa yang membuat pre-print server kredibel?. Sumber: Center for Open Science (2019)

Gambar 3 diatas merupakan respon partisipan atas pertanyaan:

“Seberapa jauh fitur-fitur dibawah ini dapat menurunkan/menaikkan kredibilitas sebuah pre-print server?”

Pertanyaan dapat direspon dengan jawaban model likert dengan 7 pilihan jawaban (-3 — sangat menurunkan, -2 — cukup menurunkan, -1 — agak menurunkan, 0 — tidak menurunkan/menaikkan, 1 — agak menaikkan, 2 — cukup menaikkan, 3 — sangat menaikkan).

Kebijakan moderasi yang lebih ketat, terutama pada konten yang diduga melanggar etika penelitian/publikasi (e.g. plagiarisme) (M=2.2, SD=1.1), merupakan fitur yang paling membuat pre-print server semakin kredibel. INA-rxiv sudah punya kebijakan yang jelas soal ini, yaitu apabila naskah ditemukan melanggar etika penelitian/publikasi, maka akan segera diturunkan.

Pre-print server yang dapat digunakan secara gratis (M=2.06, SD=1.2) dan menawarkan durasi penyimpanan yang lebih lama (M=2.05, SD=1.1) diasosiasikan dengan kredibilitas pre-print server yang lebih baik. Jadi tidak selamanya yang berbayar selalu kredibel, bertentangan juga dengan anggapan sebagian orang.????

Selain itu, informasi mengenai status publikasi naskah pre-print (M=2.1, SD=1.1), yang mencakup, apakah naskah tersebut sudah diajukan untuk diterbitkan di suatu jurnal, dalam proses peninjauan/revisi, ataukah sudah diterbitkan, menjadi indikator kunci kredibilitas penyedia fasilitas pre-print.

Terakhir, menguatkan kembali temuan di bagian sebelumnya, pre-print server yang membolehkan komentar anonim (M=-0.84, SD=1.7) akan menurunkan (secara drastis) kredibilitas pre-print server tersebut. Hal ini menurut saya sangat masuk akal karena kepercayaan tentang anonimitas cenderung diasosiasikan dengan perilaku agresif, terutama dalam konteks cyber behaviour. Apabila identitas reviewer dan hasil review dibuat terbuka, maka diskusi yang konstruktif akan lebih mudah dibentuk.

Setelah mencapai 10.000 dokumen, apa yang harus dilakukan oleh pengelola INA-rxiv? Brian Nosek menyampaikan pesannya agar moderator sebaiknya mulai melakukan mekanisme kontrol internal. Caranya, misalnya dengan mengambil sampel beberapa naskah secara acak, lalu mengevaluasinya — apakah informasi yang melekat (terlepas dari kontennya) pada naskah pre-print tersebut sudah sesuai dengan harapan?

Moderator dapat menggunakan poin-poin dari survei COS tersebut sebagai acuan. Misalnya, seberapa banyak naskah pre-print di INA-rxiv yang menyediakan tautan ke data penelitian? Berapa banyak yang dilengkapi dengan pra-registrasi dan script analisis datanya? Dan berapa banyak pula yang mencantumkan potensi adanya konflik kepentingan?

Semoga nanti pak Dasapta Erwin Irawan dan tim suporter INA-rxiv lainnya dapat merealisasikan hal ini dalam waktu dekat.????