Inovasi dalam Cara Memilih dan Proses Seleksi

Saya terkadang terlibat sebagai juri atau anggota komite penilai untuk hibah, penghargaan, dan sejenisnya. Yang saya rasakan di sana adalah bahwa cara memilih pun mungkin membutuhkan inovasi.

Kita belum banyak memperhatikan soal "memilih". Terutama untuk "proses memilih" dan "cara memilih", kita cenderung memakai metode seperti pemungutan suara dengan suara terbanyak, atau menyusun peringkat dengan merata-ratakan hasil penjumlahan skor dari setiap orang.

Namun belakangan ini muncul keraguan apakah cara memilih seperti ini sudah tepat, dan berbagai usulan telah diajukan¹. Misalnya dalam pemilihan umum, penerapan undian dan pemungutan suara kuadratik (Quadratic Voting) termasuk yang terkenal. Dalam hibah sains pun, pendanaan acak yang memberikan dana secara acak sedang dicoba. Saya juga mendengar ada hibah yang memilih penerimanya dengan sistem seperti draf dalam bisbol, dengan syarat bahwa petugas yang bersangkutan akan mendampingi sampai akhir.

Demikian pula dalam seleksi subsidi riset dan pengembangan maupun hibah untuk startup, saya merasa bahwa dengan mencoba cara-cara memilih yang baru seperti ini, alokasi dana yang lebih tepat mungkin dapat dicapai.

Contoh) J-Startup

Sebagai contoh, mari kita lihat J-Startup.

J-Startup menggunakan sistem rekomendasi oleh para juri. Setiap anggota komite perekomendasi merekomendasikan 5 perusahaan, dan masing-masing rekomendasi diberi bobot². Setelah itu, daftar dipersempit dengan mempertimbangkan rekam jejak di masa lalu dan faktor lainnya.

Sistem ini memiliki kekurangan seperti berikut.

• Karena banyak investor di antara para perekomendasi, startup yang menerima investasi kecil dari banyak investor mudah mengumpulkan banyak suara sehingga diuntungkan.
• Sebaliknya, startup yang menerima investasi besar dari sedikit investor, atau startup yang tidak melakukan penggalangan dana, memiliki lebih sedikit perekomendasi sehingga dirugikan.

Ada pula pertanyaan apakah pantas jika peringkat ketiga dari perekomendasi A dan peringkat ketiga dari perekomendasi B diberi skor yang sama. Misalkan A sangat berpengetahuan luas dan mengenal 200 startup, lalu memilih peringkat ketiga di antaranya. Sebaliknya, misalkan B baru sebentar berkecimpung di industri ini dan memilih peringkat ketiga dari hanya sekitar 10 startup yang ia kenal. Makna peringkat ketiga masing-masing tampak sangat berbeda, tetapi skornya sama.

Masalah juga muncul setelah skor diberikan. Jika metode pemeringkatan seperti ini digunakan, yang biasanya menjadi persoalan adalah bagaimana menangani "peringkat menengah". Peringkat atas dan bawah umumnya sudah jelas, tetapi waktu diskusi cenderung terpusat pada apakah akan meloloskan atau tidak penilaian menengah yang berada tepat di sekitar garis batas. Padahal lolos atau tidaknya ditentukan oleh selisih yang tipis.

Selain itu, para perekomendasi tidak mengenal semua startup. Mereka harus merekomendasikan dengan kemungkinan hanya mengenal kurang dari 5% dari seluruh startup, dan bahkan harus memberi peringkat di dalamnya. Sebaliknya, mengumpulkan terlebih dahulu seluruh startup kandidat dari para perekomendasi (kemungkinan jumlahnya lebih dari 200 perusahaan), lalu meminta setiap perekomendasi memberi peringkat pada semuanya, akan menimbulkan beban kognitif yang terlalu tinggi sehingga sulit dilakukan.

Metode ini memiliki beberapa keterbatasan. Cara apa yang bisa dipakai untuk mengubah keadaan ini?

Contoh) Menggunakan best-worst scaling atau perbandingan berpasangan

Misalnya, menurut saya ada cara dengan menggunakan best-worst scaling (BWS).

Best-worst scaling adalah metode yang meminta penilai hanya memilih "yang terbaik" dan "yang terburuk" dari sekitar 4 hingga 5 pilihan yang disajikan.

Versi yang lebih sederhana adalah metode perbandingan berpasangan. Metode ini hanya menyajikan dua pilihan dan meminta penilai memilih mana yang lebih baik, lalu mengulanginya.

Mari kita bayangkan cara seleksi J-Startup jika menggunakan perbandingan berpasangan.

1. Para perekomendasi mengusulkan 5 startup kandidat tanpa memberi peringkat
2. Sekretariat membuat daftar dari usulan tersebut dan mengimpornya ke alat perbandingan berpasangan
3. Penilai (boleh juga para perekomendasi) memilih, dari dua startup yang ditampilkan di layar, yang dianggap lebih cocok untuk J-Startup
4. Hal ini diulangi sekitar 100 kali
5. Sekretariat menghitung skor para penilai dengan sistem, lalu menyusun peringkat

Metode ini cenderung menjadi model yang lebih rumit dibandingkan pemungutan suara terbanyak atau pemberian skor, dan pada masa sebelum ada komputer tentu sangat sulit dilaksanakan. Namun dengan kekuatan komputer, perhitungannya dapat dilakukan dengan segera.

Faktanya, seleksi dalam bentuk ini dilakukan di hackathon dan acara serupa. Gavel, sebuah OSS yang dikembangkan untuk HackMIT dengan lebih dari 100 juri yang menilai lebih dari 200 proyek, adalah alat yang melakukan hal ini hampir secara otomatis. Video demo Gavel ada di sini. Gagasan di baliknya diperkenalkan antara lain dalam artikel ini.

Dibandingkan dengan rubrik yang sumbu penilaiannya jelas, metode ini juga memiliki kekurangan, yaitu sulit memberikan umpan balik tentang hal yang perlu diperbaiki kepada pendaftar. Metode ini tidak dapat digunakan untuk semua seleksi atau penilaian. Selain itu, cakupan penerapan metode ini masih dalam tahap penelitian, dan mungkin saja ada kesalahan. (Jika pemahaman saya keliru, mohon beri tahu saya)

Untuk seleksi dengan kondisi lain, ada kalanya pemberian skor per butir penilaian seperti yang berlaku sekarang lebih cocok, dan mungkin ada pula kalanya pemungutan suara kuadratik (Quadratic Voting) atau Quadratic Funding yang merupakan penerapannya lebih cocok.

Tetapi hanya dengan mengubah aturan cara memilih ini, perusahaan yang terpilih seharusnya akan berubah besar.

Proses seleksi

Sejauh ini kita membahas cara memilih itu sendiri, tetapi proses untuk seleksi pun dapat diperbaiki.

Hibah saat ini berbentuk di mana semua orang menyiapkan dokumen dalam jumlah besar untuk mendaftar. Bagi yang diterima tidak masalah, tetapi bagi yang gagal, semua usaha itu menjadi sia-sia.

Karena itu, misalnya SBIR dari NSF membagi seleksi menjadi dua tahap, yaitu pitch singkat pada tahap pertama dan proposal lengkap pada tahap kedua, sehingga meringankan beban pendaftar. FoundX juga menerapkan sistem serupa untuk meringankan beban sebisa mungkin. Selain itu, saya kira bisa pula tahap pertama hanya berupa "mengirimkan materi yang sudah ada", lalu pada tahap kedua dan seterusnya ditanyakan lebih terperinci.

Kekurangannya adalah beban kerja di pihak penyeleksi bertambah, waktu yang dibutuhkan untuk seleksi menjadi lebih lama, dan ada hal yang tidak dapat diketahui hanya dari informasi seperti pitch singkat. Namun jika manfaatnya, yaitu meringankan beban pendaftar dan meningkatkan jumlah pendaftar, melebihi kekurangan tersebut, saya rasa mengadopsi proses seperti ini bisa menjadi salah satu pilihan.

Hanya saja, terlalu banyak tahap juga membebani pendaftar, jadi saya kira 2 hingga 3 tahap adalah batasnya.

Cara memilih juri

Cara memilih juri juga sangat memengaruhi pihak yang dipilih. Cara memilih anggota komite hampir sepenuhnya bergantung pada sekretariat, dan sebagian besar hasil seleksi ditentukan oleh pemilihan anggota komite.

Jika kita pikirkan hibah untuk startup, jumlahnya kecil, tetapi sangat menentukan arah perusahaan penerimanya. Semakin awal hibah yang diputuskan, sebenarnya semakin penting kemampuan menilai, namun karena dananya kecil, orang yang mampu menilai tampaknya tidak terlalu sering ditugaskan. Saya juga terkadang bertanya-tanya berapa banyak juri yang benar-benar memahami maksud hibah tersebut saat menilai.

Jika kita berpendapat bahwa nilainya yang kecil bukan berarti tidak penting dan yang baik adalah dapat membantu dalam jumlah banyak, maka setelah menerapkan penyaringan batas minimal tertentu, pendanaan secara acak mungkin akan lebih mudah dan juga lebih adil.

Selain itu, mengingat bahwa semakin awal tahap seed, VC semakin sering berinvestasi dengan melihat orangnya, selain pemungutan suara terbanyak atau pemberian skor, tampaknya ada pula cara berupa sistem draf agar dapat memilih dari berbagai sudut pandang dan para pemilih ikut bertanggung jawab setelah memilih.

Penutup

Hibah pada tahap awal berwirausaha menyangkut hidup dan mati perusahaan. Bagi startup yang melibatkan perangkat keras, sering kali bisnis tidak berjalan jika tidak mendapatkan hibah pada awalnya. Selain itu, sumber dana subsidi adalah pajak, dan ketika subsidi diberikan kepada perusahaan yang jelas-jelas tidak sesuai dengan tujuan hibah, saya sebagai individu merasa gemas.

Perbaikan dalam aturan yang ada sekarang masih mungkin dilakukan, tetapi saya berpikir bahwa mengubah cara memilih itu sendiri dapat membawa perubahan besar, sehingga saya merangkumnya sebagai contoh dalam tulisan ini.

Mengenai "cara memilih" ini pun, meskipun Quadratic Voting dan sejenisnya telah diusulkan, keadaan saat ini mungkin adalah bahwa mengubah sistem pemilu secara besar-besaran itu sulit. Karena itu, saya rasa ada baiknya kita mulai dari mengubah cara memilih dalam hibah semacam ini, lalu menguji efektivitas metode-metode tersebut.

Selain itu, saya merasa berbagai perbaikan juga mungkin dilakukan pada "setelah memilih", yaitu pengelolaan hibah. Lagi pula, pemilihan dan hal sesudahnya adalah dua sisi dari satu mata uang. Sebab, misalnya, jika kita dapat memperketat stage gate setelah memilih, kita juga dapat melonggarkan seleksi.

Pembahasan tentang "setelah memilih" ini akan saya lakukan pada kesempatan lain.

Catatan kaki

1. Lihat juga antara lain Menyangsikan Suara Terbanyak. ↩

2. Pengungkapan: penulis berpartisipasi sebagai anggota komite perekomendasi J-Startup sejak tahun fiskal 2022. Pada kesempatan itu, saya telah memberi masukan kepada sekretariat mengenai cara memilih. ↩