遴选方式与评审的创新
本文由 AI（Claude）从日语机器翻译而成，可能存在错误。 阅读日语原文。
我有时会以评审员或评估委员的身份参与助成金和奖项的评审。我在其中感受到的是，遴选方式本身是不是也需要创新。
我们对“选择”这件事并没有太多关注。尤其是在“用于选择的流程”和“选择的方式”上，往往采用多数决，或是把每个人的打分相加后取平均来排出名次这样的方法。
然而，这种选择方式是否合适，近来不断有人提出质疑，也有各种各样的提议1。例如在选举方面，引入抽签和二次方投票（Quadratic Voting）等就很有名。在科学类助成金方面，也有人在尝试随机发放资助的随机资助。我还听说，有的助成金以负责人照管到最后为前提，用类似棒球选秀制度的方式来选出获资助者。
同样，在研发补助金和初创企业助成金的评审中，我也觉得通过尝试这类新的遴选方法，也许能够实现更恰当的资金分配。
示例）J-Startup
以 J-Startup 为例来看一下。
J-Startup 采用由评审员推荐的制度。每位推荐委员各推荐 5 家公司，并对每项推荐进行加权2。据说随后会结合过往业绩等因素逐步筛选。
节选自 2021 年的资料 https://www.meti.go.jp/press/2021/10/20211020004/20211020004-2.pdf
这种机制存在以下缺点。
- 由于推荐委员中投资人很多，获得众多投资人小额投资的初创企业容易获得更多选票，因而占优势。
- 另一方面，获得少数投资人大额投资的初创企业，或者没有进行融资的初创企业，推荐人会比较少，因而处于劣势。
另外还有一个疑问：某位推荐人 A 的第 3 名和某位推荐人 B 的第 3 名，得分相同合适吗？假设 A 先生见多识广，知道 200 家初创企业，并从中选出了第 3 名。而 B 先生入行不久，只知道 10 家左右的初创企业，在这些企业中选出了第 3 名。两人的第 3 名意义看起来差别很大，得分却是一样的。
打分之后也存在问题。采用这类排名方法时，通常会成为问题的是如何处理“中间名次”。前几名和后几名大体上是确定的，但讨论时间往往集中在处于及格线边缘、微妙的中间评价上，到底通过还是不通过。而且，当选还是落选，往往只由微小的差距决定。
此外，推荐人并不了解所有的初创企业。他们大概连 5% 都不了解，却必须做出推荐，还要在其中排出名次。可是，如果先从推荐人那里收集所有候选的初创企业（恐怕会超过 200 家），再由每位推荐人给它们全部排名，认知负荷实在太高，也很难做到。
这种方法存在若干局限。为了改变这种状况，有哪些办法呢？
示例）使用最佳最差尺度法或成对比较
例如，我觉得可以使用最佳最差尺度法（BWS）。
最佳最差尺度法是指，从给出的 4～5 个选项中，只让人选出“最好的”和“最差的”的方法。
更简单的方法还有成对比较。这只是反复地只给出两个选项，让人选出哪一个更好。
我们来设想一下，使用成对比较时 J-Startup 的评审方法。
- 推荐人不排名次，提名 5 家候选初创企业
- 事务局将它们整理成清单，导入成对比较工具
- 评估者（也可以是推荐人）从屏幕上显示的 2 家初创企业中，选出认为更适合 J-Startup 的一家
- 重复这一步骤约 100 次
- 事务局用系统汇总评估者的得分，并排出名次
与多数决和打分相比，这种方法的模型往往更复杂，在没有计算机的年代实施起来相当困难。但借助计算机的力量，马上就能完成计算。
实际上，这种形式的评审已经在黑客松等活动中使用。为评审 200 多个项目、100 多名评审员参与的 HackMIT 而开发的开源软件 Gavel，就是几乎可以自动完成这一过程的工具。Gavel 的演示视频在这里。其思路在这篇文章等中有介绍。
这种方法也有缺点：与评估标准明确的评分细则（rubric）等相比，很难向申请者反馈需要改进的地方。它并不适用于所有的评审和评估。另外，关于本方法的适用范围仍在研究之中，也有可能存在错误。（如果我的理解有误，还请指正）
在其他条件下的评审中，有时现行的按评估项目逐项打分的方式更合适，也有时二次方投票（Quadratic Voting）或其应用形式 Quadratic Funding 更合适。
不过，仅仅是改变这样的遴选规则，被选中的企业应该就会发生很大的变化。
评审的流程
到这里讨论的都是遴选方式本身，但评审的流程同样可以改进。
目前的助成金，形式上是所有人都要准备大量文件来申请。获选的人固然很好，但落选的人，这些努力就全都白费了。
例如 NSF 的 SBIR 等就把评审分为两个阶段，第一阶段要求简短的路演，第二阶段才要求提交完整的提案书，以此减轻申请者的负担。FoundX 也采用了类似的机制，尽量减轻负担。另外我想，也可以把第一阶段仅设为“提交现有资料”，在第二阶段以后再进行更详细的询问。
这样做的缺点是评审方需要花费工时，评审所需时间会变长，而且仅凭简短路演等信息，有些情况无法了解清楚。不过，如果其好处足以超越这些缺点，即能够减轻申请者的负担、增加申请数量，那么采用这样的流程也可以作为一种选择。
不过，阶段太多对申请者也是负担，所以我想 2～3 个阶段应该是极限。
评审员的选择方式
此外，评审员的选择方式，也会对被选择的一方产生很大影响。如何选择委员几乎取决于事务局，而评审结果的很大一部分是由委员的人选决定的。
以面向初创企业的助成金为例，金额虽小，却会在很大程度上决定受助企业的方向。越是决定早期助成金的评审员，其实眼光越重要，但由于资金金额小，似乎很少会安排有眼光的人来担任。而且，有时我也会怀疑，究竟有多少人是在理解助成金宗旨的基础上进行评审的。
如果认为不是因为金额小就不重要，而是能资助更多数量才好，那么在设置一定的门槛筛选之后，随机发放资助，会更轻松，也更公平。
另外，考虑到风险投资（VC）越是在种子阶段，越是看人来投资，那么与其采用多数决或打分，不如采用选秀制度，让大家从各种视角来遴选，并让他们在录用之后也承担责任，这也是一个办法。
总结
创业初期的助成金关乎企业的生死。涉及硬件的初创企业，如果一开始拿不到助成金，业务往往无法推进。而且补助金的资金来源是税金，如果看到明显不符合助成金目的的企业拿到了补助金，作为一个普通人，我也会感到焦急。
在现行规则下仍然可以继续改进，但我认为，改变遴选方式本身也可能带来很大的变化，因此在本文中作为示例整理出来。
此外，关于这样的“选择方式”，虽然已有二次方投票等提议，但目前的现状是很难大幅改变选举制度。所以我想，不妨从改变这类助成金等的遴选方式入手，来验证这些方法的有效性。
另外，我觉得对于“选择之后”，也就是助成金的运用，同样可以做出各种改进。而且选择与其后续是一体两面。例如，如果能够在选择之后把阶段性关卡（stage gate）等设置得更严格，就可以相应地放宽评审。
关于这种“选择之后”的讨论，我想留待其他机会再进行。