Innovación en la forma de seleccionar y en la evaluación

A veces participo como jurado o miembro de comités de evaluación de subvenciones y premios. Lo que siento ahí es que quizá también hace falta innovar en la forma de seleccionar.

No prestamos demasiada atención al acto de «seleccionar». En particular, en cuanto al «proceso de selección» y la «forma de seleccionar», tendemos a adoptar métodos como la votación por mayoría o la elaboración de una clasificación a partir del promedio de la suma de las puntuaciones de cada persona.

Sin embargo, últimamente se ha puesto en duda si esta forma de seleccionar es la adecuada, y se han hecho diversas propuestas¹. Por ejemplo, en las elecciones son conocidas la introducción del sorteo o el voto cuadrático (Quadratic Voting). También en las subvenciones científicas se está probando la financiación aleatoria, que concede los fondos al azar. Según tengo entendido, también hay subvenciones en las que los beneficiarios se eligen mediante algo parecido al draft del béisbol, con la condición de que la persona responsable les dé seguimiento hasta el final.

De igual modo, creo que en la evaluación de las ayudas a la investigación y el desarrollo y de las subvenciones a startups, probar este tipo de nuevos métodos de selección podría permitir una asignación de fondos más adecuada.

Ejemplo: J-Startup

Veamos, por ejemplo, J-Startup.

J-Startup adopta un sistema de recomendación por parte de evaluadores. Cada miembro del comité de recomendación propone cinco empresas, y se pondera cada una de las recomendaciones². Después, según me cuentan, se va acotando la lista teniendo en cuenta los antecedentes, entre otros factores.

Este sistema tiene los siguientes inconvenientes.

• Como entre los recomendadores hay muchos inversores, las startups que reciben pequeñas inversiones de numerosos inversores reúnen fácilmente muchos votos y quedan en ventaja.
• En cambio, las startups que reciben grandes inversiones de unos pocos inversores, o las que no han captado financiación, cuentan con pocos recomendadores y quedan en desventaja.

Además, cabe preguntarse si el tercer puesto de un recomendador A y el tercer puesto de un recomendador B deben tener la misma puntuación. Supongamos que A es muy bien informado, conoce 200 startups y elige la que ocupa el tercer lugar entre ellas. B, en cambio, lleva poco tiempo en el sector y elige un tercer puesto conociendo apenas unas 10 startups. Aunque el significado de cada tercer puesto parece muy distinto, la puntuación es la misma.

Hay problemas también después de asignar las puntuaciones. Cuando se adopta este tipo de método de clasificación, lo que suele convertirse en problema es qué hacer con los «puestos intermedios». Los de arriba y los de abajo quedan más o menos definidos, pero el tiempo de debate tiende a concentrarse en las evaluaciones intermedias, en las que es dudoso si se supera o no la línea de corte, es decir, si se las admite o no. Y la aceptación o el rechazo se decide por una diferencia mínima.

Además, los recomendadores no conocen todas las startups. Tienen que recomendar sin conocer probablemente ni el 5 %, y además deben ordenarlas. Por otra parte, reunir primero todas las startups candidatas propuestas por los recomendadores (probablemente más de 200) y pedir luego a cada recomendador que las ordene sería una carga cognitiva demasiado alta y, por tanto, difícil.

Este método tiene varias limitaciones. ¿Qué formas hay de cambiar esta situación?

Ejemplo: usar el escalamiento mejor-peor o la comparación por pares

Por ejemplo, creo que se podría usar el escalamiento mejor-peor (Best-Worst Scaling) (BWS).

El escalamiento mejor-peor consiste en pedir que, entre unas 4 o 5 opciones presentadas, se elija solo «la mejor» y «la peor».

Una versión aún más sencilla es la técnica de la comparación por pares. Consiste simplemente en presentar solo dos opciones, elegir cuál es mejor y repetir el proceso.

Pensemos en cómo sería la evaluación de J-Startup si se usara la comparación por pares.

1. Los recomendadores proponen cinco startups candidatas, sin ordenarlas.
2. La secretaría las reúne en una lista y la importa a una herramienta de comparación por pares.
3. Los evaluadores (pueden ser los mismos recomendadores) eligen, entre las dos startups que aparecen en pantalla, la que consideren más adecuada para J-Startup.
4. Esto se repite unas 100 veces.
5. La secretaría agrega las puntuaciones de los evaluadores mediante el sistema y elabora la clasificación.

Este método tiende a basarse en un modelo más complejo que la votación por mayoría o la puntuación, y en la época anterior a los ordenadores habría sido bastante difícil de aplicar. Sin embargo, con la potencia de los ordenadores el cálculo es inmediato.

De hecho, este tipo de evaluación se utiliza en hackatones y otros eventos. Gavel, un software de código abierto desarrollado para HackMIT, donde más de 100 jueces evalúan más de 200 proyectos, es una herramienta que hace esto de forma casi automática. Aquí hay un vídeo de demostración de Gavel. La idea se presenta en este artículo, entre otros.

Este método tiene también el inconveniente de que, en comparación con una rúbrica u otro sistema con criterios de evaluación claros, resulta más difícil dar a los solicitantes comentarios sobre qué mejorar. No sirve para todas las evaluaciones. Además, el ámbito de aplicación de este método todavía se está investigando y es posible que me equivoque. (Si mi comprensión es errónea, les agradeceré que me lo señalen).

Con otras condiciones de evaluación, puede que lo más adecuado sea la puntuación actual por criterios de evaluación, o quizá el voto cuadrático (Quadratic Voting) o su aplicación, la Quadratic Funding.

Sea como sea, solo con cambiar las reglas de selección deberían cambiar mucho las empresas seleccionadas.

El proceso de evaluación

Hasta aquí hemos hablado de la forma de seleccionar en sí, pero también se puede mejorar el proceso de evaluación.

En las subvenciones actuales, todos los solicitantes preparan una gran cantidad de documentos. Para quienes resultan seleccionados no hay problema, pero para quienes quedan fuera todo ese esfuerzo se pierde.

Por eso, por ejemplo, el SBIR de la NSF divide la evaluación en dos fases: en la primera se pide un pitch breve y en la segunda una propuesta completa, con lo que se reduce la carga de los solicitantes. En FoundX también aplicamos un mecanismo similar para reducir la carga en lo posible. Además, creo que se podría limitar la primera fase a «enviar la documentación existente» y preguntar con más detalle a partir de la segunda.

Los inconvenientes son que aumenta el trabajo de quienes evalúan, que el tiempo necesario para la evaluación se alarga y que con la información de un pitch breve hay cosas que no se pueden saber. Pero si, a pesar de esos inconvenientes, la ventaja es que se puede reducir la carga de los solicitantes y aumentar el número de solicitudes, creo que adoptar este tipo de proceso puede ser una opción.

Eso sí, demasiadas fases también son una carga para los solicitantes, así que creo que el límite está en 2 o 3 fases.

Cómo elegir a los evaluadores

La forma de elegir a los evaluadores también influye mucho en quienes son seleccionados. La elección de los miembros del comité depende casi por completo de la secretaría, y gran parte del resultado de la evaluación se decide con esa selección.

En el caso de las subvenciones para startups, aunque los importes sean pequeños, determinan en gran medida el rumbo de las empresas beneficiarias. Cuanto más temprana es la subvención, más importante es en realidad el buen ojo de los evaluadores, pero, por ser fondos modestos, no parece que se asigne con mucha frecuencia a personas con ese buen ojo. Además, a veces me pregunto cuántas de las personas que evalúan comprenden realmente el propósito de la subvención.

Si se piensa que, en lugar de que lo pequeño sea poco importante, lo que interesa es poder apoyar a un gran número de empresas, tal vez sea más fácil y también más justo aplicar un corte mínimo y financiar después al azar.

Asimismo, teniendo en cuenta que, cuanto más temprana es la fase de semilla, más suelen invertir los VC fijándose en las personas, también parece posible usar un sistema de draft en lugar de la votación por mayoría o la puntuación, de modo que se pueda seleccionar desde diversos puntos de vista y que quien selecciona asuma la responsabilidad incluso después de la selección.

Conclusión

Las subvenciones de la etapa inicial de un emprendimiento pueden decidir la vida o la muerte de una empresa. En las startups que involucran hardware, a menudo el negocio no avanza si no se consigue una subvención al principio. Además, los fondos de las subvenciones provienen de impuestos, y como individuo me resulta frustrante que se concedan ayudas a empresas que claramente no se ajustan al propósito de la subvención.

Aún es posible mejorar con las reglas actuales, pero creo que cambiar la forma de seleccionar en sí podría suponer un gran cambio, y por eso lo recojo aquí a modo de ejemplo.

Además, aunque se han propuesto el Quadratic Voting y otros sistemas para esta «forma de seleccionar», la realidad es que resulta difícil cambiar drásticamente el sistema electoral. Por eso creo que podría ser una buena idea empezar cambiando la forma de seleccionar en subvenciones como estas y comprobar la eficacia de tales métodos.

Por otra parte, siento que también se pueden hacer diversas mejoras en lo que ocurre «después de seleccionar», es decir, en la gestión de las subvenciones. Además, la selección y lo que viene después son las dos caras de una misma moneda. Por ejemplo, si se pudiera endurecer el stage gate posterior a la selección, también sería posible relajar la evaluación.

Dejaré para otra ocasión el debate sobre este «después de seleccionar».

Notas al pie

1. Véase también, por ejemplo, 『Dudar de la regla de la mayoría』. ↩

2. Divulgación: el autor participa como miembro del comité de recomendación de J-Startup desde el ejercicio 2022. En esa calidad, ha dado comentarios a la secretaría sobre la forma de seleccionar. ↩