Inovação na forma de escolher e de avaliar

Às vezes participo como jurado ou membro de comitê de avaliação de subsídios e prêmios. O que sinto, nessas ocasiões, é que a forma de escolher também precisa de inovação.

Nós não prestamos muita atenção ao ato de "escolher". Em especial, quanto ao "processo para escolher" e à "forma de escolher", tendemos a adotar métodos como a votação por maioria ou a classificação pela média da soma das pontuações atribuídas por cada pessoa.

No entanto, ultimamente tem-se levantado a dúvida se essa forma de escolher é mesmo adequada, e várias propostas têm sido feitas¹. Nas eleições, por exemplo, são conhecidos a introdução do sorteio e a votação quadrática (Quadratic Voting). Nos subsídios à ciência, também está sendo testado o financiamento aleatório, que concede os recursos por sorteio. Ouvi dizer que existem até subsídios em que os selecionados são escolhidos por algo parecido com o draft do beisebol, com a premissa de que o responsável acompanhe o beneficiário até o fim.

Da mesma forma, creio que, na avaliação de subvenções para pesquisa e desenvolvimento e de subsídios para startups, experimentar esses novos métodos de escolha poderia levar a uma alocação de recursos mais adequada.

Exemplo) J-Startup

Vejamos, por exemplo, o J-Startup.

O J-Startup adota um sistema de indicação por avaliadores. Cada membro do comitê de indicação indica 5 empresas, e cada indicação recebe um peso². Depois, a lista é afunilada levando em conta, entre outros fatores, o histórico anterior das empresas.

Esse sistema tem as seguintes desvantagens.

• Como há muitos investidores entre os indicadores, as startups que recebem pequenos aportes de muitos investidores tendem a reunir muitos votos e saem favorecidas.
• Por outro lado, as startups que recebem grandes aportes de poucos investidores, ou que não captaram recursos, têm poucos indicadores e saem prejudicadas.

Há também a dúvida sobre se é adequado que o 3º lugar de um indicador A e o 3º lugar de um indicador B tenham a mesma pontuação. Suponha que A seja muito bem informado, conheça 200 startups e tenha escolhido a 3ª entre elas. Já B, novo no setor, conhece apenas cerca de 10 startups e escolheu a 3ª entre elas. Os significados desses 3º lugares parecem muito diferentes, mas a pontuação é a mesma.

Mesmo depois de atribuídas as pontuações, ainda há problemas. Quando se adota esse tipo de classificação, o que costuma virar problema é o que fazer com as posições "intermediárias". Os primeiros e os últimos lugares ficam mais ou menos definidos, mas o tempo de discussão tende a se concentrar em aprovar ou não os de avaliação mediana, que estão na zona limítrofe. E o resultado é decidido por uma diferença mínima.

Além disso, os indicadores não conhecem todas as startups. Eles precisam indicar sem conhecer, provavelmente, nem 5% delas, e ainda precisam classificá-las. Por outro lado, reunir primeiro todas as startups candidatas indicadas por todos os indicadores (provavelmente mais de 200 empresas) e depois pedir que cada indicador as classifique seria uma carga cognitiva alta demais, tornando isso difícil.

Esse método tem, portanto, algumas limitações. Que maneiras existem de mudar essa situação?

Exemplo) Usar o Best-Worst Scaling ou a comparação par a par

Por exemplo, parece-me que dá para usar o Best-Worst Scaling (BWS).

O Best-Worst Scaling é um método em que se pede ao avaliador que escolha apenas "a melhor" e "a pior" entre 4 ou 5 opções apresentadas.

Uma versão ainda mais simples é a comparação par a par (pairwise comparison). Nela, basta apresentar apenas duas opções e escolher qual é a melhor, repetindo isso várias vezes.

Pensemos em como seria a avaliação do J-Startup usando a comparação par a par.

1. Os indicadores propõem 5 startups candidatas, sem classificá-las
2. A secretaria as organiza em uma lista e as importa para uma ferramenta de comparação par a par
3. O avaliador (pode ser um dos próprios indicadores) escolhe, entre duas startups exibidas na tela, a que considera mais adequada ao J-Startup
4. Isso é repetido cerca de 100 vezes
5. A secretaria consolida as pontuações dos avaliadores no sistema e faz a classificação

Esse método tende a ter um modelo mais complexo do que a votação por maioria ou a atribuição de pontuações, e na época anterior aos computadores teria sido bastante difícil de aplicar. Com o poder dos computadores, porém, o cálculo é imediato.

De fato, esse tipo de avaliação já é feito em hackathons e eventos semelhantes. Gavel, um software de código aberto desenvolvido para o HackMIT, em que mais de 100 jurados avaliam mais de 200 projetos, é uma ferramenta que faz isso de forma quase automática. Aqui está o vídeo de demonstração do Gavel. A ideia é apresentada em este artigo, entre outros.

Esse método também tem a desvantagem de que, em comparação com uma rubrica de critérios de avaliação claros, é mais difícil dar aos candidatos um retorno sobre o que melhorar. Ele não serve para todo tipo de seleção ou avaliação. Além disso, o alcance de aplicação desse método ainda está sendo pesquisado, e é possível que eu esteja errado. (Se meu entendimento estiver equivocado, por favor me avise.)

Em avaliações com outras condições, pode ser mais adequada a atribuição de pontuações por critério de avaliação, como é feito hoje, ou então a votação quadrática (Quadratic Voting) ou o Quadratic Funding, sua aplicação.

De todo modo, apenas mudando as regras de escolha, as empresas escolhidas devem mudar bastante.

O processo de avaliação

Até aqui a discussão foi sobre a própria forma de escolher, mas o processo de avaliação também pode ser aprimorado.

Nos subsídios atuais, todos os candidatos preparam uma grande quantidade de documentos para se inscrever. Quem é aprovado fica bem, mas, para quem é reprovado, todo o esforço é desperdiçado.

Por isso, o SBIR da NSF, por exemplo, divide a avaliação em duas etapas: na primeira pede-se um pitch curto e, na segunda, a proposta completa, reduzindo a carga sobre os candidatos. No FoundX também adotamos um sistema parecido, para reduzir ao máximo essa carga. Também acho possível limitar a primeira etapa ao envio de materiais já existentes e perguntar com mais detalhes a partir da segunda.

As desvantagens são o maior esforço do lado de quem avalia, o maior tempo necessário para a avaliação e o fato de que há coisas que não dá para saber apenas com informações como um pitch curto. Mas, se for possível reduzir a carga dos candidatos e aumentar o número de inscrições, de modo que isso supere as desvantagens, creio que adotar um processo assim pode ser uma opção.

Contudo, etapas demais também são um peso para os candidatos, então imagino que o limite seja de 2 a 3 etapas.

A escolha dos avaliadores

A forma de escolher os avaliadores também influencia muito quem é escolhido. Como os membros do comitê são escolhidos depende quase inteiramente da secretaria, e grande parte do resultado da avaliação é decidida pela seleção do comitê.

Pensando nos subsídios para startups, embora os valores sejam pequenos, eles definem em grande medida a direção das empresas beneficiadas. Quanto mais inicial é o subsídio, mais importante é, na verdade, o olhar de quem avalia; mas, por ser um valor pequeno, não me parece que se designem com frequência pessoas com bom olho para isso. Também às vezes me pergunto quantos dos avaliadores realmente entendem o propósito do subsídio ao avaliar.

Se a ideia for que, por serem valores pequenos, não importa tanto, e que o bom é conseguir apoiar um grande número de empresas, então, depois de aplicar um certo corte, financiar por sorteio talvez seja mais fácil e também mais justo.

Além disso, considerando que os VCs, quanto mais cedo é o estágio, mais investem olhando para as pessoas, também parece haver a opção de adotar o sistema de draft em vez da votação por maioria ou da pontuação, de modo que a seleção ocorra sob vários pontos de vista e que os avaliadores se responsabilizem pelas empresas depois de escolhidas.

Conclusão

Os subsídios do início de um negócio podem decidir a vida ou a morte da empresa. Em startups que envolvem hardware, muitas vezes o negócio não avança se o primeiro subsídio não for obtido. Além disso, o dinheiro dos subsídios vem de impostos, e, como pessoa física, sinto-me frustrado quando subsídios são concedidos a empresas que claramente não se enquadram no objetivo do programa.

Ainda é possível melhorar com as regras atuais, mas acredito que mudar a própria forma de escolher pode trazer grandes mudanças, e por isso registro aqui, como exemplo, estas ideias.

Quanto a essa "forma de escolher", embora o Quadratic Voting e outros tenham sido propostos, o cenário atual é que mudar profundamente o sistema eleitoral é difícil. Por isso, creio que valeria a pena começar mudando a forma de escolher em subsídios como esses e verificar a eficácia desses métodos.

Também sinto que há várias melhorias possíveis no "depois de escolher", isto é, na gestão dos subsídios. Além disso, a escolha e o que vem depois são dois lados da mesma moeda. Por exemplo, se for possível endurecer os stage gates posteriores à seleção, também se pode afrouxar a avaliação.

Deixo a discussão sobre esse "depois de escolher" para outra oportunidade.

Notas de rodapé

1. Veja também, por exemplo, 『Questionando a decisão por maioria』. ↩

2. Divulgação: o autor participa como membro do comitê de indicação do J-Startup desde o ano fiscal de 2022. Nessa função, ele deu feedback à secretaria sobre a forma de escolher. ↩