Rodolfo Amstalden: A culpa é das estrelas

Imagino que você já foi convidado a dar notas para aplicativos, filmes, músicas, livros, restaurantes e até mesmo relatórios da Empiricus.

Ao nos depararmos com a média dessas notas, acessamos diretamente aquilo que os romanos antigos chamavam de “sabedoria das massas”.

Por meio de um feedback loop social, tal sabedoria permite reduzir dramaticamente os custos da busca por sucesso.

Você e sua família não precisam mais testar diversos pontos da amostra para descobrir qual é a melhor escolha. Basta comparar as notas médias no Google, na App Store, na Amazon ou onde quer que seja.

Não tenho dúvidas de que a tecnologia ajuda muito nesse sentido, evitando a hospedagem em pousadas com banheiro coletivo sem janela. 

Contudo, a tecnologia nunca vem isenta de falhas. Ao utilizarmos novas ferramentas, precisamos reconhecer seus defeitos.

À medida que os primeiros estudos estatísticos (sérios) começam a sair, notamos um forte viés de extremos na atribuição digital de notas.

Na Amazon, por exemplo, as avaliações de clientes giram em torno de 4,2 sobre um máximo de 5,0. No Uber, 90% das viagens recebem 5 estrelas.

Qualquer que seja a plataforma em questão, o gráfico de dispersão das notas vem tipicamente em forma de “J”: algumas notas 1 do lado esquerdo, um vazio no meio e muitas notas 4 ou 5 do lado direito — sugerindo erros sistemáticos.

Isso significa que as avaliações que encontramos espalhadas pela internet não funcionam, na prática, como preditoras eficazes do sucesso de um bem ou serviço.

Percebendo a lacuna, a Netflix preferiu abandonar o sistema de cinco estrelas, substituindo-o por uma medida simples — e mais confiável — de dedão para cima ou para baixo.

Quão grave é esse problema de mensuração?

Grave o bastante para imaginarmos correlações positivas onde são negativas, ou vice-versa.

Tomando o exemplo de receitas de bilheteria nos cinemas, as estrelas são incapazes de registrar uma resposta crescente entre ratings melhores e receitas menores. 

Ao contrário, a resposta é decrescente, sugerindo que algumas notas péssimas e muitas notas ótimas são dadas a esmo.

Com algoritmos capazes de capturar a emoção da linguagem usada de forma espontânea em redes sociais, conseguimos devolver racionalidade à correlação em pauta.

Aplicável a diversos contextos, esse tipo de estudo me levou a pensar nas notas que damos para os ativos listados em Bolsa (targets? múltiplos?), e em como elas funcionam como um mapa errado.

Felizmente, há também um mapa certo, implícito na análise qualitativa, que dá muito mais trabalho de fazer.