O que vale uma aprovação humana

Em resumo.

«Uma pessoa aprova» é uma das três regras com que o SYNC trabalha. Por esta regra, por predefinição, um rascunho fica à espera até alguém o ler e aprovar o envio. Pode flexibilizá-la em cada conta.

A investigação sobre automação diz que um passo destes é mais fraco do que parece. Quem trabalha com um sistema que costuma acertar acaba por segui-lo. Uma aprovação pode transformar-se num clique.

Mantemos a regra, mas não a tratamos como uma garantia. Este texto expõe o que diz a investigação, o que mostram até agora os nossos números e o que fazemos para que a aprovação continue a ser uma decisão a sério.

A investigação sobre a aprovação.

Uma revisão da investigação sobre automação descreve dois erros que as pessoas cometem com um sistema que dá conselhos. Deixam escapar um problema porque o sistema não o assinalou, e seguem o sistema quando ele se engana. A revisão é clara sobre quem os comete e sobre se a formação os consegue eliminar:

O design pode ajudar, mas tem um preço. Numa experiência com 199 pessoas, os designs que obrigam a pessoa a analisar a recomendação antes de a aceitar reduziram a confiança excessiva. As mesmas pessoas deram a esses designs a nota mais baixa.^[4] O design que funciona melhor é aquele de que as pessoas menos gostam.

A crítica mais dura vem de um estudo de 41 políticas que exigem que uma pessoa supervisione um algoritmo da administração pública. Conclui que, pelas provas que analisa, as pessoas não são capazes de exercer a supervisão que lhes é pedida, e que essas políticas podem dar «uma falsa sensação de segurança».^[5] Lida assim, a regra faz o sistema parecer mais seguro do que é, porque todos partem do princípio de que a pessoa está a verificar.

Que parte do trabalho fica com a pessoa.

Um artigo clássico divide qualquer tarefa em quatro tipos de função: recolher informação, analisá-la, decidir o que fazer e fazê-lo. Cada uma pode ser automatizada em grau diferente, de totalmente manual a totalmente automática.^[2] A pergunta útil é que função é automatizada, e até que ponto.

A divisão tem uma fraqueza conhecida. Um artigo mais antigo sobre a automação na indústria defende que, quando a maior parte de uma tarefa está automatizada, à pessoa restam a vigilância e os casos difíceis, e tem menos prática em ambos. Conhecemos este artigo por resumos e não o lemos nós próprios.^[3]

É o retrato do nosso revisor. Não recolheu as fontes nem escreveu o rascunho. Pede-se-lhe que avalie um texto que não ajudou a escrever e que apanhe, entre muitos, o único rascunho que está errado.

O que mostram os nossos números.

Em cada rascunho que uma pessoa aprovou entre 21 de agosto e 29 de setembro de 2026, comparámos o primeiro rascunho com o texto enviado.

A maioria dos rascunhos alterados ficou mais longa, e a maioria foi em grande parte reescrita. A contagem completa está em O que os vendedores mudam antes de enviar.^[8]

Até agora, portanto, os nossos revisores não aprovam à primeira vista. Os limites são grandes. Os revisores eram um grupo pequeno, e as revisões estão distribuídas de forma desigual entre eles. Parte da alteração pode ser a correção feita pelo próprio software, que não conseguimos separar. E uma alteração nada diz sobre se os factos da mensagem foram verificados.

A nossa resposta.

• 01Ao lado do rascunho, o revisor vê a razão para escrever: o facto em que a mensagem assenta, uma ligação para a sua fonte e a data em que foi observado. Quando o facto não tem data, o ecrã indica-o. O revisor pode verificar a afirmação, e não apenas o tom.
• 02O revisor vê também em que afirmações sobre a sua própria empresa o rascunho se apoiou sem que ninguém no espaço de trabalho as tenha ainda confirmado.
• 03A aprovação define-se por conta, num de três níveis: todas as mensagens, só a primeira ou nenhuma. Até 29 de setembro de 2026, uma conta nova começava com aprovação da primeira mensagem, e as mensagens de seguimento podiam depois sair sem revisão. Desde esse dia, cada conta nova começa com aprovação de cada envio. Uma pessoa pode flexibilizá-la em cada conta, para só a primeira mensagem ou para nenhuma.
• 04Desde 29 de setembro, o software guarda o que mudou entre o rascunho e o texto enviado, para podermos acompanhar ao longo do tempo se os revisores continuam a editar.
• 05Hoje o ecrã de revisão mostra a razão para escrever, a sua fonte e a sua data, ou que a data falta. Mostrar a fonte sob cada frase do rascunho está em desenvolvimento. Não damos data para isso.

Cabe aqui uma constatação, porque toca no primeiro ponto. Quando medimos, este site enunciava a regra de que uma conta sem uma razão datada não recebe nada do SYNC. A 29 de setembro, 570 dossiers estavam marcados como prontos. Pela razão registada com esse veredicto, 303 assentam num sinal datado e com fonte, 230 num sinal com fonte mas sem data, e 37 não têm nenhuma razão registada.^[8] Hoje a verificação pede um sinal com a sua fonte e não exige data. Decidimos manter assim: um sinal com fonte mas sem data pode continuar a deixar um dossier pronto. O revisor vê que a data falta, e estamos a tornar isso mais visível no ecrã de revisão. A regra neste site fala agora de uma razão que possamos citar, não de uma razão datada.

O Regulamento europeu da Inteligência Artificial (AI Act) dá uma referência útil para o design. O seu artigo sobre supervisão humana pede que a pessoa que supervisiona um sistema se mantenha consciente da possível tendência para confiar de forma automática ou excessiva nos resultados que ele produz.^[7] Esse artigo foi escrito para os sistemas que o Regulamento classifica como de risco elevado. Não avaliámos se o Regulamento se aplica ao SYNC. Usamos o artigo como padrão de design. Não afirmamos que o SYNC cumpre o Regulamento, nem que tenha de o cumprir.