Em resumo.
O SYNC escreve um rascunho e, por predefinição, é uma pessoa que decide se é enviado. Isso pode ser flexibilizado conta a conta. Comparámos o que o software escreveu primeiro com o que acabou por ser enviado. Dos 266 rascunhos que uma pessoa aprovou, 249 saíram com um texto diferente. 17 saíram tal como tinham sido escritos.
A maioria das alterações é grande, e a maioria torna a mensagem mais longa. Não parece uma aprovação dada de relance.
As limitações são grandes. Os números descrevem um pequeno grupo de revisores, e as revisões estão distribuídas de forma desigual entre eles. Parte da alteração pode ser a correção que o próprio software faz a um rascunho. E nada aqui mostra que as alterações tenham melhorado uma mensagem, porque não medimos nenhum resultado.
Quantos rascunhos mudaram.
Todos os 249 tinham uma alteração no corpo da mensagem. Nenhuma alteração se resumia a espaços ou quebras de linha.
Os rascunhos foram aprovados entre 21 de agosto e 29 de setembro de 2026. A revisão foi feita por um pequeno grupo de pessoas.[1]
Partimos de 290 rascunhos aprovados e deixámos 24 de fora. Esses 24 vinham de um segundo circuito de redação, em que o primeiro rascunho guardado não é o que foi revisto; compará-los não mediria nada.
A dimensão das alterações.
As alterações não são pequenas correções. Medimo-las de duas formas: quanto mudou o comprimento, e quanto o texto enviado ainda se parece com o rascunho.
| O que medimos | Resultado |
|---|---|
| Ficou mais longo | 214 de 249 |
| Ficou mais curto | 34 de 249 |
| Mesmo comprimento | 1 de 249 |
| Variação do comprimento, mediana | 24% mais longo |
| Variação do comprimento, metade central dos rascunhos | entre 8% e 55% mais longo |
A semelhança é uma pontuação de 0 a 1. Compara os dois textos em grupos sobrepostos de três caracteres. Uma pontuação de 1 significa que os textos são iguais; uma pontuação perto de 0, que quase nada têm em comum.
Somando os dois grupos mais baixos, 189 dos 249 rascunhos alterados ficam abaixo de 0,70. São três em cada quatro. Apenas 18 foram ligeiramente retocados. A soma e as descrições ao lado das pontuações são nossas. A pontuação em si diz apenas quanto do texto é comum.
Ainda não sabemos dizer de que tipo são estas alterações. Desde 29 de setembro, o software regista uma comparação em cada aprovação e arruma as diferenças em quatro tipos: os factos, a quem se dirige a mensagem, a estrutura e o tom, e o fecho. Há onze registos destes, todos de um único dia e de um grupo muito pequeno. Cada um dos onze tem os quatro tipos, por isso a classificação ainda não separa nada.
O que isto sugere e o que não sugere.
A investigação sobre automação dá uma razão para olhar para este número. Quem trabalha com um sistema que costuma acertar tende a segui-lo. Uma revisão dessa investigação diz que o efeito surge em principiantes e em especialistas, e que «não pode ser evitado com formação nem com instruções».[2] Uma etapa de aprovação em que quase tudo passa sem alterações encaixaria nesse quadro.
A nossa, hoje, não é assim. 17 de 266 rascunhos passaram sem alterações. Os revisores mudam o texto, e acrescentam mais vezes do que cortam.
- 01Não mostra que as alterações tenham melhorado a mensagem. Neste artigo não medimos respostas nem reuniões, e não publicamos essas taxas.
- 02Não mostra que o rascunho estivesse errado. Uma pessoa pode reescrever um rascunho correto à sua maneira.
- 03Não mostra que um rascunho inalterado tenha sido aprovado sem ser lido. Uma pessoa pode ler um rascunho com atenção e não encontrar nada para mudar.
- 04Não descreve os vendedores em geral. Descreve um pequeno grupo de revisores.
O que mudámos no produto.
Acrescentámos a comparação descrita acima, feita no momento da aprovação. Desde 29 de setembro, quando um rascunho é aprovado, o software guarda o que mudou entre o rascunho e o texto enviado. Quando houver registos suficientes, poderemos dizer que tipos de alteração são frequentes.
Ainda não mudámos o que é guardado antes da revisão. As limitações abaixo decorrem daí.
O que pesa contra.
Parte da alteração pode ser do próprio software. Depois do primeiro rascunho, o software pode corrigir um rascunho que viole uma das suas regras, e só então uma pessoa o vê. Guardamos o primeiro rascunho e o texto enviado. Não guardamos o texto que o revisor leu. Num rascunho aprovado não conseguimos separar a correção do software da edição da pessoa, pelo que a parte da pessoa pode ser menor do que 249 de 266, numa medida que desconhecemos.
Os números são pequenos e desiguais. A revisão foi feita por um pequeno grupo de pessoas, durante menos de seis semanas, e as revisões estão distribuídas de forma desigual entre elas. O resultado descreve a forma de trabalhar de poucas pessoas.
Uma proporção elevada de edições também pode ser lida como uma fraqueza dos rascunhos. Se 94% dos rascunhos precisam de ser reescritos, o software poupa menos trabalho do que parece. Os nossos dados não permitem decidir entre essa leitura e a nossa.
Editar também não é o mesmo que verificar. Um estudo de 41 políticas que exigem que uma pessoa supervisione um algoritmo da administração pública conclui, com base nas provas que analisa, que as pessoas não conseguem exercer a supervisão que lhes é pedida, e que essas políticas podem dar «uma falsa sensação de segurança».[4] Um revisor pode melhorar a redação de uma mensagem e, mesmo assim, deixar passar um facto errado. Uma experiência concluiu que as soluções que obrigam a pessoa a pensar reduzem a confiança excessiva, e que são essas as que as pessoas avaliam pior.[3] Nenhum dos dois estudos é sobre vendas.
A proporção também pode descer. A 19 de setembro, a mesma contagem estava em 113 de 126. Muda a cada aprovação, e quem começa a confiar nos rascunhos pode passar a editar menos. Ainda não acompanhamos essa evolução ao longo do tempo.
Contámos os rascunhos que uma pessoa reviu e aprovou, no registo de cada rascunho e do que lhe aconteceu. O período vai de 21 de agosto a 29 de setembro de 2026 e abrange um pequeno grupo de revisores. Comparámos o corpo e o assunto do primeiro rascunho com o corpo e o assunto da mensagem enviada.
Ficaram de fora: 24 rascunhos do segundo circuito de redação, porque o primeiro rascunho guardado é outro rascunho. Os rascunhos ainda à espera de revisão, porque as alterações que têm até agora são correções do próprio software. Apresentamos todos os espaços de trabalho em conjunto e nunca um espaço de trabalho isolado. O valor 189 e as proporções arredondadas são contas nossas a partir das contagens acima.
Os números valem para o momento em que foram recolhidos. Voltamos a medir no dia da publicação.
- [1]iSyncSO. Rascunhos aprovados após revisão por uma pessoa, de 21 de agosto a 29 de setembro de 2026. Medido a 29 de setembro de 2026.medição própriaum pequeno grupo de revisores
- [2]Parasuraman, R. & Manzey, D. H. (2010). Complacency and bias in human use of automation: an attentional integration. Human Factors 52(3), 381–410.só o resumo
- [3]Buçinca, Z., Malaya, M. B. & Gajos, K. Z. (2021). To trust or to think: cognitive forcing functions can reduce overreliance on AI in AI-assisted decision-making. Proceedings of the ACM on Human-Computer Interaction (CSCW).só o resumolido no arXiv; uma experiência com 199 pessoas, não sobre vendas
- [4]Green, B. (2022). The flaws of policies requiring human oversight of government algorithms. Computer Law & Security Review 45.só o resumosobre algoritmos da administração pública