En bref.
SYNC rédige un brouillon et, par défaut, une personne décide s’il part. Ce réglage peut être assoupli compte par compte. Nous avons comparé ce que le logiciel a écrit en premier avec ce qui a finalement été envoyé. Sur 266 brouillons validés par une personne, 249 sont partis avec un texte différent. 17 sont partis tels quels.
La plupart des modifications sont importantes, et la plupart allongent le message. Cela ne ressemble pas à une validation les yeux fermés.
Les limites sont importantes. Les chiffres décrivent un petit groupe de relecteurs, et les relectures sont inégalement réparties entre eux. Une partie de la modification peut venir des corrections que le logiciel apporte lui-même au brouillon. Et rien ici ne montre que les modifications ont amélioré un message, car nous ne mesurons aucun résultat.
Combien de brouillons ont été modifiés.
Chacun des 249 comportait une modification dans le corps du message. Aucune ne se limitait à des espaces ou à des retours à la ligne.
Les brouillons ont été validés entre le 21 août et le 29 septembre 2026. Un petit groupe de personnes a fait la relecture.[1]
Nous sommes partis de 290 brouillons validés et en avons écarté 24. Ces 24 venaient d’un second circuit de rédaction, dans lequel le premier brouillon enregistré n’est pas celui qui a été relu : les comparer ne mesurerait rien.
L’ampleur des modifications.
Il ne s’agit pas de petites corrections. Nous les avons mesurées de deux façons : de combien la longueur a changé, et à quel point le texte envoyé ressemble encore au brouillon.
| Ce que nous avons mesuré | Résultat |
|---|---|
| Plus long | 214 sur 249 |
| Plus court | 34 sur 249 |
| Même longueur | 1 sur 249 |
| Variation de longueur, médiane | 24 % plus long |
| Variation de longueur, moitié centrale des brouillons | entre 8 % et 55 % plus long |
La similarité est une note de 0 à 1. Elle compare les deux textes par groupes de trois caractères qui se chevauchent. Une note de 1 signifie que les textes sont identiques ; une note proche de 0, qu’ils n’ont presque rien en commun.
En additionnant les deux groupes du bas, 189 des 249 brouillons modifiés ont une note inférieure à 0,70. Cela fait trois sur quatre. Seuls 18 ont été légèrement retouchés. L’addition et les descriptions à côté des notes sont les nôtres. La note elle-même dit seulement quelle part du texte est commune.
Nous ne pouvons pas encore dire de quel type de modifications il s’agit. Depuis le 29 septembre, le logiciel enregistre une comparaison à chaque validation et classe les différences en quatre types : les faits, le destinataire du message, la structure et le ton, et la formule de clôture. Il existe onze enregistrements de ce genre, tous d’une seule journée et d’un très petit groupe. Chacun des onze porte les quatre types, si bien que le classement ne distingue encore rien.
Ce que cela suggère, et ce que cela ne montre pas.
La recherche sur l’automatisation donne une raison de regarder ce chiffre. Les personnes qui travaillent avec un système qui a généralement raison ont tendance à le suivre. Une revue de cette recherche indique que l’effet apparaît chez les débutants comme chez les experts, et qu’il « ne peut être évité ni par la formation ni par des consignes ».[2] Une étape de validation où presque tout passe sans changement correspondrait à ce tableau.
La nôtre n’y ressemble pas aujourd’hui. 17 brouillons sur 266 sont passés sans changement. Les relecteurs modifient le texte, et ils ajoutent plus souvent qu’ils ne coupent.
- 01Cela ne montre pas que les modifications ont amélioré le message. Nous ne mesurons ni réponses ni rendez-vous dans cet article, et nous ne publions pas de tels taux.
- 02Cela ne montre pas que le brouillon était faux. Une personne peut réécrire un brouillon correct avec ses propres mots.
- 03Cela ne montre pas qu’un brouillon inchangé a été validé sans être lu. Une personne peut lire un brouillon attentivement et n’y trouver rien à changer.
- 04Cela ne décrit pas les commerciaux en général. Cela décrit un petit groupe de relecteurs.
Ce que nous avons changé dans le produit.
Nous avons ajouté la comparaison à la validation décrite plus haut. Depuis le 29 septembre, le logiciel enregistre au moment de la validation ce qui a changé entre le brouillon et le texte envoyé. Dès que les enregistrements seront assez nombreux, nous pourrons dire quels types de modification sont fréquents.
Nous n’avons pas encore changé ce qui est enregistré avant la relecture. Les limites ci-dessous en découlent.
Ce qui plaide contre.
Une partie de la modification peut venir du logiciel lui-même. Après le premier brouillon, le logiciel peut corriger un brouillon qui enfreint l’une de ses règles, et ce n’est qu’ensuite qu’une personne le voit. Nous enregistrons le premier brouillon et le texte envoyé. Nous n’enregistrons pas le texte que le relecteur a lu. Pour un brouillon validé, nous ne pouvons donc pas séparer la correction automatique de la retouche humaine : la part de la personne peut être inférieure à 249 sur 266, d’une quantité que nous ignorons.
Les effectifs sont faibles et inégaux. Un petit groupe de personnes a relu, sur moins de six semaines, et les relectures sont inégalement réparties entre elles. Le résultat décrit la façon de travailler de quelques personnes.
Une forte part de retouches peut aussi se lire comme une faiblesse des brouillons. Si 94 % des brouillons doivent être réécrits, le logiciel fait gagner moins de travail qu’il n’y paraît. Nos données ne permettent pas de trancher entre cette lecture et la nôtre.
Retoucher n’est pas non plus vérifier. Une étude de 41 politiques qui exigent qu’une personne supervise un algorithme public conclut, d’après les éléments qu’elle examine, que les personnes ne sont pas capables d’exercer la supervision qu’on leur demande, et que ces politiques peuvent donner « un faux sentiment de sécurité ».[4] Un relecteur peut améliorer la formulation d’un message et y laisser passer un fait erroné. Une expérience a montré que les conceptions qui obligent une personne à réfléchir réduisent la dépendance excessive, et que les gens donnent à ces conceptions la note la plus basse.[3] Les deux études portent sur d’autres domaines que la vente.
La part peut aussi baisser. Le 19 septembre, le même décompte s’élevait à 113 sur 126. Il évolue à chaque validation, et les personnes qui finissent par faire confiance aux brouillons pourraient moins les retoucher. Nous ne suivons pas encore cette évolution dans le temps.
Nous avons compté les brouillons qu’une personne a relus et validés, dans le journal de chaque brouillon et de ce qu’il est devenu. La période va du 21 août au 29 septembre 2026 et couvre un petit groupe de relecteurs. Nous avons comparé le corps et l’objet du premier brouillon avec le corps et l’objet du message envoyé.
Écartés : 24 brouillons du second circuit de rédaction, parce que leur premier brouillon enregistré est un autre brouillon. Les brouillons encore en attente de relecture, parce que leurs modifications jusqu’ici sont les corrections du logiciel lui-même. Nous présentons tous les espaces de travail ensemble, jamais un seul isolément. Le 189 et les parts arrondies sont nos propres calculs à partir des chiffres ci-dessus.
Les chiffres valent pour le moment où ils ont été relevés. Nous mesurons de nouveau le jour de la publication.
- [1]iSyncSO. Brouillons validés après relecture par une personne, du 21 août au 29 septembre 2026. Mesuré le 29 septembre 2026.notre propre mesureun petit groupe de relecteurs
- [2]Parasuraman, R. & Manzey, D. H. (2010). Complacency and bias in human use of automation: an attentional integration. Human Factors 52(3), 381–410.résumé seulement
- [3]Buçinca, Z., Malaya, M. B. & Gajos, K. Z. (2021). To trust or to think: cognitive forcing functions can reduce overreliance on AI in AI-assisted decision-making. Proceedings of the ACM on Human-Computer Interaction (CSCW).résumé seulementlu sur arXiv ; une expérience avec 199 personnes, sans rapport avec la vente
- [4]Green, B. (2022). The flaws of policies requiring human oversight of government algorithms. Computer Law & Security Review 45.résumé seulementà propos d’algorithmes publics