En bref.
Il y a deux façons de donner une règle au modèle qui rédige un brouillon. Soit on l’énonce dans les consignes et l’on compte sur le modèle pour la suivre. Soit le logiciel contrôle le brouillon terminé et le refuse quand la règle n’est pas respectée.
Dans notre exemple le plus net, la règle seulement énoncée n’a pas tenu. Pendant une quinzaine de jours, les consignes indiquaient au modèle exactement comment terminer ses messages. Sur 178 brouillons de cette période, 40 portaient la formule de politesse exactement comme demandé, 93 s’en écartaient et 45 n’en avaient aucune.
Les règles qui comptent sont donc désormais des contrôles qui refusent, et chaque refus est consigné avec la règle qui l’a provoqué. Cet article montre ce que ces contrôles ont arrêté. Il ne montre pas que les messages se sont améliorés, et l’exemple porte sur une seule configuration, pas sur un taux général.
Une consigne, quinze jours sans contrôle.
Un espace de travail peut définir la fin de ses messages : les mots de clôture et le nom. C’est notre règle la plus simple. Elle ne demande aucun jugement, il suffit de recopier.
Du 7 au 20 septembre environ, les consignes données au modèle précisaient la formule de politesse, et rien ne vérifiait le résultat. Nous avons repris les brouillons du modèle lui-même sur cette période et comparé leur fin avec la formule définie.
Ces chiffres appellent trois réserves. Tous les brouillons comptés comme « différents » viennent d’une seule configuration et diffèrent tous de la même petite façon. Nous avons comparé d’anciens brouillons à la formule telle qu’elle est définie aujourd’hui. Et le début de la période est la date où la consigne a été écrite, pas celle de sa mise en service. Cela montre donc une configuration qui dérive. Ce n’est pas un taux général de la fréquence à laquelle un modèle passe outre une consigne.[1]
Le soir du 20 septembre, la formule de politesse est devenue un contrôle. Un brouillon sans la bonne formule est refusé. Depuis, le contrôle a refusé 46 fois : 44 fois parce que la formule manquait et deux fois parce qu’elle différait.
Ces 46 refus ne se comparent pas aux 178 brouillons. Un refus est un événement, et un même brouillon peut être refusé plusieurs fois. Les deux décomptes mesurent des choses différentes sur des périodes différentes.
Ce qui a été refusé.
SYNC rédige par deux circuits. Sur le premier, 527 refus ont été consignés entre le 7 et le 29 septembre. Le tableau les classe selon l’objet du refus.
| Ce que le contrôle a refusé | Refus | Apparu le |
|---|---|---|
| Le texte n’a aucun saut de paragraphe | 86 | 11 sept. |
| Le message cite sa source, ou dit que quelqu’un a regardé | 65 | 7 sept. |
| Un chiffre sur l’expéditeur absent de sa propre description | 63 | 9 sept. |
| La question finale demande un horaire ou une forme que les règles de rédaction n’autorisent pas | 60 | 7 sept. |
| La formule de politesse manque | 44 | 20 sept. |
| Une relance répète le message précédent après son introduction | 42 | 9 sept. |
| Des phrases reprennent un e-mail déjà envoyé | 39 | 7 sept. |
| Le brouillon est revenu avec une partie manquante | 25 | 11 sept. |
| Une date que la recherche sur le compte n’étaye pas | 24 | 11 sept. |
| Un premier mot interdit par les règles de rédaction | 22 | 9 sept. |
| La réponse n’était pas lisible comme un brouillon | 20 | 7 sept. |
| Le même argument que dans des messages récents à d’autres comptes | 11 | 20 sept. |
| Le message fait la leçon au lecteur | 8 | 9 sept. |
| Une tournure interdite par les règles de rédaction | 7 | 21 sept. |
| Le message alterne vouvoiement et tutoiement | 5 | 25 sept. |
| La formule de politesse diffère de celle définie | 2 | 23 sept. |
| Autres | 4 | variable |
Ce n’est pas un classement des erreurs du modèle. Les contrôles ont été ajoutés semaine après semaine, comme le montre la dernière colonne. Un contrôle en place depuis trois semaines a eu plus de temps pour refuser qu’un contrôle en place depuis quatre jours. Une erreur qu’aucun contrôle ne vise n’apparaît pas du tout.
Le second circuit consigne chaque tentative de rédaction depuis le 21 août. Il montre où passe l’effort.
| Second circuit de rédaction | Nombre |
|---|---|
| Tentatives de rédiger un brouillon | 221 |
| Brouillons acceptés | 54 |
| Tentatives qui ont échoué à un contrôle | 133 |
| Dont arrêtées d’abord par le contrôle de forme | 122 |
| Dont arrêtées d’abord par un contrôle de style | 11 |
| Tentatives où la connexion a échoué | 34 |
Selon notre propre calcul, cela fait environ quatre tentatives par brouillon accepté. La plupart des échecs n’ont rien à voir avec le contenu. Dans 122 des 133 contrôles échoués, le modèle n’a pas rendu sa réponse sous la forme demandée : il n’y avait donc aucun brouillon à juger.
Ce que disent les études.
Nous n’avons trouvé aucune étude sur cette question pour l’e-mail commercial. Les travaux les plus proches se demandent si un modèle invité à étayer ses affirmations par des sources le fait réellement. Deux études l’ont mesuré.
« même les meilleurs modèles manquent d’un appui complet par les citations dans 50 % des cas »
Ce résultat porte sur un seul ensemble de questions appelant une réponse longue. Une seconde étude a examiné quatre moteurs de recherche publics qui répondent en phrases complètes, sources à l’appui. Son constat, en moyenne : « seulement 51,5 % des phrases générées sont entièrement étayées par des citations ».[3]
Fournir au modèle les documents sources aide bel et bien. Une étude a montré que les modèles qui recherchent des passages avant d’écrire produisent un langage plus factuel que ceux qui ne le font pas.[4] Une autre a montré que la recherche de passages réduit nettement les faits inventés dans la conversation.[5] Toutes deux constatent une baisse. Aucune ne dit que le problème a disparu.
Ce que nous avons changé.
- 01Une règle qui compte est un contrôle du brouillon terminé. Quand le brouillon enfreint la règle, le logiciel le refuse.
- 02Chaque refus est consigné avec la règle qui l’a provoqué. Ce journal est la source des tableaux de cet article.
- 03Le 20 septembre, la formule de politesse est passée des consignes à un contrôle.
Ce qui plaide contre.
Nous ne pouvons pas montrer que les contrôles ont amélioré les messages. Nous comptons des refus, et un refus dit seulement qu’un motif textuel a été reconnu. Un brouillon refusé pouvait très bien convenir aux yeux d’une personne, et un brouillon accepté peut rester médiocre.
Un contrôle ne peut vérifier que ce qu’un logiciel sait vérifier. Des sauts de paragraphe, une formule de politesse, un mot interdit : c’est facile. Savoir si un message est pertinent pour son lecteur ne l’est pas. Les qualités les plus importantes d’un message restent de simples consignes, et notre propre constat montre que les consignes dérivent.
Les contrôles coûtent des tentatives. Dans le second circuit, les 221 tentatives appartiennent à 98 exécutions, dont 44 n’ont jamais produit de brouillon accepté. Chaque tentative refusée coûte du temps et de l’argent, et un jeu de contrôles strict peut laisser un compte sans message.
Notre exemple le plus net reste étroit. Les chiffres sur la formule de politesse viennent de très peu de configurations, et tous les brouillons divergents d’une seule d’entre elles. Le début de la période est approximatif : c’est la date à laquelle la consigne a été ajoutée, pas une date enregistrée avec chaque brouillon. Tous nos décomptes viennent de trois espaces de travail et de quelques semaines.
Les études extérieures portent sur la réponse à des questions et sur la conversation. Aucune n’a étudié l’e-mail commercial, et aucune n’a comparé une règle énoncée à une règle contrôlée. Nous les utilisons comme les éléments les plus proches, pas comme une preuve.
Nous avons compté les refus dans le journal qui suit chaque brouillon et ce qu’il en advient : 527 dans le premier circuit, du 7 au 29 septembre, et 133 contrôles échoués dans le second, du 21 août au 29 septembre. Nous présentons tous les espaces de travail ensemble. Nous ne donnons pas de taux de refus, car les refus sont des événements et un brouillon peut être refusé plus d’une fois.
Les catégories du premier tableau sont obtenues en recherchant des expressions types dans la raison consignée avec chaque refus. Pour la formule de politesse, nous avons examiné les brouillons du modèle lui-même dans le premier circuit, dans les espaces de travail qui ont défini une formule. Exclus : les brouillons du second circuit, ceux rédigés après la mise en place du contrôle et ceux d’avant le 7 septembre, car le début de la période est approximatif et nous ne pouvons pas dire sous quelles consignes ils ont été rédigés.
Les chiffres valent pour le moment où ils ont été relevés. Nous mesurons de nouveau le jour de la publication.
- [1]iSyncSO. Décisions sur les brouillons, refus par règle et tentatives de rédaction, jusqu’au 29 septembre 2026. Mesuré le 29 septembre 2026.notre propre mesureun petit nombre d’espaces de travail
- [2]Gao, T., Yen, H., Yu, J. & Chen, D. (2023). Enabling large language models to generate text with citations. arXiv:2305.14627.résumé seulementlu sur arXiv ; réponse à des questions, pas d’e-mail commercial
- [3]Liu, N. F., Zhang, T. & Liang, P. (2023). Evaluating verifiability in generative search engines. arXiv:2304.09848.résumé seulementlu sur arXiv ; quatre moteurs de recherche, pas d’e-mail commercial
- [4]Lewis, P. et al. (2020). Retrieval-augmented generation for knowledge-intensive NLP tasks. NeurIPS 2020. arXiv:2005.11401.résumé seulementlu sur arXiv
- [5]Shuster, K., Poff, S., Chen, M., Kiela, D. & Weston, J. (2021). Retrieval augmentation reduces hallucination in conversation. arXiv:2104.07567.résumé seulementlu sur arXiv