De korte versie.
Er zijn twee manieren om het model dat een concept schrijft een regel mee te geven. Je kunt de regel in de instructies zetten en erop vertrouwen dat het model hem volgt. Of de software controleert het afgeronde concept en weigert het als de regel is gebroken.
In ons duidelijkste voorbeeld liep de gestelde regel uit de pas. Ongeveer twee weken lang vertelden de instructies het model precies hoe het moest afsluiten. Van 178 concepten in die periode hadden er 40 de afsluiting precies zoals opgedragen, weken er 93 van af en hadden er 45 geen.
De regels die ertoe doen, zijn daarom nu controles die weigeren, en elke weigering wordt vastgelegd met de regel die haar veroorzaakte. Dit stuk laat zien wat die controles vingen. Het laat niet zien dat de berichten beter werden, en het voorbeeld is één configuratie, geen algemeen percentage.
Eén instructie, twee weken niet gecontroleerd.
Een workspace kan instellen hoe zijn berichten eindigen: de slotwoorden en de naam. Het is de eenvoudigste regel die we hebben. Er is geen oordeel voor nodig, alleen overnemen.
Van ongeveer 7 tot 20 september noemden de instructies aan het model de afsluiting, en controleerde niets het resultaat. We bekeken de eigen concepten van het model uit die periode en vergeleken het slot met de afsluiting die was ingesteld.
Bij deze cijfers horen drie beperkingen. Elk concept dat als “wijkt af” telt, komt uit één configuratie en wijkt op dezelfde kleine manier af. We vergeleken oude concepten met de afsluiting zoals die nu is ingesteld. En het begin van de periode is de datum waarop de instructie werd geschreven, niet de datum waarop ze live ging. Dit laat dus één configuratie zien die uit de pas loopt. Het is geen algemeen percentage voor hoe vaak een model een instructie overslaat.[1]
Op de avond van 20 september werd de afsluiting een controle. Een concept zonder de juiste afsluiting wordt geweigerd. Sindsdien heeft de controle 46 keer geweigerd: 44 keer omdat de afsluiting ontbrak en twee keer omdat ze afweek.
Deze 46 weigeringen zijn niet te vergelijken met de 178 concepten. Een weigering is een gebeurtenis, en één concept kan meerdere keren worden geweigerd. De twee tellingen meten verschillende dingen in verschillende perioden.
Wat de controles vingen.
SYNC schrijft langs twee routes. Op de eerste zijn tussen 7 en 29 september 527 weigeringen vastgelegd. De tabel sorteert ze op waar de weigering over ging.
| Wat de controle weigerde | Weigeringen | Voor het eerst gezien |
|---|---|---|
| De tekst heeft geen alinea-einden | 86 | 11 sept |
| Het bericht noemt zijn bron, of zegt dat iemand heeft gekeken | 65 | 7 sept |
| Een getal over de afzender dat niet in de eigen beschrijving van de afzender staat | 63 | 9 sept |
| De slotvraag vraagt om een tijdstip of een vorm die de schrijfregels niet toestaan | 60 | 7 sept |
| De afsluiting ontbreekt | 44 | 20 sept |
| Een opvolgbericht herhaalt het eerdere bericht onder zijn opening | 42 | 9 sept |
| Zinnen herhalen een e-mail die al is verstuurd | 39 | 7 sept |
| Het concept kwam terug met een ontbrekend deel | 25 | 11 sept |
| Een datum die het onderzoek naar het account niet onderbouwt | 24 | 11 sept |
| Een eerste woord dat de schrijfregels verbieden | 22 | 9 sept |
| Het antwoord was niet als concept te lezen | 20 | 7 sept |
| Hetzelfde argument als in recente berichten aan andere accounts | 11 | 20 sept |
| Het bericht leest de lezer de les | 8 | 9 sept |
| Een zinsdeel dat de schrijfregels verbieden | 7 | 21 sept |
| Het bericht wisselt tussen formele en informele aanspreekvorm | 5 | 25 sept |
| De afsluiting wijkt af van de ingestelde | 2 | 23 sept |
| Overig | 4 | diverse |
Dit is geen ranglijst van de fouten van het model. De controles zijn week na week toegevoegd, zoals de laatste kolom laat zien. Een controle die drie weken bestaat, heeft meer tijd gehad om te weigeren dan een die vier dagen bestaat. Een fout waarvoor geen controle bestaat, komt helemaal niet voor.
De tweede route legt elke poging om te schrijven vast, vanaf 21 augustus. Ze laat zien waar de inspanning heen gaat.
| Tweede schrijfroute | Aantal |
|---|---|
| Pogingen om een concept te schrijven | 221 |
| Geaccepteerde concepten | 54 |
| Pogingen die een controle niet haalden | 133 |
| Daarvan eerst gestopt door de controle op vorm | 122 |
| Daarvan eerst gestopt door een stijlcontrole | 11 |
| Pogingen waarbij de verbinding mislukte | 34 |
Volgens onze eigen deling is dat ongeveer vier pogingen voor elk geaccepteerd concept. De meeste mislukkingen hebben niets met inhoud te maken. Bij 122 van de 133 mislukte controles gaf het model zijn antwoord niet in de gevraagde vorm, dus er was geen concept om te beoordelen.
Wat onderzoek van anderen zegt.
We vonden geen studie naar deze vraag voor verkoopmail. Het dichtstbijzijnde onderzoek vraagt of een model dat is opgedragen zijn beweringen met bronnen te ondersteunen dat ook doet. Twee studies maten het.
“zelfs de beste modellen missen in 50% van de gevallen volledige ondersteuning door bronnen”
Dat resultaat geldt voor één reeks lange vragen. Een tweede studie controleerde vier openbare zoekmachines die in volledige zinnen met bronnen antwoorden. Die vond dat gemiddeld “slechts 51,5% van de gegenereerde zinnen volledig wordt ondersteund door bronverwijzingen”.[3]
Een model het bronmateriaal geven helpt wel. Eén studie vond dat modellen die passages opzoeken voordat ze schrijven, feitelijker taal produceren dan modellen die dat niet doen.[4] Een andere vond dat het opzoeken van passages verzonnen feiten in gesprekken aanzienlijk vermindert.[5] Beide melden een vermindering. Geen van beide meldt dat het probleem weg is.
Wat we in het product hebben veranderd.
- 01Een regel die ertoe doet, is een controle op het afgeronde concept. Als het concept de regel breekt, weigert de software het.
- 02Elke weigering wordt vastgelegd met de regel die haar veroorzaakte. Dat logboek is de bron van de tabellen in dit stuk.
- 03De afsluiting ging op 20 september van de instructies naar een controle.
Wat hiertegen pleit.
We kunnen niet aantonen dat de controles de berichten beter maakten. We tellen weigeringen, en een weigering zegt alleen dat een patroon paste. Een geweigerd concept kan in de ogen van een mens prima zijn geweest, en een concept dat erdoor kwam kan nog steeds matig zijn.
Een controle kan alleen testen wat software kan testen. Alinea-einden, een afsluiting en een verboden woord zijn makkelijk. Of een bericht relevant is voor zijn lezer, niet. De belangrijkste eigenschappen van een bericht blijven advies, en volgens onze eigen bevinding loopt advies uit de pas.
Controles kosten pogingen. In de tweede route horen de 221 pogingen bij 98 runs, en 44 van die runs leverden nooit een geaccepteerd concept op. Elke geweigerde poging kost tijd en geld, en een strenge set controles kan een account zonder bericht laten.
Ons duidelijkste voorbeeld is smal. De cijfers over de afsluiting komen uit heel weinig configuraties, en alle afwijkende concepten uit één ervan. Het begin van de periode is bij benadering: het is de datum waarop de instructie werd toegevoegd, geen datum die bij elk concept is vastgelegd. Al onze tellingen komen uit drie workspaces en een paar weken.
De studies van anderen gaan over vragen beantwoorden en over gesprekken. Geen ervan onderzocht verkoopmail, en geen vergeleek een gestelde regel met een gecontroleerde regel. We gebruiken ze als het dichtstbijzijnde bewijs, niet als bewijs.
We telden weigeringen in het logboek van elk concept en wat ermee gebeurde: 527 in de eerste schrijfroute, van 7 tot 29 september, en 133 mislukte controles in de tweede, van 21 augustus tot 29 september. We rapporteren alle workspaces samen. We geven geen weigeringspercentage, omdat weigeringen gebeurtenissen zijn en één concept meer dan eens kan worden geweigerd.
De categorieën in de eerste tabel zijn gemaakt door patronen te zoeken in de tekst van de reden die bij elke weigering werd vastgelegd. Voor de afsluiting keken we naar de eigen concepten van het model in de eerste schrijfroute, in workspaces die een afsluiting hebben ingesteld. Weggelaten: concepten uit de tweede schrijfroute, concepten geschreven nadat de controle begon, en concepten van vóór 7 september, omdat het begin van de periode bij benadering is en we niet kunnen zeggen onder welke instructies die concepten zijn geschreven.
De cijfers gelden voor het moment waarop ze zijn genomen. Op de dag van publicatie meten we opnieuw.
- [1]iSyncSO. Besluiten over concepten, weigeringen per regel en schrijfpogingen, tot 29 september 2026. Gemeten op 29 september 2026.onze eigen metingeen klein aantal workspaces
- [2]Gao, T., Yen, H., Yu, J. & Chen, D. (2023). Enabling large language models to generate text with citations. arXiv:2305.14627.alleen samenvattinggelezen op arXiv; vragen beantwoorden, geen verkoopmail
- [3]Liu, N. F., Zhang, T. & Liang, P. (2023). Evaluating verifiability in generative search engines. arXiv:2304.09848.alleen samenvattinggelezen op arXiv; vier zoekmachines, geen verkoopmail
- [4]Lewis, P. et al. (2020). Retrieval-augmented generation for knowledge-intensive NLP tasks. NeurIPS 2020. arXiv:2005.11401.alleen samenvattinggelezen op arXiv
- [5]Shuster, K., Poff, S., Chen, M., Kiela, D. & Weston, J. (2021). Retrieval augmentation reduces hallucination in conversation. arXiv:2104.07567.alleen samenvattinggelezen op arXiv