De korte versie.
SYNC schrijft een concept, en standaard beslist een persoon of het wordt verstuurd. Dat kan per account worden versoepeld. We vergeleken wat de software eerst schreef met wat uiteindelijk is verstuurd. Van 266 concepten die een persoon vrijgaf, ging er 249 met een andere tekst de deur uit. 17 gingen weg zoals ze waren geschreven.
De meeste wijzigingen zijn groot, en de meeste maken het bericht langer. Dat lijkt niet op goedkeuren op het eerste gezicht.
De beperkingen zijn groot. De cijfers beschrijven een kleine groep beoordelaars, en de beoordelingen zijn ongelijk over hen verdeeld. Een deel van de wijziging kan het eigen herstel van een concept door de software zijn. En niets hier laat zien dat de wijzigingen een bericht beter maakten, omdat we geen uitkomst meten.
Hoeveel concepten zijn gewijzigd.
Elk van de 249 had een wijziging in de berichttekst. Geen enkele wijziging bestond alleen uit spaties of regeleinden.
De concepten zijn vrijgegeven tussen 21 augustus en 29 september 2026. Een kleine groep mensen deed de beoordeling.[1]
We begonnen met 290 vrijgegeven concepten en lieten er 24 weg. Die 24 kwamen van een tweede schrijfroute waarin het bewaarde eerste concept een ander concept is dan het concept dat is beoordeeld, dus de twee vergelijken zou niets meten.
Hoe groot de wijzigingen zijn.
De wijzigingen zijn geen kleine correcties. We maten ze op twee manieren: hoeveel de lengte veranderde, en hoe sterk de verstuurde tekst nog op het concept lijkt.
| Wat we maten | Resultaat |
|---|---|
| Werd langer | 214 van 249 |
| Werd korter | 34 van 249 |
| Even lang | 1 van 249 |
| Verandering in lengte, middelste waarde | 24% langer |
| Verandering in lengte, middelste helft van de concepten | tussen 8% en 55% langer |
Gelijkenis is een score van 0 tot 1. Ze vergelijkt de twee teksten in overlappende groepjes van drie tekens. Een score van 1 betekent dat de teksten gelijk zijn, en een score dicht bij 0 dat ze bijna niets delen.
Tel je de twee laagste groepen op, dan scoren 189 van de 249 gewijzigde concepten onder 0,70. Dat is drie van de vier. Slechts 18 zijn licht aangeraakt. De som en de beschrijvingen naast de scores zijn van ons. De score zelf zegt alleen hoeveel van de tekst gedeeld is.
We kunnen nog niet zeggen wat voor soort wijzigingen dit zijn. Sinds 29 september legt de software bij elke vrijgave een vergelijking vast en sorteert ze de verschillen in vier soorten: feiten, voor wie het bericht is, structuur en toon, en de afsluiting. Er zijn elf van zulke registraties, alle van één dag en een heel kleine groep. Elk van de elf draagt alle vier de soorten, dus de indeling scheidt nog niets.
Wat dit doet vermoeden, en wat niet.
Het onderzoek naar automatisering geeft een reden om naar dit getal te kijken. Mensen die werken met een systeem dat meestal gelijk heeft, hebben de neiging het te volgen. Een overzicht van dat onderzoek zegt dat het effect optreedt bij beginners en bij experts, en dat het “niet kan worden voorkomen met training of instructies”.[2] Een goedkeuringsstap waarin bijna alles ongewijzigd doorgaat, zou bij dat beeld passen.
De onze ziet er vandaag niet zo uit. 17 van de 266 concepten gingen ongewijzigd door. De beoordelaars wijzigen de tekst, en ze voegen vaker toe dan dat ze schrappen.
- 01Het laat niet zien dat de wijzigingen het bericht verbeterden. We meten in dit stuk geen antwoorden of afspraken, en we publiceren zulke percentages niet.
- 02Het laat niet zien dat het concept fout was. Een persoon kan een correct concept herschrijven in zijn eigen stem.
- 03Het laat niet zien dat een ongewijzigd concept zonder te lezen is goedgekeurd. Een persoon kan een concept zorgvuldig lezen en niets vinden om te wijzigen.
- 04Het beschrijft geen verkopers in het algemeen. Het beschrijft een kleine groep beoordelaars.
Wat we in het product hebben veranderd.
We voegden de vergelijking bij vrijgave toe die hierboven staat beschreven. Sinds 29 september slaat de software bij de vrijgave op wat er tussen het concept en de verstuurde tekst is veranderd. Zodra er genoeg registraties zijn, kunnen we melden welke soorten wijzigingen vaak voorkomen.
Wat vóór de beoordeling wordt opgeslagen, hebben we nog niet veranderd. De beperkingen hieronder volgen daaruit.
Wat hiertegen pleit.
Een deel van de wijziging kan van de software zelf zijn. Na het eerste concept kan de software een concept herstellen dat een van haar regels schendt, en pas dan ziet een persoon het. We slaan het eerste concept en de verstuurde tekst op. We slaan de tekst die de beoordelaar las niet op. Voor een vrijgegeven concept kunnen we het herstel niet scheiden van de bewerking van de persoon, dus het aandeel van de persoon kan kleiner zijn dan 249 van 266, met een omvang die we niet kennen.
De aantallen zijn klein en ongelijk verdeeld. Een kleine groep mensen beoordeelde, in minder dan zes weken, en de beoordelingen zijn ongelijk over hen verdeeld. Het resultaat beschrijft hoe een paar mensen werken.
Een hoog aandeel bewerkingen kan ook worden gelezen als een zwakte van de concepten. Als 94% van de concepten herschreven moet worden, bespaart de software minder werk dan het lijkt. Onze data kunnen niet kiezen tussen die lezing en de onze.
Bewerken is ook niet hetzelfde als controleren. Een onderzoek naar 41 beleidsregels die een persoon laten toezien op een algoritme van de overheid concludeert dat mensen, op grond van het bewijs dat het bekijkt, het gevraagde toezicht niet kunnen uitvoeren, en dat zulke regels “een vals gevoel van veiligheid” kunnen geven.[4] Een beoordelaar kan de formulering van een bericht verbeteren en toch een verkeerd feit erin missen. Eén experiment vond dat ontwerpen die iemand dwingen na te denken het overmatige vertrouwen verminderen, en dat mensen die ontwerpen het laagst beoordelen.[3] Beide onderzoeken gaan over andere vakgebieden dan verkoop.
Het aandeel kan ook dalen. Op 19 september stond dezelfde telling op 113 van 126. Het beweegt met elke vrijgave, en mensen die de concepten gaan vertrouwen, bewerken misschien minder. We volgen dat nog niet in de tijd.
We telden concepten die een persoon beoordeelde en vrijgaf, in het logboek van elk concept en wat ermee gebeurde. De periode loopt van 21 augustus tot 29 september 2026 en omvat een kleine groep beoordelaars. We vergeleken de berichttekst en het onderwerp van het eerste concept met de berichttekst en het onderwerp van het verstuurde bericht.
Weggelaten: 24 concepten van de tweede schrijfroute, omdat hun bewaarde eerste concept een ander concept is. Concepten die nog op beoordeling wachten, omdat hun wijzigingen tot nu toe het eigen herstel van de software zijn. We rapporteren alle workspaces samen en nooit één workspace afzonderlijk. 189 en de afgeronde aandelen zijn onze eigen sommen uit de tellingen hierboven.
De cijfers gelden voor het moment waarop ze zijn genomen. Op de dag van publicatie meten we opnieuw.
- [1]iSyncSO. Concepten vrijgegeven na beoordeling door een persoon, 21 augustus tot 29 september 2026. Gemeten op 29 september 2026.onze eigen metingeen kleine groep beoordelaars
- [2]Parasuraman, R. & Manzey, D. H. (2010). Complacency and bias in human use of automation: an attentional integration. Human Factors 52(3), 381–410.alleen samenvatting
- [3]Buçinca, Z., Malaya, M. B. & Gajos, K. Z. (2021). To trust or to think: cognitive forcing functions can reduce overreliance on AI in AI-assisted decision-making. Proceedings of the ACM on Human-Computer Interaction (CSCW).alleen samenvattinggelezen op arXiv; een experiment met 199 mensen, niet over verkoop
- [4]Green, B. (2022). The flaws of policies requiring human oversight of government algorithms. Computer Law & Security Review 45.alleen samenvattingover algoritmen van overheden