In breve.
SYNC scrive una bozza e, per impostazione predefinita, è una persona a decidere se parte. Questa regola si può allentare account per account. Abbiamo confrontato ciò che il software aveva scritto all’inizio con ciò che alla fine è stato inviato. Delle 266 bozze a cui una persona ha dato il via libera, 249 sono partite con un testo diverso. Le altre 17 sono partite così come erano state scritte.
Le modifiche sono per lo più ampie, e per lo più allungano il messaggio. Non somiglia a un’approvazione data a colpo d’occhio.
I limiti sono importanti. I numeri descrivono un piccolo gruppo di revisori, e le revisioni non sono distribuite in modo uniforme tra loro. Una parte delle modifiche può essere la correzione che il software stesso apporta a una bozza. E nulla qui dimostra che le modifiche abbiano migliorato un messaggio, perché non misuriamo alcun risultato.
Quante bozze sono cambiate.
Tutte le 249 avevano una modifica nel corpo del messaggio. Nessuna modifica riguardava soltanto spazi o interruzioni di riga.
Le bozze sono state approvate tra il 21 agosto e il 29 settembre 2026. A rivederle è stato un piccolo gruppo di persone.[1]
Siamo partiti da 290 bozze approvate e ne abbiamo escluse 24. Quelle 24 venivano da un secondo percorso di scrittura, in cui la prima bozza salvata non è quella che è stata rivista: confrontarle non misurerebbe nulla.
L’entità delle modifiche.
Non si tratta di piccole correzioni. Le abbiamo misurate in due modi: di quanto è cambiata la lunghezza, e quanto il testo inviato somiglia ancora alla bozza.
| Cosa abbiamo misurato | Risultato |
|---|---|
| Più lunghe | 214 su 249 |
| Più corte | 34 su 249 |
| Stessa lunghezza | 1 su 249 |
| Variazione di lunghezza, valore mediano | 24% più lunghe |
| Variazione di lunghezza, metà centrale delle bozze | tra l’8% e il 55% più lunghe |
La somiglianza è un punteggio da 0 a 1. Confronta i due testi per gruppi di tre caratteri che si sovrappongono. Un punteggio di 1 significa che i testi sono identici; un punteggio vicino a 0, che non hanno quasi nulla in comune.
Sommando i due gruppi più bassi, 189 delle 249 bozze modificate hanno un punteggio inferiore a 0,70: tre su quattro. Solo 18 sono state toccate appena. La somma e le descrizioni accanto ai punteggi sono nostre. Il punteggio in sé dice solo quanta parte del testo è in comune.
Non sappiamo ancora dire di che tipo di modifiche si tratti. Dal 29 settembre il software registra un confronto a ogni via libera e divide le differenze in quattro tipi: i fatti, il destinatario del messaggio, struttura e tono, la chiusura. Di queste registrazioni ce ne sono undici, tutte di un solo giorno e di un gruppo molto piccolo. Ognuna delle undici contiene tutti e quattro i tipi, quindi per ora la classificazione non distingue nulla.
Cosa suggerisce, e cosa no.
La ricerca sull’automazione offre un motivo per guardare questo numero. Chi lavora con un sistema che di solito ha ragione tende a seguirlo. Una rassegna di quella ricerca afferma che l’effetto compare nei principianti come negli esperti, e che “non si può prevenire con la formazione o con le istruzioni”.[2] Un passaggio di approvazione in cui quasi tutto passa senza modifiche rientrerebbe in quel quadro.
Il nostro, oggi, non ha quell’aspetto. 17 bozze su 266 sono passate senza modifiche. I revisori cambiano il testo, e aggiungono più spesso di quanto taglino.
- 01Non dimostra che le modifiche abbiano migliorato il messaggio. In questo articolo non misuriamo risposte né incontri, e tassi del genere non li pubblichiamo.
- 02Non dimostra che la bozza fosse sbagliata. Una persona può riscrivere una bozza corretta con la propria voce.
- 03Non dimostra che una bozza invariata sia stata approvata senza leggerla. Una persona può leggere una bozza con attenzione e non trovare nulla da cambiare.
- 04Non descrive i venditori in generale. Descrive un piccolo gruppo di revisori.
Cosa abbiamo cambiato nel prodotto.
Abbiamo aggiunto il confronto descritto sopra, fatto al momento del via libera. Dal 29 settembre, quando una bozza viene approvata, il software salva cosa è cambiato tra la bozza e il testo inviato. Quando ci saranno abbastanza registrazioni, potremo dire quali tipi di modifica sono frequenti.
Non abbiamo ancora cambiato ciò che viene salvato prima della revisione. Da qui derivano i limiti indicati più sotto.
Cosa si può obiettare.
Una parte delle modifiche può venire dal software stesso. Dopo la prima bozza, il software può correggere una bozza che viola una delle sue regole, e solo allora una persona la vede. Salviamo la prima bozza e il testo inviato. Non salviamo il testo che il revisore ha letto. Per una bozza approvata non possiamo quindi separare la correzione del software dall’intervento della persona: la quota della persona può essere inferiore a 249 su 266, di una misura che non conosciamo.
I numeri sono piccoli e disomogenei. A rivedere è stato un piccolo gruppo di persone, in meno di sei settimane, e le revisioni non sono distribuite in modo uniforme tra loro. Il risultato descrive come lavorano poche persone.
Un’alta quota di modifiche si può leggere anche come una debolezza delle bozze. Se il 94% delle bozze va riscritto, il software fa risparmiare meno lavoro di quanto sembri. I nostri dati non permettono di scegliere tra questa lettura e la nostra.
Modificare, poi, non equivale a controllare. Uno studio su 41 norme che chiedono a una persona di sorvegliare un algoritmo della pubblica amministrazione conclude, sulla base delle prove che esamina, che le persone non sono in grado di esercitare la sorveglianza richiesta, e che norme del genere possono dare “un falso senso di sicurezza”.[4] Un revisore può migliorare la formulazione di un messaggio e lasciarsi comunque sfuggire un fatto sbagliato. Un esperimento ha rilevato che gli accorgimenti che costringono una persona a ragionare riducono l’affidamento eccessivo, e che le persone danno a quegli accorgimenti i voti più bassi.[3] Entrambi gli studi riguardano ambiti diversi dalla vendita.
La quota potrebbe anche scendere. Il 19 settembre lo stesso conteggio era di 113 su 126. Cambia a ogni via libera, e chi comincia a fidarsi delle bozze potrebbe modificarle di meno. Per ora non seguiamo questo andamento nel tempo.
Abbiamo contato le bozze che una persona ha rivisto e approvato, nel registro di ogni bozza e di ciò che ne è stato. Il periodo va dal 21 agosto al 29 settembre 2026 e riguarda un piccolo gruppo di revisori. Abbiamo confrontato corpo e oggetto della prima bozza con corpo e oggetto del messaggio inviato.
Esclusi: 24 bozze del secondo percorso di scrittura, perché la loro prima bozza salvata è un’altra bozza. Le bozze ancora in attesa di revisione, perché finora le loro modifiche sono correzioni del software stesso. Riportiamo tutti i workspace insieme e mai un singolo workspace da solo. Il numero 189 e le quote arrotondate sono calcoli nostri a partire dai conteggi riportati sopra.
Le cifre valgono per il momento in cui sono state rilevate. Il giorno della pubblicazione misuriamo di nuovo.
- [1]iSyncSO. Bozze approvate dopo la revisione di una persona, dal 21 agosto al 29 settembre 2026. Misurato il 29 settembre 2026.nostra misurazioneun piccolo gruppo di revisori
- [2]Parasuraman, R. & Manzey, D. H. (2010). Complacency and bias in human use of automation: an attentional integration. Human Factors 52(3), 381–410.solo l’abstract
- [3]Buçinca, Z., Malaya, M. B. & Gajos, K. Z. (2021). To trust or to think: cognitive forcing functions can reduce overreliance on AI in AI-assisted decision-making. Proceedings of the ACM on Human-Computer Interaction (CSCW).solo l’abstractletto su arXiv; un esperimento con 199 persone, non sulla vendita
- [4]Green, B. (2022). The flaws of policies requiring human oversight of government algorithms. Computer Law & Security Review 45.solo l’abstractsugli algoritmi della pubblica amministrazione