In breve.
Ci sono due modi per dare una regola al modello che scrive una bozza. Puoi enunciarla nelle istruzioni e fidarti che il modello la segua. Oppure il software può controllare la bozza finita e rifiutarla quando la regola non è rispettata.
Nel nostro esempio più chiaro, la regola enunciata non ha tenuto. Per circa due settimane le istruzioni hanno detto al modello esattamente come chiudere il messaggio. Delle 178 bozze di quel periodo, 40 avevano la chiusura esattamente come indicato, 93 ne avevano una diversa e 45 non ne avevano nessuna.
Per questo le regole che contano sono ora controlli che rifiutano, e ogni rifiuto viene registrato con la regola che l’ha causato. Questo articolo mostra cosa hanno intercettato quei controlli. Non mostra che i messaggi siano migliorati, e l’esempio riguarda una sola configurazione, non è un tasso generale.
Un’istruzione, due settimane senza verifica.
Un workspace può stabilire come finiscono i suoi messaggi: le parole di chiusura e il nome. È la regola più semplice che abbiamo. Non richiede giudizio, solo di copiare.
Più o meno dal 7 al 20 settembre le istruzioni al modello indicavano la chiusura, e nulla controllava il risultato. Abbiamo guardato le bozze scritte dal modello in quel periodo e ne abbiamo confrontato il finale con la chiusura impostata.
Questi numeri vanno letti con tre limiti. Tutte le bozze contate come “diverse” vengono da una sola configurazione e differiscono nello stesso piccolo modo. Abbiamo confrontato bozze vecchie con la chiusura così come è impostata oggi. E l’inizio del periodo è la data in cui l’istruzione è stata scritta, non quella in cui è entrata in uso. Quindi questo mostra una sola configurazione che si allontana dall’istruzione. Non è un tasso generale di quanto spesso un modello salti un’istruzione.[1]
La sera del 20 settembre la chiusura è diventata un controllo. Una bozza senza la chiusura giusta viene rifiutata. Da allora il controllo ha rifiutato 46 volte: 44 perché la chiusura mancava e due perché era diversa.
Questi 46 rifiuti non si possono confrontare con le 178 bozze. Un rifiuto è un evento, e la stessa bozza può essere rifiutata più volte. I due conteggi misurano cose diverse in periodi diversi.
Cosa è stato fermato.
SYNC scrive lungo due percorsi. Nel primo, tra il 7 e il 29 settembre sono stati registrati 527 rifiuti. La tabella li ordina per motivo del rifiuto.
| Cosa ha rifiutato il controllo | Rifiuti | Prima volta |
|---|---|---|
| Il testo non ha interruzioni di paragrafo | 86 | 11 set |
| Il messaggio cita la sua fonte, o dice che qualcuno ha guardato | 65 | 7 set |
| Un numero sul mittente che la descrizione del mittente stesso non contiene | 63 | 9 set |
| La domanda finale chiede un orario o una forma che le regole di scrittura non consentono | 60 | 7 set |
| Manca la chiusura | 44 | 20 set |
| Un follow-up ripete il messaggio precedente dopo l’apertura | 42 | 9 set |
| Frasi che ripetono un’email già inviata | 39 | 7 set |
| La bozza è tornata con una parte mancante | 25 | 11 set |
| Una data che la ricerca sull’account non conferma | 24 | 11 set |
| Una parola iniziale vietata dalle regole di scrittura | 22 | 9 set |
| La risposta non si poteva leggere come bozza | 20 | 7 set |
| Lo stesso argomento dei messaggi recenti ad altri account | 11 | 20 set |
| Il messaggio fa la predica al lettore | 8 | 9 set |
| Un’espressione vietata dalle regole di scrittura | 7 | 21 set |
| Il messaggio passa dal Lei al tu, o viceversa | 5 | 25 set |
| La chiusura è diversa da quella impostata | 2 | 23 set |
| Altro | 4 | varie |
Non è una classifica degli errori del modello. I controlli sono stati aggiunti settimana dopo settimana, come mostra l’ultima colonna. Un controllo che esiste da tre settimane ha avuto più tempo per rifiutare di uno che esiste da quattro giorni. Un errore per cui non esiste un controllo non compare affatto.
Il secondo percorso registra ogni tentativo di scrittura, dal 21 agosto in poi. Mostra dove va lo sforzo.
| Secondo percorso di scrittura | Numero |
|---|---|
| Tentativi di scrivere una bozza | 221 |
| Bozze accettate | 54 |
| Tentativi che non hanno superato un controllo | 133 |
| Di questi, fermati prima dal controllo sul formato | 122 |
| Di questi, fermati prima da un controllo di stile | 11 |
| Tentativi in cui la connessione è caduta | 34 |
Secondo il nostro calcolo, sono circa quattro tentativi per ogni bozza accettata. La maggior parte dei fallimenti non ha nulla a che fare con il contenuto. In 122 dei 133 controlli falliti il modello non ha restituito la risposta nel formato richiesto, quindi non c’era nessuna bozza da giudicare.
Cosa dice la ricerca esterna.
Non abbiamo trovato studi su questa domanda per le email di vendita. La ricerca più vicina si chiede se un modello a cui si dice di sostenere le proprie affermazioni con delle fonti lo faccia davvero. Due studi l’hanno misurato.
“anche i modelli migliori, nel 50% dei casi, non hanno un pieno supporto delle citazioni”
Il risultato riguarda un solo insieme di domande a risposta lunga. Un secondo studio ha esaminato quattro motori di ricerca pubblici che rispondono con frasi complete e fonti. In media, ha rilevato che “appena il 51,5% delle frasi generate è pienamente supportato dalle citazioni”.[3]
Dare al modello il materiale di partenza aiuta. Uno studio ha rilevato che i modelli che cercano dei passaggi prima di scrivere producono un linguaggio più fattuale di quelli che non lo fanno.[4] Un altro ha rilevato che cercare dei passaggi riduce in modo sostanziale i fatti inventati nelle conversazioni.[5] Entrambi riportano una riduzione. Nessuno dei due riporta che il problema sia sparito.
Cosa abbiamo cambiato nel prodotto.
- 01Una regola che conta è un controllo sulla bozza finita. Quando la bozza viola la regola, il software la rifiuta.
- 02Ogni rifiuto viene registrato con la regola che l’ha causato. Da quel registro vengono le tabelle di questo articolo.
- 03Il 20 settembre la chiusura è passata dalle istruzioni a un controllo.
Cosa si può obiettare.
Non possiamo dimostrare che i controlli abbiano migliorato i messaggi. Contiamo i rifiuti, e un rifiuto dice solo che uno schema ha trovato corrispondenza. Una bozza rifiutata poteva andare benissimo agli occhi di una persona, e una bozza che è passata può comunque essere scadente.
Un controllo può verificare solo ciò che un software sa verificare. Interruzioni di paragrafo, una chiusura e una parola vietata sono facili. Che un messaggio sia pertinente per chi lo legge, no. Le qualità più importanti di un messaggio restano consigli, e secondo quanto abbiamo rilevato noi stessi i consigli non tengono.
I controlli costano tentativi. Nel secondo percorso, i 221 tentativi appartengono a 98 esecuzioni, e 44 di queste non hanno mai prodotto una bozza accettata. Ogni tentativo rifiutato costa tempo e denaro, e un insieme di controlli severo può lasciare un account senza messaggio.
Il nostro esempio più chiaro è ristretto. I numeri sulla chiusura vengono da pochissime configurazioni, e tutte le bozze diverse da una sola di queste. L’inizio del periodo è approssimativo: è la data in cui l’istruzione è stata aggiunta, non una data registrata con ogni bozza. Tutti i nostri conteggi vengono da tre workspace e da poche settimane.
Gli studi esterni riguardano le risposte a domande e le conversazioni. Nessuno ha studiato le email di vendita, e nessuno ha confrontato una regola enunciata con una regola controllata. Li usiamo come le prove più vicine, non come una dimostrazione.
Abbiamo contato i rifiuti nel registro di ogni bozza e di cosa le è successo: 527 nel primo percorso di scrittura, dal 7 al 29 settembre, e 133 controlli falliti nel secondo, dal 21 agosto al 29 settembre. Riportiamo tutti i workspace insieme. Non diamo un tasso di rifiuto, perché i rifiuti sono eventi e la stessa bozza può essere rifiutata più di una volta.
Le categorie della prima tabella nascono dal confronto di schemi nel testo del motivo registrato con ogni rifiuto. Per la chiusura abbiamo guardato le bozze scritte dal modello nel primo percorso di scrittura, nei workspace che hanno impostato una chiusura. Escluse: le bozze del secondo percorso, quelle scritte dopo l’inizio del controllo e quelle precedenti al 7 settembre, perché l’inizio del periodo è approssimativo e non possiamo dire con quali istruzioni siano state scritte.
I dati valgono per il momento in cui sono stati rilevati. Misuriamo di nuovo il giorno della pubblicazione.
- [1]iSyncSO. Decisioni sulle bozze, rifiuti per regola e tentativi di scrittura, fino al 29 settembre 2026. Misurato il 29 settembre 2026.nostra misurazioneun piccolo numero di workspace
- [2]Gao, T., Yen, H., Yu, J. & Chen, D. (2023). Enabling large language models to generate text with citations. arXiv:2305.14627.solo l’abstractletto su arXiv; risposte a domande, non email di vendita
- [3]Liu, N. F., Zhang, T. & Liang, P. (2023). Evaluating verifiability in generative search engines. arXiv:2304.09848.solo l’abstractletto su arXiv; quattro motori di ricerca, non email di vendita
- [4]Lewis, P. et al. (2020). Retrieval-augmented generation for knowledge-intensive NLP tasks. NeurIPS 2020. arXiv:2005.11401.solo l’abstractletto su arXiv
- [5]Shuster, K., Poff, S., Chen, M., Kiela, D. & Weston, J. (2021). Retrieval augmentation reduces hallucination in conversation. arXiv:2104.07567.solo l’abstractletto su arXiv