Die Kurzfassung.
SYNC schreibt einen Entwurf, und standardmäßig entscheidet ein Mensch, ob er gesendet wird. Das lässt sich pro Account lockern. Wir haben verglichen, was die Software zuerst geschrieben hat und was am Ende gesendet wurde. Von 266 Entwürfen, die ein Mensch freigegeben hat, wurden 249 mit einem anderen Text verschickt. 17 gingen so hinaus, wie sie geschrieben waren.
Die meisten Änderungen sind groß, und die meisten machen die Nachricht länger. Nach einer Freigabe auf einen Blick sieht das nicht aus.
Die Einschränkungen sind groß. Die Zahlen beschreiben eine kleine Gruppe von Prüfern, und die Prüfungen verteilen sich ungleich auf sie. Ein Teil der Änderung kann eine Nachbesserung sein, die die Software selbst vorgenommen hat. Und nichts hier zeigt, dass die Änderungen eine Nachricht besser gemacht haben, denn wir messen kein Ergebnis.
Wie viele Entwürfe geändert wurden.
Bei allen 249 war der Nachrichtentext geändert. Keine Änderung betraf nur Leerzeichen oder Zeilenumbrüche.
Die Entwürfe wurden zwischen dem 21. August und dem 29. September 2026 freigegeben. Eine kleine Gruppe von Personen hat sie geprüft.[1]
Wir begannen mit 290 freigegebenen Entwürfen und ließen 24 weg. Diese 24 stammten aus einem zweiten Schreibweg, bei dem der gespeicherte erste Entwurf ein anderer ist als der geprüfte; ein Vergleich der beiden würde also nichts messen.
Wie groß die Änderungen sind.
Die Änderungen sind keine kleinen Korrekturen. Wir haben sie auf zwei Arten gemessen: wie stark sich die Länge verändert hat und wie ähnlich der gesendete Text dem Entwurf noch ist.
| Was wir gemessen haben | Ergebnis |
|---|---|
| Länger geworden | 214 von 249 |
| Kürzer geworden | 34 von 249 |
| Gleich lang | 1 von 249 |
| Längenänderung, Median | 24 % länger |
| Längenänderung, mittlere Hälfte der Entwürfe | zwischen 8 % und 55 % länger |
Die Ähnlichkeit ist ein Wert von 0 bis 1. Sie vergleicht die beiden Texte in überlappenden Gruppen von je drei Zeichen. Ein Wert von 1 heißt, die Texte sind gleich; ein Wert nahe 0 heißt, sie haben fast nichts gemeinsam.
Zählt man die beiden untersten Gruppen zusammen, liegen 189 der 249 geänderten Entwürfe unter 0,70. Das sind drei von vier. Nur 18 wurden leicht bearbeitet. Die Summe und die Beschreibungen neben den Werten stammen von uns. Der Wert selbst sagt nur, wie viel vom Text übereinstimmt.
Welche Art von Änderungen das sind, können wir noch nicht sagen. Seit dem 29. September zeichnet die Software bei jeder Freigabe einen Vergleich auf und ordnet die Unterschiede vier Arten zu: Fakten, Adressat, Aufbau und Ton sowie der Schluss. Es gibt elf solche Einträge, alle von einem einzigen Tag und aus einer sehr kleinen Gruppe. Jeder der elf trägt alle vier Arten, die Zuordnung trennt also noch nichts.
Was das nahelegt und was nicht.
Die Forschung zur Automatisierung gibt einen Grund, auf diese Zahl zu schauen. Wer mit einem System arbeitet, das meistens richtig liegt, neigt dazu, ihm zu folgen. Eine Übersicht über diese Forschung sagt, dass der Effekt bei Anfängern wie bei Experten auftritt und dass er sich „durch Schulung oder Anweisungen nicht verhindern“ lässt.[2] Ein Freigabeschritt, bei dem fast alles unverändert durchgeht, würde in dieses Bild passen.
Unserer sieht heute nicht so aus. 17 von 266 Entwürfen gingen unverändert durch. Die Prüfer ändern den Text, und sie ergänzen öfter, als sie kürzen.
- 01Es zeigt nicht, dass die Änderungen die Nachricht verbessert haben. Antworten oder Termine messen wir in diesem Beitrag nicht, und solche Quoten veröffentlichen wir nicht.
- 02Es zeigt nicht, dass der Entwurf falsch war. Ein Mensch kann einen korrekten Entwurf in seine eigenen Worte fassen.
- 03Es zeigt nicht, dass ein unveränderter Entwurf ungelesen freigegeben wurde. Ein Mensch kann einen Entwurf sorgfältig lesen und nichts zu ändern finden.
- 04Es beschreibt nicht Verkäufer im Allgemeinen. Es beschreibt eine kleine Gruppe von Prüfern.
Was wir im Produkt geändert haben.
Wir haben den oben beschriebenen Vergleich bei der Freigabe eingeführt. Seit dem 29. September speichert die Software bei der Freigabe, was sich zwischen Entwurf und gesendetem Text geändert hat. Sobald genug Einträge vorliegen, können wir berichten, welche Arten von Änderungen häufig sind.
Was vor der Prüfung gespeichert wird, haben wir noch nicht geändert. Daraus folgen die Einschränkungen unten.
Was dagegen spricht.
Ein Teil der Änderung kann von der Software selbst stammen. Nach dem ersten Entwurf kann die Software einen Entwurf nachbessern, der gegen eine ihrer Regeln verstößt, und erst dann sieht ihn ein Mensch. Wir speichern den ersten Entwurf und den gesendeten Text. Den Text, den der Prüfer gelesen hat, speichern wir nicht. Bei einem freigegebenen Entwurf können wir die Nachbesserung also nicht von der Bearbeitung durch den Menschen trennen; dessen Anteil kann kleiner sein als 249 von 266, um einen Betrag, den wir nicht kennen.
Die Zahlen sind klein und ungleich verteilt. Eine kleine Gruppe von Personen hat in weniger als sechs Wochen geprüft, und die Prüfungen verteilen sich ungleich auf sie. Das Ergebnis beschreibt, wie einige wenige Menschen arbeiten.
Ein hoher Anteil an Bearbeitungen lässt sich auch als Schwäche der Entwürfe lesen. Wenn 94 % der Entwürfe umgeschrieben werden müssen, spart die Software weniger Arbeit, als es scheint. Zwischen dieser Lesart und unserer können unsere Daten nicht entscheiden.
Bearbeiten ist außerdem nicht dasselbe wie Prüfen. Eine Untersuchung von 41 Regelungen, nach denen ein Mensch einen Algorithmus einer Behörde beaufsichtigen muss, kommt nach der ausgewerteten Evidenz zu dem Schluss, dass Menschen die verlangte Aufsicht nicht leisten können und dass solche Regelungen „ein falsches Gefühl der Sicherheit“ vermitteln können.[4] Ein Prüfer kann die Formulierung einer Nachricht verbessern und trotzdem eine falsche Tatsache darin übersehen. Ein Experiment fand, dass Oberflächen, die einen Menschen zum Nachdenken zwingen, das übermäßige Vertrauen verringern, und dass Menschen genau diese Oberflächen am schlechtesten bewerten.[3] Beide Studien betreffen andere Bereiche als den Vertrieb.
Der Anteil kann auch sinken. Am 19. September lag dieselbe Zählung bei 113 von 126. Sie verändert sich mit jeder Freigabe, und wer den Entwürfen zu vertrauen beginnt, bearbeitet womöglich weniger. Diesen Verlauf verfolgen wir noch nicht.
Wir haben Entwürfe gezählt, die ein Mensch geprüft und freigegeben hat, und zwar im Protokoll aller Entwürfe und dessen, was mit ihnen geschah. Der Zeitraum reicht vom 21. August bis zum 29. September 2026 und umfasst eine kleine Gruppe von Prüfern. Wir haben Text und Betreff des ersten Entwurfs mit Text und Betreff der gesendeten Nachricht verglichen.
Nicht berücksichtigt: 24 Entwürfe aus dem zweiten Schreibweg, weil ihr gespeicherter erster Entwurf ein anderer Entwurf ist. Entwürfe, die noch auf Prüfung warten, weil ihre bisherigen Änderungen Nachbesserungen der Software selbst sind. Wir weisen alle Arbeitsbereiche gemeinsam aus und nie einen einzelnen für sich. Die 189 und die gerundeten Anteile sind unsere eigenen Summen aus den Zahlen oben.
Die Zahlen gelten für den Zeitpunkt der Erhebung. Am Tag der Veröffentlichung messen wir erneut.
- [1]iSyncSO. Nach Prüfung durch einen Menschen freigegebene Entwürfe, 21. August bis 29. September 2026. Gemessen am 29. September 2026.eigene Messungeine kleine Gruppe von Prüfern
- [2]Parasuraman, R. & Manzey, D. H. (2010). Complacency and bias in human use of automation: an attentional integration. Human Factors 52(3), 381–410.nur das Abstract
- [3]Buçinca, Z., Malaya, M. B. & Gajos, K. Z. (2021). To trust or to think: cognitive forcing functions can reduce overreliance on AI in AI-assisted decision-making. Proceedings of the ACM on Human-Computer Interaction (CSCW).nur das Abstractauf arXiv gelesen; ein Experiment mit 199 Personen, nicht zum Vertrieb
- [4]Green, B. (2022). The flaws of policies requiring human oversight of government algorithms. Computer Law & Security Review 45.nur das Abstractüber Algorithmen von Behörden