Die Kurzfassung.
Es gibt zwei Wege, dem Modell, das einen Entwurf schreibt, eine Regel mitzugeben. Man schreibt die Regel in die Anweisungen und vertraut darauf, dass das Modell sie befolgt. Oder die Software prüft den fertigen Entwurf und lehnt ihn ab, wenn er gegen die Regel verstößt.
In unserem deutlichsten Beispiel hielt die bloß genannte Regel nicht. Rund zwei Wochen lang gaben die Anweisungen dem Modell genau vor, wie es eine Nachricht abschließen soll. Von 178 Entwürfen aus dieser Zeit hatten 40 die Grußformel genau wie vorgegeben, 93 wichen davon ab und 45 hatten keine.
Die Regeln, auf die es ankommt, sind deshalb heute Prüfungen, die ablehnen, und jede Ablehnung wird mit der Regel protokolliert, die sie ausgelöst hat. Dieser Beitrag zeigt, was diese Prüfungen abgefangen haben. Er zeigt nicht, dass die Nachrichten besser wurden, und das Beispiel ist eine einzelne Konfiguration, keine allgemeine Quote.
Eine Anweisung, zwei Wochen ungeprüft.
Ein Arbeitsbereich kann festlegen, wie seine Nachrichten enden: mit welchen Schlussworten und welchem Namen. Das ist unsere einfachste Regel. Sie verlangt kein Urteil, nur Abschreiben.
Etwa vom 7. bis zum 20. September nannten die Anweisungen an das Modell die Grußformel, und nichts prüfte das Ergebnis. Wir haben die eigenen Entwürfe des Modells aus dieser Zeit angesehen und jeweils den Schluss mit der eingestellten Grußformel verglichen.
Zu diesen Zahlen gehören drei Einschränkungen. Jeder als „weicht ab“ gezählte Entwurf stammt aus einer einzigen Konfiguration und weicht auf dieselbe kleine Weise ab. Wir haben alte Entwürfe mit der Grußformel verglichen, wie sie heute eingestellt ist. Und der Beginn des Zeitraums ist das Datum, an dem die Anweisung geschrieben wurde, nicht das Datum, an dem sie live ging. Das zeigt also eine einzelne Konfiguration, die abdriftet. Es ist keine allgemeine Quote dafür, wie oft ein Modell eine Anweisung übergeht.[1]
Am Abend des 20. September wurde die Grußformel zur Prüfung. Ein Entwurf ohne die richtige Grußformel wird abgelehnt. Seitdem hat die Prüfung 46-mal abgelehnt: 44-mal, weil die Grußformel fehlte, und zweimal, weil sie abwich.
Diese 46 Ablehnungen lassen sich nicht mit den 178 Entwürfen verrechnen. Eine Ablehnung ist ein Ereignis, und derselbe Entwurf kann mehrmals abgelehnt werden. Die beiden Zahlen messen Verschiedenes in verschiedenen Zeiträumen.
Was Prüfungen abfingen.
SYNC schreibt auf zwei Wegen. Auf dem ersten wurden zwischen dem 7. und dem 29. September 527 Ablehnungen protokolliert. Die Tabelle ordnet sie danach, worum es bei der Ablehnung ging.
| Was die Prüfung ablehnte | Ablehnungen | Zuerst gesehen |
|---|---|---|
| Der Text hat keine Absätze | 86 | 11. Sept. |
| Die Nachricht nennt ihre Quelle oder sagt, dass jemand nachgesehen hat | 65 | 7. Sept. |
| Eine Zahl über den Absender, die in seiner eigenen Beschreibung nicht vorkommt | 63 | 9. Sept. |
| Die Schlussfrage bittet um einen Zeitpunkt oder eine Form, die die Schreibregeln nicht erlauben | 60 | 7. Sept. |
| Die Grußformel fehlt | 44 | 20. Sept. |
| Eine Nachfassmail wiederholt unter ihrem Einstieg die frühere Nachricht | 42 | 9. Sept. |
| Sätze wiederholen eine bereits gesendete E-Mail | 39 | 7. Sept. |
| Der Entwurf kam mit einem fehlenden Teil zurück | 25 | 11. Sept. |
| Ein Datum, das die Recherche zum Account nicht stützt | 24 | 11. Sept. |
| Ein erstes Wort, das die Schreibregeln verbieten | 22 | 9. Sept. |
| Die Antwort ließ sich nicht als Entwurf lesen | 20 | 7. Sept. |
| Dasselbe Argument wie in jüngsten Nachrichten an andere Accounts | 11 | 20. Sept. |
| Die Nachricht belehrt den Leser | 8 | 9. Sept. |
| Eine Wendung, die die Schreibregeln verbieten | 7 | 21. Sept. |
| Die Nachricht wechselt zwischen förmlicher und vertrauter Anrede | 5 | 25. Sept. |
| Die Grußformel weicht von der eingestellten ab | 2 | 23. Sept. |
| Sonstiges | 4 | unterschiedlich |
Das ist keine Rangliste der Fehler des Modells. Die Prüfungen kamen Woche für Woche hinzu, wie die letzte Spalte zeigt. Eine Prüfung, die es seit drei Wochen gibt, hatte mehr Zeit zum Ablehnen als eine, die es seit vier Tagen gibt. Ein Fehler, für den es keine Prüfung gibt, taucht gar nicht auf.
Der zweite Weg protokolliert seit dem 21. August jeden Schreibversuch. Er zeigt, wohin der Aufwand geht.
| Zweiter Schreibweg | Anzahl |
|---|---|
| Versuche, einen Entwurf zu schreiben | 221 |
| Angenommene Entwürfe | 54 |
| Versuche, die an einer Prüfung scheiterten | 133 |
| Davon zuerst an der Formprüfung gescheitert | 122 |
| Davon zuerst an einer Stilprüfung gescheitert | 11 |
| Versuche, bei denen die Verbindung abbrach | 34 |
Nach unserer eigenen Rechnung sind das etwa vier Versuche je angenommenem Entwurf. Die meisten Fehlschläge haben mit dem Inhalt nichts zu tun. Bei 122 der 133 gescheiterten Prüfungen lieferte das Modell seine Antwort nicht in der verlangten Form, es gab also gar keinen Entwurf zu beurteilen.
Was Studien sagen.
Für Vertriebs-E-Mails fanden wir keine Studie zu dieser Frage. Die nächstliegende Forschung untersucht, ob ein Modell, das seine Aussagen mit Quellen belegen soll, das auch tut. Zwei Studien haben es gemessen.
„selbst die besten Modelle sind in 50 % der Fälle nicht vollständig durch Quellenangaben gestützt“
Dieses Ergebnis gilt für eine einzelne Sammlung von Fragen mit ausführlichen Antworten. Eine zweite Studie prüfte vier öffentliche Suchmaschinen, die in ganzen Sätzen mit Quellen antworten. Im Durchschnitt lautet ihr Befund: „nur 51,5 % der generierten Sätze sind vollständig durch Quellenangaben gestützt“.[3]
Es hilft durchaus, dem Modell das Quellenmaterial mitzugeben. Eine Studie fand, dass Modelle, die vor dem Schreiben Textpassagen nachschlagen, sachlich genauer formulieren als Modelle, die das nicht tun.[4] Eine andere fand, dass das Nachschlagen von Passagen erfundene Fakten in Gesprächen deutlich verringert.[5] Beide berichten von einem Rückgang. Keine berichtet, dass das Problem verschwunden ist.
Was wir im Produkt änderten.
- 01Eine Regel, auf die es ankommt, ist eine Prüfung des fertigen Entwurfs. Verstößt der Entwurf gegen die Regel, lehnt die Software ihn ab.
- 02Jede Ablehnung wird mit der Regel protokolliert, die sie ausgelöst hat. Dieses Protokoll ist die Quelle der Tabellen in diesem Beitrag.
- 03Die Grußformel wanderte am 20. September aus den Anweisungen in eine Prüfung.
Was dagegen spricht.
Wir können nicht zeigen, dass die Prüfungen die Nachrichten verbessert haben. Wir zählen Ablehnungen, und eine Ablehnung sagt nur, dass ein Muster gegriffen hat. Ein abgelehnter Entwurf kann in den Augen eines Menschen in Ordnung gewesen sein, und ein Entwurf, der durchkam, kann trotzdem schwach sein.
Eine Prüfung kann nur testen, was Software testen kann. Absätze, eine Grußformel und ein verbotenes Wort sind einfach. Ob eine Nachricht für ihren Leser relevant ist, ist es nicht. Die wichtigsten Eigenschaften einer Nachricht bleiben eine bloße Vorgabe, und bloße Vorgaben driften ab, wie unser eigener Befund zeigt.
Prüfungen kosten Versuche. Im zweiten Weg gehören die 221 Versuche zu 98 Durchläufen, und 44 dieser Durchläufe brachten nie einen angenommenen Entwurf hervor. Jeder abgelehnte Versuch kostet Zeit und Geld, und strenge Prüfungen können einen Account ohne Nachricht lassen.
Unser deutlichstes Beispiel ist eng gefasst. Die Zahlen zur Grußformel stammen aus sehr wenigen Konfigurationen, und alle abweichenden Entwürfe aus einer davon. Der Beginn des Zeitraums ist ungefähr: Es ist das Datum, an dem die Anweisung hinzukam, kein Datum, das mit jedem Entwurf gespeichert wurde. Alle unsere Zahlen stammen aus drei Arbeitsbereichen und wenigen Wochen.
Die externen Studien befassen sich mit dem Beantworten von Fragen und mit Gesprächen. Keine untersuchte Vertriebs-E-Mails, und keine verglich eine bloß genannte Regel mit einer geprüften. Wir nutzen sie als nächstliegenden Beleg, nicht als Beweis.
Wir haben die Ablehnungen in dem Protokoll gezählt, das jeden Entwurf und seinen Verbleib festhält: 527 im ersten Schreibweg, vom 7. bis 29. September, und 133 gescheiterte Prüfungen im zweiten, vom 21. August bis 29. September. Wir berichten über alle Arbeitsbereiche zusammen. Eine Ablehnungsquote nennen wir nicht, weil Ablehnungen Ereignisse sind und ein Entwurf mehr als einmal abgelehnt werden kann.
Die Kategorien der ersten Tabelle entstehen durch Mustersuche im Text der Begründung, die mit jeder Ablehnung protokolliert wurde. Für die Grußformel haben wir die eigenen Entwürfe des Modells im ersten Schreibweg angesehen, in Arbeitsbereichen mit eingestellter Grußformel. Nicht berücksichtigt: Entwürfe aus dem zweiten Schreibweg, Entwürfe, die nach dem Start der Prüfung entstanden, und Entwürfe von vor dem 7. September, weil der Beginn des Zeitraums ungefähr ist und wir nicht sagen können, unter welchen Anweisungen sie entstanden.
Die Zahlen gelten für den Zeitpunkt ihrer Erhebung. Am Tag der Veröffentlichung messen wir erneut.
- [1]iSyncSO. Entscheidungen über Entwürfe, Ablehnungen nach Regel und Schreibversuche, bis 29. September 2026. Gemessen am 29. September 2026.eigene Messungeine kleine Zahl von Arbeitsbereichen
- [2]Gao, T., Yen, H., Yu, J. & Chen, D. (2023). Enabling large language models to generate text with citations. arXiv:2305.14627.nur das Abstractauf arXiv gelesen; Beantwortung von Fragen, keine Vertriebs-E-Mails
- [3]Liu, N. F., Zhang, T. & Liang, P. (2023). Evaluating verifiability in generative search engines. arXiv:2304.09848.nur das Abstractauf arXiv gelesen; vier Suchmaschinen, keine Vertriebs-E-Mails
- [4]Lewis, P. et al. (2020). Retrieval-augmented generation for knowledge-intensive NLP tasks. NeurIPS 2020. arXiv:2005.11401.nur das Abstractauf arXiv gelesen
- [5]Shuster, K., Poff, S., Chen, M., Kiela, D. & Weston, J. (2021). Retrieval augmentation reduces hallucination in conversation. arXiv:2104.07567.nur das Abstractauf arXiv gelesen