Zum Inhalt springen
SYNC testen
Analysen / Standpunkt

Was eine menschliche Freigabe wert ist

Die Forschung zur Automatisierung sagt, ein Freigabeschritt sei schwächer, als er klingt. Warum wir unseren behalten, was unsere Zahlen bisher zeigen und warum wir erwarten, dass er sich abnutzt.

Standpunkt6 Min. LesezeitiSyncSO · Team

Die Kurzfassung.

„Ein Mensch gibt frei“ ist eine der drei Regeln, nach denen SYNC arbeitet. Nach dieser Regel wartet ein Entwurf standardmäßig, bis jemand ihn gelesen und freigegeben hat. Pro Account können Sie das lockern.

Die Forschung zur Automatisierung sagt, dass ein solcher Schritt schwächer ist, als er klingt. Wer mit einem System arbeitet, das meistens richtig liegt, folgt ihm irgendwann. Aus einer Freigabe kann ein Klick werden.

Wir behalten die Regel, behandeln sie aber nicht als Garantie. Dieser Beitrag zeigt, was die Forschung sagt, was unsere eigenen Zahlen bisher zeigen und was wir tun, damit die Freigabe eine echte Entscheidung bleibt.

Was die Forschung über Freigaben sagt.

Ein Überblicksartikel zur Automatisierungsforschung beschreibt zwei Fehler, die Menschen mit einem beratenden System machen. Sie übersehen ein Problem, weil das System es nicht gemeldet hat, und sie folgen dem System, wenn es falsch liegt. Der Artikel sagt klar, wen das betrifft und ob es sich abtrainieren lässt:

Der Effekt „tritt bei unerfahrenen wie bei erfahrenen Teilnehmern auf und lässt sich durch Schulung oder Anweisungen nicht verhindern“.
Parasuraman und Manzey, 2010, aus dem Abstract[1]

Gestaltung kann helfen, hat aber ihren Preis. In einem Experiment mit 199 Personen verringerten Oberflächen, die einen Menschen zwingen, sich mit dem Rat auseinanderzusetzen, bevor er ihn annimmt, das übermäßige Vertrauen. Dieselben Personen bewerteten genau diese Oberflächen am schlechtesten.[4] Was am besten wirkt, gefällt am wenigsten.

Die härteste Kritik kommt aus einer Studie über 41 Regelwerke, die verlangen, dass ein Mensch einen staatlichen Algorithmus beaufsichtigt. Sie kommt zu dem Schluss, dass Menschen nach der Beweislage, die sie auswertet, die verlangte Aufsicht nicht leisten können und dass solche Regelwerke „ein falsches Gefühl der Sicherheit“ vermitteln können.[5] So gelesen lässt die Regel das System sicherer wirken, als es ist, weil alle annehmen, dass der Mensch prüft.

Welchen Teil der Arbeit der Mensch behält.

Ein klassischer Artikel teilt jede Aufgabe in vier Arten von Funktionen: Informationen sammeln, sie analysieren, entscheiden, was zu tun ist, und es tun. Jede davon lässt sich unterschiedlich weit automatisieren, von ganz manuell bis ganz automatisch.[2] Entscheidend ist, welche Funktion automatisiert wird und wie weit.

Sammeln
In SYNCÖffentliche Quellen über einen Account lesen
Wer sie ausführtDie Software
Analysieren
In SYNCDen Account bewerten, die Argumentation aufbauen, die beteiligten Personen erfassen
Wer sie ausführtDie Software
Entscheiden
In SYNCDie Software schlägt einen Entwurf vor. Ob er gesendet wird, entscheidet sich bei der Freigabe
Wer sie ausführtEin Mensch, sofern die Freigabe für den Account nicht gelockert wurde
Ausführen
In SYNCDie freigegebene Nachricht aus Ihrem eigenen Postfach senden
Wer sie ausführtDie Software

Die Aufteilung hat eine bekannte Schwäche. Ein älterer Artikel über Automatisierung in der Industrie argumentiert: Ist der größte Teil einer Aufgabe automatisiert, bleiben dem Menschen das Beobachten und die schwierigen Fälle, und für beides fehlt ihm die Übung. Wir kennen diesen Artikel aus Zusammenfassungen und haben ihn nicht selbst gelesen.[3]

Genau das ist die Lage unserer Prüfer. Sie haben die Quellen nicht gesammelt und den Entwurf nicht geschrieben. Sie sollen einen Text beurteilen, an dem sie nicht mitgewirkt haben, und unter vielen Entwürfen den einen falschen erkennen.

Was unsere eigenen Zahlen zeigen.

Für jeden Entwurf, den ein Mensch zwischen dem 21. August und dem 29. September 2026 freigegeben hat, haben wir den ersten Entwurf mit dem gesendeten Text verglichen.

Eigene Messung · 29. September 2026 · n = 266 freigegebene Entwürfe
249von 266 freigegebenen Entwürfen wurden mit geändertem Text verschickt (94 %)
17von 266 wurden genau so freigegeben, wie sie geschrieben waren

Die meisten geänderten Entwürfe wurden länger, und die meisten wurden weitgehend umgeschrieben. Die vollständige Auszählung steht in Was Verkäufer vor dem Senden ändern.[8]

Bisher geben unsere Prüfer also nicht blind frei. Die Einschränkungen sind groß. Die Prüfer waren eine kleine Gruppe, und die Prüfungen verteilen sich ungleich auf sie. Ein Teil der Änderungen kann die eigene Korrektur der Software sein, die wir nicht herausrechnen können. Und eine Änderung sagt nichts darüber, ob die Fakten in der Nachricht geprüft wurden.

Was wir dagegen tun.

  • 01Der Prüfer sieht neben dem Entwurf den Grund zum Schreiben: die Tatsache, auf der die Nachricht beruht, einen Link zu ihrer Quelle und das Datum, an dem sie beobachtet wurde. Hat die Tatsache kein Datum, zeigt der Bildschirm das an. Der Prüfer kann die Aussage prüfen, nicht nur den Ton.
  • 02Der Prüfer sieht außerdem, auf welche Aussagen über das eigene Unternehmen sich der Entwurf gestützt hat, die im Arbeitsbereich noch niemand bestätigt hat.
  • 03Die Freigabe wird pro Account eingestellt, in einer von drei Stufen: jede Nachricht, nur die erste Nachricht oder keine. Bis zum 29. September 2026 startete ein neuer Account mit Freigabe der ersten Nachricht, und Nachfassmails konnten danach ungeprüft verschickt werden. Seit diesem Tag startet jeder neue Account mit Freigabe für jeden Versand. Ein Mensch kann das pro Account lockern, auf nur die erste Nachricht oder auf keine.
  • 04Seit dem 29. September speichert die Software, was sich zwischen Entwurf und gesendetem Text geändert hat, damit wir über die Zeit verfolgen können, ob Prüfer weiterhin Änderungen vornehmen.
  • 05Heute zeigt der Prüfbildschirm den Grund zum Schreiben, seine Quelle und sein Datum oder den Hinweis, dass das Datum fehlt. Die Quelle unter jedem Satz des Entwurfs anzuzeigen, ist in Arbeit. Ein Datum dafür nennen wir nicht.

Ein Befund gehört hierher, weil er den ersten Punkt berührt. Als wir gemessen haben, nannte diese Website die Regel, dass ein Account ohne datierten Grund nichts von SYNC bekommt. Am 29. September waren 570 Dossiers als fertig markiert. Nach dem Grund, der mit diesem Urteil erfasst wurde, beruhen 303 auf einem datierten Signal mit Quelle, 230 auf einem Signal mit Quelle, aber ohne Datum, und bei 37 ist kein Grund erfasst.[8] Heute verlangt die Prüfung ein Signal mit Quelle, aber kein Datum. Wir haben entschieden, das beizubehalten: Ein Dossier kann also weiterhin als fertig gelten, wenn sein Signal eine Quelle, aber kein Datum hat. Der Prüfer sieht, dass das Datum fehlt, und wir machen das im Prüfbildschirm sichtbarer. Auf dieser Website lautet die Regel jetzt: ein Grund, den wir belegen können, nicht ein datierter Grund.

Die europäische KI-Verordnung (AI Act) liefert einen brauchbaren Maßstab für die Gestaltung. Ihr Artikel zur menschlichen Aufsicht verlangt, dass eine Person, die ein System beaufsichtigt, sich der möglichen Neigung bewusst bleibt, sich automatisch oder zu sehr auf dessen Ergebnisse zu verlassen.[7] Dieser Artikel gilt für Systeme, die die Verordnung als Hochrisiko-Systeme einstuft. Wir haben nicht geprüft, ob die Verordnung auf SYNC anwendbar ist. Wir nutzen den Artikel als Maßstab für die Gestaltung. Wir behaupten weder, dass SYNC die Verordnung erfüllt, noch, dass es sie erfüllen muss.

· die Gegenseite

Was dagegen spricht.

Die Forschung, die wir zitieren, sagt voraus, dass sich unser eigener Freigabeschritt abnutzen wird. Prüfer, die monatelang gute Entwürfe sehen, werden ihnen vertrauen. Der hohe Anteil an Bearbeitungen, den wir heute messen, kann sinken, und ein sinkender Anteil kann bessere Entwürfe bedeuten oder weniger Aufmerksamkeit. Was davon zutrifft, messen wir noch nicht, und den Anteil verfolgen wir noch nicht über die Zeit.

Eine angezeigte Quelle bringt niemanden dazu, sie zu öffnen. Die Autoren einer Studie halten fest, dass Erklärungen zum Rat das übermäßige Vertrauen offenbar nicht verringern.[4] Eine Quelle ist keine Erklärung, aber die Warnung gilt auch hier. Wir erfassen nicht, ob ein Prüfer vor der Freigabe dem Link zu einer Quelle gefolgt ist.

Dass ein Mensch die Freigabe pro Account lockern kann, ist das Gegenteil einer Oberfläche, die zum Nachdenken zwingt. Die Forschung sagt, dass Menschen die Oberflächen vorziehen, die sie am wenigsten schützen, also erwarten wir, dass die gelockerten Einstellungen genutzt werden.[4] Ein Account, der ohne Freigabe läuft, hat überhaupt keine menschliche Kontrolle.

Die Forschung ist sich nicht einig, und nichts davon handelt vom Vertrieb. Ein Überblick über Studien aus dem Gesundheitswesen zählt Schulung und die Betonung der eigenen Verantwortung des Nutzers zu dem, was den Effekt verringert.[6] Das passt schlecht zu der Aussage, dass Schulung ihn nicht verhindern kann. Von den meisten dieser Artikel haben wir nur das Abstract gelesen, einen kennen wir nur aus Zusammenfassungen.

Unser eigener Beleg ist eine kleine Gruppe von Prüfern über weniger als sechs Wochen. Eine allgemeine Aussage darüber, was eine Freigabe wert ist, kann er nicht tragen.

· Methode · gemessen am 29. September 2026

Die Zahl der freigegebenen Entwürfe stammt aus dem Protokoll jedes Entwurfs und dessen, was mit ihm geschah: 266 Entwürfe, die ein Mensch zwischen dem 21. August und dem 29. September 2026 geprüft und freigegeben hat, durch eine kleine Gruppe von Prüfern. 24 Entwürfe aus einem zweiten Schreibweg blieben außen vor, weil ihr gespeicherter erster Entwurf ein anderer Entwurf ist. Die Zahl der Dossiers, der Recherchedateien, die SYNC je Account führt, stammt aus 1.303 Dossiers in fünf Arbeitsbereichen, von denen 570 als fertig markiert waren. Für diese 570 haben wir den Grund gelesen, den die Software mit dem Urteil erfasst hat.

Wir weisen alle Arbeitsbereiche gemeinsam aus und nie einen einzelnen für sich. Die Zahlen gelten für den Zeitpunkt, zu dem sie erhoben wurden. Am Tag der Veröffentlichung messen wir erneut.

So messen wir →
Quellen
  1. [1]Parasuraman, R. & Manzey, D. H. (2010). Complacency and bias in human use of automation: an attentional integration. Human Factors 52(3), 381–410.nur das Abstract
  2. [2]Parasuraman, R., Sheridan, T. B. & Wickens, C. D. (2000). A model for types and levels of human interaction with automation. IEEE Transactions on Systems, Man, and Cybernetics, Part A 30(3), 286–297.nur das Abstract
  3. [3]Bainbridge, L. (1983). Ironies of automation. Automatica 19(6), 775–779.Sekundärquelleaus Zusammenfassungen bekannt, nicht aus dem Artikel selbst
  4. [4]Buçinca, Z., Malaya, M. B. & Gajos, K. Z. (2021). To trust or to think: cognitive forcing functions can reduce overreliance on AI in AI-assisted decision-making. Proceedings of the ACM on Human-Computer Interaction (CSCW).nur das Abstractauf arXiv gelesen; ein Experiment mit 199 Personen, nicht zum Vertrieb
  5. [5]Green, B. (2022). The flaws of policies requiring human oversight of government algorithms. Computer Law & Security Review 45.nur das Abstractüber staatliche Algorithmen
  6. [6]Goddard, K., Roudsari, A. & Wyatt, J. C. (2012). Automation bias: a systematic review of frequency, effect mediators, and mitigators. Journal of the American Medical Informatics Association 19(1), 121–127.nur das Abstractüber Entscheidungsunterstützung im Gesundheitswesen
  7. [7]Regulation (EU) 2024/1689 (Artificial Intelligence Act), article 14 and Annex III.im Original gelesenals Maßstab für die Gestaltung genutzt; wir behaupten keine Konformität
  8. [8]iSyncSO. Nach Prüfung durch einen Menschen freigegebene Entwürfe und die Urteile zu recherchierten Accounts. Gemessen am 29. September 2026.eigene Messungsiehe Methodenhinweis
Gratis-Erstanalyse

Wer in diesem Quartal kaufen sollte.

Hinterlassen Sie Ihre geschäftliche E-Mail-Adresse. SYNC liest die Website Ihres Unternehmens und schickt Ihnen eine Erstanalyse: was Sie verkaufen, wer es wahrscheinlich kauft, und bis zu fünf Unternehmen mit einer Bewertung von A bis D, jedes mit seiner Quelle.

Frühe Beta. Keine Kreditkarte für die Erstanalyse nötig. Beispiel ansehenAngaben ergänzen Wir nutzen Ihre E-Mail-Adresse, um Ihre Anmeldung zu bestätigen und Ihnen die Erstanalyse zu schicken. DatenschutzDie E-Mails und die Erstanalyse sind auf Englisch.