Wat een menselijke goedkeuring waard is

De korte versie.

“Een persoon keurt goed” is een van de drie regels waarmee SYNC werkt. Onder die regel wacht een concept standaard tot iemand het heeft gelezen en vrijgegeven. Je kunt dat per account versoepelen.

Het onderzoek naar automatisering zegt dat zo'n stap zwakker is dan hij klinkt. Mensen die werken met een systeem dat meestal gelijk heeft, gaan het volgen. Een goedkeuring kan een klik worden.

We houden de regel, en we behandelen hem niet als garantie. Dit stuk zet uiteen wat het onderzoek zegt, wat onze eigen cijfers tot nu toe laten zien en wat we doen om van de goedkeuring een echt besluit te houden.

Wat het onderzoek over goedkeuring zegt.

Een overzichtsstudie naar automatisering beschrijft twee fouten die mensen maken met een systeem dat adviseert. Ze missen een probleem omdat het systeem het niet meldde, en ze volgen het systeem als het ongelijk heeft. De studie is duidelijk over wie dit doet en of het is af te leren:

Ontwerp kan helpen, tegen een prijs. In een experiment met 199 mensen verminderden ontwerpen die iemand dwingen zich met het advies bezig te houden voordat hij het accepteert, het overmatige vertrouwen. Dezelfde mensen beoordeelden die ontwerpen het laagst.^[4] Het ontwerp dat het best werkt, bevalt mensen het minst.

De hardste kritiek komt uit een onderzoek naar 41 beleidsregels die een persoon laten toezien op een algoritme van de overheid. Het concludeert dat mensen, op grond van het bewijs dat het bekijkt, het toezicht dat van hen wordt gevraagd niet kunnen uitvoeren, en dat zulke regels “een vals gevoel van veiligheid” kunnen geven.^[5] In die lezing laat de regel het systeem veiliger lijken dan het is, omdat iedereen aanneemt dat de persoon controleert.

Welk deel van het werk de persoon houdt.

Een klassiek artikel verdeelt elke taak in vier soorten functies: informatie verzamelen, die analyseren, beslissen wat te doen, en het uitvoeren. Elk daarvan kan in een andere mate worden geautomatiseerd, van volledig handmatig tot volledig automatisch.^[2] De nuttige vraag is welke functie wordt geautomatiseerd, en hoe ver.

De verdeling heeft een bekende zwakte. Een ouder artikel over automatisering in de industrie stelt dat wanneer het grootste deel van een taak is geautomatiseerd, de persoon overblijft met toekijken en met de moeilijke gevallen, en voor allebei minder oefening heeft. Dit artikel kennen we uit samenvattingen en we hebben het zelf niet gelezen.^[3]

Dat beschrijft onze beoordelaar. Die verzamelde de bronnen niet en schreef het concept niet. Hij moet een tekst beoordelen waar hij geen aandeel in had, en het ene concept uit vele opmerken dat fout is.

Wat onze eigen cijfers laten zien.

We vergeleken het eerste concept met de verstuurde tekst voor elk concept dat een persoon tussen 21 augustus en 29 september 2026 vrijgaf.

De meeste gewijzigde concepten werden langer, en de meeste werden grotendeels herschreven. De volledige telling staat in Wat verkopers aanpassen voordat ze versturen.^[8]

Onze beoordelaars keuren dus tot nu toe niet op het eerste gezicht goed. De beperkingen zijn groot. De beoordelaars waren een kleine groep, en de beoordelingen zijn ongelijk over hen verdeeld. Een deel van de wijziging kan het eigen herstel van de software zijn, wat we niet kunnen scheiden. En een wijziging zegt niets over de vraag of de feiten in het bericht zijn gecontroleerd.

Wat we eraan doen.

• 01De beoordelaar ziet de reden om te schrijven naast het concept: het feit waarop het bericht rust, een link naar de bron en de datum waarop het is waargenomen. Heeft het feit geen datum, dan zegt het scherm dat. De beoordelaar kan de bewering controleren, en niet alleen de toon.
• 02De beoordelaar ziet ook op welke uitspraken over het eigen bedrijf het concept steunde die nog niemand in de workspace heeft bevestigd.
• 03Goedkeuring wordt per account ingesteld, op een van drie niveaus: elk bericht, alleen het eerste bericht, of geen. Tot 29 september 2026 begon een nieuw account met goedkeuring van het eerste bericht, en konden vervolgberichten daarna zonder beoordeling de deur uit. Sinds die dag begint elk nieuw account met goedkeuring bij elke verzending. Een persoon kan dat per account versoepelen, tot alleen het eerste bericht of tot geen.
• 04Sinds 29 september slaat de software op wat er tussen het concept en de verstuurde tekst is veranderd, zodat we in de tijd kunnen volgen of beoordelaars blijven bewerken.
• 05Vandaag toont het beoordelingsscherm de reden om te schrijven, de bron en de datum ervan, of dat de datum ontbreekt. De bron tonen onder elke zin van het concept is in de maak. Een datum daarvoor geven we niet.

Eén bevinding hoort hier, omdat ze het eerste punt raakt. Toen we meetten, noemde deze site als regel dat een account zonder gedateerde reden niets van SYNC krijgt. Op 29 september stonden 570 dossiers als klaar gemarkeerd. Volgens de reden die bij dat oordeel is vastgelegd, rusten er 303 op een gedateerd signaal met bron, 230 op een signaal met bron zonder datum en hebben er 37 geen reden vastgelegd.^[8] Vandaag vraagt de controle om een signaal met bron en eist ze geen datum. We besloten dit te houden: een signaal met bron maar zonder datum kan een dossier nog steeds klaar maken. De beoordelaar ziet dat de datum ontbreekt, en we maken dat zichtbaarder in het beoordelingsscherm. De formulering van de regel op deze site zegt nu een reden die we kunnen aanhalen, geen gedateerde reden.

De Europese AI-verordening (AI Act) geeft een bruikbare maatstaf voor het ontwerp. Het artikel over menselijk toezicht vraagt dat een persoon die toeziet op een systeem zich bewust blijft van “de mogelijke neiging om automatisch op de uitvoer te vertrouwen of er te veel op te vertrouwen”.^[7] Dat artikel is geschreven voor systemen die de verordening hoog-risico noemt. We hebben niet beoordeeld of de verordening op SYNC van toepassing is. We gebruiken het artikel als norm om tegen te ontwerpen. We beweren niet dat SYNC aan de verordening voldoet, of dat dat nodig is.