W skrócie.
SYNC pisze szkic, a domyślnie to człowiek decyduje, czy zostanie on wysłany. Można to złagodzić osobno dla każdej firmy. Porównaliśmy to, co oprogramowanie napisało najpierw, z tym, co ostatecznie wysłano. Z 266 szkiców zatwierdzonych przez człowieka 249 wyszło ze zmienionym tekstem. Siedemnaście wyszło w pierwotnym brzmieniu.
Większość zmian jest duża, a większość wydłuża wiadomość. Nie wygląda to na zatwierdzanie po jednym spojrzeniu.
Ograniczenia są poważne. Liczby opisują małą grupę osób sprawdzających, a sprawdzone szkice rozkładają się między nie nierówno. Część zmian może być poprawką, którą oprogramowanie samo wprowadza do szkicu. I nic tutaj nie wskazuje, że zmiany poprawiły wiadomości, bo nie mierzymy żadnego wyniku.
Ile szkiców zmieniono.
Każdy z 249 miał zmianę w treści wiadomości. Żadna zmiana nie dotyczyła wyłącznie spacji czy podziału wierszy.
Szkice zatwierdzano od 21 sierpnia do 29 września 2026. Sprawdzała je mała grupa osób.[1]
Zaczęliśmy od 290 zatwierdzonych szkiców i pominęliśmy 24. Te 24 pochodziły z drugiej ścieżki pisania, w której zapisany pierwszy szkic to inny szkic niż ten, który sprawdzono, więc ich porównanie niczego by nie zmierzyło.
Jak duże są zmiany.
To nie są drobne poprawki. Zmierzyliśmy je na dwa sposoby: o ile zmieniła się długość i na ile wysłany tekst wciąż przypomina szkic.
| Co mierzyliśmy | Wynik |
|---|---|
| Dłuższy | 214 z 249 |
| Krótszy | 34 z 249 |
| Ta sama długość | 1 z 249 |
| Zmiana długości, mediana | dłuższy o 24% |
| Zmiana długości, środkowa połowa szkiców | dłuższy o 8–55% |
Podobieństwo to wynik od 0 do 1. Porównuje oba teksty w nakładających się grupach po trzy znaki. Wynik 1 oznacza, że teksty są identyczne, a wynik bliski 0, że nie mają prawie nic wspólnego.
Po zsumowaniu dwóch najniższych grup 189 z 249 zmienionych szkiców ma wynik poniżej 0,70. To trzy na cztery. Tylko 18 poprawiono lekko. Suma i opisy obok wyników są nasze. Sam wynik mówi tylko, jaka część tekstu jest wspólna.
Nie potrafimy jeszcze powiedzieć, jakiego rodzaju są to zmiany. Od 29 września oprogramowanie przy każdym zatwierdzeniu zapisuje porównanie i dzieli różnice na cztery rodzaje: fakty, adresat wiadomości, struktura i ton oraz zakończenie. Takich zapisów jest jedenaście, wszystkie z jednego dnia i od bardzo małej grupy. Każdy z jedenastu zawiera wszystkie cztery rodzaje, więc podział na razie niczego nie rozróżnia.
Co to sugeruje, a czego nie.
Badania nad automatyzacją dają powód, by przyjrzeć się tej liczbie. Kto pracuje z systemem, który zwykle ma rację, zwykle idzie za jego wskazaniami. Omówienie tych badań stwierdza, że efekt występuje zarówno u początkujących, jak i u ekspertów, i że „nie da się mu zapobiec szkoleniem ani instrukcjami”.[2] Etap zatwierdzania, na którym prawie wszystko przechodzi bez zmian, pasowałby do tego obrazu.
Nasz etap zatwierdzania dziś tak nie wygląda. Bez zmian przeszło 17 z 266 szkiców. Osoby sprawdzające zmieniają tekst i częściej coś dopisują, niż skracają.
- 01To nie dowodzi, że zmiany ulepszyły wiadomość. W tym tekście nie mierzymy odpowiedzi ani spotkań i nie publikujemy takich wskaźników.
- 02To nie dowodzi, że szkic był błędny. Poprawny szkic też można przepisać własnymi słowami.
- 03To nie dowodzi, że niezmieniony szkic zatwierdzono bez czytania. Można uważnie przeczytać szkic i nie znaleźć w nim nic do zmiany.
- 04To nie opisuje handlowców jako całości. Opisuje małą grupę osób sprawdzających.
Co zmieniliśmy w produkcie.
Dodaliśmy opisane wyżej porównanie przy zatwierdzeniu. Od 29 września oprogramowanie zapisuje w chwili zatwierdzenia, co zmieniło się między szkicem a wysłanym tekstem. Gdy zbierze się dość zapisów, będziemy mogli podać, które rodzaje zmian są częste.
Nie zmieniliśmy jeszcze tego, co zapisuje się przed sprawdzeniem. Z tego wynikają ograniczenia opisane niżej.
Co przemawia przeciw.
Część zmian może pochodzić od samego oprogramowania. Po napisaniu pierwszego szkicu oprogramowanie może poprawić szkic, który łamie jedną z jego reguł, i dopiero wtedy widzi go człowiek. Zapisujemy pierwszy szkic i wysłany tekst. Nie zapisujemy tekstu, który czytała osoba sprawdzająca. W zatwierdzonym szkicu nie umiemy więc oddzielić poprawki oprogramowania od zmian wprowadzonych przez człowieka, a udział człowieka może być mniejszy niż 249 z 266, o nieznaną nam wartość.
Liczby są małe i nierówne. Szkice sprawdzała mała grupa osób, przez niecałe sześć tygodni, a sprawdzone szkice rozkładają się między nie nierówno. Wynik opisuje, jak pracuje kilka osób.
Wysoki odsetek poprawek można też odczytać jako słabość szkiców. Jeśli 94% szkiców trzeba przepisywać, oprogramowanie oszczędza mniej pracy, niż się wydaje. Nasze dane nie rozstrzygają między tą interpretacją a naszą.
Poprawianie to też nie to samo co sprawdzanie. Badanie 41 regulacji, które wymagają, by człowiek nadzorował algorytm administracji publicznej, dochodzi na podstawie analizowanych dowodów do wniosku, że ludzie nie są w stanie sprawować wymaganego od nich nadzoru, a takie regulacje mogą dawać „fałszywe poczucie bezpieczeństwa”.[4] Osoba sprawdzająca może poprawić sformułowania w wiadomości i mimo to przeoczyć w niej błędny fakt. Jeden eksperyment wykazał, że rozwiązania zmuszające człowieka do myślenia ograniczają nadmierne poleganie na systemie, a zarazem ludzie oceniają je najniżej.[3] Oba badania dotyczą innych dziedzin niż sprzedaż.
Ten odsetek może też spaść. 19 września to samo zestawienie wynosiło 113 z 126. Zmienia się z każdym zatwierdzeniem, a ludzie, którzy zaczną ufać szkicom, mogą je mniej poprawiać. Na razie nie śledzimy tego w czasie.
Policzyliśmy szkice, które człowiek sprawdził i zatwierdził, w rejestrze każdego szkicu i tego, co się z nim stało. Okres trwa od 21 sierpnia do 29 września 2026 i obejmuje małą grupę osób sprawdzających. Porównaliśmy treść i temat pierwszego szkicu z treścią i tematem wysłanej wiadomości.
Pominięte: 24 szkice z drugiej ścieżki pisania, bo ich zapisany pierwszy szkic to inny szkic. Szkice, które wciąż czekają na sprawdzenie, bo ich dotychczasowe zmiany to poprawki samego oprogramowania. Podajemy wszystkie przestrzenie robocze łącznie i nigdy żadnej osobno. Liczba 189 i zaokrąglone odsetki to nasze własne wyliczenia z powyższych danych.
Dane są aktualne na chwilę pomiaru. W dniu publikacji mierzymy ponownie.
- [1]iSyncSO. Szkice zatwierdzone po sprawdzeniu przez człowieka, od 21 sierpnia do 29 września 2026. Pomiar z 29 września 2026.nasz własny pomiarmała grupa osób sprawdzających
- [2]Parasuraman, R. & Manzey, D. H. (2010). Complacency and bias in human use of automation: an attentional integration. Human Factors 52(3), 381–410.tylko streszczenie
- [3]Buçinca, Z., Malaya, M. B. & Gajos, K. Z. (2021). To trust or to think: cognitive forcing functions can reduce overreliance on AI in AI-assisted decision-making. Proceedings of the ACM on Human-Computer Interaction (CSCW).tylko streszczenieprzeczytane na arXiv; eksperyment z udziałem 199 osób, nie o sprzedaży
- [4]Green, B. (2022). The flaws of policies requiring human oversight of government algorithms. Computer Law & Security Review 45.tylko streszczenieo algorytmach administracji publicznej