Ile jest warte zatwierdzenie przez człowieka

W skrócie.

„Człowiek zatwierdza” to jedna z trzech zasad, według których działa SYNC. Zgodnie z nią szkic domyślnie czeka, aż ktoś go przeczyta i zatwierdzi do wysłania. Możesz złagodzić tę zasadę osobno dla każdej firmy.

Badania nad automatyzacją mówią, że taki krok jest słabszy, niż się wydaje. Kto pracuje z systemem, który zwykle ma rację, zaczyna się na nim zdawać. Zatwierdzenie może zamienić się w jedno kliknięcie.

Zasadę zostawiamy, ale nie traktujemy jej jak gwarancji. Ten tekst pokazuje, co mówią badania, co jak dotąd pokazują nasze liczby i co robimy, żeby zatwierdzenie pozostało prawdziwą decyzją.

Co badania mówią o zatwierdzaniu.

Przegląd badań nad automatyzacją opisuje dwa błędy, które ludzie popełniają przy systemie udzielającym porad. Przeoczają problem, bo system go nie zgłosił, i idą za systemem, gdy ten się myli. Przegląd jasno mówi, kogo to dotyczy i czy da się tego oduczyć szkoleniem:

Projekt interfejsu może pomóc, ale ma swoją cenę. W eksperymencie z udziałem 199 osób rozwiązania, które zmuszają do zmierzenia się z poradą przed jej przyjęciem, ograniczyły nadmierne poleganie na systemie. Te same osoby oceniły je najniżej.^[4] Najlepiej działa to rozwiązanie, które ludzie lubią najmniej.

Najostrzejsza krytyka pochodzi z analizy 41 regulacji, które wymagają, by człowiek nadzorował algorytm administracji publicznej. Według zebranych w niej dowodów ludzie nie są w stanie sprawować nadzoru, jakiego się od nich oczekuje, a takie regulacje mogą dawać „fałszywe poczucie bezpieczeństwa”.^[5] W tym ujęciu zasada sprawia, że system wygląda na bezpieczniejszy, niż jest, bo wszyscy zakładają, że człowiek sprawdza.

Którą część pracy zachowuje człowiek.

Klasyczny artykuł dzieli każde zadanie na cztery rodzaje funkcji: zbieranie informacji, ich analizę, decyzję, co zrobić, i wykonanie. Każdą z nich można zautomatyzować w innym stopniu, od całkowicie ręcznej do całkowicie automatycznej.^[2] Przydatne pytanie brzmi: która funkcja jest zautomatyzowana i w jakim stopniu.

Ten podział ma znaną słabość. Starszy artykuł o automatyzacji w przemyśle dowodzi, że gdy większość zadania jest zautomatyzowana, człowiekowi zostaje obserwowanie i trudne przypadki, a w obu ma coraz mniej wprawy. Znamy ten artykuł z omówień i nie czytaliśmy go sami.^[3]

Tak wygląda sytuacja osoby, która u nas sprawdza szkice. Nie zbierała źródeł ani nie pisała szkicu. Ma ocenić tekst, przy którym nie pracowała, i wyłapać spośród wielu ten jeden szkic, który jest błędny.

Co pokazują nasze liczby.

Dla każdego szkicu, który ktoś zatwierdził między 21 sierpnia a 29 września 2026, porównaliśmy pierwszą wersję z wysłanym tekstem.

Większość zmienionych szkiców się wydłużyła, a większość została w dużej mierze przepisana. Pełne zestawienie jest w tekście Co handlowcy zmieniają przed wysłaniem.^[8]

Jak dotąd osoby sprawdzające nie zatwierdzają więc w ciemno. Ograniczenia są duże. Sprawdzający to niewielka grupa, a przeglądy rozkładają się między nich nierówno. Część zmian może być poprawką samego oprogramowania, której nie umiemy oddzielić. A zmiana nic nie mówi o tym, czy fakty w wiadomości sprawdzono.

Co z tym robimy.

• 01Obok szkicu osoba sprawdzająca widzi powód, by napisać: fakt, na którym opiera się wiadomość, link do jego źródła i datę, kiedy go zaobserwowano. Gdy fakt nie ma daty, ekran to pokazuje. Można więc sprawdzić samo twierdzenie, a nie tylko ton.
• 02Widzi też, na jakich stwierdzeniach o własnej firmie oparł się szkic, choć nikt w przestrzeni roboczej ich jeszcze nie potwierdził.
• 03Zatwierdzanie ustawia się dla każdej firmy na jednym z trzech poziomów: każda wiadomość, tylko pierwsza albo żadna. Do 29 września 2026 nowa firma startowała z zatwierdzaniem pierwszej wiadomości, a kolejne wiadomości mogły potem wychodzić bez przeglądu. Od tego dnia każda nowa firma startuje z zatwierdzaniem każdej wysyłki. Człowiek może to złagodzić dla danej firmy: do samej pierwszej wiadomości albo do żadnej.
• 04Od 29 września oprogramowanie zapisuje, co zmieniło się między szkicem a wysłanym tekstem, żebyśmy mogli śledzić w czasie, czy osoby sprawdzające nadal poprawiają.
• 05Dziś ekran zatwierdzania pokazuje powód, by napisać, jego źródło i datę albo informację, że daty brak. Pokazywanie źródła pod każdym zdaniem szkicu jest w budowie. Nie podajemy terminu.

Jedno ustalenie należy do tego miejsca, bo dotyczy pierwszego punktu. Gdy mierzyliśmy, ta strona podawała zasadę, że firma bez datowanego powodu nie dostaje od SYNC nic. 29 września 570 dossier było oznaczonych jako gotowe. Według powodu zapisanego przy tym werdykcie 303 opierają się na datowanym sygnale ze źródłem, 230 na sygnale ze źródłem, ale bez daty, a 37 nie ma zapisanego żadnego powodu.^[8] Dziś kontrola wymaga sygnału z jego źródłem i nie wymaga daty. Postanowiliśmy tak to zostawić: sygnał ze źródłem, ale bez daty, nadal może sprawić, że dossier jest gotowe. Osoba sprawdzająca widzi, że daty brak, a my wyraźniej pokazujemy to na ekranie przeglądu. Zasada na tej stronie mówi teraz o powodzie, który możemy zacytować, a nie o datowanym powodzie.

Europejski akt w sprawie sztucznej inteligencji (AI Act) daje użyteczny punkt odniesienia dla projektu. Jego artykuł o nadzorze ze strony człowieka wymaga, by osoba nadzorująca system pozostawała świadoma możliwej skłonności do automatycznego lub nadmiernego polegania na wynikach, które ten system generuje.^[7] Ten artykuł dotyczy systemów, które akt nazywa systemami wysokiego ryzyka. Nie oceniliśmy, czy akt ma zastosowanie do SYNC. Traktujemy ten artykuł jako wzorzec przy projektowaniu. Nie twierdzimy, że SYNC spełnia wymogi aktu ani że musi je spełniać.