W skrócie.
Kazaliśmy SYNC zbadać rynek dla nas samych, z iSyncSO w roli sprzedającego. W ciągu ośmiu tygodni firmy zostały zbadane 594 razy, 569 wyników dostało ocenę, a 239 z nich trafiło do dwóch klas, którymi zajmuje się SYNC.
Widać też było błędy. Własna kontrola oprogramowania oznaczyła 35 firm jako błędne dopasowania, w większości za duże jak na to, co sprzedajemy. A z 73 dossier oznaczonych jako gotowe 23 opiera się na powodzie z datą, którą da się odczytać. Pozostałe 50 nie, choć reguła na tej stronie wymagała wtedy powodu z datą.
To firma oceniająca własny produkt na własnych danych. Czytaj to jako opis tego, co zrobiło oprogramowanie, i nic więcej.
Co dały przebiegi badań.
Między 20 lipca a 15 września 2026 uruchomiliśmy 16 przebiegów badawczych dla sześciu ofert, które sami opisaliśmy. Dziesięć doszło do końca, pięć zakończyło się błędem, a jeden skonfigurowaliśmy, ale nigdy nie ruszył.[1]
Ocena ma cztery klasy. Firmami z klas A i B SYNC się zajmuje, a te z klas C i D zostawia w spokoju. Sumy 239 i 330 policzyliśmy sami.
Po ocenie drugi etap w oprogramowaniu przegląda listę i oznacza firmy, które dostały dobrą ocenę, choć nie są prawdziwymi kupującymi. Oznaczonych zostało 35. Z nich 16 miało klasę A lub B.
| Powód oznaczenia | Oznaczone | W tym A lub B |
|---|---|---|
| Za duża jak na opisany profil | 24 | 13 |
| Sprzedaje ten sam rodzaj usług albo jest konkurentem | 8 | 3 |
| Więcej finansowania, niż dopuszcza profil | 1 | 0 |
| Poza opisanym obszarem geograficznym | 1 | 0 |
| Niewłaściwy podmiot albo firma bez działalności | 1 | 0 |
Nie wynika z tego żaden odsetek błędów. Oznaczenie to oprogramowanie kontrolujące samo siebie i żaden człowiek go nie sprawdził. Firma bez oznaczenia mogła nigdy nie przejść kontroli, więc „bez oznaczenia” nie znaczy „poprawna”.
Co wynika z dossier.
Powstały 244 dossier. W dwóch na trzy wniosek brzmi: trzeba poczekać.
Gdy mierzyliśmy, strona formułowała naszą regułę tak: „Bez dossier nie ma wiadomości. Firma bez powodu opatrzonego datą nie dostaje od SYNC nic.” Oprogramowanie nie przestrzegało drugiej części. Sprawdziliśmy powód, na którym opiera się każde gotowe dossier, i policzyliśmy, czy ma datę, którą da się odczytać jako datę. Ma ją 23 z 73. Pozostałe 50 nie.
W tych 244 dossier 1600 osobom przypisano role. 1317 z tych ról oprogramowanie oznaczyło jako własny wniosek, a 260 jako podane przez źródło.
Szkice trafiały do zatwierdzenia przez człowieka. Ta osoba zatwierdziła 65, a odrzuciła 4. Kolejne 41 wciąż czeka na decyzję. Nie publikujemy tego, co działo się po wysłaniu, bo nasze liczby odpowiedzi i otwarć nie są jeszcze wiarygodne.
Co zmieniliśmy w produkcie.
Dwie zmiany dotyczą błędnych dopasowań. Obie wprowadziliśmy w sierpniu, w trakcie naszych przebiegów. Nie twierdzimy, że to nasze przebiegi do nich skłoniły.
- 01Oznaczenie ma teraz skutek. Wcześniej oznaczona firma zachowywała klasę i miejsce na liście, a oznaczenie było tylko zdaniem w raporcie. Teraz oznaczona firma spada o jedną klasę, a lista jest sortowana najpierw według klasy.
- 02Firmy wykluczone przez handlowca są teraz brane pod uwagę przy ocenianiu firmy.
Gdy pisaliśmy ten tekst, otwarte były dwa pytania. W obu przypadkach wróciliśmy do zapisów.
- 01Limity wielkości. Każdy przebieg zachowuje kopię użytego profilu. Pierwszy szukał firm zatrudniających od 50 do 500 osób. Przebiegi od 26 lipca do 8 sierpnia szukały firm od 10 do 200 osób. Od 19 sierpnia pięć z sześciu przebiegów szukało firm od 11 do 50 osób, a jeden nie zapisał żadnego przedziału wielkości. Wszystkie 24 firmy oznaczone jako za duże pochodzą z czterech z tych pięciu przebiegów. Zawęziliśmy więc limit przed pierwszym oznaczeniem i potem go nie zmienialiśmy. Zapis nie mówi, dlaczego go zawęziliśmy. Żaden przebieg sprzed 19 sierpnia nie ma oznaczeń, a zapis nie mówi, czy kontrola w ogóle na nich działała.
- 02Pięć nieudanych przebiegów. Dwa zatrzymały się na ostatnim kroku, pisaniu raportu, po trzech próbach, bo skończył się nasz kredyt u dostawcy modelu językowego. Ich badania były kompletne. Dwa były przebiegami testowymi, które nasze własne narzędzia testowe celowo utworzyły jako nieudane, i niczego nie badały. Jeden zatrzymaliśmy sami i zastąpiliśmy nowym przebiegiem, żeby sprawdzić poprawkę w profilu. Zapis nie mówi, co zmieniono z powodu dwóch prawdziwych awarii.
Dziś kontrola wymaga przytoczonego sygnału i jego źródła, a daty nie wymaga. Postanowiliśmy tak to zostawić: przytoczony sygnał bez daty nadal może sprawić, że dossier jest gotowe. Osoba sprawdzająca widzi, że brakuje daty, a my pokazujemy to coraz wyraźniej na ekranie przeglądu. Reguła na tej stronie mówi teraz o powodzie, który możemy przytoczyć, a nie o powodzie z datą.
Co przemawia przeciw.
Firma oceniająca własny produkt na własnych danych to najsłabsza forma dowodu. Wybraliśmy profil, uruchomiliśmy oprogramowanie, przeczytaliśmy wynik i napisaliśmy ten tekst. Nikt spoza iSyncSO niczego z tego nie sprawdził.
Nasza przestrzeń robocza jest też miejscem, w którym testujemy. Przebiegi korzystały z sześciu ofert o zmieniających się kryteriach, a pięć z szesnastu zakończyło się błędem. Trzy z tych pięciu to nasze własne testy albo nasza decyzja o zatrzymaniu. Limit wielkości w profilu zmienił się w tym okresie dwa razy. To więc nie jest jeden czysty eksperyment.
Liczby błędnych dopasowań nie da się zamienić na odsetek. Obejmuje ona to, co wychwyciła własna kontrola oprogramowania. Czego kontrola nie wychwyciła, nie wiadomo. Powody przypisano do kategorii przez dopasowanie słów w wolnym tekście, a powód, który wymienia i wielkość, i obszar geograficzny, liczy się jako wielkość.
Nic tu nie pokazuje, że firmy z klasy A kupiłyby od nas. Klasa to ocena względem kryteriów, które sami napisaliśmy. Większość dossier mówi „czekać”, a o 41 szkicach jeszcze nie zdecydowano. Liczby opisują jedną przestrzeń roboczą i nie dają się przenieść na żadnego klienta.
Policzyliśmy zapisy SYNC z naszej własnej przestrzeni roboczej: przebiegi badawcze i ich wynik, zbadane firmy z klasą i oznaczeniem błędnego dopasowania, dossier z wnioskiem, osoby z rolą oraz szkice z decyzją osoby sprawdzającej. Przebiegi pochodzą z okresu od 20 lipca do 15 września 2026. Niczego nie pominięto. Firma zbadana w więcej niż jednym przebiegu liczy się raz na każdy przebieg, więc 594 to liczba wyników badań, a nie różnych firm.
Klasy podajemy w stanie z dnia pomiaru. Nie podajemy liczb odpowiedzi, otwarć ani spotkań. Obie zmiany w produkcie odczytaliśmy z oprogramowania i jego rejestru zmian. Nie były mierzone. W przypadku nieudanych przebiegów i limitów wielkości odczytaliśmy 29 września, co zapisał każdy przebieg: stan końcowy, krok, na którym się zatrzymał, błąd i przedział wielkości w kopii profilu przechowywanej z przebiegiem.
- [1]iSyncSO. Wszystkie zapisy SYNC w naszej własnej przestrzeni roboczej z okresu od 20 lipca do 15 września 2026, policzone 29 września 2026.nasz własny pomiar