Gdzieś urzędnik wpisuje rok urodzenia 1880 zamiast 1980. Model kredytowy odczytuje to i dochodzi do wniosku, że wnioskodawca nie pożyje dość długo, by cokolwiek spłacić. Wniosek odrzucony.
Siergiej Markow używa tej drobnej pomyłki, by pokazać, jak według niego wygląda zagrożenie ze strony sztucznej inteligencji. Markow jest dyrektorem zarządzającym w SberDevices, spółce należącej do Sbierbanku, i kieruje tam eksperymentalnymi systemami uczenia maszynowego. Opowiada o tym jako o ilustracji, nie jako o sprawie z akt. Sedno w tym, że wnioskodawca nie ma żadnego sposobu, by dowiedzieć się, co poszło nie tak.
Pomyślmy, ile decyzji na nasz temat już zapada w ten sposób. Składamy wniosek o kredyt, wysyłamy CV, przechodzimy przez tysiąc procesów, o których nigdy nie słyszymy. W każdym z nich, mówi Markow, algorytmy wydają wyroki, a ich wpływ na nasze życie bywa porównywalny z decyzją sądu. Odmowa kredytu może oznaczać, że od niej zależy zdrowie rodziny.
Nie chodzi mu o Terminatora. Hollywood pokazuje inne zagrożenie niż to, które już tu jest. Jego własny przykład jest celowo prymitywny i przyznaje, że przesadza: jutro wchodzi nowy system i rudzi zaczynają dostawać odmowy częściej niż osoby o czarnych włosach. Firma stworzyłaby masowy mechanizm dyskryminacji ze względu na jakąś przypadkową cechę, nawet tego nie zauważając. Przesadą jest kolor włosów. Mechanizm, jak mówi, jest prawdziwy, a stronniczość algorytmiczna to poważny problem właśnie dlatego, że te modele siedzą już wszędzie.
Badacze zmierzyli różne jej warianty. W pracy przedstawionej na konferencji AAAI/ACM poświęconej sztucznej inteligencji, etyce i społeczeństwu w październiku 2024 roku Kyra Wilson testowała modele osadzania tekstu, które symulują preselekcję CV w dziewięciu zawodach. Modele faworyzowały nazwiska kojarzone z białymi kandydatami w 85,1% przypadków, a w przypadku czarnoskórych mężczyzn niekorzyść sięgała 100%. Audyt opublikowany na arXiv w grudniu 2025 roku przez Madison Coots objął około 80 000 kredytów konsumenckich z dużej amerykańskiej platformy fintechowej. Model oceny ryzyka przeszacowywał ryzyko kredytowe kobiet i niedoszacowywał go w przypadku czarnoskórych pożyczkobiorców.
Porównajmy teraz dwa pomieszczenia, w których możemy się znaleźć. Na sali sądowej mamy proces kontradyktoryjny i wykwalifikowanego adwokata. Możemy zobaczyć każdy dowód zebrany przeciwko nam. Przy okienku kredytowym model jest tajemnicą handlową. Nie zobaczymy, jak został zbudowany ani jakie dane do niego weszły, i nie napiszemy do rzecznika, bo go nie ma. Obraz przekłamanego roku 1880 u Markowa pokazuje sedno: możemy dostać odmowę z powodu jednego uderzenia w klawiaturę urzędnika i nigdy się o tym nie dowiedzieć.
Algorytmy wydają swoje werdykty, tak, i pod względem siły wpływu na wasze życie działania tych algorytmów są często porównywalne z decyzją sądu.
свои вердикты выносят алгоритмы, да, и по силе влияния на вашу жизнь действия этих алгоритмов сопоставимо с решением суда зачастую.
— Siergiej Markow, Podcast Gleba Solomina, 42:31
Tu Markow robi zastrzeżenie, które utrzymuje argument w granicach uczciwości. Maszyny nie należy mierzyć względem zerowego ryzyka. Należy ją mierzyć względem ludzkiego procesu, który zastąpiła, a w wielu przypadkach automatyzacja ryzyko obniża. Model można przepuścić przez miliony symulowanych testów, by uzyskać obiektywną liczbę, czego nie da się zrobić z taksówkarzem, do którego głowy nie zajrzymy. Co idzie źle, to nieuwaga, jak w przypadku źle przetestowanego urządzenia do radioterapii z lat 80., którego wadliwe oprogramowanie podało kilku pacjentom śmiertelne dawki.
Dlatego lekarstwo, którego się domaga, jest nudne. Fabryki już żyją pod grubymi segregatorami przepisów bezpieczeństwa i to samo należy się systemom, które decydują, kto dostanie kredyt. Trzeba zbudować ramy zarządzania tym ryzykiem, bo inaczej firmy same strzelą sobie w stopę.
Markow zna problem z tym związany. Ludzie zasypiają, gdy rozmowa schodzi na regulacje ryzyka. Wolą obejrzeć film o Terminatorze.
