Siergiej Markow skończył właśnie poważniejszy wywód o tym, że sztuczna inteligencja przypomina młotek – można nim zbudować dom albo rozbić komuś głowę – po czym przeszedł do zupełnie innej myśli. Stwierdził mianowicie, że z pewnością żyjemy w symulacji treningowej. Jakaś cywilizacja po osobliwości technologicznej musi przecież wychowywać dzieci i uczyć je trudnych wyborów moralnych; stworzyła więc ten świat, a my „po prostu się w nim kręcimy”.
Markow kieruje departamentem eksperymentalnych systemów uczenia maszynowego w spółce SberDevices, należącej do Sbierbanku. Swoją opowieść o symulacji nazwał zabawną anegdotą, dodając, że równie dobrze można wymyślić inne. Po chwili zaproponował kolejną – wprost ze swojego warsztatu pracy.
Jego problemem jest tekst. Zbiory danych potrzebne do trenowania modeli rosną dziś szybciej niż zasoby internetu. W pewnym momencie algorytmy zażądają więcej, niż ludzkość zdołała napisać, a ten niedobór odczuje każdy użytkownik chatbotów. W 2024 roku analitycy z Epoch AI podali nawet konkretny przedział czasowy: jeśli obecne trendy się utrzymają, modele językowe pochłoną wszystkie publicznie dostępne teksty napisane przez ludzi między 2026 a 2032 rokiem.
Internetu nie da się napisać od nowa. Jednym z wyjść z tej sytuacji – zauważa Markow – jest samodzielne wytwarzanie brakujących treści: uruchamianie symulacji, generowanie syntetycznych przykładów i trenowanie modeli również na nich.
Po czym odwrócił tę koncepcję i skierował ją w naszą stronę:
Być może po prostu żyjemy w świecie, który generuje syntetyczne dane do trenowania jakiegoś modelu.
Может быть, мы просто живем в мире, который генерирует синтетические данные для обучения какой-то модели.
— Siergiej Markow, Podcast Gleba Solomina, 04:10
Zwróćmy uwagę, jak zmieniła się wymowa tej wizji w porównaniu z pierwszą. Wcześniej byliśmy uczniami, a symulacja miała nam coś przekazać. W drugiej wersji nikt nikogo nie uczy. Jesteśmy po prostu stronicami tekstu produkowanymi po to, by ktoś inny mógł je przetrawić.
Markow nie ciągnie tego wątku dalej. Rzuca go mimochodem, z tym samym wzruszeniem ramion co pierwszą historyjkę, nie roszcząc sobie pretensji do dowodzenia czegokolwiek. Rozmowa płynnie przechodzi do następnego pytania.
Mimo to głód danych pozostaje realnym problemem, a dane syntetyczne niosą własne zagrożenia. W lipcu 2024 roku zespół pod kierunkiem Ilii Shumailova opublikował w „Nature” pracę dowodzącą, że bezkrytyczne karmienie modeli treściami wygenerowanymi maszynowo prowadzi do nieodwracalnych wad: znikają ogony rozkładu danych. W pierwszej kolejności ulatuje to, co nietypowe, rzadkie i nieoczywiste. Cokolwiek produkowałby generator o skali całego świata, trenowany model i tak musiałby zachować dostęp do owych anomalii.
Markow poprzestaje na dwóch przypowieściach. W pierwszej jesteśmy dziećmi uczącymi się przyzwoitości. W drugiej – zaledwie tekstem.
