Niektóre dzieci rodzą się niewidome i głuche. Mimo to potrafią opanować język, a część z nich trafiała na studia na Moskiewskim Uniwersytecie Państwowym. Nikt nie postawił im słońca przed oczami ani nie przekazał jego ciepła w usłyszanym zdaniu. Cały świat poznały wyłącznie ze słów.
Michaił Burcew ma te dzieci w pamięci, gdy myśli o chatbotach. To badacz sztucznej inteligencji, twórca projektu DeepPavlov na MIPT, który na co dzień zajmuje się budową modeli językowych. Położenie takiego modelu niewiele różni się od sytuacji wspomnianych dzieci. Nie ma oczu, uszu ani skóry. Dostaje ciąg liter i jedno zadanie: odgadnąć kolejne słowo. Sam Burcew określa tę pracę jako „kompletnie bezmyślną”.
Tak prymitywne polecenie powinno stworzyć papugę. Tworzy jednak coś, do czego ludzie zwracają się po radę, z czym toczą spory, a niekiedy nawet się zakochują. Kiedy model kończy wpisane przez nas zdanie, z czym tak naprawdę mamy do czynienia? Z magazynem wykutych na pamięć zwrotów czy z mechanizmem, który odtworzył sobie z tekstu kawałek rzeczywistości? Odpowiedź decyduje o tym, na ile możemy zaufać temu, co model ma do powiedzenia o świecie.
Burcew stawia na tę drugą możliwość. Tekst nie jest przypadkową stertą znaków. W toku ewolucji człowiek wykształcił mowę właśnie po to, by przekazywać stan otaczającego go świata. Kiedy ktoś rzuca: „świeci słońce”, ciąg dźwięków trafia do cudzej głowy i uruchamia reakcje odpowiadające słonecznemu dniowi. Każde zdanie stanowi skondensowany zapis określonej sytuacji.
Weźmy teraz ten zapis i spróbujmy przewidzieć ciąg dalszy. Trafne odgadnięcie następnego słowa oznacza rozszyfrowanie sytuacji, która kryje się za wypowiedzią. W ujęciu Burcewa model trenowany na takim zadaniu siłą rzeczy musi zbudować w sobie obraz świata opisywanego przez słowa. Odtwarza rzeczywistość z samego tekstu — po prostu nie ma innego wyjścia.
Aby skutecznie przewidzieć sekwencję słów, trzeba przewidzieć stan środowiska powiązany z tymi słowami.
Для того, чтобы эффективно предсказывать последовательность слов, нужно предсказывать это состояние среды, которая связана с этими словами.
— Michaił Burcew, Think Like a Scientist, 55:30
Naukowcy zaczęli już zaglądać do wnętrza modeli, by sprawdzić, czy rzeczywiście zachodzi tam taki proces. Wes Gurnee w pracy opublikowanej w 2023 roku na platformie arXiv wykazał, że modele językowe utrzymują liniowe reprezentacje czasu oraz przestrzeni, a nawet pojedyncze „neurony przestrzenne” i „czasowe”, których aktywność śledzi współrzędne miejsca i czasu. Z kolei badanie z 2024 roku w „Nature Human Behaviour”, kierowane przez Jamesa Strachana, poddało modele z rodziny GPT-4 testom na teorię umysłu. Maszyny dorównywały ludziom, a niekiedy wręcz ich przewyższały w wychwytywaniu błędnych przekonań, aluzji czy prób wprowadzenia w błąd. Potykały się jedynie na popełnianych przez rozmówców gafach towarzyskich.
Burcew cofa tę ideę aż do ameby. Jego ulubiony filozof, Karl Popper, powtarzał, że pomysły ameby giną wraz z nią, podczas gdy Einstein potrafił porzucić swoje koncepcje bez narażania własnego życia. Burcew dokłada do tego własne spostrzeżenie: każdy żywy organizm musi przewidywać zmiany w otoczeniu, by przetrwać. Im więcej wariantów potrafi przewidzieć, w tym większej liczbie środowisk zdoła ujść z życiem. Wiedza okazuje się więc biologicznym imperatywem przetrwania. Trenowanie modelu językowego opiera się na dokładnie tej samej zasadzie: obserwuj, przewiduj, koryguj.
Badacz chciałby, aby w biologii powstała teoria łącząca dostosowanie ewolucyjne ze zdolnością przewidywania przyszłości. Na razie, jak zauważa, takiej koncepcji brakuje. Mogłaby ona nawet wyznaczyć granicę między materią ożywioną a nieożywioną — choć to tylko hipoteza, o której wspomina z ostrożnością.
W tym miejscu Burcew jednak stawia kropkę. Gdyby samo przewidywanie słów prowadziło do bystrości na ludzkim poziomie, inteligencję można by sprowadzić do generowania tekstu. A przed postawieniem „aż tak śmiałej tezy” badacz woli się powstrzymać. Dostrzega analogię i uważa, że to w pełni uzasadnione pytanie zarówno dla filozofii, jak i dla nauki.
Kluczowy problem badawczy mamy zresztą pod ręką. Ludzie posiadają cele, niekiedy całkiem nieświadome. Model językowy nie ma żadnych — całe jego rzekome dążenie wynika jedynie z tego, jak wytrenowali go ludzie i w jakim kontekście go postawili. Co zatem pozostaje w człowieku, gdy odejmie się od niego czyste przewidywanie? To pytanie hipoteza Burcewa pozostawia otwartym.
