Wystarczy ukryć pojedynczy fakt w obszernym dokumencie, a potem poprosić model językowy o jego odnalezienie. Michaił Burcew, badacz sztucznej inteligencji i twórca projektu DeepPavlov w MIPT, powtarza ten eksperyment bez końca, za każdym razem nieco wydłużając tekst. Na papierze Gemini radzi sobie z milionem tokenów. W praktyce już po przekroczeniu 50 000 czy 100 000 gubi poszukiwaną informację. Przy tego typu zadaniach wykorzystuje zaledwie 5 do 10 procent długości, do której został stworzony.
Gdy podniesiemy poprzeczkę, jest jeszcze gorzej. Jeśli odpowiedź wymaga połączenia dwóch ukrytych faktów, użyteczny kontekst drastycznie się kurczy. Przy trzech faktach model kapituluje już przy objętości rzędu dwóch tysięcy słów.
Znamy to z codziennych rozmów ze sztuczną inteligencją. Prędzej czy później otwieramy nowe okno czatu, bo model zaczyna plątać się we własnych myślach i przestaje odróżniać rzeczy istotne od błahych. Do tego dochodzi ukryty rachunek: ponieważ w tekście każde słowo porównywane jest z każdym innym, nakład pracy rośnie wraz z kwadratem długości. Dłuższy kontekst oznacza większe zużycie prądu, potężniejsze zapotrzebowanie na pamięć i ślimaczące się odpowiedzi.
Oba te problemy wyrastają z tego samego pnia. Mechanizm uwagi to pamięć krótkotrwała transformera — przestrzeń przechowująca to, co dzieje się w rozmowie w danej chwili. Kiedy rozciągniemy ją na milion tokenów, zwyczajnie się rozmywa. Przypomina to próbę znalezienia jednego konkretnego słowa w grubej książce: nie sposób utrzymać w pamięci całej treści naraz, a czytając kolejne strony, zapominamy o poprzednich.
Rozwiązanie przyszło z zupełnie niespodziewanej strony. Zespół Burcewa nie próbował niczego na siłę wydłużać — badał sam proces myślenia.
Transformer myśli wewnątrz wektora: długiego ciągu liczb, który aktualizuje się w trakcie obliczeń. To jego pamięć robocza. Burcew chciał, by model mógł utrzymywać obok siebie kilka takich przestrzeni myślowych, sprawdzać alternatywne hipotezy i swobodnie zaglądać z jednej do drugiej. Dodał więc do danych wejściowych dodatkowe tokeny niezwiązane ze znaczeniem samego tekstu — czysty notatnik, z którego model mógł korzystać wedle uznania. Jakość tłumaczenia maszynowego nieco się wtedy poprawiła.
Prawdziwy przełom nastąpił chwilę później. Sieć rekurencyjna analizuje swój własny stan z poprzedniego kroku. Jeśli damy transformerowi taki notatnik, może zrobić dokładnie to samo — tyle że partiami, krok po kroku.
Mamy krótki kontekst, powiedzmy 500 słów, i dodaliśmy do niego pamięć. Kiedy transformer przemyśli ten kontekst, tworzy równolegle odpowiadającą mu reprezentację w pamięci.
У нас есть контекст коротенький, например, 500 слов. И мы к нему добавили память. Когда трансформер обдумал этот контекст, он параллельно создал некоторое представление в памяти, которое ему соответствует.
— Michaił Burcew, Think Like a Scientist, 82:28
Ta reprezentacja trafia jako dane wejściowe do kolejnej porcji tekstu. Model czyta drugi fragment, mając przed oczami swoje wcześniejsze wnioski, aktualizuje pamięć i przekazuje ją dalej.
W ten sposób milion tokenów przestaje być jednym gigantycznym oknem. Zamiast tego zamienia się w tysiąc kawałków po tysiąc tokenów. Model nigdy nie analizuje więcej niż jednego fragmentu naraz, więc zapotrzebowanie na pamięć operacyjną pozostaje stałe bez względu na długość tekstu. Uwaga działa zawsze w bezpiecznym przedziale od zera do tysiąca i nigdy się nie rozprasza. Jeśli tylko uzbroimy się w cierpliwość, analizowany tekst może mieć dowolną długość.
Pomysł sprawdzono w praktyce. Model odpowiadał na pytania dotyczące tekstu liczącego 50 milionów tokenów — to pięciokrotność Encyklopedii Britannica i pięćdziesiąt razy więcej niż mieści okno Gemini. W publikacji zespołu Burcewa z lipca 2024 roku, której autorem jest Iwan Rodkin, w teście BABILong przy pytaniach o pojedynczy fakt na tym dystansie odnotowano 79,9 procent dokładności. Przy milionie tokenów, jak podaje Burcew, ich model osiąga 95 procent skuteczności, podczas gdy Gemini zaledwie 20.
Naukowiec od razu jednak studzi entuzjazm wokół własnego wyniku. Ich model to wąski specjalista, a Gemini jest systemem ogólnego przeznaczenia — odpowiednio dostrojone Gemini poradziłoby sobie równie dobrze. Taka pamięć ma też swoją cenę: model nie potrafi upchnąć w niej wszystkiego, co przeczytał, przez co traci część elastyczności. To rozwiązanie skrojone pod konkretne zadania.
Kiedy nagrywano odcinek, żadna sieć neuronowa nie przetworzyła więcej niż 50 milionów tokenów — i to dwa lata po ustanowieniu tego rekordu. Największe laboratoria mogłyby co prawda osiągnąć taki wynik za pomocą potężnych klastrów i tytanicznej pracy inżynieryjnej. Nikt jednak nawet nie próbował. Zdaniem Burcewa nikt tego po prostu nie potrzebuje, a nawet milion tokenów wykracza poza to, czego wymagają realne zastosowania.
Jak sam przyznaje, stworzył młotek, do którego brakowało gwoździ. Zaczęli więc ich szukać — i trafili na niezwykle długi tekst, który każdy z nas nosi we własnych komórkach. Ludzki genom liczy około 3 miliardów liter. Po podzieleniu na tokeny DNA o długości około dziesięciu liter każdy daje to mniej więcej 300 milionów tokenów — przy zaledwie jednym milionie w Gemini.
