Milion tokenów to mniej więcej tyle, ile najlepsze chatboty potrafią utrzymać w pamięci naraz. Jeden ludzki genom, pocięty na dziesięcioliterowe słowa, daje 300 milionów.
Michaił Burcew, badacz sztucznej inteligencji i założyciel projektu DeepPavlov w MIPT, zbudował właśnie transformer, który przenosi pamięć z jednego fragmentu tekstu do następnego. Model odpowiadał na pytania na podstawie 50 milionów tokenów — to pięć razy więcej niż cała Encyklopedia Britannica. I wtedy pojawił się kłopot. Miał młotek, a w przetwarzaniu języka zabrakło gwoździ. Trzeba więc „biegać z tym młotkiem”, dopóki nie znajdzie się czegoś, co warto uderzyć.
Gwóźdź od początku leżał w każdej komórce twojego ciała. DNA to ciąg czterech liter, a ten ciąg w dużej mierze decyduje o ryzyku chorób, które zabijają miliony ludzi rocznie. Burcew szacuje, że udział czynników dziedzicznych w tych chorobach wynosi od 30 do 80 procent. Dzisiejsze metody wyjaśniają mniej więcej połowę tego wpływu.
Co dałby model, który czyta cały ciąg? Burcew wymienia dwie rzeczy. Pierwsza to dawka leku. Ludzie rozkładają ten sam lek w bardzo różnym tempie: u jednej osoby trwa to trzy godziny, u innej dziesięć. Lek o przedłużonym uwalnianiu, zaprojektowany na dziesięć godzin, u osoby z szybkim metabolizmem zadziała w dawce znacznie większej niż zamierzona, a skutki uboczne przyjdą same. Tempo rozkładu często zależy od genów, więc model czytający genom pacjenta mógłby przewidzieć właściwą dawkę.
Druga to terapia genowa. Wirus wnosi do komórki pożyteczny gen, który ma być włączony w wątrobie i wyciszony w mózgu. Przełącznikiem jest odcinek DNA umieszczony przed genem. Wirus ma niewiele miejsca na ładunek, więc ten odcinek musi być krótki i dobrze dobrany. Model, który poznał logikę regulacyjną genomu, może szukać takich sekwencji.
Najpierw jednak tekst trzeba pociąć na kawałki. Czytanie DNA litera po literze marnuje okno kontekstu: chatboty też można by trenować na pojedynczych literach, ale nikt tego nie robi, bo słowa mieszczą więcej tekstu w tej samej przestrzeni. Modele językowe używają więc metody, która buduje słownik z najczęstszych ciągów liter. Przy cięciu tekstu najpierw próbuje najdłuższych wpisów, a luki uzupełnia krótszymi. Rozmiar słownika to kompromis. Większy skraca tekst, ale na każdym kroku model musi wybierać spośród większej liczby kandydatów.
Grupa Burcewa wzięła tę metodę i skierowała ją na DNA.
Po prostu wzięliśmy to podejście i zastosowaliśmy je do DNA. Chcieliśmy, żeby nasz model zjadał więcej DNA. Ustawiliśmy rozmiar słownika na 30 tysięcy tokenów.
Мы просто взяли этот подход, применили к ДНК. Мы хотели сделать, чтобы наша модель больше ДНК съедала. И мы задали там 30 тысяч токенов размер словаря.
— Michaił Burcew, Think Like a Scientist, 93:02
Trzydzieści tysięcy najczęstszych motywów utworzyło słownik, a średni token wyszedł na 9,5 litery. W artykule grupy opublikowanym w styczniu 2025 roku w „Nucleic Acids Research”, pod kierownictwem Wieniamina Fiszmаnа, słownik liczył 32 tysiące wpisów, a mediana tokenu wynosiła 9 liter — wystarczająco, by przyjąć na wejściu do 36 tysięcy par zasad.
A teraz zwrot akcji. Czy te tokeny cokolwiek znaczą w biologii? Burcew odpowiada, że nikt jeszcze tego nie wie. Motyw, który się powtarza, mógł zostać utrzymany przez dobór naturalny, więc powinien mieć znaczenie. Ale jeśli uruchomi się tę samą metodę na genomach różnych gatunków, otrzymuje się różne słowniki, choć kod genetyczny jest niemal uniwersalny: te same trójki oznaczają te same aminokwasy, te same sygnały stop kończą geny. Jego własna reakcja brzmiała „co jest, do cholery”. A jednak słownik zbudowany na ludzkim genomie dobrze sprawdza się w trenowaniu na innych gatunkach, bez wyraźnego spadku wyników.
Powód długiego kontekstu jest równie konkretny. Czynnik transkrypcyjny może leżeć na innym chromosomie niż gen, który kontroluje. Jeśli zmutuje i przestanie działać w jednym typie komórek, kontrolowany przez niego gen też się psuje. Model może nauczyć się tego związku tylko wtedy, gdy oba odcinki DNA znajdą się w tym samym kontekście. Nawet po usunięciu powtórzeń i odfiltrowaniu śmieci cały genom wciąż jest znacznie dłuższy niż to, co przyjmują dzisiejsze chatboty.
Inne grupy czytają DNA w ogóle bez tokenów. Artykuł z 2024 roku w „Science” autorstwa Erica Nguyena i współpracowników opisuje Evo — model o siedmiu miliardach parametrów, wytrenowany na 2,7 miliona genomów mikroorganizmów i fagów, czytający 131 tysięcy liter naraz, po jednej literze na krok. Model wygenerował działające syntetyczne kompleksy CRISPR-Cas.
To samo zadanie atakuje się więc dziesięcioliterowymi słowami i pojedynczymi literami. Otwarte pytanie Burcewa leży u podstaw obu podejść: dlaczego jeden język genetyczny miałby potrzebować innego słownika dla każdego gatunku?
