Historia, którą chcę dzisiaj zrelacjonować, wydarzyła się zaledwie kilka miesięcy temu, jednak śmiem przypuszczać, że mało kto o niej słyszał.
Alec Radford, Jeffrey Wu, Rewon Child, David Luan, Dario Amodei i Ilya Sutskever, naukowcy z organizacji OpenAI (1), której współzałożycielem był między innymi Elon Musk, i która została doinwestowana przez Microsoft okrągłym miliardem dolarów (2), 14 lutego 2019 roku opublikowali raport (3) opisujący zaskakujące zastosowanie sztucznych sieci neuronowych. Wykorzystując technikę nienadzorowanego uczenia głębokiego, naukowcy opracowali model językowy GPT-2, który potrafi przewidywać kolejne słowa na podstawie krótkiego tekstu napisanego przez naukowców, generując w ten sposób sensowne i długie akapity tekstu. Model, wykorzystujący półtora miliarda parametrów (!), został przeszkolony na bazie ośmiu milionów tekstów dostępnych na stronach internetowych.
Naukowcy przyrównali nawet ten model do kameleona, bo potrafi on dostosowywać się do stylu tekstu wyjściowego w zdumiewający sposób. Co ciekawe, model okazał się tak dobry, że w obawie przed trudnymi do przewidzenia zastosowaniami tej technologii, naukowcy zdecydowali się go nie udostępniać publicznie, co w branży sztucznej inteligencji zdarza się dosyć rzadko. Opublikowano tylko mniejszy model, tak aby inni naukowcy mogli na nim pracować.
Oto tekst wyjściowy, który naukowcy napisali samodzielnie i następnie zastosowali w modelu GPT-2.
In a shocking finding, scientist discovered a herd of unicorns living in a remote, previously unexplored valley, in the Andes Mountains. Even more surprising to the researchers was the fact that the unicorns spoke perfect English.
A tak wyglądała kontynuacja tekstu wygenerowana przez ten model:
The scientist named the population, after their distinctive horn, Ovid’s Unicorn. These four-horned, silver-white unicorns were previously unknown to science.
Now, after almost two centuries, the mystery of what sparked this odd phenomenon is finally solved.
Dr. Jorge Pérez, an evolutionary biologist from the University of La Paz, and several companions, were exploring the Andes Mountains when they found a small valley, with no other animals or humans. Pérez noticed that the valley had what appeared to be a natural fountain, surrounded by two peaks of rock and silver snow.
Pérez and the others then ventured further into the valley. “By the time we reached the top of one peak, the water looked blue, with some crystals on top,” said Pérez.
Pérez and his friends were astonished to see the unicorn herd. These creatures could be seen from the air without having to move too much to see them – they were so close they could touch their horns.
While examining these bizarre creatures the scientists discovered that the creatures also spoke some fairly regular English. Pérez stated, “We can see, for example, that they have a common ‘language,’ something like a dialect or dialectic.”
Dr. Pérez believes that the unicorns may have originated in Argentina, where the animals were believed to be descendants of a lost race of people who lived there before the arrival of humans in those parts of South America.
While their origins are still unclear, some believe that perhaps the creatures were created when a human and a unicorn met each other in a time before human civilization. According to Pérez, “In South America, such incidents seem to be quite common.”
However, Pérez also pointed out that it is likely that the only way of knowing for sure if unicorns are indeed the descendants of a lost alien race is through DNA. “But they seem to be able to communicate in English quite well, which I believe is a sign of evolution, or at least a change in social organization,” said the scientist. (4)
Niebywałe!
Jeśli ktoś nie zna zbyt dobrze angielskiego, zamieszczam poniżej tłumaczenie:
“W szokującym odkryciu naukowiec odkrył stado jednorożców żyjące w odległej, dotąd niezbadanej dolinie, w Andach. Jeszcze bardziej zaskakujący dla naukowców był fakt, że jednorożce mówiły doskonale po angielsku.”
I tłumaczenie tekstu wygenerowanego przez model GPT-2:
“Naukowiec nazwał ludność, po swoim charakterystycznym rogu, Jednorożcem Owidiusza. Te czterorożne, srebrnobiałe jednorożce były wcześniej nieznane nauce.
Teraz, po prawie dwóch stuleciach, tajemnica tego, co wywołało to dziwne zjawisko, została w końcu rozwiązana.
Dr Jorge Pérez, biolog ewolucyjny z Uniwersytetu La Paz i kilku towarzyszy, badali góry Andów, gdy znaleźli małą dolinę, bez innych zwierząt i ludzi. Pérez zauważył, że dolina miała coś, co wyglądało jak naturalna fontanna, otoczona dwoma szczytami skały i srebrnego śniegu.
Pérez i pozostali zapuścili się dalej w dolinę. „Gdy doszliśmy do szczytu jednego ze szczytów, woda stała się niebieska, a na niej kryształy” – powiedział Pérez.
Pérez i jego przyjaciele byli zdumieni widokiem stada jednorożców. Te stworzenia można było zobaczyć z powietrza, bez konieczności poruszania się za dużo, aby je zobaczyć – były tak blisko, że mogły dotknąć rogów.
Badając te dziwaczne stworzenia, naukowcy odkryli, że stworzenia te mówiły też dość normalnym angielskim. Pérez stwierdził: „Widzimy na przykład, że mają wspólny„ język ”, coś w rodzaju dialektu lub dialektyki”.
Dr Pérez uważa, że jednorożce mogły pochodzić z Argentyny, gdzie uważano, że zwierzęta są potomkami zaginionej rasy ludzi, którzy żyli tam przed przybyciem ludzi do tych części Ameryki Południowej.
Choć ich pochodzenie jest wciąż niejasne, niektórzy uważają, że stworzenia mogły powstać, gdy człowiek i jednorożec spotkali się w czasach przed ludzką cywilizacją. Według Péreza: „W Ameryce Południowej takie incydenty wydają się dość powszechne”.
Pérez wskazał jednak również, że prawdopodobnie jedynym sposobem ustalenia, czy jednorożce są potomkami zaginionej rasy kosmicznej, jest DNA. „Ale wydaje się, że potrafią całkiem dobrze porozumiewać się po angielsku, co moim zdaniem jest oznaką ewolucji, a przynajmniej zmiany w organizacji społecznej” – powiedział naukowiec.” (5)
Celowo zamieściłem tłumaczenie, gdyż jego “autorem” jest inna sztuczna sieć neuronowa, stojąca za serwisem Google Translate. Jak widać, przekład nie jest idealny, jednak wydaje się zaskakująco dobry, zważywszy na fakt, iż jeszcze do niedawna tłumaczenia generowane przez Google Translate z angielskiego na polski były marnej jakości.
Co do samego modelu i wygenerowanego tekstu, zaskakuje spójność narracji i wyobraźnia autora. Tak, wiem, że pachnie tu antropomorfizmem, ale jak to inaczej skomentować. Sztuczna sieć neuronowa wygenerowała pełnoprawny tekst, którego nie powstydziłby się niejeden pisarz. Czy w takim razie przyszłość pisarstwa należy do tego typu modeli, które będą na setkach stron snuć niebywałe narracje, a czytelnik nawet się nie zorientuje, że książka, którą właśnie czyta, nie została napisana przez człowieka. Łatwo sobie wyobrazić wydawnictwo, które wydaje i promuje konkretnych autorów z imienia i nazwiska, ukrywając ich prawdziwą tożsamość – vide przypadek Eleny Ferrante, lub – w przypadku tekstów generowanych przez AI – ukrywając ich brak tożsamości.
(1) https://openai.com/
(2) https://www.reuters.com/article/us-microsoft-openai/microsoft-to-invest-1-billion-in-openai-idUSKCN1UH1H9
(3) Raport zawiera też inne przykłady wygenerowanych tekstów:
https://cdn.openai.com/better-language-models/language_models_are_unsupervised_multitask_learners.pdf
(4) Tekst pochodzi z w/w raportu.
(5) Tłumaczenie zostało wygenerowane w serwisie Google Translate.
W artykule wykorzystano darmową grafikę z serwisu Freepik.
