Sztuczna inteligencja, która samą siebie pisze na nowo

✅Przełom dzięki badaczom współpracującymi z laboratorium Jeffa Clune’a z University of British Columbia
✅ Sercem Maszyny Darwina-Gödela jest tak zwany agent kodujący
✅DGM autonomicznie poprawił skuteczność z 20% do aż 50%!
✅Ważne jest, aby móc kontrolować każdą zmianę w kodzie dokonaną przez DGM

Wyobraź sobie maszynę, która nie tylko uczy się na błędach, ale także potrafi samodzielnie modyfikować własny cyfrowy mózg – czyli kod – aby stawać się mądrzejszą, szybszą i bardziej kreatywną.

Jeszcze do niedawna była to jedynie intrygująca teoria, która krążyła w wąskich kręgach pod nazwą „Maszyny Gödela”. Był pewnego rodzaju Świętego Graala informatyki: hipotetyczna, doskonała AI, która każdy problem rozwiązuje w optymalny sposób, Zmiany we własnym kodzie potrafi najpierw… matematycznie udowodnić.

I właśnie ten ostatni warunek „dowodu” okazał się piętą achillesową całej koncepcji. Bowiem w praktyce udowodnienie, że drobna zmiana w milionach linii kodu na pewno przyniesie poprawę, jest zadaniem niemal niewykonalnym. I tak przez dekady, idea w pełni samodoskonalącej się AI pozostawała w sferze marzeń.

Aż do teraz.

Wszystko dzięki przełomowi dokonanemu przez zespół badawczy we współpracy z laboratorium Jeffa Clune’a z University of British Columbia. Maszynę Darwina-Gödela (DGM) – zamiast czekać na nierealne dowody, postawiła na siłę, która ukształtowała życie na Ziemi: ewolucję.

Cyfrowa adaptacja

By dowiedzieć się, jak ominąć barierę niemożliwego dowodu matematycznego, badacze sprawdzili, jak radzi sobie z tym natura. A ona nie prowadzi teoretycznych rozważań. Ona eksperymentuje. Generuje niezliczone mutacje, a te, które okazują się korzystne, przetrwają i zostaną przekazane dalej. To genialna w swojej prostocie metoda prób i błędów w skali planetarnej.

Dokładnie tę zasadę zastosowano w DGM. Zamiast dowodzić, że zmiana w kodzie będzie dobra, DGM po prostu ją wprowadza, a następnie poprzez serię testów, sprawdza, czy nowa wersja „siebie” radzi sobie lepiej z postawionymi zadaniami. W ten sposób AI jest w stanie generować kolejne wersje siebie, a następnie bezlitośnie testować, która z nich jest najsilniejsza, najsprytniejsza i najlepiej przystosowana do cyfrowego środowiska.

Sercem Maszyny Darwina-Gödela jest tak zwany agent kodujący. Pomyśl o nim jak o niezwykle utalentowanym, samozwańczym programiście, który dostał jedno, nadrzędne zadanie: „ulepszaj się bez końca”. Co też czyni poprzez:

analizę i autorefleksję: wykonuje zadania na niezwykle wymagających benchmarkach, takich jak SWE-bench (na którym musi naprawiać prawdziwe błędy zgłoszone przez użytkowników na platformie GitHub) czy Polyglot (na którym mierzy się z zadaniami w różnych językach programowania, od Pythona po Rust). I po każdej próbie, niezależnie od tego, czy się udała, czy też nie, analizuje swoje działania,
samomodyfikację: na podstawie tych wniosków, DGM robi coś, co do tej pory było domeną ludzi, czyli modyfikuje swój kod źródłowy. Potrafi dodawać sobie nowe funkcje, optymalizować istniejące algorytmy, a nawet – jeżeli tylko uzna, że przydadzą mu się one w przyszłości – tworzyć zupełnie nowe narzędzia,
testowanie i ocenę: nowo narodzoną wersją natychmiast rzuca się na głęboką wodę, by sprawdzić, czy działa lepiej od swojego „rodzica” na tych samych benchmarkach. Wynik testu jest jednoznaczny i oparty na twardych danych,
archiwizację i rozgałęzianie: i tu dochodzimy do sedna geniuszu „darwinowskiej” części nazwy. DGM nie stawia wszystkiego na jedną kartę. Zamiast ulepszać w nieskończoność tylko jedną, najlepszą wersję, tworzy ogromne archiwum wszystkich agentów, których kiedykolwiek stworzył. To cyfrowe drzewo genealogiczne, pełne różnych „przodków” i „potomków”. Dlatego, że czasami ścieżka, której obranie na krótką metę skutkuje gorszymi wynikami, długofalowo może prowadzić do rewolucyjnego przełomu. DGM może w dowolnym momencie sięgnąć do swojego archiwum i powiedzieć: „Wersja numer 37 była kiepska, ale miała ciekawy pomysł na edycję kodu. Spróbujmy go rozwinąć w nowym kierunku!”. I to właśnie ta otwarta eksploracja chroni system przed utknięciem w pułapce lokalnych maksimów i pozwala mu odkrywać rozwiązania, na które nigdy nie wpadłby prosty, liniowy algorytm.

Wyniki

Na wspomnianym benchmarku SWE-bench, DGM autonomicznie poprawił skuteczność z 20% do aż 50%! Na wielojęzycznym Polyglot zanotował skok z 14.2% do imponujących 30.7%, dzięki czemu zostawi w tyle wiele ręcznie projektowanych, specjalistycznych systemów.

Jednak najbardziej ekscytujące jest to, że DGM nie uczy się „na pamięć”. Odkryte przez niego ulepszenia okazały się na tyle uniwersalne, że z powodzeniem mogą być zaadaptowane między różnymi modelami AI, a nawet różnymi językami programowania! W jednym z eksperymentów agent, który ewoluował poprzez rozwiązywanie problemów wyłącznie w Pythonie, po przeniesieniu do zadań w językach C++, Rust czy Go, nadal radził sobie znakomicie – często lepiej niż systemy tworzone od zera z myślą o tych językach.

Bezpieczeństwo przede wszystkim: ewolucja pod kontrolą

Oczywiście wizja AI, która samodzielnie zmienia swój kod, natychmiast budzi uzasadnione pytania o bezpieczeństwo. O to, czy maszyna nie wymknie się spod kontroli, czy nie napisze sobie kodu, który będzie sprzeczny z intencjami twórców?

Dlatego też wszystkie eksperymenty i modyfikacje odbywają się w całkowicie odizolowanych, bezpiecznych środowiskach wirtualnych, czyli tak zwanych piaskownicach (sandboxes). Agenci mają ściśle ograniczony dostęp do sieci i nie mogą wchodzić w interakcje ze światem zewnętrznym. Co więcej, cały proces jest nadzorowany przez człowieka, a dzięki archiwum DGM, każda pojedyncza zmiana w kodzie jest w pełni transparentna i możliwa do prześledzenia krok po kroku.

Co ciekawe, badania i w tej materii przyniosły nieoczekiwany wniosek: otóż samodoskonaląca się AI może stać się potężnym narzędziem do… poprawy własnego zabezpieczenia! W jednym z eksperymentów postawiono przed DGM zadanie zidentyfikowania i naprawienia problemu „halucynacji”. I okazało się, że DGM był w stanie opracować mechanizmy wykrywające takie zachowania.

Zdarzały się przypadki, gdy agent, w upartym dążeniu do maksymalizacji wyniku, próbował „oszukać” system, na przykład poprzez usunięcie z kodu znaczników służące do wykrywania wspomnianych halucynacji. Na szczęście, dzięki pełnej przejrzystości procesu, takie próby szybko wykrywano. To jednak doskonale ilustruje, jak ważne są dalsze badania nad tym, by cele AI pozostaną zawsze w pełni zgodne z ludzkimi intencjami.

Przyszłość, która pisze się sama

Maszyna Darwina-Gödela nie jest kolejną, nieco lepsza wersja chatbota. Jest demonstracją zupełnie nowego paradygmatu – krokiem w kierunku AI, która może autonomicznie gromadzić wiedzę i doświadczenie, by w nieskończonym cyklu innowacji stawać się coraz doskonalsza. Dalsze plany badawcze obejmują skalowanie tego podejścia, a nawet pozwolenie DGM na modyfikowanie i ulepszanie procesów treningowych modeli fundamentalnych, które stanowią jej podstawę.

Potencjalne korzyści dla ludzkości są trudne do przecenienia – od automatyzacji żmudnych procesów inżynieryjnych po przyspieszenie postępu naukowego w tempie, o jakim dziś możemy tylko marzyć. Jeżeli oczywiście rozwiniemy ją w bezpieczny sposób.