Sztuczna inteligencja coraz częściej pomaga już nie tylko w pisaniu kodu czy analizie danych, ale także w samych pracach nad kolejnymi modelami. Badacze i eksperci związani m.in. z OpenAI, Anthropic, Microsoftem i Meta zwracają uwagę, że jeśli AI zacznie w dużej mierze automatyzować własny rozwój, może pojawić się tzw. „intelligence explosion”. Taki scenariusz nie jest jednak przesądzony.
W opublikowanym właśnie opracowaniu What if automating AI R&D triggers an intelligence explosion? naukowcy analizują scenariusz, w którym coraz większa część prac związanych z tworzeniem i ulepszaniem modeli AI jest wykonywana przez same systemy sztucznej inteligencji. Wśród autorów znaleźli się m.in. Geoffrey Hinton, Yoshua Bengio, Jakub Pachocki z OpenAI, Jack Clark z Anthropic, Eric Horvitz z Microsoftu oraz Dawn Song z Meta.
Zmiana jest już widoczna - AI nie służy dziś wyłącznie do pisania kodu czy wykonywania pojedynczych zadań badawczych. Agenci potrafią już pisać kod, przeprowadzać eksperymenty i analizować ich wyniki. W części zastosowań pomagają również przy budowie infrastruktury wykorzystywanej później w kolejnych badaniach.
Dobrym przykładem jest samo OpenAI. Firma na początku września opublikowała informacje dotyczące wykorzystania agentów kodujących w swojej organizacji badawczej. Według przedstawionych danych osiągnięto założony wcześniej poziom „automatycznego stażysty badawczego”. Chodzi o system, który pod nadzorem człowieka potrafi wykonywać zadania badawcze, które wcześniej mogły zajmować wykwalifikowanemu badaczowi kilka dni.
Dane przedstawione przez OpenAI pokazują, jak szybko rośnie wykorzystanie takich narzędzi. W połowie sierpnia organizacja badawcza OpenAI wykorzystywała łącznie 3,1 dnia pracy agentów na każdy dzień pracy człowieka. Jednocześnie firma zastrzega, że poszczególne wskaźniki nie mogą być traktowane jako bezpośrednia miara tempa rozwoju modeli. W dalszym ciągu człowiek ustala priorytety badań, ocenia wyniki i podejmuje decyzje dotyczące dalszego rozwoju systemów.
Autorzy wskazują na możliwość powstania swoistego koła napędowego. Im więcej pracy przy rozwoju AI wykonują systemy AI, tym szybciej mogą powstawać ich kolejne, bardziej wydajne wersje. Bardziej wydajne systemy pomagałyby tworzyć jeszcze bardziej wydajne systemy, które z kolei przyspieszałyby kolejne etapy badań.
Właśnie taki scenariusz badacze określają mianem intelligence explosion.
W opracowaniu nie znajdziemy jednak konkretnej daty. Autorzy podkreślają, że tempo dalszego rozwoju zależy od wielu czynników. Wśród nich wymieniane są m.in. ograniczenia mocy obliczeniowej, problemy z automatyzacją poszczególnych etapów badań, malejące korzyści z kolejnych usprawnień oraz czas potrzebny na przeprowadzanie dużych treningów.
Dlatego „intelligence explosion” należy traktować jako **analizowany scenariusz**, a nie prognozę wydarzenia, które na pewno nastąpi.
Większym problemem może być tempo takiego procesu. Jeśli rzeczywiście doszłoby do gwałtownego przyspieszenia prac nad AI, na reakcję mogłoby pozostać znacznie mniej czasu niż obecnie. Autorzy dopuszczają scenariusz, w którym postęp osiągany dziś przez kilka lat mógłby zostać osiągnięty w ciągu miesięcy. W najbardziej radykalnym wariancie okres ten mógłby być jeszcze krótszy.
To właśnie ten potencjalny brak czasu na reakcję jest jednym z powodów, dla których autorzy proponują wcześniejsze przygotowanie mechanizmów nadzoru.
Autorzy badania chcą również większej przejrzystości w kwestii tego, jak duża część badań nad AI jest już wykonywana przez same systemy. Jednym z proponowanych kierunków jest systematyczne raportowanie przez firmy, w jakim zakresie ich prace badawczo-rozwojowe są wykonywane przez systemy AI.
Postulują również przygotowanie mechanizmów pozwalających ograniczać tempo rozwoju w sytuacji, gdyby automatyzacja badań zaczęła prowadzić do niekontrolowanego przyspieszenia. Wśród propozycji pojawiają się także niezależne testy bezpieczeństwa oraz przygotowanie procedur reagowania na sytuacje awaryjne.
Dyskusja nie dotyczy więc już tylko samych modeli. Ważne stają się również laboratoria, infrastruktura, agenci AI i mechanizmy pozwalające kontrolować ich działanie.
O potrzebie takiego zabezpieczenia mówił w ostatnich dniach również Brad Smith, prezes Microsoftu. Podczas rozmowy w czasie Zgromadzenia Ogólnego ONZ wskazywał, że zaawansowane systemy AI powinny mieć możliwość awaryjnego zatrzymania.
Smith wskazywał przy tym, że taki mechanizm nie powinien znajdować się wyłącznie po stronie producenta modelu. Jego zdaniem możliwość wyłączenia systemu powinna istnieć na kilku poziomach: u twórcy modelu, u dostawcy infrastruktury chmurowej oraz w warstwie kontrolującej działanie agentów AI.
Microsoft już wcześniej zaproponował projekt zasad dotyczących własnych modeli AI. Dokument zakłada m.in., że systemy powinny akceptować korektę oraz możliwość ich wyłączenia przez człowieka.
Sam wyłącznik awaryjny nie rozwiąże oczywiście wszystkich problemów związanych z zaawansowaną AI. To tylko jeden z elementów zabezpieczeń, a kontrola nad takim systemem powinna być możliwa na kilku poziomach.
Możliwość napisania kodu przez AI nie jest tu najważniejszą zmianą. Większe znaczenie ma pytanie, jak dużą część całego procesu badawczego można powierzyć agentom. Jeżeli system potrafi nie tylko wykonać polecenie programisty, ale również przeprowadzić eksperyment, przeanalizować jego rezultat, zaproponować kolejne działanie i przygotować kod potrzebny do jego realizacji, zaczyna uczestniczyć w procesie rozwoju technologii.
Na razie człowiek nadal pozostaje w tym procesie kluczowym decydentem. Dane OpenAI pokazują jednak, że udział agentów w pracy badawczej szybko rośnie. Pytanie nie dotyczy już tylko tego, jak inteligentne będą przyszłe modele. Równie ważne staje się to, jak szybko AI będzie pomagać w tworzeniu ich następców.
Z punktu widzenia dalszego rozwoju AI może się więc okazać, że ważniejsze od kolejnych benchmarków będzie tempo, w jakim same systemy zaczną uczestniczyć w tworzeniu swoich następców.
Źródło: CASP, OpenAI, Axios, opracowanie własne. Grafika wygenerowana przy użyciu AI.