Jak sieci neuronowe się uczą: matematyka za ChatGPT i Gemini

Za każdym razem, gdy chatbot odpowiada na pytanie lub aplikacja do zdjęć rozpoznaje twarz, sieć neuronowa uruchamia proces uczenia się, który podąża za tymi samymi podstawowymi krokami, niezależnie od zadania. Według IBM proces ten opiera się na dwóch powiązanych technikach: propagacji wstecznej, która oblicza, ile każdy parametr wewnętrzny przyczynił się do błędu, i spadku gradientowym, metodzie optymalizacji, która wykorzystuje te obliczenia do poprawy parametrów.

Co to właściwie jest sieć neuronowa

Instytut Stanford ds. sztucznej inteligencji skoncentrowanej na człowieku (HAI) opisuje sieć neuronową jako model obliczeniowy inspirowany strukturą ludzkiego mózgu, zbudowany z połączonych warstw sztucznych 'neuronów', które przetwarzają i przesyłają informacje. Każdy neuron przyjmuje numeryczne dane wejściowe, mnoży je przez regulowane wartości zwane wagami, dodaje wyraz odchylenia i przekazuje wynik przez nieliniową funkcję aktywacji przed wysłaniem go do następnej warstwy, zgodnie z opisem architektury IBM. Stanford HAI zauważa, że to właśnie ta warstwowa struktura pozwala sieciom neuronom wyodrębniać wzorce z dużych ilości danych, tworząc podstawę głębokich sieci neuronowych.

Krok pierwszy: przejście do przodu

Trening rozpoczyna się z wagami i odchyleniami ustawionymi na wartości losowe, wyjaśnia IBM. Podczas 'przejścia do przodu' dane wejściowe przechodzą przez sieć warstwa po warstwie: każdy neuron oblicza swoją ważoną sumę, stosuje swoją funkcję aktywacji i przekazuje wynik, aż ostateczna warstwa wytworzy prognozę. Na tym wczesnym etapie, ponieważ wagi są losowe, ta prognoza jest zasadniczo zgadnięciem.

Krok drugi: pomiar błędu

Sieć porównuje następnie swoją prognozę z prawidłową odpowiedzią za pomocą funkcji straty — formuły, która określa ilościowo, jak daleko był wynik, według IBM. Różne zadania wykorzystują różne formuły — średni błąd kwadratowy jest powszechny do przewidywania liczb, podczas gdy entropia krzyżowa jest używana do zadań klasyfikacji, takich jak sortowanie obrazów do kategorii.

Krok trzeci: propagacja wsteczna określa odpowiedzialność

'Przejście wstecz' to miejsce, gdzie zachodzi uczenie. IBM opisuje propagację wsteczną jako pracę od warstwy wyjściowej z powrotem do warstwy wejściowej, używając techniki rachunku różniczkowego zwanej regułą łańcucha do określenia, ile każda indywidualna waga przyczyniła się do ogólnego błędu. Wynikiem jest gradient: zbiór wartości, po jednej dla każdej wagi i odchylenia, wskazujący kierunek i wielkość dostosowania, które by zmniejszyło błąd.

IBM wskazuje na wydajność tego podejścia: dla sieci z jednym milionem wag, testowanie każdego parametru indywidualnie metodą prób i błędów wymagałoby ponad miliona osobnych przejść do przodu przez sieć. Propagacja wsteczna osiąga te same informacje w zaledwie dwóch przejściach — jedno do przodu, jedno wstecz.

Krok czwarty: spadek gradientowy aktualizuje wagi

Gdy gradient jest znany, spadek gradientowy przesuwa każdą wagę małym krokiem w kierunku, który obniża błąd, wyjaśnia IBM. Rozmiar tego kroku jest kontrolowany przez 'tempo nauki': wyższe tempo nauki przyspiesza trening, ale ryzykuje przekroczenie optymalnych wartości, podczas gdy niższe tempo jest dokładniejsze, ale wolniej się zbiega. Cztery kroki — przejście do przodu, obliczenie straty, przejście wstecz, aktualizacja wagi — powtarzają się wiele razy, często na milionach przykładów, aż strata przestanie znacząco się zmniejszać.

Od techniki laboratoryjnej do ChatGPT i Gemini

Duże modele języka stosują ten sam cykl propagacji wstecznej i spadku gradientowego w znacznie większej skali, na dwóch odrębnych etapach. Pierwszy, wstępny trening, eksponuje modelowi ogromne ilości niezapisanego tekstu — korpusy zawierające setki miliardów tokenów, według RBC Borealis — i wielokrotnie prosi go o przewidzenie następnego słowa w sekwencji. Blog badawczy RBC Borealis opisuje ten model fundamentalny jako zasadniczo sieć wytrenowaną do 'przewidywania następnego słowa w częściowo wypełnianym ciągu wejściowym', co uczy go gramatyki, faktów i ogólnych wzorców, ale sam w sobie nie czyni go niezawodnym asystentem.

Drugi etap, dostrajanie, dostosowuje wstępnie wytrenowaną sieć do określonego zachowania. RBC Borealis opisuje trzy powszechne podejścia: nadzorowane dostrajanie na przykładach odpowiedzi napisanych przez ludzi; uczenie się ze wzmocnieniem z informacji zwrotnej od człowieka (RLHF), w którym oddzielny model nagród wytrenowany na preferencjach człowieka kieruje dalszymi aktualizacjami wagi; i nowsze metody takie jak optymalizacja preferencji bezpośredniej, które pomijają oddzielny model nagród, ale nadal polegają na propagacji wstecznej. Ten etap dostrajania to co zmienia ogólnego predyktora następnego słowa w system, który podąża za instrukcjami i odrzuca pewne żądania, zamiast po prostu kontynuować tekst w kierunku, który jest statystycznie prawdopodobny.

Dlaczego mechanizm ma znaczenie

Ponieważ zarówno wstępny trening, jak i dostrajanie opierają się na tym samym podstawowym cyklu propagacji wstecznej i spadku gradientowym, ulepszenia tej podstawowej techniki — szybszy sprzęt, lepsze funkcje straty, bardziej efektywna optymalizacja — wpływają na każdą aplikację podrzędną jednocześnie, od rozpoznawania obrazów do asystentów konwersacyjnych. Stanford HAI zauważa, że sieci neuronowe teraz stanowią podstawę systemów głębokich sieci neuronowych używanych w rozpoznawaniu twarzy, asystentach głosowych i autonomicznych pojazdach, które wszystkie są trenowane poprzez warianty tego samego czterokrokowego cyklu opisanego powyżej.