Как нейросети учатся: математика за ChatGPT и Gemini

Каждый раз, когда чатбот отвечает на вопрос или приложение для фотографий распознаёт лицо, нейросеть запускает процесс обучения, который следует одним и тем же основным шагам, независимо от задачи. По данным IBM, этот процесс основан на двух связанных методах: обратном распространении ошибки, которое вычисляет, насколько каждый внутренний параметр способствовал ошибке, и градиентном спуске, методе оптимизации, который использует эти вычисления для коррекции параметров.

Что такое нейросеть на самом деле

Институт искусственного интеллекта, ориентированного на человека (HAI) Стэнфордского университета описывает нейросеть как вычислительную модель, вдохновлённую структурой человеческого мозга, построенную из взаимосвязанных слоёв искусственных 'нейронов', которые обрабатывают и передают информацию. Каждый нейрон принимает числовые входные данные, умножает их на регулируемые значения, называемые весами, добавляет член смещения и передаёт результат через нелинейную функцию активации перед отправкой на следующий слой, согласно описанию архитектуры IBM. Stanford HAI отмечает, что именно эта многослойная структура позволяет нейросетям извлекать закономерности из больших объёмов данных, формируя основу глубокого обучения.

Шаг первый: прямой проход

Обучение начинается с весов и смещений, установленных на случайные значения, объясняет IBM. Во время 'прямого прохода' входные данные проходят через сеть слой за слоем: каждый нейрон вычисляет свою взвешенную сумму, применяет свою функцию активации и пересылает выходные данные, пока финальный слой не создаст прогноз. На этом раннем этапе, поскольку веса случайны, этот прогноз по сути является догадкой.

Шаг второй: измерение ошибки

Затем сеть сравнивает свой прогноз с правильным ответом, используя функцию потерь — формулу, которая количественно определяет, насколько далеко был результат, согласно IBM. Разные задачи используют разные формулы — средняя квадратичная ошибка распространена для предсказания чисел, в то время как кросс-энтропия используется для задач классификации, таких как сортировка изображений по категориям.

Шаг третий: обратное распространение ошибки определяет ответственность

'Обратный проход' — это место, где происходит обучение. IBM описывает обратное распространение ошибки как работу от выходного слоя обратно к входному слою, используя методику исчисления, называемую цепным правилом, для определения того, насколько каждый отдельный вес способствовал общей ошибке. Результат — это градиент: набор значений, по одному для каждого веса и смещения, указывающих направление и размер корректировки, которая снизит ошибку.

IBM указывает на эффективность этого подхода: для сети с одним миллионом весов, тестирование каждого параметра индивидуально методом проб и ошибок потребует более одного миллиона отдельных прямых проходов через сеть. Обратное распространение ошибки достигает той же информации всего за два прохода — один прямой, один обратный.

Шаг четвёртый: градиентный спуск обновляет веса

Когда градиент известен, градиентный спуск перемещает каждый вес на небольшой шаг в направлении, которое снижает ошибку, объясняет IBM. Размер этого шага контролируется 'скоростью обучения': более высокая скорость обучения ускоряет обучение, но рискует превысить оптимальные значения, а более низкая скорость более точна, но медленнее сходится. Четыре шага — прямой проход, расчёт потерь, обратный проход, обновление весов — повторяются снова и снова, часто на миллионах примеров, пока потери не перестанут значительно уменьшаться.

От лабораторной техники к ChatGPT и Gemini

Большие языковые модели применяют этот же цикл обратного распространения ошибки и градиентного спуска в гораздо большем масштабе, на двух отдельных этапах. Первый, предварительное обучение, подвергает модель воздействию огромных объёмов неразмеченного текста — корпусам, содержащим сотни миллиардов токенов, согласно RBC Borealis — и многократно просит её предсказать следующее слово в последовательности. Блог исследований RBC Borealis описывает эту базовую модель как по сути сеть, обученную 'предсказывать следующее слово в частично заполненной входной строке', что учит её грамматике, фактам и общим закономерностям, но сама по себе не делает её надёжным помощником.

Второй этап, тонкая настройка, адаптирует предварительно обученную сеть к специфическому поведению. RBC Borealis описывает три распространённых подхода: контролируемую тонкую настройку на примерах ответов, написанных людьми; обучение с подкреплением от обратной связи человека (RLHF), в котором отдельная модель вознаграждения, обученная на предпочтениях человека, направляет дальнейшие обновления весов; и новые методы, такие как прямая оптимизация предпочтений, которые пропускают отдельную модель вознаграждения, но по-прежнему полагаются на обратное распространение ошибки. Этот этап тонкой настройки превращает простого предсказателя следующего слова в систему, которая следует инструкциям и отклоняет определённые запросы, вместо того чтобы просто продолжить текст в том направлении, которое статистически вероятно.

Почему механизм имеет значение

Поскольку как предварительное обучение, так и тонкая настройка полагаются на один и тот же базовый цикл обратного распространения ошибки и градиентного спуска, улучшения этого основного метода — более быстрое оборудование, лучшие функции потерь, более эффективная оптимизация — влияют на каждое последующее приложение одновременно, от распознавания изображений до разговорных помощников. Stanford HAI отмечает, что нейросети теперь формируют основу систем глубокого обучения, используемых при распознавании лиц, голосовых помощниках и автономных транспортных средствах, все из которых обучаются путём вариаций одного и того же четырёхэтапного цикла, описанного выше.