Как на самом деле работают ИИ-чатботы типа ChatGPT и Claude, объяснено

Сотни миллионов людей каждый день задают вопросы в ChatGPT, Claude, Gemini и подобные инструменты, но программное обеспечение, стоящее за ними, часто описывается как загадочный "чёрный ящик". Согласно курсу Google по машинному обучению и объяснению научного писателя Тимоти Б. Ли, опубликованному в Understanding AI, основной механизм проще описать, чем кажется: большая языковая модель (LLM) — это нейронная сеть, обученная предсказывать следующий небольшой фрагмент текста, называемый токеном, исходя из всего, что было до этого.

От слов к числам: токены и встраивания

Прежде чем LLM может обрабатывать текст, она разбивает подсказку на токены — единицы, которые могут быть целым словом, частью слова или отдельным символом, согласно документации разработчиков Google. Каждый токен преобразуется в вектор, длинный список чисел, называемый встраиванием, который должен отражать что-то о значении токена. Объяснение на Understanding AI сравнивает это с географическими координатами: слова с похожими значениями оказываются расположены рядом друг с другом в огромном числовом пространстве, так же как близлежащие города имеют похожие широту и долготу.

Внимание: как модель отслеживает контекст

Архитектура, лежащая в основе практически всех современных LLM, называется Трансформер. Курс Google по машинному обучению объясняет, что Трансформер опирается на механизм, называемый самовниманием, который вычисляет, насколько каждый токен в тексте должен влиять на интерпретацию каждого другого токена. Understanding AI иллюстрирует это векторами запроса и ключа: каждое слово фактически создает контрольный список типов других слов, которые оно ищет, и внимание соответствует этим контрольным спискам в предложении, так что модель может, например, определить, к какому существительному относится местоимение вроде "it".

За этим шагом следуют полносвязные слои, которые обрабатывают обновленное представление каждого слова и направляют модель к предсказанию следующего токена, отмечает Understanding AI. Поскольку внимание позволяет каждому токену смотреть непосредственно на каждый другой токен, независимо от расстояния, Трансформеры обрабатывают длинные, сложные отрывки более последовательно, чем последовательные модели, которые были до них.

Обучение: миллиарды предположений, без необходимости в человеческих метках

LLM обучаются в основном посредством неконтролируемого обучения на маскировании или предсказании следующего токена, что означает, что система не получает вручную написанные "правильные ответы" для большей части своего обучения. Вместо этого документация Google описывает процесс, при котором токены в реальном тексте скрываются, и модель должна их угадать; Understanding AI описывает ту же идею с точки зрения предсказания следующего слова на огромных наборах текстов, собранных из книг, веб-сайтов и других источников. Параметры внутри сети — Understanding AI приводит пример 175 миллиардов параметров GPT-3, обученных на примерно 500 миллиардах слов — изначально устанавливаются случайным образом и постепенно корректируются, предсказание за предсказанием, пока предположения модели не совпадут с реальным текстом.

Преобразование сырой модели в полезного помощника

Модель, обученная только предсказывать следующий токен, не является автоматически чатботом, который вежливо следует инструкциям. Техническое объяснение Hugging Face о обучении с подкреплением из человеческой обратной связи (RLHF) описывает дополнительные шаги, которые компании, такие как OpenAI, используют для преобразования базовой модели в помощника. Во-первых, предварительно обученная модель может быть доработана путем контролируемой точной настройки на примере разговоров. Во-вторых, человеческие рецензенты ранжируют несколько ответов модели на один и тот же запрос, и эти рейтинги обучают отдельную модель вознаграждения, которая учится оценивать выходные данные так, как это делал бы человек.

На третьем этапе исходная модель корректируется с использованием обучения с подкреплением — обычно оптимизации проксимальной политики — чтобы она выдавала ответы, которые модель вознаграждения оценивает высоко, в то время как математический штраф не позволяет ей отдаляться так далеко от своего первоначального поведения, чтобы начать генерировать бессмыслицу чисто для манипулирования оценкой вознаграждения, согласно описанию метода Hugging Face.

Почему чатботы всё ещё выдумывают вещи

Статья, выпущенная исследователями OpenAI, "Почему языковые модели галлюцинируют", доступная на arXiv, утверждает, что выдуманные ответы — это не просто ошибка, которую нужно исправить. В статье галлюцинации приписываются двум связанным причинам: статистическому побочному продукту того, как модели учатся предсказывать правдоподобно звучащие продолжения во время предварительного обучения, и способу оценки моделей впоследствии. Большинство показателей и таблиц лидеров оценивают ответ как правильный или неправильный и рассматривают признание неопределенности — "я не знаю" — как неправильный ответ, говорится в статье. Такая система вознаграждает уверенное угадывание честности относительно неопределенности, что побуждает модели продолжать производить четкие, специфично звучащие утверждения, даже когда у них нет надежной основы для них.

Что модель на самом деле делает в одном предложении

Если объединить все это, процесс, описанный в этих источниках, выглядит следующим образом: чатбот преобразует подсказку в токены, преобразует их в числовые встраивания, использует слои самовнимания, чтобы взвесить, как каждый токен связан с каждым другим, и многократно предсказывает один наиболее вероятный следующий токен — процесс, сформированный после предварительного обучения человеческой обратной связью, предназначенной для того, чтобы эти предсказания напоминали полезные, следующие инструкциям ответы, а не сырой интернет-текст.