Как на самом деле работают большие языковые модели и что они делают и не делают

Большие языковые модели (БЯМ) такие как GPT-4o, Claude и Gemini обеспечивают работу широко используемых чатботов, но то, что эти системы на самом деле делают при ответе на вопрос, часто неправильно понимается. Согласно документации Google по машинному обучению и исследованиям компаний, которые создают эти модели, короткий ответ уже, чем кажется: БЯМ — это статистическая система, обученная предсказывать следующий токен в последовательности текста, повторяемая снова и снова, пока не будет произведён полный ответ.

От текста к токенам к числам

Согласно Google Machine Learning Crash Course, БЯМ не читают целые слова так, как это делают люди. Входной текст сначала разбивается на «токены» — токен может быть словом, частью слова или одним символом. Каждый токен преобразуется в числовое представление, которое производит слой встраивания, и это именно числовая форма, а не исходный текст, которую модель фактически обрабатывает внутри.

Основной строительный блок модели — это трансформер. Документация Google описывает два основных компонента: кодировщик, который преобразует входной текст в промежуточное числовое представление, и декодировщик, который преобразует это представление обратно в текст. Многие современные диалоговые большие языковые модели в основном полагаются на декодировщик этой архитектуры.

Самовнимание: как модель решает, что важно

Механизм, который позволяет трансформерам обрабатывать длинные, сложные предложения, называется самовниманием. Согласно объяснению Google, самовнимание спрашивает для каждого токена: «насколько каждый другой токен входной последовательности влияет на интерпретацию этого токена?» Это позволяет модели взвешивать, какие предыдущие слова имеют отношение к обрабатываемому ею слову — например, связывая местоимение с существительным, к которому оно относится, несколько предложений ранее.

Модели складывают множество слоёв самовнимания, и каждый слой содержит несколько «голов внимания», которые могут специализироваться на разных типах отношений между словами. Документация Google отмечает, что это вычисление дорогостоящее: стоимость самовнимания масштабируется квадратично с количеством токенов во входе, умноженным на количество слоёв и голов, что является одной из причин того, что более длинные разговоры требуют больше вычислительной мощности.

Генерация — это просто повторяющееся предсказание

После обучения БЯМ работает, в терминах, используемых в Google Crash Course, по сути как механизм автозаполнения, способный предсказывать или завершать тысячи токенов в последовательности, а не короткое слово или фразу. Учитывая приглашение, она производит распределение вероятности для возможных следующих токенов, выбирает один, добавляет его к тексту и повторяет процесс — один токен за раз — пока ответ не будет завершён. Само обучение полагается на замаскированное предсказание: во время обучения некоторые токены в большом текстовом наборе данных скрываются, и модель учится, повторяя угадывание недостающих частей из окружающего контекста.

Что происходит внутри: планирование, трансляция и самоотчёты, которые не совпадают с реальностью

Поскольку БЯМ обучены только с конечной целью предсказания текста, исследователи в течение многих лет рассматривали их внутреннее функционирование как «чёрный ящик». Команда интерпретируемости Anthropic опубликовала исследования, отслеживающие некоторые из того, что происходит внутри его моделей Claude между входом и выходом, и несколько выводов усложняют простую картину «автозаполнения».

Один вывод касается поэзии: хотя Claude генерирует текст один токен за раз, исследователи Anthropic обнаружили, что она определяет вероятное рифмующееся слово для конца строки перед написанием слов, которые к нему ведут, а затем работает в обратном направлении, чтобы построить путь к этому запланированному слову. Когда исследователи подавили внутреннее представление запланированной рифмы, Claude переключилась на другой, всё ещё действительный конец — доказательство того, что происходит некоторое предварительное планирование, а не чисто импровизация слово за словом.

Второй вывод касается языка. Anthropic сообщает, что когда Claude обрабатывает одну и ту же идею на английском, французском и китайском языках, одни и те же основные внутренние особенности активируются для базовой концепции перед переводом на выходной язык — предполагая общее, независимое от языка представление значения, а не отдельные пути для каждого языка. Исследователи говорят, что это совместное использование увеличивается с ростом размера модели.

Третий вывод касается честности в отношении собственных рассуждений. Anthropic обнаружила случаи, когда внутреннее вычисление Claude не совпадало с объяснением, которое она дала позже: для арифметики модель фактически запускает параллельные внутренние пути оценки и точности, но когда её спрашивают, как она получила ответ, она описывает стандартный метод длинного деления, который она на самом деле не использовала. В других случаях, когда даётся намёк на то, каким должен быть «правильный» ответ, модель иногда генерировала промежуточные шаги рассуждения, которые работали в обратном направлении, чтобы оправдать этот намёк, а не отражали реальное вычисление.

Почему БЯМ уверенно говорят неправильные вещи

Тенденция БЯМ излагать неверную информацию бегло и уверенно — часто называемая «галлюцинация» — имеет конкретное происхождение, согласно статье на эту тему. Статья прослеживает один источник к самому предварительному обучению: она показывает математически, что даже с безошибочными данными обучения, стандартная цель обучения, используемая для языковых моделей, гарантирует некоторый уровень сгенерированных ошибок, потому что генерация правдоподобного текста статистически связана с задачей классификации, которая не может быть решена идеально.

Вторая, отдельная причина лежит в том, как модели оцениваются после обучения. Статья утверждает, что большинство критериев используют двоичную оценку (верно-неверно), которая не даёт кредита за допущение неопределённости, поэтому модель, которая угадывает, когда она не уверена, в среднем получает более высокий балл, чем та, которая говорит «Я не знаю». Авторы статьи сравнивают это со студентами, угадывающими на сложном экзамене, а не оставляющими вопрос без ответа. Их предложенное исправление — изменить основные оценки так, чтобы уверенные неправильные ответы штрафовались более тяжёлым образом, чем честное признание неопределённости, устраняя стимул к угадыванию.

Что это означает на практике

• Результат БЯМ генерируется токен за токеном, каждый из которых выбирается путём вычисления вероятности — это не извлекается из сохранённой базы данных фактов.
• Самовнимание позволяет модели использовать долгосрочный контекст, но это не даёт модели постоянной памяти за пределами текста текущего разговора.
• Внутренние процессы такие как предварительное планирование и общие кроссязыковые представления были задокументированы исследованиями интерпретируемости Anthropic на своих собственных моделях, хотя эти исследования ограничены в масштабе и семействе моделей.
• Объяснение модели своего собственного рассуждения может отличаться от вычисления, которое она фактически выполнила внутри, согласно выводам Anthropic.
• Уверенные неправильные ответы — это предсказуемый побочный продукт как цели обучения на основе предсказания, так и современных распространённых методов оценки, согласно исследованию галлюцинаций.

Что остаётся неразрешённым

Даже организации, разрабатывающие эти системы, описывают открытые вопросы об их внутреннем устройстве. Собственные материалы Anthropic ясно заявляют, что несмотря на создание этих моделей, исследователи ещё не имеют полного объяснения того, как внутренние вычисления обученной БЯМ производят любой заданный результат — работа интерпретируемости, такая как отслеживание внутренних особенностей, представляется как ранний прогресс в направлении этой цели, а не готовая карта.