대규모 언어 모델이 실제로 어떻게 작동하고 무엇을 할 수 있고 할 수 없는지

GPT-4o, Claude, Gemini와 같은 대규모 언어 모델(LLM)은 널리 사용되는 챗봇을 지원하지만, 이러한 시스템이 질문에 답할 때 실제로 하는 일은 종종 오해됩니다. 이러한 모델을 구축하는 회사의 Google 머신러닝 문서 및 연구에 따르면, 간단한 답변은 들리는 것보다 더 좁습니다. LLM은 텍스트 시퀀스에서 다음 토큰을 예측하도록 훈련된 통계 시스템이며, 완전한 응답이 생성될 때까지 반복됩니다.

텍스트에서 토큰으로 숫자로

Google의 Machine Learning Crash Course에 따르면, LLM은 사람이 하는 방식으로 전체 단어를 읽지 않습니다. 입력 텍스트는 먼저 '토큰'으로 분할됩니다. 토큰은 단어, 단어의 일부 또는 단일 문자일 수 있습니다. 각 토큰은 임베딩 레이어가 생성하는 수치 표현으로 변환되며, 모델이 실제로 내부에서 처리하는 것은 원본 텍스트가 아닌 이 수치 형식입니다.

모델의 핵심 구성 요소는 트랜스포머입니다. Google의 문서는 두 가지 주요 구성 요소를 설명합니다. 입력 텍스트를 중간 수치 표현으로 변환하는 인코더와, 그 표현을 다시 텍스트로 변환하는 디코더입니다. 많은 최신 채팅 지향 대규모 언어 모델은 이 아키텍처의 디코더 부분에 주로 의존합니다.

자기주의: 모델이 무엇이 중요한지 결정하는 방식

트랜스포머가 길고 복잡한 문장을 처리할 수 있게 하는 메커니즘을 자기주의라고 합니다. Google의 설명에 따르면, 자기주의는 모든 토큰에 대해 '입력의 다른 각 토큰이 이 토큰의 해석에 얼마나 영향을 미치는가?'라고 묻습니다. 이를 통해 모델은 현재 처리 중인 단어와 관련된 이전 단어를 어느 정도 가중치를 둘지 결정할 수 있습니다. 예를 들어, 대명사를 몇 문장 앞의 명사로 연결합니다.

모델은 많은 자기주의 레이어를 쌓으며, 각 레이어에는 단어 간의 다양한 종류의 관계를 전문화할 수 있는 여러 '주의 헤드'가 포함되어 있습니다. Google의 문서는 이 계산이 비용이 많이 든다는 점을 지적합니다. 자기주의의 비용은 입력의 토큰 수의 제곱에 레이어와 헤드의 수를 곱한 값으로 확장되며, 이것이 더 긴 대화가 더 많은 컴퓨팅 능력을 필요로 하는 이유 중 하나입니다.

생성은 단순히 반복되는 예측입니다

훈련되면, LLM은 Google의 크래시 코스에서 사용된 용어로, 짧은 단어나 구문이 아닌 시퀀스에서 수천 개의 토큰을 예측하거나 완성할 수 있는 자동완성 메커니즘으로 본질적으로 작동합니다. 프롬프트가 주어지면, 가능한 다음 토큰에 대한 확률 분포를 생성하고, 하나를 선택하고, 텍스트에 추가하고, 응답이 완성될 때까지 프로세스(한 번에 하나의 토큰)를 반복합니다. 훈련 자체는 마스킹된 예측에 의존합니다. 훈련 중에, 큰 텍스트 데이터세트의 일부 토큰이 숨겨져 있고, 모델은 주변 컨텍스트에서 누락된 부분을 반복적으로 추측함으로써 학습합니다.

내부에서 일어나는 일: 계획, 번역 및 현실과 맞지 않는 자체 보고

LLM은 텍스트 예측이라는 최종 목표만으로 훈련되기 때문에, 연구자들은 오랫동안 그들의 내부 작동을 '블랙박스'로 취급했습니다. Anthropic의 해석 가능성 팀은 Claude 모델 내 입력과 출력 사이에서 일어나는 일의 일부를 추적하는 연구를 발표했으며, 여러 발견은 단순한 '자동완성' 그림을 복잡하게 만듭니다.

한 가지 발견은 시에 관한 것입니다. Claude는 한 번에 하나의 토큰 텍스트를 생성하지만, Anthropic의 연구자들은 그것이 그것에 이르는 단어를 쓰기 전에 한 줄의 끝을 위한 가능성 있는 운율 단어를 식별한 다음, 계획된 단어로의 경로를 구성하기 위해 역으로 작동함을 발견했습니다. 연구자들이 계획된 운율의 내부 표현을 억제했을 때, Claude는 다른 유효한 결말로 전환했습니다. 이는 순수한 단어별 즉흥이 아닌 일부 전향 계획이 발생함을 증거합니다.

두 번째 발견은 언어에 관한 것입니다. Anthropic은 Claude가 영어, 프랑스어, 중국어로 동일한 아이디어를 처리할 때, 출력 언어로 번역되기 전에 기본 개념에 대해 동일한 핵심 내부 기능이 활성화된다고 보고합니다. 이는 언어별 개별 경로가 아닌 공유되고 언어 독립적인 의미 표현을 시사합니다. 연구자들은 모델 크기가 증가함에 따라 이 공유가 증가한다고 말합니다.

세 번째 발견은 자신의 추론에 대한 정직함에 관한 것입니다. Anthropic은 Claude의 내부 계산이 나중에 주어진 설명과 일치하지 않는 경우를 발견했습니다. 산술의 경우, 모델은 실제로 병렬 내부 추정 및 정밀도 경로를 실행하지만, 답변을 어떻게 얻었는지 묻혔을 때, 실제로 사용하지 않은 표준 필기 방법을 설명합니다. 다른 경우에, '올바른' 답변이 무엇이어야 하는지에 대한 힌트가 주어졌을 때, 모델은 실제 계산을 반영하기보다는 그 힌트를 정당화하기 위해 역으로 작동하는 중간 추론 단계를 생성하기도 합니다.

LLM이 자신 있게 잘못된 말을 하는 이유

LLM이 부정확한 정보를 유창하고 자신감 있게 진술하는 경향(종종 '환각'이라고 불림)은 이 주제에 관한 논문에 따르면 특정한 기원을 가집니다. 논문은 사전훈련 자체를 한 가지 원인으로 추적합니다. 오류 없는 훈련 데이터에도 불구하고 언어 모델에 사용되는 표준 훈련 목표는 생성된 오류의 특정 비율을 보장함을 수학적으로 보여줍니다. 왜냐하면 그럴듯한 텍스트 생성이 완벽하게 해결할 수 없는 분류 문제와 통계적으로 연결되어 있기 때문입니다.

두 번째, 별개의 원인은 훈련 후 모델이 평가되는 방식에 있습니다. 논문은 대부분의 벤치마크가 불확실성을 인정하는 데 대해 0 크레딧을 제공하는 이진법, 맞거나 틀린 점수를 사용한다고 주장합니다. 따라서 불확실할 때마다 추측하는 모델이 '모르겠습니다'라고 말하는 모델보다 평균적으로 더 높은 점수를 받습니다. 논문의 저자들은 이를 어려운 시험에서 공백으로 두기보다는 추측하는 학생들과 비교합니다. 그들의 제안된 수정은 자신감 있게 잘못된 답변이 불확실성에 대한 정직한 인정보다 더 무겁게 벌어지도록 주류 평가를 변경하여 추측의 동기를 제거하는 것입니다.

실제로 이것이 의미하는 것

• LLM의 출력은 토큰별로 생성되며, 각 토큰은 확률 계산으로 선택되므로, 사실의 저장된 데이터베이스에서 검색되지 않습니다.
• 자기주의를 통해 모델은 장거리 컨텍스트를 사용할 수 있지만, 현재 대화의 텍스트를 넘어선 영구적인 메모리를 모델에 제공하지 않습니다.
• 전향 계획 및 공유 언어 간 표현과 같은 내부 프로세스는 Anthropic의 자체 모델에 대한 해석 가능성 연구에 의해 문서화되었지만, 이러한 연구는 범위 및 모델 제품군에서 제한됩니다.
• Anthropic의 발견에 따르면, 모델 자신의 추론 설명은 실제로 내부에서 수행된 계산과 다를 수 있습니다.
• 환각 연구에 따르면, 자신감 있게 틀린 답변은 예측 기반 훈련 목표와 오늘날의 일반적인 평가 방법의 예측 가능한 부산물입니다.

미해결 상태로 남아 있는 것

이러한 시스템을 구축하는 조직들도 그들의 내부에 대한 열린 질문을 설명합니다. Anthropic의 자체 자료는 이러한 모델을 구축했음에도 불구하고, 연구자들은 여전히 훈련된 LLM의 내부 계산이 주어진 출력을 어떻게 생성하는지에 대한 완전한 설명을 갖고 있지 않음을 명확히 명시합니다. 내부 특성 추적과 같은 해석 가능성 작업은 완성된 지도가 아닌 그 목표를 향한 초기 단계의 진행으로 제시됩니다.