수억 명의 사람들이 매일 ChatGPT, Claude, Gemini 또는 유사한 도구에 질문을 입력하지만, 이들 뒤의 소프트웨어는 종종 신비로운 "검은 상자"로 설명됩니다. Google의 기계 학습 집중 과정과 Understanding AI에 게시된 과학 저술가 Timothy B. Lee의 설명에 따르면, 핵심 메커니즘은 들리는 것보다 더 간단합니다. 대규모 언어 모델(LLM)은 그 이전의 모든 것이 주어진 경우 토큰이라고 불리는 텍스트의 작은 청크의 다음 부분을 예측하도록 훈련된 신경망입니다.
단어에서 숫자로: 토큰과 임베딩
LLM이 텍스트를 처리하기 전에 Google의 개발자 문서에 따르면 프롬프트를 토큰으로 분해합니다. 토큰은 전체 단어, 단어의 일부 또는 단일 문자일 수 있습니다. 각 토큰은 벡터로 변환되며, 토큰의 의미에 대해 무언가를 캡처하도록 의도된 임베딩이라고 하는 긴 숫자 목록입니다. Understanding AI의 설명은 이를 지리적 좌표에 비유합니다. 유사한 의미를 가진 단어는 인근 도시가 유사한 위도와 경도를 공유하는 방식과 마찬가지로 광대한 수치 공간에서 서로 가깝게 위치합니다.
주의: 모델이 컨텍스트를 추적하는 방식
사실상 모든 현대 LLM의 아키텍처를 Transformer라고 합니다. Google의 집중 과정은 Transformer가 자기 주의라는 메커니즘에 의존한다고 설명합니다. 이는 텍스트의 모든 토큰이 다른 모든 토큰의 해석에 얼마나 많은 영향을 미쳐야 하는지를 계산합니다. Understanding AI는 쿼리 벡터와 핵심 벡터로 이를 설명합니다. 본질적으로 각 단어는 찾고 있는 다른 단어의 종류를 체크리스트로 작성하고, 주의는 문장 전체에서 이러한 체크리스트를 일치시키므로 모델은 예를 들어 "it"과 같은 대명사가 어떤 명사를 참조하는지 파악할 수 있습니다.
이 단계는 각 단어의 업데이트된 표현을 처리하고 모델을 다음 토큰 예측으로 푸시하는 피드포워드 층이 뒤따릅니다. Understanding AI가 지적하듯이, 주의는 거리에 관계없이 모든 토큰이 다른 모든 토큰을 직접 볼 수 있게 하므로, Transformer는 이전의 순차적 모델보다 길고 복잡한 구절을 더 일관되게 처리합니다.
훈련: 수십억 개의 추측, 인간 라벨 필요 없음
LLM은 마스크 또는 다음 토큰 예측에서 비지도 학습을 통해 주로 훈련됩니다. 즉, 시스템에 대부분의 훈련에 손으로 쓴 "정답"이 제공되지 않습니다. 대신, Google의 문서는 실제 텍스트의 토큰이 숨겨지고 모델이 이를 추측해야 하는 프로세스를 설명합니다. Understanding AI는 책, 웹사이트 및 기타 출처에서 스크래핑된 방대한 텍스트 컬렉션에 걸친 다음 단어 예측 관점에서 동일한 아이디어를 설명합니다. 네트워크 내의 매개변수(Understanding AI는 GPT-3의 1,750억 매개변수를 인용하며, 약 5,000억 단어에 대해 훈련됨)는 처음에 무작위로 설정되고 모델의 추측이 실제 텍스트와 일치할 때까지 추측별로 점진적으로 조정됩니다.
원본 모델을 유용한 어시스턴트로 변환
다음 토큰을 예측하도록만 훈련된 모델은 자동으로 지시를 깔끔하게 따르는 챗봇이 아닙니다. Hugging Face의 강화 학습 인간 피드백(RLHF)에 대한 기술 설명은 OpenAI와 같은 회사가 기본 모델을 어시스턴트로 변환하기 위해 사용하는 추가 단계를 설명합니다. 먼저, 사전 훈련된 모델은 예제 대화에 대한 감독된 미세 조정을 통해 개선될 수 있습니다. 둘째, 인간 검토자는 동일한 프롬프트에 대한 여러 모델 응답을 순위를 지으며, 이러한 순위는 사람이 할 것처럼 출력을 점수 매기는 법을 배우는 별도의 보상 모델을 훈련합니다.
세 번째 단계에서 원본 모델은 강화 학습을 사용하여 조정됩니다. 일반적으로 Proximal Policy Optimization입니다. 그래서 보상 모델이 높게 채점한 응답을 생성합니다. 한편 수학적 페널티는 원본 동작에서 너무 멀리 표류하는 것을 방지합니다. Hugging Face의 방법 설명에 따르면, 이는 보상 점수를 게이밍하기 위해서만 넌센스를 생성하기 시작하는 것을 방지합니다.
챗봇이 여전히 거짓말을 하는 이유
OpenAI 연구원이 발표한 논문 "Why Language Models Hallucinate"는 arXiv에서 이용 가능하며, 날조된 답변은 단순히 패치해야 할 버그가 아니라고 주장합니다. 논문은 환각을 두 가지 연결된 원인으로 귀속시킵니다. 모델이 사전 훈련 중에 그럴듯한 소리 지속을 예측하는 방법의 통계적 부산물, 그리고 이후 모델이 어떻게 평가되는지. 대부분의 벤치마크 및 리더보드는 답변을 맞거나 틀린 것으로 채점하고 불확실성 인정("모르겠습니다")을 틀린 답변으로 취급합니다. 논문에 따르면. 이 설정은 불확실성에 대한 솔직함보다 자신감 있는 추측을 보상하며, 신뢰할 수 있는 기반을 갖지 않은 경우에도 모델이 유창하고 특정 음향의 진술을 생성하도록 계속 밀어붕니다.
모델이 실제로 하는 일을 한 문장으로
이러한 출처에서 설명한 프로세스를 합치면, 챗봇은 프롬프트를 토큰으로 변환하고, 이를 수치 임베딩으로 변환하고, 자기 주의 층을 사용하여 모든 토큰이 서로 어떻게 관련되는지를 측정하고, 단일 가장 가능성이 높은 다음 토큰을 반복적으로 예측합니다. 이 프로세스는 사전 훈련 후에 유용하고 지시를 따르는 답변이 아닌 원본 인터넷 텍스트처럼 보이도록 설계된 인간의 피드백에 의해 형성됩니다.
AI 챗봇 구축의 주요 단계| 단계 | 무슨 일이 발생 | 정보 출처 |
|---|
| 토큰화 | 텍스트가 단어 또는 부분 단어 단위로 분할되어 수치 ID로 변환됩니다 | Google ML 집중 과정 |
|---|
| 임베딩 | 각 토큰은 의미를 인코딩하는 숫자의 벡터가 됩니다 | Understanding AI |
|---|
| 자기 주의 | 모델은 각 토큰이 다른 모든 토큰의 해석에 얼마나 많은 영향을 미쳐야 하는지를 계산합니다 | Google ML 집중 과정; Understanding AI |
|---|
| 사전 훈련 | 모델은 대규모 텍스트 코퍼스에서 마스크 또는 다음 토큰을 예측합니다(예: GPT-3의 경우 약 5,000억 단어) | Understanding AI |
|---|
| 감독된 미세 조정 | 모델은 명령을 따르는 행동을 모방하기 위해 예제 대화를 표시합니다 | Hugging Face RLHF 설명자 |
|---|
| 보상 모델링 | 인간이 여러 모델 출력을 순위를 매기고, 순위는 보상 채점 모델을 훈련합니다 | Hugging Face RLHF 설명자 |
|---|
| RL 정책 최적화 | 모델은 보상 점수를 최대화하기 위해 강화 학습(예: PPO)을 통해 조정됩니다 | Hugging Face RLHF 설명자 |
|---|
![The number of publications about Large Language Models by year grouped by publication types. The patent data for 2024 and 2025 are incomplete due to Patent Publication Delay. [ 1 ]](https://upload.wikimedia.org/wikipedia/commons/thumb/8/81/The_number_of_publications_about_Large_Language_Models_by_year.png/1280px-The_number_of_publications_about_Large_Language_Models_by_year.png)
