신경망이 어떻게 학습하는지: ChatGPT와 Gemini 뒤의 수학

챗봇이 질문에 답할 때마다 또는 사진 앱이 얼굴을 인식할 때마다, 신경망은 작업에 관계없이 동일한 기본 단계를 따르는 학습 프로세스를 실행하고 있습니다. IBM에 따르면 이 프로세스는 두 가지 연결된 기술에 기반합니다: 각 내부 매개변수가 오류에 얼마나 많이 기여했는지를 계산하는 역전파(backpropagation)와 이러한 계산을 사용하여 매개변수를 수정하는 최적화 방법인 경사하강법(gradient descent)입니다.

신경망이 실제로 무엇인가

스탠포드 인간중심 AI 연구소(HAI)는 신경망을 인간 뇌의 구조에서 영감을 받은 계산 모델로 설명하며, 정보를 처리하고 전달하는 인공 '뉴런'의 상호 연결된 층으로 구성되어 있습니다. IBM의 아키텍처 설명에 따르면, 각 뉴런은 숫자 입력을 받아서 가중치라고 불리는 조정 가능한 값으로 곱한 후 편향(bias) 항을 추가하고 결과를 비선형 활성화 함수에 통과시킨 후 다음 층으로 전송합니다. Stanford HAI는 이러한 계층 구조가 신경망이 대량의 데이터에서 패턴을 추출할 수 있게 하며 딥러닝의 기초를 형성한다고 지적합니다.

첫 번째 단계: 순방향 전달(Forward Pass)

IBM의 설명에 따르면 훈련은 가중치와 편향을 임의의 값으로 설정하는 것으로 시작합니다. '순방향 전달(forward pass)' 중에 입력 데이터는 네트워크를 층별로 이동합니다: 각 뉴런은 가중 합을 계산하고 활성화 함수를 적용하며 출력을 전달하며, 최종 층이 예측을 생성할 때까지 계속됩니다. 이 초기 단계에서는 가중치가 임의이므로 그 예측은 본질적으로 추측입니다.

두 번째 단계: 오류 측정

IBM에 따르면 네트워크는 출력이 얼마나 벗어났는지를 정량화하는 공식인 손실 함수(loss function)를 사용하여 예측과 올바른 답을 비교합니다. 다양한 작업은 다양한 공식을 사용합니다. 평균제곱오차(mean squared error)는 숫자 예측에 일반적이고 교차 엔트로피(cross-entropy)는 이미지를 범주로 정렬하는 것과 같은 분류 작업에 사용됩니다.

세 번째 단계: 역전파가 오류의 원인을 추적

'역방향 전달(backward pass)'이 학습이 일어나는 곳입니다. IBM은 역전파를 출력 층에서 입력 층으로 역방향으로 작동하며 체인 규칙(chain rule)이라는 미적분학 기법을 사용하여 각 개별 가중치가 전체 오류에 얼마나 기여했는지를 결정한다고 설명합니다. 그 결과는 그래디언트(gradient): 모든 가중치와 편향에 대해 하나씩의 값 세트로, 오류를 줄일 것 같은 조정의 방향과 크기를 나타냅니다.

IBM은 이 접근 방식의 효율성을 지적합니다: 100만 개의 가중치를 가진 네트워크의 경우 각 매개변수를 시행착오를 통해 개별적으로 테스트하려면 네트워크를 통한 100만 개 이상의 별도 순방향 전달이 필요합니다. 역전파는 단 두 번의 전달(하나의 순방향 전달과 하나의 역방향 전달)로 동일한 정보에 도달합니다.

네 번째 단계: 경사하강법이 가중치를 업데이트

IBM의 설명에 따르면 그래디언트를 알면 경사하강법은 각 가중치를 오류를 낮추는 방향으로 작은 단계만큼 이동시킵니다. 그 단계의 크기는 '학습률(learning rate)'에 의해 제어됩니다: 더 높은 학습률은 훈련을 가속화하지만 최적값을 초과할 위험이 있으며, 더 낮은 학습률은 더 정확하지만 수렴이 더 느립니다. 네 가지 단계(순방향 전달, 손실 계산, 역방향 전달, 가중치 업데이트)는 손실이 의미 있게 감소하지 않을 때까지 수백만 개의 예시에 걸쳐 반복됩니다.

실험실 기법에서 ChatGPT와 Gemini로

대규모 언어 모델은 이 동일한 역전파 및 경사하강법 사이클을 훨씬 더 큰 규모로, 두 가지 별개 단계에 걸쳐 적용합니다. 첫 번째 단계인 사전 훈련(pretraining)은 모델을 대량의 레이블이 없는 텍스트에 노출시킵니다. RBC Borealis에 따르면 수천억 개의 토큰을 포함하는 말뭉치(corpora)이며, 시퀀스에서 다음 단어를 예측하도록 반복적으로 요청합니다. RBC Borealis의 연구 블로그는 이 기초 모델을 근본적으로 '부분적으로 완성된 입력 문자열의 다음 단어를 예측하도록 훈련된 네트워크'로 설명하며, 이는 문법, 사실, 일반적인 패턴을 가르치지만 그 자체로는 신뢰할 수 있는 어시스턴트를 만들지 못합니다.

두 번째 단계인 미세 조정(fine-tuning)은 사전 훈련된 네트워크를 특정 동작에 적응시킵니다. RBC Borealis는 세 가지 일반적인 접근 방식을 개략적으로 설명합니다: 인간이 작성한 예시 답변에 대한 감독 미세 조정(supervised fine-tuning), 인간 피드백에서의 강화 학습(RLHF). 이에서는 인간의 선호도에 따라 훈련된 별도의 보상 모델이 추가 가중치 업데이트를 유도합니다. 그리고 직접 선호도 최적화(direct preference optimisation)와 같은 새로운 방법. 이는 별도의 보상 모델을 건너뛰지만 역전파에 의존합니다. 이 미세 조정 단계는 일반적인 다음 단어 예측기를 지시를 따르고 통계적으로 가능성이 있는 방향으로 텍스트를 계속 진행하기보다는 특정 요청을 거부하는 시스템으로 변환하는 것입니다.

메커니즘이 중요한 이유

사전 훈련과 미세 조정이 모두 동일한 기본 역전파 및 경사하강법 루프에 의존하기 때문에, 그 핵심 기술에 대한 개선(더 빠른 하드웨어, 더 나은 손실 함수, 더 효율적인 최적화)은 이미지 인식에서 대화형 어시스턴트까지 모든 다운스트림 애플리케이션에 한 번에 영향을 미칩니다. Stanford HAI는 신경망이 현재 얼굴 인식, 음성 어시스턴트, 자동운전차에 사용되는 딥러닝 시스템의 기초를 형성하고 있으며, 이 모든 것은 위에 설명한 동일한 4단계 주기의 변형을 통해 훈련된다고 지적합니다.