생성형 AI의 작동 원리: 텍스트, 이미지, 코드 생성 설명

매우 다른 출력을 다루고 있음에도 불구하고, 텍스트 생성기, 이미지 생성기, 코딩 어시스턴트는 공통 기반을 공유합니다: 대량의 데이터에 대해 학습한 신경망은 통계적 패턴을 학습한 후, 저장된 답변을 검색하는 대신 이러한 패턴을 사용하여 새로운 콘텐츠를 조각별로 구축합니다.

텍스트 생성: 다음 토큰 예측

챗봇 뒤에 있는 것과 같은 Large Language Model은 먼저 텍스트를 토큰이라고 불리는 작은 단위로 분해합니다. 토큰은 전체 단어 또는 단어의 일부일 수 있습니다. IBM의 트랜스포머 모델에 대한 기술 설명서(2025년 3월 28일 발행)에 따르면 각 토큰은 그 의미를 나타내는 임베딩이라고 불리는 숫자 벡터로 변환되며, 토큰의 문 내 위치를 인코딩하기 위해 두 번째 벡터가 추가됩니다.

핵심 메커니즘은 셀프 어텐션입니다: 모든 토큰에 대해 모델은 IBM에 따르면 토큰당 3개의 학습된 벡터(쿼리, 키, 값)를 사용하여 입력의 다른 모든 토큰이 얼마나 관련성이 있는지 계산합니다. 이를 통해 모델은 이전 아키텍처와 같이 단어별로 읽는 대신 텍스트의 어디서나 한 번에 컨텍스트를 가중치 측정할 수 있습니다. GPT와 같은 모델 뒤에 있는 아키텍처인 디코더 전용 트랜스포머는 그 후 텍스트를 자동회귀적으로 생성합니다. 즉, 한 번에 하나의 토큰을 예측하고 그 토큰을 피드백하여 다음 토큰을 예측합니다. IBM이 설명합니다.

Anthropic이 자신의 사이트에 '대규모 언어 모델의 사고 추적'으로 공개한 연구에 따르면, 이 다음 토큰 프로세스는 외부에서 보이는 것보다 더 많은 계획을 포함할 수 있습니다. 한 실험에서, Claude 모델이 시의 한 라인을 쓰고 있을 때, 라인의 나머지 부분을 쓰기 전에 가능한 라이밍 단어에 해당하는 내부 특징을 활성화한 다음, 그 단어에 도달하기 위해 표현을 조정했습니다. 다른 테스트에서, 모델은 예를 들어 달라스가 포함된 주의 수도를 식별하는 것과 같은 다중 단계 질문에 답했습니다. 답변으로 직접 이동하는 대신, 먼저 '텍사스'에 대한 내부 표현을 활성화한 다음 별도로 '오스틴'을 검색했습니다. Anthropic이 보도했습니다.

Anthropic은 또한 모델의 내부 계산과 그 계산에 대한 설명 사이의 간격을 발견했습니다: 수학 계산을 어떻게 수행했는지 물었을 때, Claude는 표준 방법을 설명했지만, Anthropic이 추적한 내부 프로세스는 다른 병렬 접근 방식을 사용하여 대략적인 추정과 최종 숫자의 별도 추적을 결합했습니다.

이미지 생성: 단계별 노이즈 제거

Google의 Imagen을 포함한 대부분의 최신 텍스트-이미지 도구는 텍스트 생성과 반대 방향으로 작동하는 확산 모델을 사용합니다. Google의 Imagen 연구 페이지에 따르면, 시스템은 텍스트 프롬프트를 임베딩으로 변환하는 고정된 대규모 언어 모델(T5-XXL)로 시작합니다. 이는 텍스트 모델에서 사용되는 것과 동일한 유형의 수치 표현입니다. Google의 연구원들은 이 텍스트 인코더의 크기를 확대하는 것이 모델의 이미지 생성 부분을 확대하는 것보다 이미지 품질을 더 향상시켰다고 지적합니다.

확산 모델은 그 후 텍스트 임베딩을 가져와 작은 64x64 픽셀 이미지를 생성합니다. 이는 무작위 시각 노이즈에서 시작하여 반복적인 '노이즈 제거' 프로세스를 실행함으로써 수행됩니다. 모델은 텍스트 임베딩으로 가이드되면서 반복적으로 노이즈를 예측하고 제거합니다. Google의 설명에 따르면 일관된 저해상도 이미지가 남을 때까지입니다. 그 후 이미지는 추가 확산 모델 2개를 사용하여 확대됩니다. 먼저 256x256 픽셀로 확대되고 1024x1024 픽셀로 확대됩니다. Google이 '슈퍼 해상도 확산'이라고 부르는 캐스케이드입니다.

모델이 텍스트 프롬프트를 더 가깝게 따르도록 하기 위해, Google의 연구 페이지는 Imagen이 '새로운 임계값 확산 샘플러'를 도입하며, 분류기 없는 가이던스로 알려진 방법과 함께 사용된다고 말합니다. 이들은 함께 훨씬 더 큰 가이던스 가중치의 사용을 가능하게 합니다. Google은 인간 평가에서 평가자들이 Imagen의 출력을 텍스트 프롬프트와 일치하는 실제 참조 사진과 비교 가능하다고 판단했으며, Google이 구축한 DrawBench라는 벤치마크에서 DALL-E 2를 포함한 다른 텍스트-이미지 시스템보다 선호했다고 보도했습니다.

코드 생성: 컨텍스트에서 구축된 제안

GitHub Copilot과 같은 AI 코딩 어시스턴트는 일반 텍스트에 사용되는 것과 동일한 트랜스포머 기반의 다음 토큰 예측 접근 방식을 적용하지만, 프로그래밍 코드에 특별히 훈련되고 개발자의 작업 공간에 적응합니다. GitHub의 설명서에 따르면, Copilot은 두 가지 주요 모드로 작동합니다: 개발자가 입력할 때 코드를 제안하고, 질문에 답하거나, 코드를 설명하는 '지원 모드'와 개발자가 목표를 설명하고 Copilot이 여러 단계를 거쳐 작동하는 '에이전트 모드'입니다. 저장소를 조사하고, 계획을 제안하고, 파일을 편집하고, 작업을 완료하기 위한 도구를 실행합니다.

GitHub의 설명서는 Copilot의 기능이 저장소별 지침 및 외부 도구 통합과 같은 사용자 지정으로 확장되며, 일부 기능은 비동기식으로 작동하여 코딩 에이전트가 변경 사항을 만들고 지속적인 감시 없이 풀 요청을 열거나 업데이트할 수 있도록 합니다. GitHub은 현재 설명서에 따라 사용되는 모든 모델 또는 컨텍스트가 어떻게 선택되고 기초 모델로 전달되는지의 전체 기술 세부 사항을 공개하지 않습니다.

세 가지 비교 방법

세 가지 접근 방식 모두 훈련 데이터에 따라 다릅니다: 모델의 내부 패턴은 훈련 중에 노출된 텍스트, 이미지 또는 코드에서 나오며, 그 출력은 단일 훈련 예제의 복사본이 아니라 학습된 패턴으로 형성된 새로 생성된 시퀀스 또는 이미지입니다.