AI 언어 모델이 환각을 보는 이유: 거짓 답변 뒤의 연구

AI 환각이란 언어 모델에 의해 생성된 진술로, 유창하고 자신 있어 보이지만 사실상 잘못되었습니다. 조작된 인용, 잘못된 날짜, 존재하지 않는 사람입니다. 2025년 9월에 발표된 연구 논문에서 OpenAI 연구원들은 이러한 용어로 환각을 설명하고, 현재의 훈련 및 평가 방법으로는 이 문제를 완전히 해결할 수 없다고 말합니다.

훈련 프로세스가 오류를 만드는 방법

OpenAI 논문에 따르면, arXiv에 게시된 것으로, 설명의 일부는 모델 사전 훈련 방식에 있습니다. 사전 훈련 중에 모델은 유창한 텍스트에서만 학습하며, 어떤 진술이 사실인지 거짓인지 표시하는 라벨은 없습니다. 이는 통계적 목적(교차 엔트로피 손실)으로 훈련되며, 사실을 검증하는 것이 아닌 타당한 다음 단어를 예측하는 것을 보상합니다.

연구원들은 훈련 데이터 자체에 오류가 없는 경우에도 이것이 오류를 생성한다는 것을 보여줍니다. 훈련 데이터에 한 번만 나타나는 사실의 경우—연구원들은 사람의 생일을 예로 들었습니다—논문의 분석에서 이러한 '싱글톤' 사실이 훈련 세트에서 차지하는 비율만큼 높은 환각률을 발견합니다. 다시 말해, 사실이 한 번만 언급된 경우, 모델은 수학적으로 그것을 잘못 이해할 가능성이 높습니다. 논문은 컴퓨팅 능력에 제한이 없는 모델에서도 일부 오류가 불가피하다고 말하며, 특정 작업은 계산적으로 다루기 어렵다고 설명합니다.

채점 시스템이 추측을 보상하는 이유

논문의 두 번째 주장은 사전 훈련 후 모델을 평가하는 방법에 관한 것입니다. 언어 모델을 객관식 시험을 보는 학생에 비유합니다. 빈 답은 0점을 받으므로, 모든 틀린 답이 무답과 같은 비용이 들 때 추측이 항상 통계적으로 더 나은 전략입니다. OpenAI 연구원들은 광범위하게 사용되는 10개의 AI 벤치마크—GPQA, MMLU-Pro, SWE-bench를 포함—를 검토했고, 9개가 '모르겠습니다'와 같은 답에 0점을 주는 이진 채점을 사용한다는 것을 발견했으며, 이는 틀린 답과 같은 점수입니다.

논문이 주장하는 바에 따르면, 그 채점 패턴은 자신 있는 추측이 평균적으로 정직한 보류보다 더 잘 점수를 받기 때문에 모델이 불확실성을 인정하기보다는 계속 추측하도록 밀어붕니다. TechCrunch는 논문을 보도하며, 이를 운이 좋은 정답과 진정으로 잘 뒷받침된 답을 같은 방식으로 보상하여 잘못된 인센티브를 만드는 평가라고 설명했습니다.

추론 모델은 더 많지 않고 더 환각을 보았습니다

이 추세는 오래된 모델에만 국한되지 않습니다. OpenAI의 자체 시스템 카드(2025년 4월에 출시된 o3 및 o4-mini 추론 모델용, TechCrunch가 보도함)는 회사의 내부 PersonQA 벤치마크(사람에 대한 사실 질문을 테스트함)에서 최신 추론 시스템의 환각률이 상승했음을 발견했습니다.

OpenAI는 추론 모델이 확장됨에 따라 환각이 증가하는 이유를 이해하기 위해 더 많은 연구가 필요하다고 말했으며, 이러한 모델이 전체적으로 더 많은 주장을 하므로 더 많은 정확한 문장과 더 많은 부정확한 문장을 생성한다고 언급했습니다. AI 연구 그룹 Transluce의 연구원 Neil Chowdhury가 TechCrunch에 인용되어 한 가지 가설을 제시했습니다: o 시리즈 추론 모델을 훈련하는 데 사용되는 강화 학습 유형이 표준 훈련 기법이 일반적으로 완화하는 문제를 증폭할 수 있습니다.

OpenAI는 이를 수정하기 위해 무엇을 제안합니까

2025년 9월 논문은 별도의 환각 테스트를 추가하는 대신 벤치마크를 채점하는 방법을 변경할 것을 제안합니다. 제안된 수정은 채점 지침에 명확한 신뢰도 임계값을 구축하는 것입니다. 예를 들어, 모델에 75% 이상 자신이 있을 때만 질문에 답하도록 지시하고, 실수는 기권보다 더 많은 포인트를 잃습니다. 이론적으로, 이는 모델이 불확실할 때 기권을 현재 채점 시스템에서 발생하는 더 나쁜 것이 아닌 수학적으로 더 나은 선택으로 만듭니다.

논문은 이 접근 방식이 환각을 제거하는 것이 아니라 감소시킬 것임을 명시합니다. 일부 오류는 통계적으로 드문 사실이나 연구원들이 계산 불가능하다고 설명하는 작업에서 발생하므로, 저자들은 현재 방법으로 환각이 0인 언어 모델은 달성할 수 없다고 결론지었습니다.