AI 챗봇이 "환각"을 하는 이유: 언어 모델 오류의 통계적 근거

AI 환각은 챗봇이나 언어 모델로부터의 응답으로, 유창하고 그럴듯해 보이지만 사실상 잘못된 것이다. 예를 들어, 조작된 법원 판례, 거짓된 통계, 완전한 확신을 가지고 제시되는 잘못된 날짜 등이다. 이 용어는 틈새 기계 학습 용어에서 일상 용어로 옮겨졌으며, ChatGPT와 같은 도구를 연구, 글쓰기, 법무 작업에 사용하는 더 많은 사람들이 있다.

OpenAI의 연구가 원인이라고 주장하는 것

"언어 모델이 환각을 하는 이유"라는 제목의 논문에서 OpenAI 웹사이트와 2025년 9월 arXiv 프리프린트 서버에 발표된 연구자들 Adam Tauman Kalai, Ofir Nachum, Santosh S. Vempala, Edwin Zhang은 환각이 신비한 결함이 아니라 모델이 구축되고 평가되는 방식의 예측 가능한 결과라고 주장하며, OpenAI의 논문 요약에 따르면,

사전 훈련 중에 모델은 언어 사용의 올바른 예만 보여주는 텍스트에서 학습하며, 피해야 할 거짓 진술의 라벨이 지정된 목록이 명시적으로 표시되지 않는다. 연구자들은 이것을 환각을 이진 분류 문제로 바꾸는 것으로 설명하며, 모델이 훈련 데이터에서 참 진술과 거짓 진술을 안정적으로 구별할 수 없다면, 공학의 품질에 관계없이 일반적인 통계적 압박을 통해 오류가 발생할 것이라고 설명한다. OpenAI가 보도하고 있다.

모델이 "모르겠습니다"라고 말하지 않고 추측하는 이유

논문의 핵심 주장은 사전 훈련 후 평가 중에 무슨 일이 일어나는지에 관한 것이다. OpenAI에 따르면, 가장 널리 사용되는 정확도 벤치마크는 자신감 있는 잘못된 답변과 불확실성의 인정을 동일하게 채점하며, 둘 다 단지 "잘못된"으로 계산되는 반면 자신감 있는 정확한 답변이 최고로 채점된다. 연구자들은 이를 객관식 시험에서 추측하는 학생에 비유하며, 추측은 맞을 가능성이 있지만 질문을 공란으로 두면 확실히 0점을 받게 된다고 OpenAI가 보도하고 있다.

OpenAI가 제안하는 해결책은 별도의 환각 테스트가 아니라 기존 벤치마크의 채점 방식 변경이다. 자신감 있는 오류를 불확실성 표현보다 더 무겁게 페널티를 주어 모델이 더 이상 지식 격차를 통해 허세를 부리도록 최적화되지 않도록 하는 것이다. OpenAI가 말하고 있다.

환각 비율이 모델별로 얼마나 다른가

OpenAI의 연구자들은 이 절충의 구체적인 예를 보고한다. GPT-5-thinking-mini라고 불리는 모델의 평가에서 오류율이 26%로 떨어졌는데, InfoQ가 보도한 논문에 따르면 이전의 o4-mini 모델의 경우 75%라고 한다. 연구자들은 저오류 모델이 응답의 절반 이상을 "모르겠습니다"에 해당하는 것으로 답변하여 추측하지 않고 이를 달성했다고 지적하며, InfoQ가 보도했다.

현실적 결과: 조작된 법적 인용

환각의 실제 비용은 미국 법원에서 반복적으로 드러났다. 캘리포니아 2지구 항소법원은 2025년 9월 로스앤젤레스 지역 변호사 Amir Mostafavi에게 $10,000의 벌금을 부과했다. 그가 제출한 항소 간이서의 23개 판례 인용 중 21개가 ChatGPT에 의해 조작되었음이 밝혀졌기 때문이다. CalMatters의 보도에 따르면, 법원은 어떤 법적 제출물도 제출하는 변호사가 "개인적으로 읽고 확인하지 않은" 인용을 포함해서는 안 된다고 명시했다.

2023년 7월 간이서를 제출한 Mostafavi는 AI가 생성한 콘텐츠를 확인하지 않고 법원에 "이 예시가 다른 사람들이 구멍에 빠지지 않도록 도움이 되기를 바란다. 나는 대가를 치르고 있다"고 말했다. CalMatters가 보도했다. 해당 매체는 또한 캘리포니아 사법평의회가 전 주의 법원에 대해 2025년 12월 15일까지 생성형 AI를 금지하거나 사용 정책을 채택하도록 요구했으며, 법률 기술 추적자들이 미국 법원 제출물에서 AI가 조작한 인용의 600개 이상의 기록된 사례를 기록했다고 보도했다.

주요 포인트

• 환각은 언어 모델로부터의 유창하고 자신감 있는 진술로, 사실상 잘못된 것이며 무작위 결함이 아니다.
• OpenAI의 2025년 9월 논문은 부분적으로 사전 훈련 제한에 귀착된다고 주장하며, 모델이 훈련 데이터에서 참과 거짓 진술을 항상 구별할 수는 없다.
• OpenAI에 따르면 더 큰 원동력은 평가 설계이며, 벤치마크는 자신감 있는 추측을 보상하고 불확실성의 인정을 잘못된 답변과 동일하게 페널티를 준다.
• OpenAI가 보도한 예에서, 더 새로운 모델(GPT-5-thinking-mini)은 이전 모델(o4-mini)의 75%에서 오류율을 26%로 줄였으며, 부분적으로 더 자주 "모르겠습니다"라고 말함으로써 달성되었지만, 회사는 근본적인 인센티브 문제가 업계 전반에 걸쳐 벤치마크의 채점 방식을 변경할 필요가 있다고 말하고 있다.
• AI가 생성한 조작된 법적 인용이 미국에서 법원 제재로 이미 이어졌으며, 2025년 캘리포니아에서 $10,000 벌금을 포함한다.