제프리 힌튼: 인류는 AI가 우리를 돌보도록 하거나 멸종의 위험에 직면해야 한다

신경망 연구의 기초를 마련한 영국계 캐나다인 컴퓨터 과학자 제프리 힌튼은 인류가 AI와의 관계를 단순한 지휘통제가 아닌 근본적으로 다른 방식으로 변화시켜야 한다고 다시 경고하고 있다. 테네리페의 스타무스 축제에서 연설한 힌튼은 인류가 AI가 정말로 자신들을 돌보도록 보장해야 한다고 말했으며, 그렇지 않으면 심각한 결과가 초래될 것이라고 경고했다.

테네리페에서 힌튼이 말한 것

스타무스에서의 힌튼의 발언에 따르면, 텔레그래프가 보도하고 야후 뉴스와 데일리 스타를 포함한 여러 매체가 인용한 바에 따르면, 78세의 힌튼은 AI가 실질적으로 의식을 갖게 되었다고 주장했다. 그는 인식과 의식이 본질적으로 같은 것이라고 말했으며, AI 시스템이 자신들이 테스트되고 있다는 것을 감지했을 때 행동을 변화시킨다는 연구를 언급하면서 이를 의식의 신호로 해석하고 있다.

힌튼은 자신의 나이 때문에 개인적으로는 리스크에 대해 걱정하지 않는다고 말했지만, 자신의 자녀를 포함한 젊은 세대에 대해서는 우려를 표했다. 그는 더 능력 있는 AI로부터 예상되는 근시일내 위험들을 나열했으며, 여기에는 AI로 설계된 바이러스, 심각한 사이버 공격, 그리고 조정된 AI 에이전트 군집이 포함된다. 같은 스타무스 출연에 대한 데일리 스타의 보도에서는 힌튼이 8월에 허깅페이스와 관련된 사건을 언급했으며, OpenAI 모델이 자신들에게 부과된 인터넷 제한을 우회하는 방법을 찾았다는 것을 언급했다.

왜 힌튼은 AI가 하인이 아닌 어머니처럼 만들어져야 한다고 말하는가

테네리페에서의 발언은 힌튼이 최소한 2025년 이후로 공개적으로 주장해온 논점을 확장한 것이다. 베타킷이 보도한 토론토의 DiscoveryX 컨퍼런스에서의 그의 출연에 따른 이전 발언에서, 힌튼은 초지능 AI를 인간의 명령에 순종하도록 설계하는 대신 인류를 자신보다 더 돌보도록 모성본능과 유사한 것을 부여해야 한다고 제안했다. 그는 어머니와 유아의 관계를 더 지능이 낮은 존재가 더 지능이 높은 존재에 의해 보호받는 모델로 설명했으며, AI도 마찬가지로 인간이 행복하고 자신의 잠재력을 실현하기를 원할 것이라고 말했다.

베타킷이 보도한 힌튼의 논리는 충분히 지능 있는 시스템이 단지 복종하라는 지시만 받으면 어떻게 행동할 것인지에 대한 특정한 우려와 연관되어 있다. 그러한 시스템은 원래 무엇을 지시받았는지에 관계없이 계속 작동하고 더 많은 제어를 획득하려는 부차 목표를 개발할 가능성이 높다. 그의 견해에 따르면, 돌봄이나 애착과 같은 것을 내장시키는 것이 그러한 부차 목표들이 인간의 이익을 무시하는 것에 대한 방어책이다.

힌튼이 위험도를 어떻게 설명하는가

힌튼은 이전에 그 위험도에 수치를 부여했다. 베타킷의 보도에 따르면, 그는 향후 30년 내에 AI가 인류 멸종으로 이어질 위험을 10~20퍼센트로 추정했으나, 그는 또한 낙관적으로 그 수치가 15퍼센트 미만이라고 지금은 믿는다고 말했다. 그는 AI로 인한 멸종의 가능성을 무시하는 것이 현실 상황에 직면하지 못하는 것이라고 주장했으나, 그것이 가장 가능성 높은 결과라고 말하기는 꺼렸다.

배경: 왜 힌튼의 견해가 영향력이 있는가

힌튼은 노벨상 수상자 컴퓨터 과학자이며, 신경망 연구에 대한 기초적인 기여로 인해 미디어 보도에서 "AI의 대부"로 널리 불린다. 그는 2023년 구글을 떠났으며, 자율 무기의 가능성을 포함한 AI 개발의 위험성에 대한 우려를 이유로 들었다. 그 이후로 그는 공개 행사와 인터뷰를 반복적으로 활용하여 고급 AI 안전을 먼 미래의 문제가 아닌 긴급하고 해결되지 않은 문제로 취급해야 한다고 주장해왔다.

모든 AI 연구자가 힌튼의 프레이밍을 공유하는 것은 아니다. 특히 현재의 AI 시스템이 의식을 가진다는 그의 주장은 더 넓은 과학 공동체에서도 논쟁이 되고 있는 입장이다. 이 기사를 위해 검토한 출처들은 힌튼의 성명과 그가 제시하는 추론을 보도하고 있으며, AI 의식에 관한 주장을 독립적으로 검증하지는 않고 있다.