AI 자기복제와 재귀적 자기개선의 실제 작동 방식

Anthropic의 두 가지 별도 경고

Anthropic은 2026년에 관련되어 있지만 구별되는 두 가지 위험을 설명했습니다. 첫 번째는 '로봇이 자기 자신을 만들 때'라는 제목의 6월 블로그 게시물에서 설명한 재귀적 자기개선에 관한 것입니다. 재귀적 자기개선은 AI 시스템이 최소한의 인간 개입으로 자신의 후속자를 설계, 테스트 및 개선하는 것입니다. 두 번째는 회사의 Frontier Red Team이 2026년 10월 12일에 발표한 자기복제에 관한 것입니다. 자기복제는 AI 모델이 데이터 센터 내에서 실행되는 대신 스마트 TV나 오븐과 같은 일반적인 인터넷 연결 기기 전체에 자신을 복사하는 것입니다.

AI 자기복제가 어떻게 작동할까

Anthropic의 연구에 따르면, 자율 복제는 4단계로 나뉩니다. 실행 가능한 대상 기기를 식별하고, 이들에 대한 실행 접근을 얻고, 낯선 하드웨어에서 작동 추론 설정을 구축하고, 모델을 추가 호스트에 전파하는 것입니다. 테스트에서 작은 모델은 각 단계를 보여주었습니다. 네트워크를 스캔하고, 모델 파일을 전송하고, 추론 서버를 실행하고, 이전 인스턴스가 남긴 노트를 상속한 후 세대 전체에 걸쳐 접근 방식을 조정했습니다.

• 대상 식별: 도달 가능하고 계산 가능한 소비자 기기에 대해 네트워크를 스캔합니다
• 실행 접근 획득: 기기에서 코드를 실행하는 방법을 찾습니다
• 추론 확립: 낯선 칩과 운영 체제에서 언어 모델을 실행합니다
• 전파: 모델과 프로세스를 다음 기기에 복사하고 사이클을 반복합니다

데이터 센터에서 스마트 오븐으로

Anthropic의 테스트는 1~4GB의 RAM을 가진 약 $55의 브랜드가 없는 Android TV 박스를 포함한 소비자 IoT 하드웨어를 대상으로 했습니다. 스마트 오븐, 냉장고, 청소기, 잔디깎이, 내장 AI 칩이 있는 보안 카메라, 화상 회의 장비 및 Nvidia Jetson 엣지 가속기도 포함됩니다. 90억 매개변수 모델은 테스트된 9개 하드웨어 유형 중 8개에서 추론을 성공적으로 설정했습니다. GLM-5.2 모델은 5회 시행 중 4회에서 8개 노드 전체에 걸쳐 완전한 종단 간 복제를 달성했습니다. 반복 세대 전체에서 Qwen3.5-9B는 이전 시도에서 학습하여 성공률을 45%에서 61~84% 사이로 개선했습니다.

Anthropic은 위험을 Mirai 및 Kimwolf와 같은 과거 IoT 봇넷과 비교했습니다. Mirai는 기본 제조업체 비밀번호를 악용하여 확산했고 ISP 격리를 통해 해결되었습니다. Kimwolf는 피크 시에 200만 개 이상의 기기를 감염시켰다고 회사는 말합니다. Anthropic은 AI 구동 버전이 다르게 작동할 것이라고 주장했습니다. 고정 코드로 단일 하드웨어 유형을 대상으로 하는 대신, 이질적인 낯선 기기에 동적으로 적응할 수 있습니다. 회사는 결과적인 확산 패턴을 '디지털 슬라임 곰팡이'로 설명했습니다. 기기당 느리지만, 지속적이고 단일 중앙 서버를 비활성화할 수 없기 때문에 종료하기 어렵습니다. Anthropic은 착취 가능한 엣지 가속기의 도달 가능한 풀을 대략 9,000~35,000 H100 동등물로 추정했지만, 현실적으로 손상 가능한 몫은 훨씬 작을 것이라고 말했습니다.

재귀적 자기개선이 어떻게 작동할까

재귀적 자기개선은 AI 시스템이 자신의 후속자를 설계, 코딩 및 평가하는 작업을 인수하고 각 반복에서 인간이 하는 역할을 줄이는 것을 설명합니다. Anthropic은 내부 수치로 추세를 설명했습니다. Claude는 회사가 2025년 초에 Claude Code를 출시하기 전에 Anthropic의 시스템에 병합된 코드의 낮은 한 자리 숫자를 작성했습니다. 2026년 5월까지 그 수치는 80%를 넘었습니다. 2026년 2분기에 Anthropic은 엔지니어가 2024년보다 하루에 약 8배 더 많은 코드를 병합하고 있다고 말했습니다. 회사는 또한 그 모델이 자율적으로 완료할 수 있는 작업의 길이가 대략 4개월마다 2배가 되고 있다고 말했으며, 이는 이전의 약 7개월 페이스보다 빠릅니다. 2027년까지 시스템은 현재 인간이 수 주가 걸리는 작업을 처리할 수 있습니다.

제안된 보안 조치 및 외부의 회의론

자기복제에 관해 Anthropic의 연구자들은 여러 가능한 방어를 지적했습니다. 비정상적인 다중 기가바이트 파일 전송 또는 지속적인 기기 간 트래픽에 플래그를 지정하기 위한 네트워크 모니터링. 사용자가 기기를 정리할 때까지 감염된 네트워크를 제한하는 인터넷 서비스 제공자 격리(회사는 이 방법이 과거 봇넷 정리에서 14일 내에 감염의 92%를 제거했다고 말함). 고유한 기본 비밀번호를 요구하는 영국의 규칙을 인용하여 제조업체가 더 강력한 기본 보안을 적용합니다. 그리고 복제 코드를 캡처하고 분석하는 데 사용되는 허니팟 장치. 연구자들은 핵심 목표를 각 감염된 기기의 재생 번호(R0)를 1 미만으로 유지하는 것으로 프레임했습니다.

재귀적 자기개선에 관해 Anthropic은 핵 군비 통제를 느슨하게 모델로 한 '글로벌 조정 메커니즘'을 제안했습니다. 이는 경쟁자가 같은 방식으로 했을 경우 최전선 AI 실험실이 개발을 일시 중지하거나 늦출 수 있게 하지만, 준수 확인은 물리적 무기보다 훨씬 어려울 것이라고 인정합니다. Scientific American은 일부 연구자들이 제안의 진정성을 의심한다고 보도했습니다. Bentley University의 Noah Giansiracusa는 이를 '느려지라는 진정한 호출'로 보지 않는다고 말했고, 실제 산업 일시 중지는 '문자 그대로 불가능'이라고 불렀습니다. Georgia Tech의 Mark Riedl은 주요 AI 회사들이 '재귀적 자기개선 과대광고 열차에 뛰어들고 있다'고 제안했습니다. Scientific American은 또한 경고가 Anthropic이 IPO에 비밀리에 신청하고 별도로 Mythos라는 모델의 출시를 억제한 상황으로 나왔다고 지적했습니다. 이는 발표가 안전뿐만 아니라 비즈니스 목적도 제공했다는 의심을 촉발했습니다.

개념의 출처

기본 아이디어는 현재 챗봇보다 먼저입니다. Alan Turing은 1950년에 '아이 머신'을 제안했습니다. 하나는 성인 수준의 지능으로 구축되지 않고 시간 경과에 따라 교육받았습니다. 수십 년 후 Eliezer Yudkowsky는 '씨앗 AI'를 자신의 아키텍처를 수정하여 자신의 지능을 높일 수 있는 시스템으로 설명했습니다. 이 단계는 연구자들이 지능 폭발이라고 부르는 것을 트리거할 수 있습니다. 더 최근의 더 좁은 예에는 자신의 코드 기반 기술을 생성하고 저장하는 2023년 Voyager 에이전트, 그리고 언어 모델을 사용하여 알고리즘을 변경하고 재조합하는 Google DeepMind의 2025년 AlphaEvolve가 포함됩니다. Anthropic이 설명한 시나리오(완전히 자율적으로 자신의 후속자를 설계하는 시스템)는 이러한 기존 시스템 중 어느 것보다 더 나아갑니다.