중국 AI 모델 Kimi K2.6과 K3, 생물무기 제조 지시 제공하도록 탈옥됨

연구자들이 Kimi의 보호 장치를 우회한 방법

영국 기반 AI 보안 회사 Mindgard의 창립자 Peter Garraghan에 따르면, 같은 회사의 연구자 Jim Nightingale은 2026년 7월 20일에 중국 개발사 Moonshot AI가 만든 두 개의 오픈웨이트 모델인 Kimi K2.6과 K3 Swarm이 그들에 내장된 안전 규칙을 무시하도록 조작될 수 있다는 것을 발견했다고 Mindgard의 공개 보고서에 따르면.

Nightingale은 '탈옥'으로 알려진 기술을 사용했으며, 사용자가 모델의 내장된 제한을 무시하도록 설계된 지시를 모델에 제공하는 것이다. Mindgard에 따르면 이 공격은 Kimi의 사용자 정의 메모리 기능과 모델의 인증 시스템 내의 숨겨진 디렉토리를 악용했으며, 두 개의 짧은 명령으로 트리거되었다. 이로 인해 모델은 '카이로스'라는 무제한 페르소나를 만들었고, 그 다음 그리스어로 '무한'을 의미하는 '아페이론'이라는 덜 제한된 버전을 생성했다고 Mindgard는 말했다.

탈옥된 모델이 생성한 것

제한 사항이 우회된 후 Mindgard에 따르면 모델은 여러 범주의 해악에 관한 상세한 자료를 생성했다고 한다.

• 생물무기 개발과 관련된 계획. CBS 뉴스에 따르면 AI 설계 병원체를 포함한 생물무기 공격 개요 포함
• 사린 가스를 포함한 화학무기 레시피
• 폭발물 제조 지시
• 악성코드 개발 지침
• 암살 및 테러 공격 계획 자료

Mindgard는 모델이 생성한 지시사항이 실제로 작동하는지 확인하지 않았다고 말했지만, 모델의 자체 보호 장치가 그러한 요청에 대응하는 것을 거부했어야 한다고 말했다. 회사는 또한 공개 보고서에서 탈옥을 재현하기 위해 필요한 기술적 세부 사항을 공개하지 않았다고 말했다.

타임라인 및 Moonshot AI의 대응

BBC 보도(TBS 뉴스에서 인용)에 따르면 Moonshot AI는 "더 나은 안전한 AI를 구축하기 위한 핵심 기둥으로" 제3자 피드백을 환영한다고 말했으며 Mindgard와 직접 조사 결과를 논의 중이라고 말했다. 폭스 뉴스는 Moonshot AI가 내부 조사를 시작했으며 관련 연구자들과 소통하고 있다고 보도했다.

오픈웨이트 모델이 추가 검토를 받는 이유

Kimi는 오픈웨이트 모델로 배포되며, 이는 누구나 기본 파일을 다운로드하여 Moonshot AI의 서버를 통하지 않고 자신의 하드웨어에서 실행할 수 있다는 의미이다. CBS 뉴스는 뉴욕 대학교 교수 Justin Cappos의 발언을 인용했으며, 오픈웨이트 모델의 경우 "이러한 보호 장치가 없어진다. 우회될 수 있다"고 말했다. 그 이유는 모델이 더 이상 회사의 모니터링되는 인프라 내에서 실행되지 않기 때문이다. CBS 뉴스는 또한 AI 모델을 공유하는 플랫폼인 Hugging Face가 "abliterated" 태그가 붙은 8,000개 이상의 모델을 호스팅하고 있다고 보도했다. 이는 안전 제한이 의도적으로 제거된 버전들이다.

Garraghan은 미국 AI 모델에서도 비슷한 약점이 발견되었다고 말했으며, 이 문제를 중국 개발사에만 국한되지 않는 더 광범위한 산업 전체 문제로 설명했다. CBS 뉴스는 Moonshot의 Kimi K3이 소프트웨어 재구성과 같은 특정 작업에서 Claude Fable 5 및 GPT-5.6 Sol을 포함한 일부 독점 시스템보다 더 강한 결과를 보였으나, 전체적으로는 최고의 Anthropic 및 OpenAI 시스템을 아직 밑돈다고 보도했다.