DeepSeek이 DeepInfer를 오픈소스화, AI 실행 비용을 절감하는 추론 도구

중국의 AI 회사 DeepSeek은 2026년 10월 20일 GitHub에서 DeepInfer를 출시했으며, 이미 자사의 대규모 프로덕션 서비스를 운영 중인 추론 프레임워크를 공개했습니다. SiliconANGLE과 TechTarget에 따르면 소프트웨어는 github.com/deepseek-ai/DeepInfer에서 Apache 2.0 라이선스 하에 게시됩니다.

추론은 모델이 훈련된 후 실제로 사용자 프롬프트에 대한 답변을 생성하는 단계입니다. Gizmodo의 인용에 따르면 DeepSeek은 릴리스 노트에서 "커뮤니티가 컴퓨팅 비용을 낮추고, 에너지 사용을 줄이고, AI를 더 저렴하게 만드는 데 도움이 되도록 프로덕션 스택을 공유하고 있다"고 말했습니다.

DeepInfer의 역할

Gizmodo와 TechTarget에 따르면 DeepInfer는 DeepSeek의 V4.1-Flash 모델을 위해 특별히 구축된 최적화 계층이며, 회사가 코딩 및 에이전트 작업을 위해 판매하는 시스템입니다. SiliconANGLE은 DeepSeek의 자체 프로덕션 클러스터 중 하나가 프레임워크를 사용하여 하루에 155조 개의 토큰을 제공한다고 보고합니다.

프레임워크는 추측 디코딩에 의존하는데, 이는 더 작은 "드래프트" 모델이 여러 토큰을 미리 제안하고 메인 모델이 각 토큰을 하나씩 생성하는 대신 한 번의 패스로 이를 확인하는 기술입니다. DeepSeek의 기술 문서를 인용한 SiliconANGLE은 DSpark라고 불리는 이 시스템의 DeepSeek 특정 버전을 설명하는데, 여기서 드래프트 모델이 5개의 토큰을 제안하고 별도의 신뢰 메커니즘이 메인 모델이 이를 수락할지 여부를 예측합니다. DeepSeek에 따르면 이는 불필요한 검증을 약 30% 줄이고 프로덕션 규모 부하 하에서 4~7%의 처리량 증가를 생성합니다.

SiliconANGLE에 따르면 릴리스된 코드는 Nvidia의 SM100(Blackwell) GPU와 Huawei의 Ascend 950 신경 처리 장치를 지원하지만 더 오래된 Nvidia Hopper 세대 칩은 지원하지 않습니다. TechTarget은 DeepSeek 이외의 AI 모델을 실행하는 기업이 이미 Nvidia의 TensorRT-LLM과 같은 동등한 도구를 사용할 수 있다고 지적하며, DeepSeek의 Nvidia 하드웨어와 Huawei 칩에 대한 지속적인 의존은 보도에 따르면 Huawei이 일부 측면에서 여전히 Nvidia보다 뒤떨어져 있음을 나타낸다고 말합니다.

제외된 내용

DeepSeek은 완전한 프로덕션 서비스를 운영하기 위해 필요한 모든 것을 출시하지 않았습니다. SiliconANGLE에 따르면 회사는 자사의 키-값 캐시 관리 시스템과 로드 밸런싱 코드를 보유하고 있으며 이는 DeepSeek의 자체 내부 인프라와 밀접하게 결합되어 있습니다. 효율적인 배포에는 여전히 최소 128개의 GPU(프롬프트 처리 전용 64개, 응답 생성 전용 64개)가 필요합니다. 결정론적 출력 기능(모델이 동일한 입력에 대해 일관된 답변을 반환하도록 함)은 현재 Nvidia 하드웨어에서만 작동한다고 합니다.

비용 비교 및 반응

Gizmodo는 DeepSeek이 V4.1-Flash를 백만 입력 토큰당 $0.035, 백만 출력 토큰당 $0.12로 책정했다고 보도하며, 같은 매체가 OpenAI의 GPT-6 Astra 모델에 대해 인용한 수치는 각각 $10과 $50입니다. Gizmodo는 이 출시를 DeepSeek이 OpenAI와 Anthropic에 압력을 가하는 일부로 설명합니다. SiliconANGLE은 별도로 DeepInfer 실행 클러스터의 피크 오프 가격이 GPU당 시간당 약 $38의 수익을 생성할 수 있다고 보고합니다.

Omdia 분석가 Lian Jye Su는 TechTarget에 토큰 사용 최적화에 대한 상당한 업계 논의가 있다고 말했으며, AI 채택이 증가함에 따라 토큰 소비가 급격히 증가했다고 지적했습니다. TechTarget은 분석가들이 이 출시를 비용 최적화 조치이자 Nvidia 하드웨어와 함께 중국 칩 대안을 촉진하는 지정학적 포지셔닝 노력으로 보고 있다고 설명합니다.

배경

SiliconANGLE은 DeepInfer가 2025년 4월에 오픈소스 프로젝트 vLLM에서 원래 포크되었다고 보도했으며, 당시 회사가 완전한 출시를 현실적이지 않다고 판단했기 때문입니다. DeepSeek은 이전에 저렴하고 경쟁력 있는 AI 모델을 출시하여 주목을 받았으며, DeepInfer 출시는 단순히 모델뿐 아니라 인프라 소프트웨어를 공개함으로써 이 패턴을 계속하고 있습니다.

Gizmodo에 따르면 DeepSeek은 향후 DeepInfer 프레임워크에 추가 모델 지원을 추가할 계획이 있다고 말했지만, 구체적인 일정은 제시되지 않았습니다.