드디어 가정용 AI 슈퍼컴퓨터
컴퓨터에서 일상적으로 AI라고 부르는 대규모 언어 모델을 실행해 보신 적이 있다면, 결과는 아마도 답답했을 것입니다. 예를 들어, 준수한 중급 칩셋과 16 GB RAM, 그리고 꽤 강력한 GPU를 갖춘 컴퓨터는 작은 모델, 특히 양자화된 경우 최대 7B 매개변수까지는 무난히 처리할 수 있습니다. 그보다 훨씬 큰 모델 — 13B, 32B+ 매개변수 — 은 아예 로드되지 않거나 과도한 스와핑과 속도 저하를 유발할 수 있습니다. 그리고 어쨌든, 산업용급 서버에서 구동되는 ChatGPT, Claude, Perplexity 등 AI를 웹 인터페이스로 사용할 때에 익숙해진 경험과는 사뭇 다를 것입니다. 대화는 실시간 상호작용이라기보다 몇십 년 전 빠르게 올라가던 포럼 스레드에 더 가까워 보일 겁니다.
엔비디아는 이 문제를 파악하고 해결책을 내놓았습니다. 가격은 비싸지만, 실제로 복잡한 모델을 로컬에서 실행할 수 있다고 합니다. 적어도 제조사의 약속은 그렇습니다.
엔비디아의 DGX Spark, “개인용 AI 슈퍼컴퓨터”
CES 2025( “CES 2025: 실제로 유용하게 쓸 수 있는 10가지 기기” 참조)에서 엔비디아 CEO 젠슨 황은 개인과 소규모 팀도 고급 AI 기능에 접근할 수 있도록 하는 Project Digits를 발표했습니다. 연설에서 황은 새롭게 설계된 이 장치가 연구자의 책상 위에 올려둘 수 있을 정도로 작으면서도 페타플롭급 성능을 갖춘 머신이 될 것이며, 이를 통해 생성형 AI와 대규모 모델의 성능에 직접 접근할 수 있게 될 것이라고 언급했습니다.
2025년 3월, Project Digits는 결실을 맺기 시작했습니다. DGX Spark와 더 큰 모델인 DGX Station, 두 제품이 GTC 2025에서 공개되었습니다. 키노트에서는 사양, 시장 전략, 제조 파트너십에 대해서도 설명했습니다.
엔비디아에 따르면, DGX Spark는 2025년 10월 15일 3,999달러에 판매를 시작합니다. 내부에는 다음과 같은 사양이 들어갑니다:
- 20코어 Arm CPU(10 Cortex-X925 + 10 Cortex-A725);
- 블랙웰 아키텍처 GPU;
- 대역폭 273 GB/s의 128 GB 일관된 통합 시스템 메모리(즉: RAM; LPDDR5x);
- 자기 암호화를 지원하는 4 TB NVME.M2 스토리지.
엔비디아의 AI 슈퍼컴퓨터는 최대 2,000억 개의 매개변수를 가진 모델을 실행할 수 있습니다(지금 평범한 PC에서 실행할 수 있는 7B 모델과 비교해 보세요). 데스크톱에는 리눅스 기반 DGX OS와 엔비디아 AI 소프트웨어 스택 전체가 포함될 것으로 예상됩니다. Spark는 딥러닝 작업을 처리하고, 생성형 AI를 구동하며, 과학 연구를 지원하고, 프로토타이핑 등을 수행할 수 있습니다.
이 프로젝트의 좋은 점은 파트너십 측면에서 엔비디아가 보여주는 이타적인 접근입니다. 회사는 Acer, ASUS, Dell, HP, Lenovo, MSI, Gigabyte 등 서드파티 제조사들이 Spark의 맞춤형 버전을 제작하는 것을 환영하고 있으며, 이는 더 저렴한 — 비록 성능은 다소 떨어지지만 수많은 활용 사례에 충분한 — 모델들이 시장에 등장할 것임을 의미합니다. 계속 지켜봐 주세요. 이 주제를 계속 추적해 중요한 소식을 전해 드리겠습니다.
