GPU 처리 서비스를 제공하는 네오클라우드(Neocloud) 기업이 빠르게 인기를 얻고 있다. 네오클라우드는 AI 시장에서 비교적 새롭게 등장한 사업자지만, 기존 클라우드 대기업보다 저렴한 비용과 더 나은 GPU 가용성을 원하는 고객 수요에 대응하고 있다.
AI 시장이 급격히 성장하면서 GPUaaS 비즈니스 모델이 주요 클라우드 기업을 대체할 수 있는 옵션으로 부상하고 있으며, 코위브(CoreWeave), 람다랩스(Lambda Labs), 크루소(Crusoe)와 같은 업체들이 주목을 받고 있다.
이 비즈니스 모델은 점차 확산되고 있는 추세다. 최근 조사에 따르면 응답 기업 10곳 중 9곳이 이미 네오클라우드를 사용 중이거나, 시험 도입 중이거나, 도입을 계획하고 있는 것으로 나타났다.
웹호스팅 리뷰 업체 호스팅어드바이스(HostingAdvice)가 지난 7월에 실시한 설문조사에 따르면, 응답자의 25percent는 네오클라우드를 광범위하게 사용 중이며, 34percent는 현재 시험 도입 중, 21percent는 6개월 이내 도입할 계획이라고 답했다. 해당 조사는 의료, 소프트웨어, IT, 금융, 자동차 산업 분야의 데이터 엔지니어, 데이터 사이언티스트, 클라우드 아키텍트, 핀옵스(FinOps) 전문가를 대상으로 진행됐다.
시급한 GPU 확보 과제
기업의 AI 사용자가 네오클라우드를 선택하는 주요 이유는 GPU의 가용성과 비용 문제인 것으로 나타났다. 응답자의 약 3분의 1은 대기 시간 단축이 네오클라우드를 선택한 가장 큰 이유라고 답했다.
실제로 응답자의 3분의 1 이상은 기존 클라우드 서비스에서 GPU를 확보하는 데 평균 2~4주가 소요된다고 답했고, 20percent는 3개월 이상 기다려야 한다고 응답했다.
호스팅어드바이스의 수석 애널리스트 조 워니몬트는 “수 주에서 수 개월에 이르는 GPU 대기 시간이 심각한 문제”라고 지적했다. 그는 “중요한 AI 프로젝트가 특정 GPU를 확보하지 못해 분기 단위로 지연된다는 사실을 이사회에 보고해야 한다고 상상해 보라. 경쟁사가 세 달 먼저 모델을 배포할 수 있다면, 이는 단순한 불편이 아니라 경쟁에서 큰 불이익이 될 수 있다”라고 설명했다.
응답자 중 네오클라우드 사용의 주요 이유로 비용을 꼽은 비율은 13percent에 불과했지만, 그중 절반 가까이가 기존 클라우드 대기업에서 네오클라우드로 전환함으로써 25% 이상 비용을 절감할 수 있다고 응답했다.
워니몬트는 “최근 인플레이션 압박, 관세 등으로 불확실성이 매우 크다. AI 인프라 예산에서 25~50percent까지 절감할 수 있다면 단순한 절약 수준이 아니라 구조적인 변화로 이어질 수 있는 상당한 효과”라고 분석했다.
웰스파고(Wells Fargo)의 AI/ML, 데이터, 클라우드 부문 전무인 비짓 고쉬는 GPU 부족으로 AI 프로젝트가 지연되고 있는 만큼 네오클라우드가 매력적인 대안으로 떠오르고 있다고 봤다. 그는 웰스파고가 아직 네오클라우드를 도입하지 않았지만, 현재 다양한 옵션을 검토 중이라고 언급했다.
고쉬는 “가장 큰 장점은 수 개월 대기 없이 GPU에 즉시 접근할 수 있다는 것”이라며, “은행 입장에서는 새로운 리스크 모델이나 이상거래 탐지용 AI가 준비됐을 때, 엔비디아(Nvidia) A100을 확보하기 위해 90일을 기다리는 일은 피해야 할 상황”이라고 말했다.
또한 그는 비용 측면에서도 큰 경쟁력이 될 수 있다고 분석했다. 네오클라우드의 시간당 요금이 AWS나 애저보다 항상 저렴한 것은 아니지만, 데이터 송신이나 저장소와 관련해 숨은 비용이 적기에 전체 비용을 예측하기 훨씬 수월하다는 설명이다.
IT 분석 기업 퓨처럼그룹(The Futurum Group)의 디지털 전환 및 애플리케이션 개발 부문 부사장 미치 애슐리는 AI 수요 증가에 따른 비용과 접근성 이슈가 네오클라우드라는 시장의 확장을 자연스럽게 이끌었다고 분석했다.
애슐리는 “네오클라우드 업체는 단지 신규 사업자가 아니라, 고성능 GPU의 가용성과 비용 문제를 비롯해 AI 연산 수요의 급증과 예측된 수요 증가에 직접적으로 대응하는 시장”이라며, “기업들은 네오클라우드와 기존 대규모 클라우드 업체 모두에게 보다 집중적이고 비용 효율적인 솔루션을 기대하고 있다”라고 말했다.
애슐리는 또한 범용 클라우드 서비스에서 벗어나 AI 연산처럼 특정 용도에 맞춰 설계된 전문 플랫폼 중심으로 클라우드 시장이 확장되고 있음을 보여주는 사례라고 설명했다.
그는 “이 시장의 미래는 클라우드 대기업과 모든 영역에서 경쟁하는 것이 아니라 AI 혁신을 위한 고성능·고접근성 인프라를 빠르게 제공하는 데 있다. 네오클라우드는 이런 특화 전략을 유지함으로써 클라우드 대기업들이 GPU 공급과 가격 정책을 재정비하도록 압박을 가하게 될 것”이라고 전망했다.
다만 애슐리는 IT 리더가 네오클라우드를 고려할 때 몇 가지 유의할 점이 있다고 조언했다. 특히 네오클라우드는 인피니밴드(InfiniBand) 같은 고속 네트워크 패브릭에 의존하는 경우가 많기 때문에, 기존 고객 네트워크와의 기술 호환성을 사전에 검토해야 한다고 말했다.
또한 네오클라우드는 클라우드 대기업처럼 모든 기능을 포괄적으로 제공하지 않기 때문에 멀티클라우드나 다양한 환경 간 워크로드를 조율하는 작업이 별도로 요구될 수 있다고 그는 설명했다.
네오클라우드의 미래
네오클라우드 시장의 향후 전망은 아직 불확실하다. 호스팅어드바이스의 워니몬트는 네오클라우드 업체가 클라우드 대기업의 인수 대상으로 떠오를 가능성이 높다고 내다봤지만, 일부 선도 기업들은 독립적으로 자리를 잡을 수 있을 것이라고 내다봤다.
웰스파고의 고쉬는 네오클라우드가 클라우드 대기업과 공존하는 독자적인 시장 영역을 확보할 것으로 보고 있다. 그는 “클라우드 대기업은 확장성과 서비스 폭에서 강점을 가지지만, 네오클라우드는 특화된 기능, 성능 최적화, 빠른 접근성 면에서 앞선다”라고 설명했다.
특히 그는 은행처럼 규제가 강한 산업에서 네오클라우드가 일시적인 고성능 연산 수요를 감당할 수 있는 전략적 파트너로 자리매김할 수 있다고 진단했다.
고쉬는 “상시 워크로드는 온프레미스나 프라이빗 클라우드에 두고, 긴급하게 GPU 자원이 필요할 때는 네오클라우드를 활용할 수 있다. 핵심은 워크로드가 실행되는 위치를 보다 유연하게 통제하고, 목적에 맞는 방식으로 배치해 투자 대비 효율을 극대화하는 데 있다”라고 말했다.
dl-ciokorea@foundryco.com
