Databricks의 전 AI 책임자, AI 전기 요금을 1,000배 줄이는 스타트업 설립

에너지 효율 컴퓨팅의 새로운 지평

급변하는 인공지능(AI) 분야에서 업계는 예상 가능하면서도 아주 어려운 난관인 '에너지 소비' 문제에 봉착했습니다. 모델의 규모와 복잡성이 커짐에 따라, 특히 추론(inference)에 필요한 전력과 같은 컴퓨팅 비용은 기업의 확장성에 있어 상당한 병목 현상이 되었습니다. 오늘 Creati.ai는 이 분야의 혁신적인 변화를 살펴봅니다. Databricks의 전 AI 책임자이자 반도체 기술의 숙련된 선구자인 Naveen Rao가 그의 최신 벤처 기업인 Unconventional AI를 공식적으로 공개했습니다.

이 회사는 지난 10년간 가장 중요한 과제 중 하나인 AI 인프라의 막대한 전력 요구량을 1,000배까지 줄이는 것을 목표로 합니다. Unconventional AI는 전통적인 범용 실리콘에서 벗어나, 맞춤형 하드웨어 설계가 지속 가능하고 고성능인 컴퓨팅의 핵심이라고 확신하고 있습니다.

AI 인프라의 현 상태에 대한 도전

지난 몇 년간 AI 붐은 표준 GPU 아키텍처의 지배력과 동의어가 되었습니다. 이 칩들이 현재의 생성형 AI(Generative AI) 혁명을 가능하게 했지만, 트랜스포머 기반의 추론이 가지는 특정한 반복 패턴을 위해 원래 설계된 것은 아니었습니다. 결과적으로 기업들은 이러한 고성능 프로세서를 대규모로 가동하기 위해 매년 수백만 달러의 전기료를 지출하고 있습니다.

Naveen Rao는 딥테크 하드웨어 업계에 낯선 인물이 아닙니다. 그는 Databricks에 재직하기 전, Nervana Systems를 설립하여 Intel에 수억 달러에 매각한 바 있습니다. 이러한 깊은 전문 지식을 바탕으로 그는 1,000배의 효율성을 달성하는 길은 단순히 소프트웨어 알고리즘을 조정하는 것만으로는 부족하며, 데이터가 물리적 실리콘을 통과하는 방식을 근본적으로 재고해야 한다고 주장합니다.

현재 인프라가 고전하는 이유

도전 요인	설명	기업에 미치는 영향
높은 전력 소비	기존 GPU는 간단한 추론 작업에도 과도한 전력을 소비함	운영 비용 상승
데이터 이동	메모리와 프로세서 사이에서 데이터를 이동시키는 데 드는 에너지 비용이 막대함	지연 시간 발생 및 성능 제한
범용화 효율성 저하	GPU는 유연성을 위해 설계되었으며, LLM 추론의 특정 요구를 위한 것이 아님	사용되지 않는 로직 게이트로 인한 낭비 발생

Unconventional AI: 효율성의 아키텍처

이 스타트업의 접근 방식은 "추론은 완전히 다른 게임이다"라는 철학에 뿌리를 두고 있습니다. 학습은 거대한 처리량을 요구하는 반면, 추론은 반복적이고 예측 가능한 수학적 연산이 특징입니다. Unconventional AI의 전략은 중복된 연산 단계를 제거하는 하드웨어를 구축하는 데 집중합니다.

거대언어모델(LLM)을 구동하는 특정 산술 연산에 최적화함으로써, 이 회사는 기존 서버급 하드웨어를 괴롭히는 오버헤드를 우회하려 합니다. 이는 단순한 점진적 개선이 아니라 AI 처리의 물리학을 다시 쓰려는 시도입니다.

핵심 기술 요인

실리콘 수준의 최적화: 일반적인 언어 처리 작업 중에 트랜지스터를 전환하는 데 소비되는 에너지를 최소화하도록 칩을 특별히 설계함.
메모리 대역폭 병목 현상 감소: 고밀도 온칩(on-chip) 메모리를 구현하여 연산 작업이 데이터와 가까운 곳에서 이루어지도록 함으로써 에너지 사용량을 획기적으로 절감함.
간소화된 로직 아키텍처: 데이터 센터 GPU에서 현재 유휴 상태로 남아 있는 게임이나 그래픽 렌더링용 필수 기능을 제거함.

엔터프라이즈 AI에 미치는 더 넓은 영향

만약 Unconventional AI가 전력 소비 1,000배 절감이라는 야심 찬 목표를 달성한다면, 업계 전체에 미칠 파급력은 매우 클 것입니다. 현재 "추론 세금(inference tax)"으로 인해 제약을 받는 기업들에게 이는 고급 AI의 대중화를 향한 큰 걸음이 될 것입니다.

현재 많은 조직이 지속적인 운영 비용 때문에 복잡한 에이전트나 자율 시스템을 도입하는 것을 주저하고 있습니다. 전력 요구량을 대폭 줄이면 진입 장벽을 효과적으로 낮출 수 있으며, 이전에는 경제적으로 불가능하다고 여겼던 실시간, 온디바이스(on-device) 또는 엣지 기반 AI 애플리케이션을 가능하게 할 것입니다.

미래 전망: 지속 가능한 AI를 위한 로드맵

Naveen Rao의 하드웨어 분야 진출은 AI와 기후 의식의 교차점에서 나타나는 새로운 트렌드를 강조합니다. 데이터 센터가 세계 최대의 전력 소비원이 됨에 따라, 친환경 아키텍처에 집중하는 하드웨어 스타트업들이 차세대 주요 투자 우선순위로 떠오르고 있습니다.

Creati.ai는 업계가 "무차별적인 성장의 시대"에서 "아키텍처 최적화의 시대"로 전환되고 있다고 보고 있습니다. 독자적인 실리콘을 대량 생산하는 길은 공급망과 기술적 도전으로 가득 차 있지만, Unconventional AI가 제시하는 가치는 명확합니다. 현대 AI의 특수하고 고유한 요구 사항에 하드웨어 성능을 맞춤으로써, 이 기업은 차세대 AI 인프라의 주춧돌이 되기 위해 자리를 잡고 있습니다.

이 기술이 발전함에 따라, 이러한 칩들이 실제 벤치마크에서 현재 업계 표준과 비교하여 어떤 성능을 보여줄지에 대해 면밀한 검토가 이루어질 것으로 예상됩니다. 일단 이야기는 시작되었습니다. AI를 지속 가능하게 만드는 경주에서 가장 중요한 돌파구는 표준 GPU 생태계 밖에서 나올지도 모릅니다.