節能計算的新前沿
在人工智慧（Artificial Intelligence, AI）快速發展的格局中，產業界正撞上一堵可預見卻令人望而生畏的牆：能源消耗。隨著模型在規模和複雜度上不斷增長，計算成本——特別是推理（inference）所需的電力——已成為企業擴展的重大瓶頸。今天，Creati.ai 將探討該領域的一項變革性發展。Databricks 前 AI 負責人兼半導體技術領域的資深先驅 Naveen Rao，正式揭曉了他的最新創業項目：Unconventional AI。
該公司旨在解決本世紀最關鍵的挑戰之一：將 AI 基礎設施驚人的電力需求降低 1,000 倍。透過捨棄傳統的通用矽晶片，Unconventional AI 押注於客製化硬體設計，認為這是實現永續且高效能計算的關鍵。
挑戰 AI 基礎設施的現狀
過去幾年來，AI 的熱潮幾乎等同於標準 GPU 架構的統治地位。雖然這些晶片推動了當前的生成式 AI（Generative AI）革命，但它們最初並非為基於 Transformer 的推理所特有的週期性模式而設計。因此，企業為了維持這些強大處理器大規模運作，正投入數百萬美元於電費支出。
Naveen Rao 對深科技（deep-tech）硬體並不陌生。在加入 Databricks 之前，他創立了 Nervana Systems，該公司後來以數億美元的價格被 Intel 收購。憑藉這份深厚的專業知識，他指出，實現 1,000 倍效率提升的路徑不僅僅是調整軟體演算法，更需要徹底反思資料在物理矽晶片中傳輸的方式。
為何目前的基礎設施陷入困境
| 挑戰因素 | 描述 | 對企業的影響 |
|---|---|---|
| 高功耗 | 傳統 GPU 在簡單的推理任務中會消耗過多瓦數 | 營運開支不斷攀升 |
| 資料移動 | 在記憶體和處理器之間移動資料的能源成本巨大 | 延遲與效能受限 |
| 通用效能低下 | GPU 是為彈性設計，而非為了 LLM 推理的特定需求 | 未使用的邏輯閘造成週期浪費 |
Unconventional AI：效率的架構
這家新創公司所採取的路徑源於一種理念，即「推理是一場不同的遊戲」。訓練需要龐大的傳輸量，而推理的特點是重複且可預測的數學運算。Unconventional AI 的策略側重於打造能消除冗餘計算階段的硬體。
透過針對推動大型語言模型（LLM）的特定算術運算進行優化，該公司尋求繞過困擾傳統伺服器級硬體的開銷。這不僅僅是漸進式的改進，更是一次改寫 AI 處理物理特性的嘗試。
技術的三大支柱
- 矽晶片層級優化： 專門設計晶片以最大程度減少在執行常見語言處理任務時，切換電晶體所耗費的能量。
- 縮短記憶體頻寬瓶頸： 實作高密度片上記憶體（on-chip memory），將運算維持在靠近資料的位置，大幅降低能源消耗。
- 精簡邏輯架構： 移除目前資料中心 GPU 中閒置且對遊戲或圖形渲染至關重要的功能。
對企業級 AI 的更廣泛影響
如果 Unconventional AI 實現了其將功耗降低 1,000 倍的宏偉目標，產業將產生深遠的連鎖效應。對於目前受限於「推理稅（inference tax）」的企業而言，這代表著向民主化先進 AI 邁進了一步。
目前，許多組織因持續營運的高昂成本，對部署複雜的智慧代理（agents）或自動化系統持保留態度。電力需求的大幅降低可能有效降低入門門檻，實現先前被認為在經濟上不可行的即時、裝置端或邊緣（edge-based）AI 應用。
展望未來：永續 AI 的發展藍圖
Naveen Rao 進入硬體領域，凸顯了 AI 與氣候意識交叉點上的新興趨勢。隨著資料中心成為世界上最大的電力消耗者，專注於綠色架構的硬體新創公司正成為下一個重要的投資優先事項。
Creati.ai 認為，產業正從「蠻力成長」時代轉向「架構優化」時代。雖然量產專有矽晶片的道路充滿供應鏈和技術挑戰，但 Unconventional AI 提出的價值主張非常明確。透過將硬體性能與現代 AI 的特定且獨特需求保持一致，該公司正將自身定位為下一代 AI 基礎設施的基石。
隨著這項技術的進展，我們預期這些晶片在真實場景基準測試中相較於當前產業標準的表現將受到更多審視。就目前而言，敘事已經確立：在追求永續 AI 的競賽中，最重要的突破可能來自標準 GPU 生態系統之外。
