エッジAI

NVIDIAは、TensorRT Edge-LLMがJetson AGX Thor上でQwen3.6-27Bを6.4倍高速で実行し、エッジエージェント向けのキャッシュと量子化の効果を示したと述べています。

NVIDIAのJetson導入ガイドは、量子化と推測的デコードによって、コンパクトな推論モデルをローカルなエッジAIワークロードへ持ち込めることを示している。

StartLuxの27Bローカルモデルが中国のベンチマークでDeepSeek V4 Flashを上回ったと報じられ、エッジAIの性能と証拠性に疑問が生じている。

NVIDIAは、CLI、スキル、HoloHubを使ってリアルタイム医療AIアプリを構築・ベンチマークする、エージェント支援型Holoscanワークフローを詳述した。

The Register は、データが生成・消費される場所のより近くでAIアプリケーションを実行する方向への企業の転換を説明しています。

中国企業は、技術がエッジデバイスへ移行する中で、AIを自動車、ロボット、産業製品に組み込んでいる。

Caltechの支援を受けるPrismMLは、Bonasiを公開しました。Bonasiは比較可能な8Bモデルより14倍小さく、5倍エネルギー効率が高い1ビットLLMで、クラウドに依存せずAIを動作させることを目指しています。

ArmのCEOレネ・ハースはダボスで、集中型データセンターから分散型のエッジAIへの移行を強調し、エネルギーとメモリのボトルネックに対処することを述べました。