Edge AI

NVIDIA sagt, TensorRT Edge-LLM habe Qwen3.6-27B auf Jetson AGX Thor 6,4-mal schneller ausgeführt und damit Cache- und Quantisierungsgewinne für Edge-Agenten hervorgehoben.

NVIDIAs Jetson-Bereitstellungsleitfaden zeigt, wie Quantisierung und spekulatives Decoding kompakte Reasoning-Modelle für lokale Edge-AI-Workloads nutzbar machen können.

Das 27B-Local-Modell von StartLux soll in einem China-Benchmark mehr Punkte erzielt haben als DeepSeek V4 Flash und wirft Fragen zu Edge-AI-Leistung und Nachweisbarkeit auf.

NVIDIA beschreibt einen agentengestützten Holoscan-Workflow mit CLI, Skills und HoloHub, um medizinische Echtzeit-KI-Anwendungen zu bauen und zu benchmarken.

The Register erklärt die Umstellung von Unternehmen darauf, KI-Anwendungen näher dort auszuführen, wo Daten erzeugt und genutzt werden.

Chinesische Unternehmen betten KI in Autos, Roboter und Industrieprodukte ein, während sich die Technologie hin zu Edge-Geräten verlagert.

Das von Caltech unterstützte Unternehmen PrismML hat Bonasi veröffentlicht, ein 1-Bit-LLM, das 14-mal kleiner und 5-mal energieeffizienter als vergleichbare 8B-Modelle ist und KI ohne Cloud-Abhängigkeit betreiben soll.

Arm-CEO Rene Haas betont in Davos den Übergang von zentralisierten Rechenzentren zu verteilt arbeitendem Edge AI und spricht die Engpässe bei Energie und Speicher an.