엣지 AI

NVIDIA는 TensorRT Edge-LLM이 Jetson AGX Thor에서 Qwen3.6-27B를 6.4배 더 빠르게 실행했으며, 엣지 에이전트를 위한 캐시와 양자화 이점을 강조했다고 밝혔습니다.

NVIDIA의 Jetson 배포 가이드는 양자화와 스펙ულ러티브 디코딩이 컴팩트한 추론 모델을 로컬 엣지 AI 워크로드로 가져올 수 있음을 보여준다.

StartLux의 27B 로컬 모델이 중국 벤치마크에서 DeepSeek V4 Flash보다 높은 점수를 기록했다는 보도가 나오며, 엣지 AI 성능과 검증 가능성에 대한 의문이 제기되고 있다.

NVIDIA가 CLI, 스킬, HoloHub를 활용해 실시간 의료 AI 애플리케이션을 만들고 벤치마크하는 에이전트 지원 Holoscan 워크플로우를 자세히 설명했다.

The Register는 데이터가 생성되고 소비되는 곳에 더 가까운 위치에서 AI 애플리케이션을 실행하는 방향으로의 기업 전환을 설명한다.

중국 기업들은 기술이 엣지 기기로 이동함에 따라 자동차, 로봇, 산업용 제품에 AI를 탑재하고 있다.

Caltech의 지원을 받는 PrismML은 Bonasi를 출시했다. Bonasi는 비교 가능한 8B 모델보다 14배 작고 에너지 효율은 5배 높은 1비트 LLM으로, 클라우드 의존 없이 AI를 실행하는 것을 목표로 한다.

Arm CEO Rene Haas는 다보스에서 중앙집중형 데이터센터에서 분산형 엣지 AI로의 전환을 강조하며 에너지와 메모리 병목 문제를 해결해야 한다고 말했습니다.