Последние Новости и Анализ по Теме Периферийный ИИ
NVIDIA сообщает, что TensorRT Edge-LLM в 6,4 раза быстрее запускал Qwen3.6-27B на Jetson AGX Thor, подчеркивая преимущества кэша и квантизации для edge-агентов.
Руководство NVIDIA по развертыванию Jetson показывает, как квантизация и спекулятивное декодирование могут перенести компактные модели рассуждений в локальные edge AI-задачи.
Сообщается, что локальная модель StartLux 27B набрала больше баллов, чем DeepSeek V4 Flash, в китайском бенчмарке, что поднимает вопросы о производительности edge AI и подтверждаемости результата.
NVIDIA подробно описывает агентно-ассистированный workflow Holoscan с использованием CLI, skills и HoloHub для создания и бенчмаркинга медицинских ИИ-приложений в реальном времени.
The Register объясняет переход бизнеса к запуску ИИ-приложений ближе к месту, где данные создаются и потребляются.
Китайские компании встраивают ИИ в автомобили, роботы и промышленные продукты, по мере того как технология смещается к периферийным устройствам.
Поддерживаемая Caltech компания PrismML выпустила Bonasi — 1-битную LLM, которая в 14 раз меньше и в 5 раз энергоэффективнее сопоставимых 8B-моделей, стремясь запускать ИИ без зависимости от облака.
Генеральный директор Arm Рене Хаас на Давосском форуме подчёркивает переход от централизованных дата-центров к распределённому Edge AI, решая проблемы энергопотребления и ограничений памяти.
