ИИ-инференс

Сообщается, что AutoModelRouter KT занял второе место в глобальном бенчмарке, выводя эффективность выбора модели в центр корпоративного внедрения ИИ.

AWS добавляет кэширование моделей в SageMaker HyperPod и маршрутизацию с учетом префикса в SageMaker Inference, нацеленную на более быстрое масштабирование и меньшую задержку LLM.

Новый гайд NVIDIA по инференсу связывает мощность GPU и TCO с поведением нагрузки, оптимизацией модели и гибким развертыванием, а не только с пиковым спросом.

По сообщениям, Nvidia обсуждает потенциальную сделку с корейским стартапом по AI-чипам Rebellions, что указывает на более широкий интерес к альтернативам для AI-инференса и задач дата-центров.

Сообщается, что AMD приобретает Taalas, чтобы добавить специализированный кремний для AI-инференса, потенциально расширяя свою стратегию ускорителей за пределы рабочих нагрузок обучения.

Аналитики Bernstein прогнозируют, что грядущая платформа Vera Rubin от Nvidia может обеспечить в 5 раз более высокую производительность инференса, выводя компанию на переломный этап в ИИ.

На GTC 2026 генеральный директор NVIDIA Дженсен Хуанг представил выделенный инференс-рейк Groq 3 LPX, расширения платформы Vera Rubin, защитные механизмы для агентов ИИ NemoClaw и прогноз спроса на ИИ‑чипы в $1 трлн до 2027 года, что сигнализирует о стремлении NVIDIA владеть всей инфраструктурой для ИИ.

Modal Labs ведет переговоры с General Catalyst о новом раунде при оценке в $2,5 млрд, что отражает возросший интерес инвесторов к инфраструктуре вывода ИИ.

Технологические прогнозы на 2026 год указывают на значительный сдвиг от обучения моделей ИИ к инференсу как ключевому фактору. Это заставит компании принимать открытую инфраструктуру и единые плоскости управления, такие как Kubernetes, чтобы выиграть «войны инференса» и обеспечивать более быстрый локальный опыт работы с ИИ.