Inferenz

OpenAI sagt, GPT-5.6 verbessere die Intelligenz pro Dollar über Modelle, Inferenz und Agenten hinweg und signalisiere damit, dass Kosteneffizienz nun zentral für Frontier-KI ist.

OpenAI und Broadcom präsentieren Jalapeño, OpenAIs ersten maßgeschneiderten KI-Beschleunigerchip, der speziell für Inferenz-Workloads entwickelt und mit OpenAIs eigenen Modellen erstellt wurde.

Berichten zufolge führt Anthropic frühe Gespräche über den Kauf von Fractile-Inferenzchips, da die Speicherkosten für KI und der Lieferdruck zunehmen.

Google verhandelt mit Marvell Technology über die gemeinsame Entwicklung von zwei neuen KI-Chips – einer Memory-Processing-Unit und einer TPU der nächsten Generation –, um die Effizienz der KI-Inferenz zu steigern.

Nvidia plant, auf seiner kommenden GTC-Konferenz im März eine neue Plattform für Inferenz-Chips vorzustellen, mit dem Ziel, seine Dominanz auf dem KI-Hardwaremarkt weiter zu festigen.

Das Startup Inferact, das die beliebte Open-Source-Inferenz-Engine vLLM kommerzialisiert, hat eine Seed-Finanzierungsrunde über 150 Mio. USD unter der Leitung von Andreessen Horowitz und Lightspeed abgeschlossen, um die Bereitstellung von KI-Anwendungen zu beschleunigen.