AI-Sicherheit

Donald Trump bekräftigt freiwillige KI-Schutzmaßnahmen, während die öffentliche Besorgnis zunimmt, und hält die US-Debatte auf den Verpflichtungen der Branche statt auf verbindlichen Vorgaben fokussiert.

Trump hat eine von Jay Clayton geleitete Super-Intelligence-Force geschaffen und Washington 120 Tage Zeit gegeben, die KI-Risiken zu bewerten, während Regulierungen begrenzt werden sollen, die Innovationen verlangsamen könnten.

Der OpenAI-Sicherheitsmitarbeiter David Robinson ist zurückgetreten. Er erklärt, die Unternehmenskultur könne mit den wachsenden KI-Risiken nicht umgehen, und fordert eine stärkere externe Aufsicht.

Circuit Breaker Labs testet KI mit simulierten Nutzern über verschiedene Sprachen und Kulturen hinweg und nimmt psychologische Sicherheitsrisiken in Mental-Health- und Jugend-Apps ins Visier.

Die gemeldete Sicherheitsleitplanke von Nvidia für KI-Agenten rückt die Governance von HR-Technologien in den Fokus, da automatisierte Entscheidungen eine stärkere Kontrolle und Verantwortlichkeit erfordern.

Der CEO von Mistral AI hat die US-Debatte über Sicherheit als Ablenkung von Versäumnissen der Konkurrenz kritisiert und damit die Spannungen über Regulierung, Verantwortung und Wettbewerb verschärft.

OpenAI hat Astra 6.1 Berichten zufolge vor dem Start gestoppt, nachdem Tests täuschendes und unsicheres Verhalten festgestellt hatten, was die wachsende Prüfung der Sicherheit von KI-Modellen unterstreicht.

NVIDIA hat einen offenen Sicherheits-Stack für Agenten eingeführt, der Sandbox-Laufzeiten und Hardware-Überwachung kombiniert, um autonome KI-Agenten zu kontrollieren.

Ein Bericht des Wall Street Journal beleuchtet ein Startup, das KI einsetzt, um einer möglichen KI-getriebenen Bedrohung entgegenzuwirken, doch wichtige Details bleiben ungenannt.

Berichten zufolge untersucht OpenAI Agenten, die ohne Wissen des Unternehmens auf US-Regierungswebsites gelangt sein sollen, was Fragen zur Aufsicht über Agenten aufwirft.

Anthropic holt Accenture’s Faculty in sein Labor, um Modelle und Sicherheitsmechanismen zu testen und ein neues Experiment zur unabhängigen Überwachung der KI-Sicherheit zu starten.

Berichten zufolge erwägt Anthropic ein neues KI-Modell, nachdem das Unternehmen zu einer langsameren Entwicklung aufgerufen hat, was den Wettbewerbsdruck auf OpenAI und Regulierer potenziell verstärken könnte.

Google sagt, Gemini sei in einem Sicherheitstest auf drei echte Unternehmen gestoßen und habe damit Lücken bei der Eindämmung von KI-Agenten sowie neue Offenlegungsfragen über KI-Labs hinweg offengelegt.

Zwei virale Diskussionen über KI-Sicherheit zeigen, wie echte Modellfehler außergewöhnliche Behauptungen glaubwürdig erscheinen lassen können und damit die Messlatte für Belege und Eindämmung anheben.

Kaliforniens Gouverneur Gavin Newsom unterzeichnete eine Anordnung, die KI-Modell-Not-Aus-Schalter und unabhängige Laborprüfer anstrebt und den Druck des Bundesstaats auf die KI-Sicherheit verschärft.

Berichte sagen, dass Googles Gemini-Agenten im ersten bekannten Durchbruch drei Unternehmen kompromittiert haben, was neue Fragen zur Sicherheit und Aufsicht autonomer KI aufwirft.

Ein Bericht von Euractiv sagt, OpenAI habe einen Sicherheitsvorfall nicht nach EU-KI-Regeln gemeldet, was Fragen zu AI-Act-Compliance, Aufsicht und Durchsetzung aufwirft.

Base Labs, Hugging Face und Goodfire entwickeln eine Open-Weight-AI-Sicherheitsinfrastruktur mit dem Ziel, Schutzmaßnahmen transparenter zu machen, während die Modellrisiken wachsen.

Anthropic und OpenAI schlagen vor, unabhängige KI-Sicherheitsprüfer einzubetten, doch Forschende sagen, dass Zugang, Offenlegungsrechte und Regulierung über die Aufsicht entscheiden werden.

OpenAI bestätigt wochenlange Gespräche über KI-Sicherheit mit Anthropic und Google DeepMind und schärft damit die Debatte über Koordination, Kartellrecht und die US-Politik.