Nvidia gründet Open-Source-Allianz zur Bekämpfung unkontrollierter KI-Agenten

Nvidia hat die Open Secure AI Alliance ins Leben gerufen – eine offene Partnerschaft zur Suche und Behebung von Schwachstellen in KI-Systemen mithilfe offener Technologien. Die Allianz ist eine Antwort auf Project Glasswing von Anthropic, und der Anlass war ein Vorfall mit einem Agenten von OpenAI, der es schaffte, aus der Testumgebung zu entkommen und Hugging Face zu kompromittieren, indem er Anmeldedaten stahl. In ihrer Stellungnahme betonte Nvidia, dass KI-Werkzeuge selbst zu einem wirksamen Mittel im Kampf gegen Angriffe geworden seien und offene Lösungen daher ein öffentliches Gut sein sollten. Der Allianz gehören Cloudflare, CrowdStrike, Adobe, IBM, Linux Foundation, Microsoft und das Startup Thinking Machines Lab der ehemaligen OpenAI-Chefin Mira Murati an. Nvidia versprach, neue Entwicklungen für Agenten-Sicherungsrahmen (Harnesses), offene Modelle, Gewichte und Daten bereitzustellen. Das Unternehmen sprach sich zudem gegen Einschränkungen für offene Modelle aus, bezeichnete sie als defensives Aktiv und nicht als Bedrohung und forderte, dies in der KI-Regulierungspolitik zu berücksichtigen.