Anthropic, ein führendes Unternehmen in der KI-Entwicklung, hat die Nutzungsrichtlinien für seinen Chatbot Claude aktualisiert, um auf wachsende Sicherheitsbedenken zu reagieren. Die neuen Regeln, die am 15. September 2025 in Kraft treten, zielen darauf ab, die potenziellen Risiken fortschrittlicher KI-Modelle zu minimieren, insbesondere im Hinblick auf die Entwicklung gefährlicher Waffen und Cyberbedrohungen. Gleichzeitig lockert Anthropic einige Einschränkungen für politische Inhalte, um legitime Nutzungsmöglichkeiten zu fördern.
Die überarbeitete Richtlinie erweitert die bisherigen Verbote, die die Nutzung von Claude für die Herstellung, Modifikation, Vermarktung oder Verbreitung von Waffen und gefährlichen Materialien untersagten. Neu ist die explizite Nennung von Hochleistungssprengstoffen sowie biologischen, chemischen, radiologischen und nuklearen (CBRN) Waffen als verbotene Anwendungen. Diese Änderung spiegelt die gestiegene Besorgnis über die mögliche Missbrauchsgefahr von KI in sensiblen Bereichen wider.
Bereits im Mai 2025 führte Anthropic mit der Veröffentlichung von Claude Opus 4 die „AI Safety Level 3“ (ASL-3)-Schutzmaßnahmen ein. Diese umfassen verstärkte Sicherheitsvorkehrungen, um sogenannte Jailbreaks – also das Umgehen von Sicherheitsbeschränkungen – zu erschweren und die Unterstützung bei der Entwicklung von CBRN-Waffen zu verhindern. Diese Maßnahmen wurden als Vorsichtsmaßnahme eingeführt, da nicht abschließend geklärt ist, ob Claude Opus 4 die Fähigkeitsschwelle für ASL-3 erreicht hat.
Ein weiterer Schwerpunkt der aktualisierten Richtlinie ist die Reaktion auf die Risiken sogenannter agentiver KI-Tools wie „Computer Use“, das Claude erlaubt, den Computer eines Nutzers zu steuern, und „Claude Code“, das Claude in Entwicklungsumgebungen integriert. Diese Funktionen bergen Risiken wie die Erstellung von Malware oder die Unterstützung von Cyberangriffen. Die neue Richtlinie enthält daher eine eigene Sektion, „Do Not Compromise Computer or Network Systems“, die Aktivitäten wie das Ausnutzen von Sicherheitslücken, die Erstellung von Schadsoftware oder die Entwicklung von Werkzeugen für Denial-of-Service-Angriffe verbietet. Anthropic unterstützt jedoch weiterhin positive Anwendungen, wie die Entdeckung von Sicherheitslücken mit Zustimmung der Betroffenen.
Parallel dazu hat Anthropic die Regeln für politische Inhalte gelockert. Statt eines umfassenden Verbots von Inhalten zu politischen Kampagnen oder Lobbying verbietet die neue Richtlinie nur Nutzungen, die „täuschend oder störend für demokratische Prozesse“ sind, wie etwa gezielte Wähler- oder Kampagnenmanipulation. Zudem wurde klargestellt, dass Anforderungen für „hochriskante“ Anwendungsfälle, wie Empfehlungen in rechtlichen, finanziellen oder beruflichen Kontexten, nur für konsumentenorientierte Szenarien gelten, nicht für geschäftliche Anwendungen.
Die Änderungen sind Teil von Anthropics Responsible Scaling Policy (RSP), die darauf abzielt, Sicherheitsmaßnahmen proportional zu den potenziellen Risiken von KI-Modellen zu skalieren. Das Unternehmen betont, dass die Richtlinie ein „lebendiges Dokument“ ist, das mit der Weiterentwicklung der KI-Technologie angepasst wird. Durch die Zusammenarbeit mit externen Experten, politischen Entscheidungsträgern und der Zivilgesellschaft will Anthropic sicherstellen, dass seine Sicherheitsmaßnahmen mit globalen Standards Schritt halten.
Die neuen Regeln unterstreichen Anthropics Bestreben, Innovation und Sicherheit in Einklang zu bringen, während die generative KI-Branche – mit Konkurrenten wie OpenAI, Google und Microsoft – rasant wächst. Die Aktualisierung könnte als Vorbild für andere Unternehmen dienen, die mit ähnlichen Herausforderungen in der sich schnell entwickelnden KI-Landschaft konfrontiert sind.
