Überprüfung und Absicherung von generativer Künstlicher Intelligenz
Große Sprachmodelle als eine Form der generativen Künstlichen Intelligenz (KI) haben in wenigen Jahren eine enorme Verbreitung erreicht, schaffen aber auch neue Sicherheitsrisiken, wie die Verbreitung von Desinformation oder die Manipulation der Nutzenden. Für eine umfassende Nutzung sind effektive Sicherheitsvorgaben und -richtlinien zum Schutz vor diesen Risiken notwendig. Vor diesem Hintergrund hat die Europäische Union Vorschriften wie den AI-Act erlassen, welche KI-Systeme in Risikokategorien unterteilen und strenge Auflagen für deren Verwendung in sensiblen Bereichen vorgeben. Die umfassende Bewertung von KI-Systemen ist bislang allerdings sehr aufwändig. Um die Konformität von KI-Systemen mit den aktuellen Regulierungen zu jedem Zeitpunkt zu gewährleisten, muss die Möglichkeit bestehen, diese an möglicherweise aktualisierte Anforderungen anzupassen.
Das Projekt „GENS(AI)FE“ zielt darauf ab, eine ganzheitliche Lösung für die Sicherheit und Governance von KI-Systemen zu entwickeln. Der Fokus liegt dabei auf der Erforschung der Herausforderungen, die sich insbesondere für das Testen und Prüfen von Anwendungen mit generativer KI ergeben. Dabei bauen die Forschenden auf der bereits bestehenden selbst entwickelten Plattform für klassische KI-Systeme auf. Ein weiteres Ziel ist die Entwicklung sogenannter Schiedsrichtermodelle, welche die Ergebnisse großer kommerzieller Sprachmodelle hinsichtlich Schädlichkeit, Sicherheit und Datenschutz bewerten können. Zusätzlich werden Governance- und Risikomanagementfunktionen entwickelt, um die Konformität mit regulatorischen Vorschriften zu gewährleisten.
Die Projektergebnisse ermöglichen die Integration von Sicherheitstests und Governance in einer einzigen Plattform und schaffen so eine zentrale Komplettlösung für vertrauenswürdige KI. Dadurch können viele Akteure und Unternehmern ihre Verpflichtungen aus dem AI-Act und anderen Standards sicher erfüllen. So trägt das Vorhaben zur Stärkung der Cybersicherheit in Europa bei.