Sichere Zukunftstechnologien in einer hypervernetzten Welt: Künstliche Intelligenz

Ziel der Förderung ist es, die Forschung, Expertise und Wertschöpfung im Bereich der IT-Sicherheit in Deutschland nachhaltig zu stärken und Lösungen für den sicheren Einsatz von KI-Technologien voranzubringen. Die Forschungsexpertise im Schnittbereich von IT-Sicherheit und KI soll ausgebaut und der Transfer in die Praxis beschleunigt werden.

Roboter Hand und Menschliche Hand berühren ein Schlüsselloch
© Adobe Stock / Blue Planet Studio

Künstliche Intelligenz (KI) ist zweifellos eine der Schlüsseltechnologien der Zukunft und muss daher sicher gestaltet sein. Mit der Veröffentlichung des Chatbots „ChatGPT“ Ende 2022 ist die Mächtigkeit der aktuellen Generation von KI-Systemen einer breiten Öffentlichkeit bewusst geworden. In der Folge ist die öffentliche Aufmerksamkeit vor allem für generative KI, wie beispielsweise KI-basierte Text- und Bildgeneratoren, stark gestiegen. Die rapide Entwicklung im Bereich der KI eröffnet zahlreiche neue Möglichkeiten und führt zu einem vermehrten Einsatz von KI in Produkten, Dienstleistungen und Geschäftsmodellen.

Die enormen Möglichkeiten gehen jedoch mit zunehmenden Risiken einher: Tief in digitale Produkte und Prozesse und den Alltag von unzähligen Menschen integrierte KI-Technologie muss hohen Sicherheitsanforderungen genügen und im Einklang mit ethischen Werten operieren. Außerdem kann moderne KI-Technologie dazu missbraucht werden, Cyberangriffe auf Menschen und IT-Systeme noch effektiver und effizienter durchzuführen.

Förderziel 

Ziel der Förderung ist es, die Forschung, Expertise und Wertschöpfung im Bereich der IT-Sicherheit in Deutschland nachhaltig zu stärken und Lösungen für den sicheren Einsatz von KI-Technologien voranzubringen. Die Forschungsexpertise im Schnittbereich von IT-Sicherheit und KI soll ausgebaut und der Transfer in die Praxis beschleunigt werden. Durch die Zusammenarbeit von Unternehmen und Forschungseinrichtungen soll das vorhandene Know-how aus Deutschlands vergleichsweise gut aufgestellter IT-Sicherheitsforschung auf Umsetzungspartner aus der Wirtschaft transferiert und in die Anwendungen gebracht werden. Die Förderung leistet einen wichtigen Beitrag zur technologischen Souveränität Deutschlands im Bereich der IT-Sicherheit. Damit ist es auch Ziel der Förderung, die Verfügbarkeit von sicheren und vertrauenswürdigen KI-Systemen und KI-gestützten Sicherheitslösungen in wesentlichen Anwendungsbereichen qualitativ zu verbessern und quantitativ zu steigern.

Die Ziele dieser Förderrichtlinie sind anhand der folgenden Indikatoren bemessen: Indikator für die Qualität ist langfristig die Anzahl von Produktinnovationen, in denen sichere KI zum Einsatz kommt oder die die Sicherheit von IT-Systemen durch den Einsatz von KI erhöhen. Ergänzende wissenschaftliche Zielindikatoren sind mittelfristig die Erhöhung des Impacts wissenschaftlicher Arbeiten, das Entstehen neuer Publikations- bzw. Konferenzreihen und das Wachstum von Forschungsgruppen im Schnittbereich von IT-Sicherheit und KI. Mit der Förderrichtlinie soll die vorwettbewerbliche Zusammenarbeit von Unternehmen und Forschungseinrichtungen im universitären und außeruniversitären Bereich intensiviert sowie die Beteiligung kleiner und mittlerer Unternehmen (KMU) an Forschungsprojekten unterstützt werden. Die Intensivierung der Zusammenarbeit lässt sich unter anderem über die Anzahl neuer kontinuierlicher Kontakte zwischen Wirtschaft und Wissenschaft messen.

Zuwendungszweck

Zweck der Zuwendung ist es, innerhalb einer dem Vorhaben angemessenen Projektlaufzeit von typischerweise drei Jahren, neue tragfähige Technologien, Verfahren und Methoden zur Anonymisierung bzw. Depersonalisierung von personenbeziehbaren Daten sowie dazugehörige Dienstleistungen und Geschäftsmodelle zu entwickeln, zu verbessern und zu erproben. Dabei ist eine dem Vorhaben angemessene Methodik zu verwenden. Die im Vorhaben erzielten Ergebnisse sind geeignet zu evaluieren, zu bewerten und für die weitere Verwertung vorzubereiten. Mittel- bis langfristig soll ein Standortvorteil für Deutschland und Europa erreicht und die hiesige traditionelle Sensibilisierung für Themen wie Datenschutz und Erhalt der Privatsphäre positiv für wirtschaftliches Wachstum genutzt werden.

Die Fördermaßnahme ist Teil des Forschungsrahmenprogramms der Bundesregierung zur IT-Sicherheit „Digital. Sicher. Souverän.“ . Sie trägt insbesondere zur Umsetzung der strategischen Ziele „Daten und Know-how: geschützt und nutzbar“, „Privatheit und Datenschutz: selbstbestimmt und innovativ“ sowie „Innovation und Transfer: weltspitze und zukunftssicher“ bei.

Gegenstand der Förderung

Fortschritte im Bereich der KI haben große Auswirkungen auf den Bereich der IT-Sicherheit: Mit der zunehmenden Verbreitung von KI-Technologien wird deren zuverlässige Absicherung gegen Cyberangriffe und Manipulation ein immer wichtigeres Forschungs- und Handlungsfeld. Darüber hinaus wird KI zunehmend eingesetzt, um eine höhere IT-Sicherheit zu erzielen. Und schließlich lässt sich ein vermehrter Missbrauch von KI im Rahmen von Cyberangriffen und Social Engineering beobachten.

Beispiele für Forschungsthemen in diesen drei Teilbereichen sind:

IT-Sicherheit für KI:

  • Schutz von KI-Modellen, Trainings- und Testdaten vor Manipulation,
  • Schutz von KI-Modellen vor der Extraktion von sensiblen Daten,
  • Testen der Sicherheit von KI-Systemen gegen Cyberangriffe,
  • Absicherung von KI-Systemen gegen Cyberangriffe,
  • Sichere Betriebsumgebungen für unsichere KI-Systeme,
  • Authentifizierung von KI-generierten Ergebnissen.

IT-Sicherheit durch KI:

  • KI-basierte Erkennung von
    • Schwachstellen in IT-Systemen,
    • Cyberangriffen auf IT-Systeme,
    • Manipulationen von KI-Modellen, Trainings- und Testdaten.
  • KI-basierte Unterstützung von
    • Entwicklern beim Entwurf und der Implementierung sicherer Systeme,
    • Endnutzern mit situationsbezogenen, sicheren Handlungsempfehlungen,
    • Administratoren bei der sicheren Konfiguration von IT-Systemen und der Abwehr laufender Cyberangriffe,
    • forensischen Untersuchungen kompromittierter IT-Systeme.
    • Cyber Threat Intelligence, unter anderem KI-basierte Lagebilder verteilter Sicherheitsvorfälle,
    • „Intelligente“ Honeypots, zum Beispiel KI-erzeugte Honey Files.
  • IT-Sicherheit gegen KI:
    • Erkennung von KI-generierter Malware,
    • Abwehr von KI-basierten
    • Cyberangriffen auf IT-Systeme,
    • Social-Engineering-Attacken.

Der Themenkomplex Desinformation und Deepfakes ist nicht Teil dieser Förderrichtlinie. Ebenso steht das Thema Privatheit nicht im Fokus dieser Förderrichtlinie.

Projekte sollen jeweils einen klaren Praxisbezug entlang eines Anwendungsfalls aufweisen. Dieser Praxisbezug und die Verwertbarkeit der Forschungsergebnisse sind durch eine angemessene Beteiligung von Anwendern in der Verbundstruktur sicherzustellen.

Zusätzlich muss die Verfügbarkeit beziehungsweise Zugänglichkeit der für das Vorhaben benötigten Daten sichergestellt werden. Das heißt, die benötigten Daten müssen entweder frei verfügbar sein oder entsprechende Datenlieferanten müssen als Partner ins Vorhaben eingebunden werden. Andere Formen des Datenzugangs müssen nachvollziehbar dargestellt werden.

Es werden vorzugsweise interdisziplinäre Verbünde gefördert, die Expertise im Bereich der KI und der IT-Sicherheit vorweisen können.

Querschnittsthemen wie Normung, Standardisierung und vorbereitende Arbeiten zur Zertifizierung sollen, soweit relevant, in den Vorhaben berücksichtigt werden.

Weitere Informationen

Komplette Bekanntmachung des BMBF