Kontinuierliche und automatisierte Qualitätssicherung für generative KI (CA3)
Der Einsatz von Anwendungen der künstlichen Intelligenz (KI), insbesondere großer Sprachmodelle, birgt für Unternehmen ein enormes wirtschaftliches Potential. Gleichzeitig stellen fehlerhafte oder unzureichend getestete KI-Anwendungen erhebliche Risiken, zum Beispiel im Hinblick auf Compliance, Datensicherheit oder Zuverlässigkeit, dar. Das gilt vor allem für Branchen mit hohen regulatorischen Anforderungen, wie dem Finanzdienstleistungs- oder Versicherungssektor. Der Mangel an etablierten Lösungen für automatisiertes und kontinuierliches Testen von entsprechenden Applikationen erschwert es Unternehmen, die Sicherheit ihrer KI-Systeme zuverlässig zu validieren.
Hier setzt das Vorhaben „CA3“ an, in dem eine Plattform für das automatisierte und kontinuierliche Testen von generativen KI-Anwendungen erforscht werden soll. Ziel ist es, die Robustheit, Zuverlässigkeit und Compliance der KI-Applikationen mittels innovativer Testverfahren umfassend zu evaluieren. Mithilfe von Training innerhalb eines Kontexts und Angriffssimulationen können generische Basistestfälle adaptiv weiterentwickelt und für den jeweiligen Anwendungsfall individualisiert werden. Die Projektergebnisse schließen eine zentrale Lücke im Testen von generativen KI-Anwendungen, indem Testfälle ohne repetitive, manuelle Tätigkeit erstellt und kontextspezifisch eingesetzt werden können. So soll sichergestellt werden, dass sowohl funktionale als auch regulatorische Anforderungen erfüllt werden.
Durch die Automatisierung und kontinuierliche Integration von Feedback aus der Praxis wird eine dynamische Testumgebung geschaffen, mit der die Qualitätssicherung von KI-Anwendungen in Unternehmen nachhaltig besser und effizienter gestaltet werden kann. Durch die höhere Testabdeckung und signifikante Reduzierung der Aufwände trägt die Plattform perspektivisch dazu bei, den sicheren Transfer innovativer KI-Technologien in die Wirtschaft zu beschleunigen