KI-Hacking: Reale Risiken und die Folgen von Angriffen auf KI-Systeme

AI auf Basis von Large Language Models (LLMs) und generativer AI unterstützt heute Entscheidungen, automatisiert Prozesse und verarbeitet sensible Daten. Dies betrifft auch die Versicherungsbranche, etwa in der Schadenbearbeitung, Risikobewertung oder Kundenkommunikation. Mit dem Aufkommen von agentischen AI-Systemen, die eigenständig Aktionen ausführen, Tools nutzen und mit anderen Systemen interagieren, entstehen jedoch neue und oft unterschätzte Sicherheitsrisiken.In dieser Session zeigen wir, wie LLM-basierte und agentische AI-Systeme gehackt werden können und welche Schwachstellen dabei eine Rolle spielen. Anhand konkreter Beispiele erläutern wir typische Angriffspunkte wie Prompt Injection, Tool-Missbrauch und indirekte Angriffe über externe Datenquellen.In einer Live-Demo greifen wir einen AI-Agenten in einer simulierten Banking-Anwendung an. Dabei zeigen wir Schritt für Schritt, wie ein Angriff eskalieren kann. Wir starten bei der Manipulation des Agenten und zeigen, wie dies bis zu kritischen Auswirkungen wie Remote Code Execution und einer unerlaubten Geldüberweisung führen kann. Gleichzeitig zeigen wir, wie solche Angriffe entstehen und welche technischen Maßnahmen helfen können, sie zu verhindern.Ziel ist es, ein praxisnahes Verständnis für reale Risiken moderner AI-Systeme zu schaffen. Wir zeigen auf, wie Unternehmen die Angriffsfläche ihrer AI-Anwendungen erkennen, bewerten und reduzieren können. Dies gilt insbesondere für Versicherer und Aktuare, die zunehmend auf datengetriebene AI-Modelle setzen.Was Sie aus dem Vortrag mitnehmen:

• Welche Sicherheitsrisiken durch den Einsatz von LLMs, generativer AI und agentischen Systemen entstehen und warum diese auch für die Versicherungsbranche relevant sind
• Warum klassische IT-Sicherheitsmassnahmen für AI-Systeme und -Agenten oft nicht ausreichen
• Reale Beispiele dafür, wie LLM-basierte und agentische AI-Systeme heute angegriffen werden können
• Eine Live-Demo, in der wir einen AI-Agenten in einer simulierten Banking-App hacken und zeigen, wie es zu Remote Code Execution und einer manipulierten Geldüberweisung kommen kann sowie wie man solche Angriffe verhindert
• Praktische Ansätze, um AI-Systeme sicherer zu entwickeln und zu betreiben