Gute KI gegen böse KI (2024)

Der ewige Kampf Gut gegen Böse, die KI Edition Gute KI gegen böse KI

12.06.2024 Ein Gastbeitrag von Sascha Giese 5 min Lesedauer

Mit jedem neuen technologischen Fortschritt kommt das Potenzial für bösartigen Missbrauch. Für jedes Feld der IT, das eröffnet wird, entstehen ebenso neue Fronten für Angriffe auf Daten, Infrastrukturen und Anwendungen. Das kann man aktuell auch anhand der neuen Fortschritte bei der KI beobachten.

Seit einigen Jahren gibt es daher KI-basierte Lösungen in der Cybersecurity. Die Vorteile liegen auf der Hand. Beim Sammeln und Aufbereiten von Informationen, der Anomalie-Erkennung, sowie der Reaktionsgeschwindigkeit sind KIs dem Menschen mittlerweile weit voraus. Trotzdem haperte es mit der Verbreitung aus zwei Gründen: zum einen war der finanzielle Aufwand für „high end“ nur für Enterprises zu stemmen, zum anderen dauerte die Anlernphase mehrere Monate. Zeit, die man nur bei langfristiger Planung zur Verfügung hat.

Mittlerweile sieht der Markt aber etwas anders aus. Während die Medien den Fokus auf ChatGPT, Midjourney, Sora und Co lenken, ist vieles im Hintergrund geschehen. KI ist plötzlich bezahlbar, und relativ schnell einsatzfähig. Das ist zwar gut, da nun auch kleinere Unternehmen von der Technologie profitieren können aber die Erschwinglichkeit hat auch Schattenseiten.

Jetzt kommen die bösen Buben

Durch die Verfügbarkeit und Flexibilität steigt die Attraktivität von KI auch für das organisierte Verbrechen. Aber wie wird eine KI plötzlich bösartig? Vereinfacht gesehen, imitiert eine KI ein angelerntes Verhalten auf Grund von Wahrscheinlichkeiten. Angreifer müssen also lediglich betrachten, was defensive KIs erledigen, und das Verhalten umdrehen. Ein paar Beispiele mit ansteigender Komplexität.

Unternehmen, die in reglementierten Sektoren tätig sind, müssen die Konformität zu den entsprechenden Regularien einhalten, die üblichen Beispiele sind hier Finanz- und Gesundheitswesen. Aber auch für viele andere Bereiche gelten Regeln, nicht zuletzt seit IT-SiG 2.0. Diese Regeln sind mal mehr, mal weniger definiert, aber gerade in kritischen Bereichen äußerst detailliert und beinhalten z.B. bestimmte Konfigurationselemente bei Netzwerkgeräten oder Servern. Zur Unterstützung der Unternehmen gibt es seit geraumer Zeit Lösungen, die diese Vorgaben permanent auf Einhaltung überwachen. Dank KI auch in Echtzeit mit der Erkennung von Konfigurationsänderungen.

Was macht also die offensive KI? Hier werden die gleichen Algorithmen genutzt, um Konfigurationsfehler zu erkennen. Aber statt diese Löcher automatisch zu stopfen, wird das Tor automatisch weiter geöffnet.

Ein weiteres Beispiel ist das Ausnutzen einer menschlichen Schwäche: Unserer geringen Aufmerksamkeitsspanne. In IT Operations gibt es ein Phänomen das sich „Alert Fatigue“ nennt. Hier wird der Zustand beschrieben, in den wir gehen, wenn wir zu viel Informationen, in diesem Fall Alarme und Benachrichtigungen, bekommen. Wir schalten innerlich ab und betrachten die Anzahl an Meldungen als normal mit dem Resultat, das wir nur langsam oder gar nicht mehr reagieren. Vereinfacht: Wer hat noch nie eine Fehlermeldung auf dem Desktop weggeklickt, ohne sie wirklich zu lesen?

Moderne Überwachungssysteme nutzen KI, um durch Anomalie-Erkennung Alarme zu filtern und nur dann auszulösen, wenn ein triftiger Grund vorliegt. Die offensive KI nutzt genau dies aus und generiert auf falschen Fakten basierende Alarme, um den Menschen auszulasten. Wir kennen das als MFA Bombing, wenn so viele Anfragen zur Multifaktor-Auth generiert werden, dass wir entnervt aufgeben und auf OK klicken.

Wirklich spannend wird es, wenn Verhaltenserkennung missbraucht wird. KI-Lösungen, die das Verhalten von Mitarbeitern an Computern analysieren, sind ohnehin ein zweischneidiges Schwert und bedürfen oft viel Aufklärungsarbeit. Tatsächlich sind sie jedoch sinnvoll, da es nicht darum geht, Mitarbeitern nachzuspionieren, sondern festzustellen, wenn ein aus Security-Sicht atypisches Verhalten auftritt.

Die offensive KI geht hier etwas anders vor. Das typische Verhalten von Mitarbeitern wird analysiert, und es wird versucht, mit geringstmöglichen Abweichungen z.B. mehr Informationen über die IT-Umgebung zu bekommen. Mindestens. Tatsächlich ist gerade in diesem Bereich mehr möglich. Durch die Fortschritte in Bereichen natürlicher Sprache und die berüchtigten Deepfakes kann eine schädliche KI hier Kommunikation zwischen Mitarbeitern einleiten und sich so von Position zu Position hocharbeiten.

Der Kampf der Systeme

Vor einigen Jahren gab es eine Fernsehserie, bei der es um eine KI ging, die nicht weit von der Realität war: Person of Interest. In der letzten Staffel haben zwei verfeindete KIs gegeneinander Krieg geführt mit dem Ziel, das Gegenüber auszulöschen. Selbstverständlich Science-Fiction, aber der Science-Faktor war durchaus glaubhaft.

Eine derartige Situation kann jederzeit im Unternehmen stattfinden. Die offensive und die defensive KI treffen sich. Nun gibt es allerdings ein Problem. Die defensive KI unterscheidet nicht wirklich, woher ein Angriff kommt. Bis auf wenige Ausnahmen, wird eher von einer Attacke durch Menschen ausgegangen. Die offensive KI kann hier im Vorteil sein, vor allem, wenn die Angreifer schon herausgefunden haben, welches System zur Verteidigung eingesetzt wird.

Nun wird die Situation leider etwas abstrakt. Man kann es als gesichert betrachten, dass die Bösewichte sämtliche Sicherheitslösungen testen und auf mögliche Schwachstellen untersuchen. Bei KIs wird versucht, herauszufinden, wie diese trainiert worden sind. Welche Daten wurden genutzt? Lassen sich bestimmte Reaktionen wiederholt auslösen? Gibt es eine Bias, oder einen blinden Fleck? Kann man Halluzinationen hervorrufen und ausnutzen?

Tatsächlich gibt es mittlerweile open-source KI Frameworks, und nahezu jeder Mathematikstudent kann diese mit ein wenig Geduld und viel krimineller Energie missbrauchen. Darüber hinaus gibt es fertige Systeme, die man problemlos finden kann, Stichwort Worm AI oder EvilGPT. In einschlägigen Marktplätzen, nur über TOR erreichbar, gibt es bereits erfolgreich getestete Baukästen für einige hundert Dollar zu kaufen.

Rettung ist in Sicht

Relativ neu auf dem Markt sind KIs, die die Sicherheit anderer KIs garantieren wollen.

Ja, diesen Satz bitte noch einmal lesen. Die Idee ist tatsächlich interessant, da ein mehrfacher Ansatz genutzt wird. Zum einen können Hersteller von KI oder KI-gestützten Lösungen diese zusätzlichen Sicherheitsnetze während der Entwicklungsphase nutzen, um Schwachstellen in Programmierung als auch Training zu entdecken und zu beseitigen. Zum anderen können Unternehmen, die KI einsetzen, diese während der Deployment-Phase oder auch permanent überwachen.

Quis custodiet ipsos custodes - oder auch: Who watches the watchmen.

Auch im Hinblick auf bereits bestehende oder noch entstehende gesetzliche Regelungen zum Betrieb von KI sind derartige Lösungen tatsächlich ein Thema, das man im Auge behalten sollte. Der Krieg der KIs, der Kampf von Gut gegen Böse, wird uns in naher Zukunft mehr und mehr beschäftigen. Leider nicht nur als Science-Fiction.

Über den Autor: Sascha Giese ist Global Tech Evangelist, Observability und Head Geek bei SolarWinds.

(ID:50057470)