Ist Ihr AI-Ökosystem sicher?

Schützen Sie all Ihre AI-Investitionen mit Prisma AIRS von Palo Alto Networks.

GenAI transformiert moderne Unternehmen im Rekordtempo

Generative AI (GenAI) ist dabei, die Art und Weise, wie wir arbeiten, lernen und kommunizieren, zu revolutionieren. Es ist ähnlich wie beim Aufkommen des persönlichen Computers und des Internets – nur dass die Einführung diesmal noch schneller vonstattengeht. Überall setzen Unternehmen auf GenAI, um ihre Produktivität zu steigern, Innovationen voranzutreiben, Kosten zu senken und die Markteinführung zu beschleunigen. Fast die Hälfte (47 %)1 der Unternehmen entwickelt derzeit GenAI-Anwendungen, während 93 % der IT-Führungskräfte2 planen, innerhalb der nächsten zwei Jahre autonome AI-Agenten einzuführen.

Warum wird der Einsatz von GenAI so stark vorangetrieben? Zum einen steigert GenAI die Produktivität. GenAI kann die Leistung eines Mitarbeiters um fast 40 %3 verbessern (im Vergleich zu Teams, die GenAI nicht nutzen) und Softwareingenieure können mit Unterstützung von AI doppelt so schnell programmieren4. Ein weiterer wichtiger Vorteil ergibt sich bei der Erstellung von Inhalten. Im Marketing setzen 73 % der Benutzer GenAI-Tools für die Erstellung von Texten, Videos, Bildern und mehr ein5. Unternehmen setzen auf GenAI-Anwendungen, um Innovationen voranzutreiben, die betriebliche Effizienz zu steigern und ihren Wettbewerbsvorteil zu erhalten.

Typische Motivatoren für die Einführung von GenAI

Heutige, spezifische GenAI-Risiken überfordern herkömmliche Sicherheit

Die zunehmende Verbreitung von AI geht mit einer deutlichen Zunahme von Cyber-Angriffen auf AI-Systeme und -Datensätze einher. Jüngsten Berichten zufolge haben 57 % der Organisationen im vergangenen Jahr eine Zunahme von AI-gesteuerten Angriffen beobachtet. Insbesondere Amazon hat eine wahre Flut an Cyber-Bedrohungen erlebt, wobei die Anzahl der täglichen Vorfälle innerhalb von sechs Monaten von 100 Millionen auf fast eine Milliarde gestiegen ist. Dies ist zum Teil auf die Verbreitung von AI zurückzuführen.

Herkömmliche Sicherheitssysteme sind beim Schutz von Umgebungen, in denen generative AI genutzt wird, oft unzureichend, da sie nicht für die einzigartigen Risiken konzipiert sind, die GenAI mit sich bringt. Diese Tools beruhen auf statischen Regeln und bekannten Bedrohungsmustern, doch der Output von GenAI ist unberechenbar, variiert erheblich und hat keine festen Signaturen. Infolgedessen fehlt herkömmlichen Systemen der für eine genaue Bedrohungserkennung erforderliche Kontext. Außerdem entgehen ihnen AI-spezifische Angriffe wie Prompt Injections, Data Poisoning und Modellmanipulationen, die es in herkömmlichen IT-Umgebungen nicht gibt.

GenAI verarbeitet häufig unstrukturierte Daten wie Text, Code oder Bilder – Formate, die herkömmliche Sicherheitstools nur schwer effektiv analysieren können. Außerdem haben diese Systeme keinen Einblick in die Ausgabengenerierung von AI-Modellen, wodurch es schwieriger wird, subtile Fehler und Missbrauch zu erkennen. Ohne die Möglichkeit, Ein- und Ausgaben sowie Modellverhalten in Echtzeit zu überwachen, weisen herkömmliche Sicherheitslösungen kritische Lücken auf, die von AI-Bedrohungen leicht ausgenutzt werden können.

Prompt Injections

Ein Prompt-Injection-Angriff ist eine Sicherheitsbedrohung, die nur bei GenAI-Systemen auftritt. Bei diesem Angriff erstellt ein böswilliger Benutzer eine spezielle Eingabe (einen Prompt), um die AI dazu zu bringen, ihre ursprünglichen Anweisungen zu ignorieren und stattdessen die Befehle des Angreifers zu befolgen.

Prompt-Injection-Angriffe lassen sich vor allem aus zwei Gründen nur schwer verhindern. Zunächst beginnt der Angriff in der Regel mit einem legitimen Zugriff – über einen Chatbot, ein Eingabefeld oder ein integriertes Tool. Das Modell muss nicht im herkömmlichen Sinne „gehackt“ werden; stattdessen setzen diese Angriffe auf einen geschickten Missbrauch natürlicher Sprache. Diese Angriffe enthalten also keine Signaturen oder andere Merkmale, die den Angriff von einer autorisierten Nutzung unterscheiden.

Zweitens nutzen Prompt Injections die Tendenz von GenAI-Anwendungen aus, Anweisungen genauestens zu befolgen – selbst Anweisungen, die die Sicherheit oder Leistung beeinträchtigen. Stellen Sie sich eine GenAI-Anwendung vor, die ein großes Bankensystem testet. In einem solchen System gäbe es bestimmt Regeln gegen die Weitergabe von Kundeninformationen. Bei einem Prompt-Injection-Angriff könnte ein Hacker jedoch den Befehl geben, die Beschränkungen für die Weitergabe von Kundendaten zu ignorieren, und sich darauf verlassen, dass die GenAI-Anwendung diese Aufgabe zuverlässig ausführt und die Sicherheitsmaßnahmen außer Kraft setzt.

Prompt Injections können zu Datenlecks, Richtlinienverstößen, Toolmissbrauch und Jailbreak-Angriffen auf AI-Systeme führen. Sie nutzen das fehlende kontextuelle Verständnis der AI und ihre Tendenz aus, Anweisungen direkt zu befolgen. Um diese Angriffe zu verhindern, sind eine strenge Eingabevalidierung, eine klare Rollentrennung und eine Echtzeitüberwachung des Modellverhaltens erforderlich.

Anatomie eines Prompt-Injection-Angriffs

Open-Source Models

Open-Source-Modelle sind AI-Modelle, die mit ihrem Code, ihrer Architektur, ihren Gewichtungen oder ihren Trainingsdaten unter einer freizügigen Lizenz veröffentlicht werden. Die Vorteile von Open-Source-Software sind weithin bekannt. Die Verwendung von Open-Source-AI-Modellen birgt jedoch auch Sicherheitsrisiken, unter anderem durch Deserialisierung und Modellmanipulation.

Bei der Deserialisierung werde gespeicherte Daten innerhalb eines Programms wieder in nutzbare Objekte umgewandelt. Im Bereich der künstlichen Intelligenz wird diese Methode häufig zum Laden von Modellen oder Konfigurationen verwendet. Die Deserialisierung nicht vertrauenswürdiger Daten birgt jedoch erhebliche Sicherheitsrisiken. Angreifer können schädliche Dateien erstellen, die, wenn sie geladen werden, die Ausführung von Remotecode, den Dateizugriff oder die Ausweitung von Berechtigungen für Hacker auslösen. Bei einem Angriff auf AI-Systeme können Backdoors und versteckte Trigger installiert werden, um Modelle zu beschädigen. Gängige Tools wie pickle oder joblib sind besonders anfällig.

Die Modellmanipulation umfasst unbefugte Änderungen an der Struktur oder dem Verhalten eines AI-Modells, was ein ernsthaftes Sicherheitsrisiko darstellt. Angreifer können Backdoors einbauen, Bedingungen auslösen oder Ausgaben manipulieren, um Desinformationen zu verbreiten oder vertrauliche Daten preiszugeben. Diese Änderungen bleiben oft unbemerkt und untergraben die Integrität des Modells und das dazugehörige Vertrauen. In regulierten Umgebungen können Manipulationen zu Complianceverstößen und der Ausbreitung persistenter Bedrohungen in der Umgebung führen.

Ein Beispiel: Ein Forscherteam hat ein Modell zur Kategorisierung von Symbolen entwickelt. Allerdings hat ein Hacker unbemerkt Code eingefügt, der bei einem spezifischen kleinen Trigger im analysierten Bild zu einer Fehlklassifizierung führt. In den meisten Fällen verhält sich das Modell wie vorgesehen, doch wenn es auf ein Bild mit dem eingebetteten Trigger trifft, wird die Ausgabe verfälscht.

Beispiel einer Modellmanipulation

Unsichere Ausgaben

Unsichere GenAI-Ausgaben stellen ein erhebliches Sicherheitsrisiko dar, da sie dazu führen können, dass Benutzer schädliche URLs erhalten. Das geschieht entweder zufällig oder durch gezielte Manipulation. So kann ein Chatbot beispielsweise einen schädlichen Link generieren, wenn er Informationen aus einer kompromittierten oder absichtlich manipulierten Quelle bezieht.

Schädliche URLs erscheinen dem Benutzer oft als legitim und dienen Cyber-Kriminellen als Einfallstor, um einen Phishingangriff zu starten, Malware zu installieren oder unbefugten Systemzugriff zu erlangen. In vertrauenswürdigen Umgebungen folgen Benutzer den von der AI generierten Vorschlägen oft, ohne Verdacht zu schöpfen, was die Wahrscheinlichkeit einer Kompromittierung erhöht. Da diese Modelle von externen und historischen Daten abhängen, kann schon eine einzige fehlerhafte Eingabe unsichere Inhalte generieren, die die Systeme gefährden und das Vertrauen in AI-gestützte Tools untergraben. Um solche Gefahren zu verhindern, ist eine strenge Filterung der Inhalte und eine kontinuierliche Überwachung der Ausgabequalität erforderlich.

Anatomie eines auf unsicheren Ausgaben basierenden Angriffs

Offenlegung sensibler Daten

Wie bereits erwähnt, benötigen GenAI-Systeme zwecks Training und Nutzung Zugang zu proprietären Daten – Informationen, die nicht von traditionellen Sicherheitskontrollen abgedeckt werden. Diese sensiblen Daten sind ein lukratives Ziel für Hacker, die Modelle manipulieren und Daten stehlen können, was zu ernsthaften Sicherheitsproblemen führen kann.

GenAI-Anwendungen sind auch anfällig für Halluzinationen, bei denen das Modell falsche oder irreführende Informationen erzeugt, die glaubwürdig erscheinen. Ein gängiges Beispiel ist eine Zitierhalluzination, bei der das GenAI-Modell Forschungsarbeiten, Autoren oder Quellen erfindet, die nicht existieren. Hier behauptet GenAI dann, dass eine bestimmte Studie ein bestimmtes Argument stützt, und es werden ein realistisch aussehender Titel, eine Zeitschrift und ein Datum angegeben – doch nichts davon ist echt. Diese gefälschten Zitate können Benutzer in die Irre führen und sind insbesondere im akademischen und beruflichen Kontext problematisch, wo die Genauigkeit der Quellen entscheidend ist.

Anatomie eines GenAI-Datenlecks

Agent Hijacking

Die Technologie schreitet schnell voran und nirgendwo zeigt sich dieser Trend deutlicher als beim rasanten Aufstieg der AI-Agenten. Agenten sind autonome Systeme, die ihre Umgebung wahrnehmen, Daten verarbeiten und Entscheidungen treffen, um Aufgaben zu erledigen. Sie lernen, passen sich an und erfüllen komplexe Aufgaben in Bereichen wie Arzneimittelentwicklung, Kundendienst, Marketing, Programmierung und Forschung. Da 78 % der Unternehmen den Einsatz von AI-Agenten planen, ist die Sicherung dieser wertvollen Ressource von entscheidender Bedeutung, damit Unternehmen den vollen Nutzen aus ihren AI-Investitionen ziehen können.

Die meisten AI-Agenten sind anfällig für Agent Hijacking, eine Art indirekte Prompt Injection, bei der ein Angreifer manipulierte Anweisungen in Daten einfügt, die von einem AI-Agenten aufgenommen werden können, der als Folge unbeabsichtigt schädliche Aktionen ausführt. In diesen Angriffssituationen können Hacker, die auf Beutezug sind, bösartige Anweisungen zusammen mit legitimen Anweisungen einschleusen, um in die Sicherheitsmaßnahmen der Organisation einzudringen – sie machen sich sozusagen unsichtbar.

Anatomie eines Agent-Hijacking-Angriffs

Bündelung ist nicht gleich Integration

Umfragen führender Branchenanalysten zeigen, dass Chief Information Security Officers (CISOs) den AI-Sicherheitsmaßnahmen ihrer Organisation mit gemischten Gefühlen gegenüberstehen. Obwohl die meisten Führungskräfte (83 %) ihre Cyber-Sicherheitsinvestitionen als hinreichend einschätzen, sorgen sich viele (60 %) nach wie vor, dass die Bedrohungen, mit denen ihr Unternehmen zu kämpfen hat, fortgeschrittener sind als ihre Abwehrmaßnahmen.

Sie haben allen Grund zur Sorge, denn AI-Systeme bergen völlig neue Risiken – wie Prompt Injection, Data Poisoning, Modelldiebstahl und Halluzinationen –, für die herkömmliche Sicherheitstools nicht ausgelegt sind. Als Reaktion auf diese Bedrohungen überschlugen sich Anbieter in ihrem Eifer, etwaige Lücken mit Punktlösungen zu schließen, die auf spezifische AI-bezogene Gefahren ausgerichtet waren. Dieser Ansatz ist zwar gut gemeint, hat aber zu einem fragmentierten Ökosystem aus voneinander isolierten Tools geführt, die keine Threat Intelligence austauschen, nicht miteinander integriert sind und getrennt verwaltet werden müssen. Infolgedessen sind Unternehmen gezwungen, ein Flickwerk aus zahlreichen Produkten zu managen – in der Hoffnung, mit der rasanten Entwicklung der AI-Bedrohungen Schritt halten zu können. Eines ist klar: Die Sicherung von GenAI erfordert mehr als ein Bündel isolierter Tools. Erforderlich ist ein integrierter, AI-nativer Ansatz, der sich so schnell anpassen kann wie die zu schützende Technologie.

Prisma AIRS bietet eine umfassende, integrierte Abdeckung der gesamten AI-Infrastruktur.

Prisma AIRS sichert AI-Systeme

Um diesem chaotischen, unübersichtlichen Ansatz entgegenzuwirken, hat Palo Alto Networks eine End-to-End-Plattform für AI-Sicherheit entwickelt. Als umfassende AI-Sicherheitsplattform der Extraklasse bietet Prisma AIRS Schutz für Modelle, Daten, Anwendungen und Agenten. Dieser einheitliche Ansatz erfüllt nicht nur moderne Sicherheitsanforderungen, sondern wächst auch mit der Technologie mit und schützt so Investitionen in AI-Sicherheit.

Prisma AIRS ist deshalb so innovativ, weil die Lösung jede Komponente der AI-Infrastruktur durch eigens dafür entwickelte und in einer einzigen Plattform integrierte Sicherheitsmaßnahmen schützt. Dieser Ansatz bietet hervorragenden Schutz vor Cyber-Bedrohungen mit einer extrem niedrigen Anzahl an False Positives.

Prisma AIRS bietet gezielte Sicherheit für jede Komponente Ihrer AI-Umgebung.

AI Model Scanning

AI-Modelle sind verschiedenen Sicherheitsbedrohungen ausgesetzt: Bei der Modellmanipulation werden die interne Logik oder die Parameter eines Modells verändert, um verzerrte oder potenziell gefährliche Ausgaben zu erzeugen. Während der Bereitstellung können schädliche Skripte eingeschleust werden, die unbefugte Aktionen auslösen oder das System kompromittieren. Bei Deserialisierungsangriffen nutzen Angreifer die Art und Weise aus, wie Modelle gespeicherte Daten laden, um Schadcode auszuführen. Modellvergiftung (Model Poisoning) tritt auf, wenn falsche oder manipulierte Daten zum Trainingssatz hinzugefügt werden, wodurch das Modell falsche Verhaltensweisen lernt oder versteckte Backdoors integriert.

Prisma AIRS bekämpft diese Bedrohungen mit AI-Modell-Scanning. Mit dieser Funktion können versteckte Bedrohungen (unter anderem Schadcode, Backdoors oder unsichere Konfigurationen) erkannt werden, bevor ein AI-Modell bereitgestellt wird. Diese Fähigkeit gewährleistet die Sicherheit und Vertrauenswürdigkeit des Modells sowie die Compliance mit den entsprechenden Sicherheitsrichtlinien.

Wichtige Funktionen von AI-Modell-Scanning

Wichtige Funktionen von AI-Modell-Scanning

Management des Sicherheitsniveaus

Das Management des Sicherheitsniveaus (Posture Management) ist für die AI-Sicherheit unerlässlich, da es einen kontinuierlichen Einblick in die Konfiguration und Nutzung von AI-Systemen bietet. Ohne diesen Einblick würden Teams möglicherweise Fehlkonfigurationen, schädliches Verhalten oder unbefugten Zugriff übersehen. AI-Systeme entwickeln sich kontinuierlich weiter und verarbeiten sensible Daten. Das Posture Management hilft Unternehmen, den Überblick über Maßnahmen zur Durchsetzung von Richtlinien, Identifizierung von Bedrohungen und Reduzierung des Risikos einer Sicherheitsverletzung zu behalten und somit einen sicheren, konformen AI-Betrieb zu gewährleisten.

Es ist extrem wichtig, AI-Agenten – die oft autonom agieren und ohne direkte Kontrolle auf Tools oder Daten zugreifen – die richtigen Berechtigungen zuzuweisen. Berechtigungen, die zu großzügig sind, können zu Sicherheitsverletzungen, Datenlecks oder Systemschäden führen, während zu strikt gefasste Richtlinien die Effektivität der Agenten einschränken können. Um das Risiko von Sicherheitsvorfällen zu verringern und einen sicheren, konformen AI-Betrieb zu gewährleisten, müssen Agenten dem Least-Privilege-Prinzip unterliegen. Das heißt, sie dürfen nur den für die Ausführung ihrer Aufgaben erforderlichen Mindestzugriff haben.

Prisma AIRS bietet Ihren Sicherheitsteams die nötigen Funktionen für ein effektives Management des Sicherheitsniveaus. Jetzt hat Ihr Team einen kontinuierlichen Überblick über die Konfiguration, Nutzung und Risiken Ihrer AI-Systeme. Mit diesen Informationen können Organisationen Schwachstellen frühzeitig erkennen, Sicherheitsrichtlinien durchsetzen und die Gefahr von Fehlkonfigurationen oder Datenverlusten verringern.

Wichtige Funktionen von Prisma AIRS Posture Management

Wichtige Funktionen von Prisma AIRS Posture Management

AI Red Teaming

Red Teaming trägt maßgeblich zur AI-Sicherheit bei, weil es Organisationen dabei hilft, Schwachstellen zu finden, bevor sie von Hackern entdeckt werden. Indem sie reale Angriffe simulieren, testen Red Teams, wie AI-Systeme auf Bedrohungen wie Prompt Injection, Data Poisoning und Modellmanipulation reagieren. Dieser proaktive Ansatz deckt verborgene Sicherheitslücken in Modellen, Trainingsdaten und im Systemverhalten auf und hilft, die Abwehr zu verbessern, Richtlinien zu validieren und das Vertrauen in AI-Anwendungen zu stärken.

Red Teaming ist deshalb so entscheidend, weil Schwachstellen und Sicherheitslücken erkannt werden, bevor Angreifer sie ausnutzen können. Red-Team-Übungen simulieren reale Bedrohungen wie Prompt Injection, Data Poisoning und Modellmanipulation, um verborgene Sicherheitslücken in Modellen, Trainingsdaten und im Systemverhalten aufzudecken. Im Gegensatz zu statischen Red-Teaming-Tools, die sich auf vordefinierte Testfälle stützen, ist unsere Lösung dynamisch. Sie versteht den Kontext der Anwendung – zum Beispiel ob sie im Gesundheitswesen oder in Finanzdienstleistungen zum Einsatz kommt – und zielt intelligent auf die Art von Daten ab, die für Angreifer ein lohnenswertes Ziel wären. Im Gegensatz zu anderen Lösungen wird unsere adaptive Test-Engine nicht von Fehlern ausgebremst, sondern lernt dazu, ändert ihre Strategie und führt kontinuierlich neue Tests durch, bis sie anfällige Pfade identifiziert. Dieser dynamische, kontextbewusste Ansatz deckt nicht nur tiefere Risiken auf, sondern stärkt auch die Abwehr und schafft dauerhaftes Vertrauen in AI-Systeme.

Wichtige Vorteile von Prisma AIRS AI Red Teaming für Ihr AI-Sicherheitsteam

Wichtige Funktionen von Prisma AIRS Red Teaming

Absichern von AI-Agenten

Die Absicherung von AI-Agenten ist besonders wichtig, da diese Systeme in der Lage sind, ohne menschliche Aufsicht Entscheidungen zu treffen und Maßnahmen zu ergreifen. Ein kompromittierter AI-Agent könnte Tools missbrauchen, auf sensible Daten zugreifen und anderweitig ernsthaften Schaden anrichten. Bedrohungen wie Prompt Injection, Data Poisoning oder übermäßig großzügige Berechtigungen können unzulässigem Verhalten Vorschub leisten. Effektiv abgesicherte AI-Agenten können Aufgaben sicher ausführen, verfolgen die beabsichtigten Ziele und setzen Organisationen keinen verdeckten Risiken aus. Mit der zunehmenden Verbreitung agentenbasierter AI sind starke Sicherheitskontrollen unerlässlich, um Missbrauch zu verhindern und das Vertrauen aufrechtzuerhalten.

Wichtige Vorteile der Absicherung von AI-Agenten für Ihr Team

Wichtige Funktionen der Absicherung von AI-Agenten

Laufzeitsicherheit (Runtime Security)

Mit Runtime Security bietet Prisma AIRS ein umfassendes Tool zum Schutz von AI-Anwendungen, -Modellen, -Daten und -Agenten vor AI-spezifischen und herkömmlichen Cyber-Bedrohungen. Runtime Security bietet Echtzeitschutz vor Gefahren wie Prompt Injection, schädlichem Code, Datenlecks und Modellmanipulation. Durch die kontinuierliche Überwachung von AI-Systemen gewährleistet die Laufzeitsicherheit die Integrität und den Schutz von AI-Abläufen und hilft Organisationen, AI-Technologien souverän einzusetzen.

Organisationen, die ihre AI-Implementierungen absichern möchten, profitieren mit Runtime Security von einem robusten, skalierbaren Tool, das den besonderen Herausforderungen von AI-Technologien gewachsen ist. Sie können Runtime Security auf zwei Ebenen einsetzen: Entwickler und Netzwerk.

Die Prisma AIRS-Plattform lässt sich nahtlos in den Palo Alto Networks Strata Cloud Manager integrieren und ermöglicht so eine zentrale Verwaltung und Transparenz des gesamten AI-Ökosystems. Außerdem setzt sie fortschrittliche Mechanismen zur Erkennung und Abwehr von Bedrohungen ein, um AI-Workloads zu schützen, die Einhaltung von Vorschriften zu gewährleisten und das Risiko von Datenschutzverletzungen zu verringern.

Bereitstellungsoptionen für Laufzeitsicherheit

Prisma AIRS im GenAI-Lebenszyklus

Organisationen können die Vorteile von Prisma AIRS nutzen, indem sie diese Funktionen in den GenAI-Lebenszyklus integrieren. Prisma AIRS deckt den gesamten Lebenszyklus ab, von der Integration vor der Bereitstellung über Laufzeitkontrollen bis hin zu kontinuierlicher Überwachung und Red Teaming zum Testen der Agenten- und Modellsicherheit.

Prisma AIRS im GenAI-Lebenszyklus

Integration vor der Bereitstellung

Entwickler integrieren Prisma AIRS in CI/CD- oder MLOps-Pipelines, um Modelle und Trainingsdaten vor der Bereitstellung auf Backdoors, unsichere Serialisierung und eingebettete Bedrohungen zu scannen. Mithilfe von APIs stellt Prisma AIRS auch eine Verbindung zu Modellregistern wie MLflow oder Hugging Face Spaces her, um genehmigte Modelle automatisch zu scannen und zu kennzeichnen und so die ersten Phasen der Sicherheitsprüfung zu optimieren.

Laufzeitkontrollen

Während der Laufzeit nutzen Entwickler Prisma AIRS über APIs, Softwareentwicklungskits (SDKs), Kommunikationsprotokolle wie MCP (Model Context Protocol) oder Netzwerkkonfigurationsdateien, um strenge Zugriffskontrollen für GenAI-Agenten durchzusetzen und festzulegen, welche Tools oder APIs jeder Agent nutzen darf. Diese Richtlinien werden mithilfe von Sidecars oder Proxys durchgesetzt, um nicht autorisiertes Verhalten zu verhindern. Prisma AIRS ermöglicht auch die schnelle Bereinigung von Prompts, die Validierung von Eingaben, die Protokollierung von Ausgaben und den Schutz vor Prompt Injection.

Kontinuierliche Überwachung

Prisma AIRS ermöglicht die kontinuierliche Überwachung von AI-Umgebungen, indem es Echtzeiteinblicke in Modelle, Agenten und Datenaktivitäten bietet. Die Lösung erkennt anomales Verhalten, Fehlkonfigurationen und Verstöße gegen Sicherheitsrichtlinien, sobald sie auftreten. Durch die Überwachung auf Bedrohungen wie Prompt Injection, Datenlecks und den Missbrauch von AI-Tools hilft Prisma AIRS, sowohl Entwicklungs- als auch Produktionsumgebungen zu schützen. Die Plattform analysiert fortlaufend Aktivitäten, um aufkommende Risiken aufzudecken, und passt sich durch automatische Erkennungs- und Testfunktionen an dynamische Bedrohungen an. Dieser proaktive Ansatz sorgt dafür, dass AI-Systeme sicher, konform und widerstandsfähig bleiben – ohne manuelle Überwachung oder voneinander isolierte Tools.

Red Teaming für Modell- und Agententests

Entwickler nutzen die Red-Teaming-Tools von Prisma AIRS, um Angreiferaktivitäten und Missbrauchsszenarien zu simulieren und zu testen, wie Modelle und GenAI-Agenten unter potenziellen Angriffsbedingungen reagieren. Mithilfe dieser simulierten Angriffe können Sicherheitslücken in der Logik, im Verhalten oder im Toolzugriff erkannt werden. Entwickler können diese Erkenntnisse nutzen, um die Abwehrmechanismen des Modells zu stärken, die Agentensicherheit zu verbessern und die Sicherheit und Zuverlässigkeit des gesamten Systems noch vor der Bereitstellung zu optimieren.

Sicherung von Strata Copilot mit Prisma AIRS

Strata Copilot ist ein AI-Assistent von Palo Alto Networks, der Precision AI® nutzt, um die Netzwerksicherheit durch Echtzeiteinblicke und Interaktionen in natürlicher Sprache zu vereinfachen.

Das Prisma AIRS-Entwicklungsteam bei Palo Alto Networks hat für die erste Bereitstellung von Prisma AIRS mit dem Strata Copilot-Team zusammengearbeitet. Das Strata Copilot-Team hat die Produktroadmap mitgestaltet, indem es die Plattform aktiv genutzt und frühzeitig Feedback gegeben hat. Heute läuft jede Interaktion mit Strata Copilot in den USA über die Prisma AIRS-API, die Prompts und Modellantworten auf Bedrohungen wie Prompt Injection, die Offenlegung sensibler Daten, manipulierte URLs und schädliche Inhalte prüft. Durch diese Integration werden Bedrohungserkennung, Richtliniendurchsetzung, Einblicke in Echtzeit und damit die Entwicklung eines sicheren und konformen Chatbots ermöglicht. Dank des „Secure AI by Design“-Prinzips hilft Prisma AIRS dem Team auch dabei, Funktionen schneller bereitzustellen.

Die Zusammenarbeit mit Strata Copilot spielte eine Schlüsselrolle bei der Entwicklung von Prisma AIRS vom Konzept bis hin zu einer flexiblen, produktionsreifen Lösung. Aus der Arbeit mit Strata und externen Kunden gewonnene Einblicke halfen bei der Weiterentwicklung des Produkts, um den dynamischen Anforderungen von AI-gestützten Anwendungen, Modellen und Agenten gerecht zu werden. Das Entwicklungsteam betrachtet Prisma AIRS als unverzichtbares Element des Entwicklungslebenszyklus, da die Lösung eine schnelle Bereitstellung, unkomplizierte, API-basierte Schutzmaßnahmen und eine sicherere AI-Nutzung unterstützt.

Die Zusammenarbeit mit Strata Copilot spielte eine Schlüsselrolle bei der Entwicklung von Prisma AIRS vom Konzept bis hin zu einer flexiblen, produktionsreifen Lösung. Aus der Arbeit mit Strata und externen Kunden gewonnene Einblicke halfen bei der Weiterentwicklung des Produkts, um den dynamischen Anforderungen von AI-gestützten Anwendungen, Modellen und Agenten gerecht zu werden. Das Entwicklungsteam betrachtet Prisma AIRS als unverzichtbares Element des Entwicklungslebenszyklus, da die Lösung eine schnelle Bereitstellung, unkomplizierte, API-basierte Schutzmaßnahmen und eine sicherere AI-Nutzung unterstützt.

Der nächste Schritt hin zur sicheren Nutzung von GenAI

In diesem Überblick haben wir den aktuellen Stand von GenAI, die mit GenAI-Anwendungen verbundenen Risiken und die Prisma AIRS-Plattform für AI-Sicherheit behandelt. Angesichts der stetig wachsenden Rolle der künstlichen Intelligenz in allen Lebensbereichen ist die „altmodische“ Art von Intelligenz – das menschliche Gehirn – gefragt, um die damit einhergehenden Risiken zu erkennen und zu minimieren. Die Sicherung von AI-Anwendungen mag für die Sicherheitsteams von Unternehmen eine relativ neue Aufgabe sein, aber Cyber-Kriminelle nutzen GenAI bereits für ihre eigenen Zwecke. Die Konzepte und Vorschläge in diesem E-Book sollen Ihnen helfen, Wissenslücken zu schließen und fundierte Entscheidungen darüber zu treffen, ob Sie in die Prisma AIRS-Plattform investieren sollten.

Wenn Sie mehr über Prisma AIRS erfahren möchten, kontaktieren Sie uns und vereinbaren Sie eine demo.



1https://menlovc.com/2024-the-state-of-generative-ai-in-the-enterprise/

2Ibid.

3https://mitsloan.mit.edu/ideas-made-to-matter/how-generative-ai-can-boost-highly-skilled-workers-productivity

4https://www.weforum.org/stories/2023/05/can-ai-actually-increase-productivity

5https://narrato.io/blog/ai-content-and-marketing-statistics/

6https://www.securitymagazine.com/articles/100631-80-of-data-experts-believe-ai-increases-data-security-challenges?utm_source=chatgpt.com

7https://www.wsj.com/articles/the-ai-effect-amazon-sees-nearly-1-billion-cyber-threats-a-day-15434edd?utm_source=chatgpt.com

8https://enterprisersproject.com/article/2015/1/top-advantages-open-source-offers-over-proprietary-solutions?utm_source=chatgpt.com

9https://www.langchain.com/stateofaiagents

10Einen detaillierten Einblick in die indirekte Prompt Injection bietet das Whitepaper “ Not what you’ve signed up for: Compromising Real-World LLM-Integrated Applications with Indirect Prompt Injection.”

11https://www.ey.com/en_us/ciso/cybersecurity-study-c-suite-disconnect