Glossar

Memory Poisoning

Beim Memory Poisoning schleust ein Angreifer manipulierte Inhalte in das Gedächtnis eines KI-Agenten ein, damit dieser sie bei späteren Aufgaben als eigenes Wissen behandelt.

Agenten, die über einzelne Aufgaben hinweg dazulernen, legen Notizen, Zwischenergebnisse und durchsuchbare Wissensbestände ab. Genau dieser Speicher ist das Ziel: Was einmal darin steht, prüft der Agent später in der Regel nicht erneut (zumindest ist es etwas, das von der Implementierung abhängt, von welcher man in der Regel so unabhängig wie möglich sein will).

Der Unterschied zur Prompt Injection liegt in der Angriffsfläche und dem kompromittierten Bereich. Eine Injection wirkt sich meistens nur auf die laufende Aufgabe aus, während ein bösartiger Speichereintrag bei jeder künftigen Aufgabe, die ihn heranzieht, seine Spuren hinterlässt, und zwar auch bei solchen, die mit dem ursprünglichen Angriff nichts zu tun haben. Der Zusammenhang zwischen Ursache und Wirkung ist dann kaum noch erkenn-, geschweige denn nachvollziehbar.

Auch Rechtevergabe hilft hier nur begrenzt, weil der Agent innerhalb dessen handelt, was er eben schon darf. Wirksam sind stattdessen die Trennung vertrauenswürdiger von nicht vertrauenswürdigen Quellen im Speicher, eine Protokollierung, die nachvollziehbar macht, worauf eine Entscheidung beruhte, und eine menschliche Freigabe für folgenreiche Aktionen (Stichwort Human in the Loop).

Verwandte Begriffe

Erwähnt in

Bereit durchzustarten?

Sichern Sie sich jetzt Ihre kostenfreie Erstberatung! Kontaktieren Sie uns noch heute, um zu besprechen, wie wir Ihr Unternehmen unterstützen können.